定義
検索ヘッドとは、Transformer型LLMの中で長いコンテキストから必要な情報を選択的に取り出す役割を担う一部の注意ヘッドのこと。
検索ヘッド (Retrieval Head)とは（詳しく解説）
検索ヘッドとは、Transformerの多数の注意ヘッドのうち、長いコンテキスト内の特定トークンに強く注意を向けて必要な情報を取り出す少数のヘッド群を指す研究上の概念で、long-context QAやNeedle-in-a-Haystackのようなタスクでモデルが正解を引き当てられるかどうかは、この検索ヘッドの働きに大きく依存するとされる。層をまたいで少数しか存在せず、モデルやタスクを超えて似た振る舞いをする「普遍的でスパースな」ヘッドであることが指摘されている。2026年時点の実運用では、コンテキストウィンドウを数十万トークンまで拡張しても、検索ヘッドが弱いモデルは長文の途中にある情報を取りこぼす「lost in the middle」現象が起きやすく、これが精度低下やハルシネーションの一因になっている。現場でモデルを選ぶ際は、公称のコンテキスト長だけでなく、長文検索ベンチマークのスコアを確認することが重要で、検索ヘッドの強化やRAGとの併用によって、コストを抑えつつ精度を担保する選び方が広く採用されている。
この解説の引用について
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます（CC BY 4.0）。
出典: AI PICKS AI用語辞典「検索ヘッド (Retrieval Head)とは」 https://aipicks.jp/glossary/retrieval-head
検索ヘッド (Retrieval Head)の使用例
- 128Kトークンの契約書PDFから特定条項を1文で正確に引用できるかは、検索ヘッドの強さが左右するとされる。
- 「Needle in a Haystack」テストは検索ヘッドの働きを可視化する代表的な評価手法として知られる。
