定義
GQA（グループ化クエリ注意）とは、複数のクエリヘッドでKeyとValueをグループ単位で共有し、推論時のメモリ使用量と計算コストを抑える注意機構の一種のこと。
GQA (グループ化クエリ注意)とは（詳しく解説）
GQA（Grouped Query Attention）は、Transformerの注意機構において複数のクエリヘッドを少数のグループにまとめ、KeyとValueをグループ内で共有する手法だ。Multi-Head Attention（MHA）がヘッドごとに個別のKey/Valueを持つのに対し、GQAはグループ単位で共有することでKVキャッシュのメモリ容量を大幅に削減し、推論速度を高める。Llama 2/3やMistral系モデルなど2026年時点で主要なオープンウェイトLLMの多くが採用しており、事実上の業界標準になっているとされる。実運用では、グループ数を減らすほど推論コストは下がる一方、Multi-Query Attention（MQA）に近づきすぎると出力品質がわずかに劣化する傾向があるとされ、現場ではグループ数を品質とコストのバランスで選定する必要がある。特に長いコンテキストを扱うRAGやエージェント用途ではKVキャッシュ膨張が相場感として大きな課題になりやすく、GQA採用モデルを選ぶかどうかがサービス全体のインフラコストを左右する。
この解説の引用について
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます（CC BY 4.0）。
出典: AI PICKS AI用語辞典「GQA (グループ化クエリ注意)とは」 https://aipicks.jp/glossary/grouped-query-attention
GQA (グループ化クエリ注意)の使用例
- Llama 3やMistralなど主要オープンウェイトLLMの多くがGQAを採用し、KVキャッシュ削減とレイテンシ改善を両立している。
- 推論基盤を選ぶ際は、GQAのグループ数設定がスループットとコストにどう効くかをベンチマークで確認するとよい。
