定義
スパースアテンションとは、Transformerの自己注意機構において全トークンペアを計算せず、重要な一部のみに絞って計算量とメモリを削減する手法のこと。
スパースアテンション (Sparse Attention)とは（詳しく解説）
スパースアテンションは、通常のフルアテンション(全トークン対全トークンの計算で、計算量が系列長の2乗で増大する)に対し、局所窓・ブロック単位・学習可能なルーティングなどでトークンペアの一部だけを計算対象に絞る手法群を指す。LongformerやBigBirdなどの研究を経て、近年はネイティブにスパース化を組み込んだLLMアーキテクチャまで採用が広がっているとされる。狙いは長いコンテキストウィンドウを扱う際の計算コストとメモリ使用量の削減で、計算量オーダーをO(n2)からO(n log n)やO(n)に近づけられるとされる。ただし2026年時点の実運用では精度とスループットのトレードオフが常につきまとう点が落とし穴になりやすい。重要トークンの判定精度が低いと長文脈内の情報を見落とし、フルアテンション型モデルより回答品質が劣化するケースがあるとされる。現場での選び方としては、コスト重視で長文書要約やRAGパイプラインなど厳密な逐語参照が不要な用途にはスパース化モデルを、法務・医療など網羅性が求められる用途にはフルアテンション系モデルを使い分けるのが実務上の目安とされる。
この解説の引用について
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます（CC BY 4.0）。
出典: AI PICKS AI用語辞典「スパースアテンション (Sparse Attention)とは」 https://aipicks.jp/glossary/sparse-attention
スパースアテンション (Sparse Attention)の使用例
- 長文PDFを要約するRAGパイプラインで、スパースアテンション採用モデルを使いレイテンシとコストを抑える。
- 「このモデルはスパースアテンションを使っていますか、フルアテンションですか」とベンダーに確認する。
