定義
スライディングウィンドウ注意(SWA)とは、各トークンが固定幅の近傍範囲だけに注意を向けることで計算量とメモリ使用量を抑えるTransformerの注意機構のこと。
スライディングウィンドウ注意 (SWA)とは（詳しく解説）
スライディングウィンドウ注意(SWA)は、Transformerの自己注意機構において各トークンが系列全体ではなく直前の固定幅ウィンドウ内のトークンのみを参照する手法で、計算量とメモリ使用量をトークン数に対して線形に抑えられる点が標準的な特徴とされる。MistralやGemma 2など長文脈対応モデルの一部で採用され、フルアテンション層と組み合わせるハイブリッド構成も広く使われている。2026年時点の実運用では、ウィンドウ幅を超えた遠い位置の情報が薄れやすく、長文書の冒頭の指示や設定を後半で見落とすといった精度低下が現場で報告される。推論コストを抑えたいバッチ処理や長文要約では有効だが、文書全体の整合性が重要なタスクではフルアテンション層併用モデルを選ぶのが無難とされる。コスト重視で導入する場合も、ウィンドウ幅とタスクの必要文脈長が見合っているか事前に検証すべきとされる。
この解説の引用について
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます（CC BY 4.0）。
出典: AI PICKS AI用語辞典「スライディングウィンドウ注意 (SWA)とは」 https://aipicks.jp/glossary/sliding-window-attention
スライディングウィンドウ注意 (SWA)の使用例
- 「SWAを使うことでメモリ使用量を抑えつつ長文推論を高速化できる」という設計上のメリットを説明する文脈で使われる。
- 「ウィンドウ幅を超えた情報は注意から外れるため、フルアテンション層を併用する設計が採用されている」という説明で使われる。
