アテンションエントロピー (注意の拡散度)読み: あてんしょんえんとろぴー（ちゅういのかくさんど）

アテンションエントロピー (注意の拡散度)とは（詳しく解説）

アテンションエントロピーは、Transformer系LLMのアテンション機構において、各トークンが入力全体のどこに注意の重みを配分しているかを情報理論のエントロピーで定量化した指標とされる。エントロピーが低い状態は特定のトークンや文脈に注意が集中していることを示し、逆に高い状態は注意が広範囲に拡散していることを意味する。この値は、ハルシネーションの検知や長文コンテキストでの情報の取りこぼしを診断する研究で用いられることが多い。2026年時点の実運用では、この指標だけをもとにモデル選定や品質保証の意思決定を下すのは難しいとされる。エントロピー計算にはアテンション行列へのアクセスが必要で、外部APIのみを利用する場合はコストや制約が発生しやすく、内部の重みを取得できるオープンウェイトモデルでないと分析自体が成り立たないケースもある。現場での選び方としては、単体の絶対値ではなく、同一タスク・同一モデル内での相対的な変化を追う運用が現実的とされる。

アテンションエントロピー (注意の拡散度)の使用例

• 長文要約タスクでアテンションエントロピーが急上昇した場合、モデルが要点を絞り込めず広く目を配ってしまっている兆候として解釈されることがある。
• RAGでの検索結果統合時にエントロピーが低いままなら、特定の文書だけに依存した生成になっていないか確認する運用が有効とされる。

アテンションエントロピー (注意の拡散度)に関連するAIツール