定義
MLA(多頭潜在注意)とは、Transformerの推論時にKVキャッシュを低ランクの潜在ベクトルに圧縮し、メモリ使用量と計算コストを削減するAttention機構の改良版のこと。
MLA (多頭潜在注意)とは（詳しく解説）
MLAは、標準的なMulti-Head Attention(MHA)でヘッドごとに個別保持していたKey/Valueを、低ランクの潜在ベクトルに圧縮してから推論時に復元する手法で、DeepSeek-V2で提案されGQAやMQAより少ないKVキャッシュで同等以上の精度を狙う設計とされる。長文脈の推論ではKVキャッシュのメモリ量が推論コストとGPU台数を左右するため、コンテキスト長が数十万トークンに達する2026年の実運用では採否の分かれ目になりやすい。現場での落とし穴は、vLLMやSGLangなど推論エンジン側の専用カーネル対応が追いついていないと理論上のメモリ削減効果が出ない点と、潜在ベクトルの量子化を粗く行うと精度劣化が起きやすい点。自社基盤を選ぶ際は、モデルの理論値だけでなく利用予定の推論エンジンがMLAに最適化されているかを先に確認するのが相場観としての定石とされる。
この解説の引用について
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます（CC BY 4.0）。
出典: AI PICKS AI用語辞典「MLA (多頭潜在注意)とは」 https://aipicks.jp/glossary/multi-head-latent-attention
MLA (多頭潜在注意)の使用例
- 自社のvLLM基盤にMLA対応モデルを載せる場合、KVキャッシュのメモリ削減効果とカーネル対応状況を教えて。
- MHAとMLAのKVキャッシュサイズの違いを、100万トークンのコンテキストを想定して比較して。
