定義
語彙サイズとは、大規模言語モデルがトークナイザーで扱える単語・サブワード・記号の異なり数(語彙数)のことである。
語彙サイズ (Vocabulary Size)とは（詳しく解説）
語彙サイズは、LLMのトークナイザーが持つ語彙(トークン)の総数を指し、一般に数万〜数十万オーダーで設計される。語彙サイズが大きいほど1トークンあたりの表現粒度が細かくなり、多言語対応や専門用語の扱いに有利になる一方、埋め込み層と出力層のパラメータ数が語彙サイズに比例して増えるため、モデルサイズと推論コストが増大するトレードオフがある。2026年時点の実運用では、日本語や中国語など非英語圏のトークン効率(1文字あたりのトークン消費量)が語彙サイズ設計に直結し、語彙が英語偏重のモデルでは日本語入力が同じ文字数でも多くのトークンを消費し、APIの従量課金コストが割高になる落とし穴がある。現場でモデルを選ぶ際は、語彙サイズの数値そのものより、実際の日本語テキストで何トークンに分割されるかをトークナイザーで事前検証することが重要とされる。相場感としては、多言語対応を重視する最新モデルほど語彙サイズを拡張する傾向が広く見られる。
この解説の引用について
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます（CC BY 4.0）。
出典: AI PICKS AI用語辞典「語彙サイズ (Vocabulary Size)とは」 https://aipicks.jp/glossary/vocabulary-size
語彙サイズ (Vocabulary Size)の使用例
- Claude 3.5とLlama 3の語彙サイズを比較し、日本語のトークン消費効率の違いを確認する。
- 多言語対応モデルを選定する際、語彙サイズとトークナイザーの実測値をベンチマークで検証する。
