定義
トークン肥沃度 (Token Fertility) とは、 同じ内容の文章を LLM のトークナイザーが何個のトークンに分割するかを 言語間で比べる効率指標のこと。
日本語のトークン効率 (Token Fertility)とは（詳しく解説）
トークン肥沃度 (Token Fertility) とは、 同じ意味内容のテキストを LLM のトークナイザーがいくつのトークンに分割するかを表す指標で、 値が大きいほど 同じ内容を伝えるのに多くのトークンを消費することを意味する。 英語基準で設計された BPE 系トークナイザーでは、 日本語は アルファベット圏の言語に比べて 1〜2 倍程度 多くトークンを必要とする傾向があるとされる。 これは 課金が入出力トークン数に連動する API 利用時に そのままコストへ跳ね返る問題で、 実運用では 同じ文字数の日本語プロンプトが 英語プロンプトより高くつく落とし穴になりやすい。 2026 年現在、 主要 LLM は トークナイザーの改良で 日本語効率を年々高めているが、 モデルごとの差は依然として大きい。 現場での選び方は、 (1) 想定する日本語プロンプト・出力量で 事前にトークン数を試算する、 (2) 同一タスクでモデル間の相場感を比較する、 (3) 長文要約・大量処理など トークン消費が大きい用途ほど 効率の良いモデルを優先する、 の 3 点が定石。
この解説の引用について
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます（CC BY 4.0）。
出典: AI PICKS AI用語辞典「日本語のトークン効率 (Token Fertility)とは」 https://aipicks.jp/glossary/token-fertility
日本語のトークン効率 (Token Fertility)の使用例
- 同じ内容の日本語プロンプトと英語プロンプトをトークナイザーにかけ、 トークン数を比較して料金を見積もる。
- 長文要約タスクでは、 モデル間のトークン肥沃度の差を踏まえて コストの低いモデルを選ぶ。
