定義
トークンヒーリングとは、プロンプト末尾のトークン分割が不自然な位置で切れることによる生成品質の低下を防ぐため、最後のトークンをいったん巻き戻してから再生成する制約付きデコード技術のこと。
トークンヒーリング (Token Healing)とは（詳しく解説）
トークンヒーリングは、サブワードトークナイザーを使うLLMで発生する「トークン境界問題」への対処技術として業界で知られる。例えば prompt が「New Y」のように単語の途中で終わると、モデルは既存のトークン列に沿って続きを予測してしまい、本来なら「York」に続くはずのトークンが選ばれず、不自然な補完や精度低下を招くことがあるとされる。トークンヒーリングは末尾の不完全なトークンを一度取り除き、語彙表全体から接頭辞条件付きで再サンプリングすることでこの境界のずれを補正する手法である。Microsoftのguidanceライブラリなど一部の推論フレームワークで実装されているが、対応の有無はモデルや推論エンジンによって差があり、2026年時点でも全てのAPIが標準搭載しているわけではないため、実運用では利用中のフレームワークが対応済みかを事前確認する必要があるとされる。現場では構造化出力やコード生成のように厳密なプレフィックス制約が要る用途で効果が大きいとされる一方、非対応スタックでは自前実装のコストがかかる点も、採用時の相場感として押さえておきたい。
この解説の引用について
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます（CC BY 4.0）。
出典: AI PICKS AI用語辞典「トークンヒーリング (Token Healing)とは」 https://aipicks.jp/glossary/token-healing
トークンヒーリング (Token Healing)の使用例
- プロンプトが「New Y」のように単語途中で終わると、モデルが不自然な続きを生成してしまう典型例。
- Microsoft guidanceライブラリの制約付きデコードでトークン境界のずれを自動補正する設定例。
