定義
蒸留とは、大規模な「教師モデル」の知識を小規模な「生徒モデル」に転移させ、軽量化・高速化を図る機械学習の手法のこと。
蒸留 (Distillation)とは（詳しく解説）
知識蒸留（Knowledge Distillation）は、Hintonらが2015年に提案した手法で、GPT-4やGemini Ultraのような巨大モデル（教師）の出力確率分布を教師信号として、より小型のモデル（生徒）を訓練する。生徒は正解ラベルだけでなく教師の「ソフトラベル」から暗黙的な知識を吸収するため、同規模モデルのゼロ学習より高性能になりやすい。 2026年の実運用では、クラウドAPIコストの高騰を背景に「商用LLMから自社オンプレモデルへの蒸留」を検討する企業が増えている。現場での落とし穴は3点：（1）教師モデルの利用規約が蒸留・転用を明示禁止しているケースが多い（OpenAI ToS等）、（2）汎用タスクへの蒸留は品質劣化が顕著でタスク特化が必須、（3）学習データ生成コストが数十〜数百万円規模になりROIが合わない場合がある。 AI PICKSが現場の事例から見る相場感では、7B〜13Bクラスへの蒸留で初期費用50〜200万円程度、推論コストはAPIの1/10以下になる場合が多い。月間リクエスト数が10万未満ならAPIのままの方がコスト効率は高く、蒸留の費用対効果が出るのは月50万リクエスト超が目安となっている。
この解説の引用について
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます（CC BY 4.0）。
出典: AI PICKS AI用語辞典「蒸留 (Distillation)とは」 https://aipicks.jp/glossary/distillation
蒸留 (Distillation)の使用例
- GPT-4の出力を教師データに7BパラメータのLlamaベースモデルを蒸留し、社内チャットボットのAPIコストを1/8に削減した事例。
- Gemini Proの要約品質を教師信号にオンプレ用3Bモデルを蒸留。推論レイテンシを200ms→50msに改善し、リアルタイム用途へ転用。
