定義
思考連鎖蒸留(CoT Distillation)とは、大規模モデルが生成した思考の連鎖(CoT)を教師データにして、小型モデルへ推論能力を転移学習させる手法のこと。
思考連鎖蒸留 (CoT Distillation)とは（詳しく解説）
思考連鎖蒸留(CoT Distillation)とは、大規模な教師モデルが出力した思考の連鎖(Chain of Thought)を学習データとして使い、パラメータ数の少ない軽量な生徒モデルへ推論能力を転移学習させる手法のこと。最終的な答えだけでなく途中の推論ステップごと学習させることで、小型モデルでも段階的な論理展開を模倣しやすくなるとされ、モデル軽量化や推論コスト削減の代表的なアプローチの一つとして位置づけられる。2026年時点の実運用では、蒸留元となる教師モデルの思考連鎖の質がそのまま生徒モデルの性能上限になりやすく、教師側の推論に誤りがあればその誤りごと転移してしまう点が現場での落とし穴として挙げられる。また蒸留用データセットの作成には教師モデルへの大量の推論呼び出しが必要で、初期構築のコストが見落とされがちな点にも注意が要る。現場での選び方としては、単純な分類や抽出タスクには通常のファインチューニングで十分なことが多く、多段階の論理推論が求められる用途に限って導入を検討するのが相場感として妥当とされる。
この解説の引用について
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます（CC BY 4.0）。
出典: AI PICKS AI用語辞典「思考連鎖蒸留 (CoT Distillation)とは」 https://aipicks.jp/glossary/cot-distillation
思考連鎖蒸留 (CoT Distillation)の使用例
- 大規模モデルの解答過程を出力させ、それを教師データとして小型モデルをファインチューニングする、という流れで使われる。
- エッジ端末で推論モデルを動かしたい場合に、まず候補になる軽量化手法の一つとして挙げられる。
