定義
グロッキングとは、ニューラルネットワークが訓練データを暗記した状態のまま学習を続けた末に、ある時点で汎化性能が急激に向上する現象のこと。
グロッキング (突発的汎化)とは（詳しく解説）
グロッキング(Grokking)とは、ニューラルネットワークが訓練データへの過学習(丸暗記)状態に長くとどまった後、追加の学習を続けることで突然汎化性能が跳ね上がる現象を指す。2022年にOpenAIの研究者が算術タスクの学習実験で報告し、以降は正則化(weight decay)や十分な学習ステップ数が発生条件として広く議論されてきた。2026年時点の実運用では、この現象を狙って学習を止めずに回し続ける判断はコスト面のリスクが大きいとされる。GPUクラウドの時間課金では、汎化が起きるかどうか分からないまま学習を延長すると相場感を超えたコスト超過につながりやすく、現場では損失曲線の停滞だけで学習を打ち切らず検証データの精度も継続的にモニタリングする運用が推奨される。自社で追加学習・ファインチューニングを行う場合は、事前にステップ数とコストの上限を決めた上で汎化の兆候(検証精度の急上昇)を監視する仕組みを組み込むのが実務上の選び方とされる。
この解説の引用について
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます（CC BY 4.0）。
出典: AI PICKS AI用語辞典「グロッキング (突発的汎化)とは」 https://aipicks.jp/glossary/grokking
グロッキング (突発的汎化)の使用例
- 小規模なTransformerに剰余演算を学習させると、訓練精度が100%に達した後も数千stepを経てから検証精度が急上昇する例が典型とされる。
- ファインチューニングを早期終了しすぎて汎化前に打ち切っていないか、を検討する際にグロッキングの概念が引用されることが多い。
