定義
ロススパイクとは、 LLM の事前学習中に 損失値 (loss) が突然跳ね上がり、 学習が不安定化・発散する現象のこと。
ロススパイク (学習の発散)とは（詳しく解説）
ロススパイクとは、 ニューラルネットワークの事前学習中に 損失関数の値 (loss) が 数値的な異常や勾配の急変により 突発的に跳ね上がる現象のこと。 一般に 学習率が高すぎる場合や データセット内の異常サンプル、 数値精度 (bf16/fp8 混合精度) の丸め誤差の蓄積が 主な原因とされる。 業界標準の対処としては チェックポイントから直前状態へ巻き戻す 「ロールバック」 や 学習率の一時的な引き下げ、 勾配クリッピングの強化が広く採用されている。 2026年時点の実運用では、 大規模モデルの学習を専門ベンダーに委託するケースが増えており、 数千万〜数億円規模の学習コストが スパイク 1 回の巻き戻しで数百万円単位の追加費用になることもある。 現場での選び方としては、 学習インフラを自前で持つより 監視・自動ロールバック機能を備えたマネージド学習基盤を選ぶほうが 相場感として総コストを抑えやすいとされる。 自社で LLM をファインチューニングする際は 損失曲線の監視体制を事前に整えておくことが重要。
この解説の引用について
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます（CC BY 4.0）。
出典: AI PICKS AI用語辞典「ロススパイク (学習の発散)とは」 https://aipicks.jp/glossary/loss-spike
ロススパイク (学習の発散)の使用例
- 大規模モデル学習でlossが数千step目に突然倍増するケースは、学習率の初期設定ミスが典型的な原因とされる。
- プロンプト例:「このloss曲線の急上昇について、学習率・データ品質・混合精度のどれが原因か切り分けて」
