定義
AdamWとは、Adam最適化アルゴリズムの重み減衰(weight decay)計算を勾配更新から分離し、過学習を抑えやすくした改良版の最適化手法のこと。
AdamW (最適化アルゴリズム)とは（詳しく解説）
AdamWは深層学習モデルの学習で標準的に使われる最適化アルゴリズムで、従来のAdamがL2正則化を勾配に混ぜ込んでいた問題を修正し、重み減衰を勾配更新と独立に適用する。これにより汎化性能が上がりやすく、Transformer系モデルの事前学習・ファインチューニングで既定の選択肢として広く採用されているとされる。実運用での落とし穴は学習率とweight decay値の組み合わせがモデル規模ごとに大きく変わる点で、他モデル向けの値をそのまま流用すると収束が不安定になったり過学習が悪化したりしやすい。現場では小規模なファインチューニング用途ならHugging Face等のデフォルト値から始め、コストの大きい事前学習規模になるほどwarmupやweight decayを個別にチューニングする判断が必要になる。2026年時点でもAdamW派生のLion・Sophia等が研究段階で提案されているが、実運用の相場感としてはAdamWが依然デファクトスタンダードの位置づけにある。
この解説の引用について
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます（CC BY 4.0）。
出典: AI PICKS AI用語辞典「AdamW (最適化アルゴリズム)とは」 https://aipicks.jp/glossary/adamw
AdamW (最適化アルゴリズム)の使用例
- PyTorchでは torch.optim.AdamW(model.parameters(), lr=2e-5, weight_decay=0.01) のように指定して使う。
- Hugging Face TrainerはデフォルトoptimizerにAdamWを採用しており、明示指定なしでも自動的に使われる。
