定義
FSDPとは、モデルのパラメータや勾配、オプティマイザ状態を複数GPUに分割して保持し、計算時にだけ必要な部分を集めて学習する分散学習手法のこと。
FSDP (完全シャード化データ並列)とは（詳しく解説）
FSDPとは、PyTorchが提供する分散学習手法で、モデルのパラメータ・勾配・オプティマイザ状態を全GPUに複製せず断片（シャード）に分けて各デバイスに保持する点が特徴とされる。従来のDDPではGPUごとにモデル全体を複製するためメモリを消費しやすいが、FSDPはシャーディングにより同じGPU台数でもより大きなモデルを学習できる手法として広く採用されている。2026年時点の実運用では、通信オーバーヘッドの増加でスループットがDDPより落ちる場面があり、シャーディング粒度やプリフェッチ設定を現場でチューニングする必要がある点が落とし穴として知られる。またA100/H100クラスを複数枚束ねる構成が前提となるため、クラウドGPUのコストは月数十万円から数百万円規模になりやすく、小規模ならLoRAなどのPEFT、大規模学習が必須ならFSDPを選ぶという相場感で現場は判断することが多い。
この解説の引用について
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます（CC BY 4.0）。
出典: AI PICKS AI用語辞典「FSDP (完全シャード化データ並列)とは」 https://aipicks.jp/glossary/fsdp
FSDP (完全シャード化データ並列)の使用例
- 8基のH100でLlama系70Bモデルを事後学習する際、FSDPでシャーディングしメモリ不足を回避する構成が実務でよく使われる。
- 「DDPだとOOMになるモデルをFSDPに切り替えたい」といった相談は、パラメータ数が数十億規模のモデルで特に多い。
