本ページはプロモーションを含みます（掲載基準）
FP8 (8ビット浮動小数点)の定義
FP8とは、数値を8ビットで表す浮動小数点形式のことです。AIモデルの学習や推論で16ビット形式の代わりに使うと、メモリを節約しながら計算を速くできます。
- 英語表記
- 8-bit Floating Point（8ビット浮動小数点）
- 2つの形式
- E4M3（指数4ビット・仮数3ビット、最大±448）とE5M2（指数5ビット・仮数2ビット、最大±57344）
- 提案
- 2022年9月、NVIDIA・Arm・Intelの研究者が論文「FP8 Formats for Deep Learning」で提案
- 使い分け
- 精度が要る順伝播の重みや活性化にはE4M3、範囲の広さが要る逆伝播の勾配にはE5M2が向く
- 対応ハード
- NVIDIA H100（Hopper）で対応。H100の公表値ではFP8の演算性能はBF16の2倍
- 関連形式
- NVIDIA Blackwell世代では、さらに小さいNVFP4（4ビット）やMXFP8にも対応
FP8 (8ビット浮動小数点)とは（詳しく解説）
FP8（8ビット浮動小数点）は、AIモデルの重みや計算途中の値を8ビットで表す数値形式です。これまでAIの学習ではFP16やBF16といった16ビット形式が主流でした。FP8にするとデータ量が半分になり、メモリの節約と計算の高速化を同時にねらえます。 FP8には2つの種類があります。E4M3は表せる範囲がせまい代わりに細かい値を表しやすく、E5M2は細かさを犠牲にして広い範囲を表せます。NVIDIAの解説では、学習の順伝播ではE4M3、逆伝播の勾配ではE5M2を使う使い分けが紹介されています。この2形式は、2022年にNVIDIA・Arm・Intelの研究者が論文で提案したものです。 ハードウェアでは、NVIDIAのH100（Hopper世代）がFP8に対応しています。H100の公表値では、FP8の演算性能はBF16の2倍になっています。後継のBlackwell世代では、4ビットのNVFP4やMXFP8にも対応し、さらに軽い形式が使えるようになりました。 注意点は、8ビットだと表せる数の範囲がせまく、そのままでは値があふれたり、小さな値がつぶれたりすることです。そのため実際には、値に倍率（スケール）をかけて範囲に収める工夫をします。NVIDIAのTransformer Engineのようなライブラリを使うと、この調整を自動で行えます。
FP8 (8ビット浮動小数点)を調べた人に
文章や
ブラウザで画像1枚や短い文章から動画を作れるツールです。無料枠から試せます。
AI動画生成 ／ 最低料金 ¥0〜
有料にすると Starterは月270クレジットでKling 3.0の720p動画に対応（Starter $19/月（年払い、月払いとの差なし））
FP8 (8ビット浮動小数点)のよくある質問
Q. FP8とは何ですか？
数値を8ビットで表すコンピューターの数値形式です。16ビットのFP16やBF16に比べてデータ量が半分になるので、AIの計算を速く、少ないメモリで回せます。
Q. FP8にすると精度は落ちますか？
表せる数の細かさは落ちます。ただし提案論文では、さまざまな画像と言語のタスクで、16ビットで学習したときとほぼ同じ品質が得られたと報告されています。
Q. FP4とFP8の違いは？
FP4は4ビット、FP8は8ビットで数値を表します。FP4のほうがさらに軽く速い一方、表せる数の細かさはより粗くなります。NVIDIAはBlackwell世代でNVFP4に対応しました。
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます（CC BY 4.0）。
出典: AI PICKS AI用語辞典「FP8 (8ビット浮動小数点)とは」 https://aipicks.jp/glossary/fp8
FP8 (8ビット浮動小数点)の使用例
- H100でLLaMA-3 70BをFP8ファインチューニング：BF16比でVRAM使用量を40%削減、学習時間を48時間→28時間に短縮。gradient scalingのスケールファクター調整がポイント。
- 推論サービスをFP8量子化：大規模モデルのレイテンシを35%改善。日本語長文要約で精度が1.8%低下したためE4M3形式に変更して解決した事例。
FP8 (8ビット浮動小数点)に関連するAIツール
FP8 (8ビット浮動小数点)の関連記事
FP8 (8ビット浮動小数点)の関連用語
12カテゴリ・1874語以上を体系的に整理しています