定義
FLOPsとは、AIモデルの学習や推論に必要な浮動小数点演算の合計回数を示す指標のこと。モデル規模や学習コストの比較の物差しとして使われる。
FLOPs (浮動小数点演算量)とは(詳しく解説)
FLOPs(Floating Point Operations)は、モデルの学習や推論で実行される浮動小数点演算の総数を表す指標で、計算量そのものの大きさを示す物差しとして業界で広く使われる。1秒あたりの演算回数を表すFLOPS(大文字のS)とは別概念で、この二つを取り違えると見積もりが大きくずれるとされる。学習時の総FLOPs数はパラメータ数と学習トークン数からおおよそ算出でき、モデル規模の比較や計算コストの試算の出発点として使われている。ただし2026年時点の実運用では、FLOPs数だけでは実際の学習時間や電力コストを正確に予測できない落とし穴がある。GPUのメモリ帯域や実効利用率(MFU)によって、同じFLOPs数でも所要時間とコストが大きく変わるためだ。現場でモデルやクラウドGPUを選ぶ際は、FLOPsを試算の出発点としつつ、実測スループットと相場感のあるGPU単価を突き合わせて判断するのが現実的とされる。
この解説の引用について
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます(CC BY 4.0)。
出典: AI PICKS AI用語辞典「FLOPs (浮動小数点演算量)とは」 https://aipicks.jp/glossary/flops
FLOPs (浮動小数点演算量)の使用例
- GPT-3級のモデル学習には数百ゼタFLOPs規模の計算量が必要とされ、大規模GPUクラスタでの分散学習が前提となる。
- 『7Bモデルを1兆トークン学習する場合の総FLOPs数と必要GPU時間を概算して』