定義
FrontierMathとは、専門家でも解くのに数時間から数日かかる高難度の数学問題群でAIモデルの推論能力を測定する最難関ベンチマークのこと。
FrontierMath (最難関数学ベンチ)とは(詳しく解説)
FrontierMathとは、Epoch AIが2024年に公開した数学ベンチマークで、代数幾何・数論・力学系など研究レベルの数学問題約300問で構成され、専門家でも解くのに数時間から数日かかる難易度とされる。多くの最先端モデルが正答率数%にとどまることから、既存ベンチマークが飽和した後の指標として業界標準的に参照されるようになった。ただし2026年時点の実運用ではいくつか落とし穴がある。問題の一部が非公開のため、スコア上昇が実際の推論力向上か学習データ汚染によるものか外部から検証しにくいという指摘がある。また現場でモデル選定に使う際は、FrontierMathのスコアは高度な数学研究や複雑な多段階推論に強く相関する一方、日常的なコーディング支援や文章生成の品質とは別軸の指標である点に注意が要る。スコア上位モデルほど推論トークン数がかさみ課金額が跳ね上がる傾向もあるため、現場ではスコアの高さだけでなく実タスクでの相場感とコスト対効果を踏まえた選定が欠かせない。
この解説の引用について
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます(CC BY 4.0)。
出典: AI PICKS AI用語辞典「FrontierMath (最難関数学ベンチ)とは」 https://aipicks.jp/glossary/frontiermath
FrontierMath (最難関数学ベンチ)の使用例
- 新しいLLMが発表された際、ベンチマーク欄にFrontierMathのスコアが数学的推論力の指標として併記されることが増えている。
- モデル比較記事で複数ベンチマークを並べる際、FrontierMath正答率の項目を加えて数学推論力を比較する使い方がある。