MATH (数学ベンチマーク)読み: ます

MATH (数学ベンチマーク)とは（詳しく解説）

MATHは、代数・幾何・確率・数論など高校数学コンピティション水準の問題12,500問(難易度1〜5段階)からなるデータセットで、LLMの多段階にわたる数式推論力を測る指標として広く採用されているとされる。小学校レベルの文章題が中心のGSM8Kに対し、MATHはより複雑な証明的思考を要する問題を含むため、モデルの推論力の天井を測る指標として使われることが多いとされる。2026年時点の実運用では、多くの最新モデルがMATHで90%超のスコアに到達しており、ベンチマーク自体の識別力が薄れてきているとの指摘もある。そのため現場では、MATHのスコア単体でモデルの実力を判断せず、より難易度の高い後継ベンチマーク(AIME系や大学レベル数学の問題セットなど)と組み合わせて評価するケースが増えているとされる。自社で評価パイプラインを構築する場合、問題セットのライセンスや学習データへの汚染(コンタミネーション)の確認に工数がかかる点も、選定時のコストとして考慮すべきとされる。

MATH (数学ベンチマーク)の使用例

• 新モデルのリリース時、MATHのスコアが前バージョンから伸びているかを推論力向上の目安として確認する。
• 「MATHで95%超だが実務の複雑な計算タスクでは精度が落ちる」といったギャップの有無を評価時にチェックする。

MATH (数学ベンチマーク)に関連するAIツール