定義
MMLU-Proとは、既存のMMLUベンチマークを難化させ、選択肢を10択に増やして推論力を重視したLLM評価基準のこと。
MMLU-Pro (難化版知識ベンチ)とは（詳しく解説）
MMLU-Pro(Massive Multitask Language Understanding Pro)は、従来のMMLUベンチマークが抱える「4択問題」「易問混入」という弱点を補うために設計された難化版の知識・推論評価ベンチマークである。選択肢を10択に増やし、単純な知識暗記だけでは正答できない設問を中心に構成することで、モデル間のスコア差が付きやすくなっているとされる。2026年時点の実運用では、MMLU-Proのスコアだけでモデルを選定するのは危険とされ、特定ベンチマークへの過学習によってスコアと実際の業務性能が乖離するケースが指摘されている。現場でのモデル選定では、MMLU-Proに加えて自社ドメインに近いタスクでの評価や、API利用のコスト・レイテンシとのバランスを見る運用が広く採用されている。相場感としても、スコア上位モデルが必ずしも費用対効果に優れるとは限らない点に注意が必要とされる。
この解説の引用について
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます（CC BY 4.0）。
出典: AI PICKS AI用語辞典「MMLU-Pro (難化版知識ベンチ)とは」 https://aipicks.jp/glossary/mmlu-pro
MMLU-Pro (難化版知識ベンチ)の使用例
- 新モデル導入検討時に、既存モデルとのMMLU-Proスコア差を比較材料の一つとして使う。
- MMLU-Proのスコアが高くても、自社FAQ対応など特定業務では精度が伸びないことがある。
