定義
MMMU-Proとは、大学レベルの専門知識を問うマルチモーダルベンチマークMMMUを難化させ、選択肢を10択に増やしテキストのみで解ける設問を除去した、より厳格な評価指標のこと。
MMMU-Pro (難化版マルチモーダルベンチ)とは（詳しく解説）
MMMU-Proは、画像・図表・グラフを含む大学レベルの専門問題でマルチモーダルAIの理解力を測る評価指標で、選択肢を4択から10択に増やし、テキスト情報だけで正解できてしまう設問を取り除くことで、モデルの真の視覚理解力を測れるよう設計されたとされる。従来のMMMUは上位モデル同士のスコアが天井付近で並び差が付きにくくなっていたため、その反動として採用が広がったとされる。2026年時点の実運用では、MMMU-Proのスコアが高いモデルでも、実際の業務文書や複雑な図表では読み取りミスが起きやすく、ベンチマーク上位が現場での精度をそのまま保証するわけではない点に注意が必要とされる。モデル選定の現場では単一の指標だけで判断せず、自社の画像データで独自に検証するコストを見込んでおくのが相場感とされる。
この解説の引用について
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます（CC BY 4.0）。
出典: AI PICKS AI用語辞典「MMMU-Pro (難化版マルチモーダルベンチ)とは」 https://aipicks.jp/glossary/mmmu-pro
MMMU-Pro (難化版マルチモーダルベンチ)の使用例
- モデル比較資料で「MMMU-Proスコア58%」のように視覚理解力の指標として引用される。
- 「MMMUでは天井効果が見られたためMMMU-Proを採用した」という文脈で語られる。
