定義
JMMMUとは、日本語かつ画像・図表を含む大学レベルの専門問題でAIの多モーダル理解力を測る評価ベンチマークのこと。
JMMMU (日本語マルチモーダルベンチ)とは（詳しく解説）
JMMMUは、MMMU（Massive Multi-discipline Multimodal Understanding）を日本語・日本の文脈に合わせて構築した評価ベンチマークで、画像や図表を伴う大学レベルの専門問題を用いてAIの多モーダル理解力を測る指標として業界で知られる。単に英語版を機械翻訳したものではなく、日本の教科書や資料をもとにした設問を含む点が特徴とされる。実運用の現場では、英語ベンチマークで高スコアを出すモデルでも日本語の図表読解やグラフ問題では精度が落ちる例が指摘されており、日本語対応をうたうAIツールを比較検討する際の判断材料の一つとして参照されることが多い。ただしベンチマークの数値と自社の実データでの精度は一致するとは限らないため、2026年時点の現場では公開スコアを目安にしつつ、実際のドキュメント形式で追試して選定するのが標準的なやり方とされる。API課金のコスト感も判断材料になり、スコア差がわずかな場合は相場感の安いモデルを優先する運用判断も広がっている。
この解説の引用について
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます（CC BY 4.0）。
出典: AI PICKS AI用語辞典「JMMMU (日本語マルチモーダルベンチ)とは」 https://aipicks.jp/glossary/jmmmu
JMMMU (日本語マルチモーダルベンチ)の使用例
- 「JMMMUのスコアが高いモデルはどれ？」と聞いて日本語マルチモーダル性能を比較検討する。
- 日本語の請求書画像を読み込ませ、JMMMU相当の図表読解力があるか簡易テストする。
