本ページはプロモーションを含みます（掲載基準）
MBPP (Pythonコード生成ベンチ)の定義
MBPPとは、初級者向けのPythonプログラミング問題集を使い、AIモデルのコード生成精度をpass@k形式で測定する評価ベンチマークのこと。
MBPP (Pythonコード生成ベンチ)とは（詳しく解説）
MBPPは「Mostly Basic Python Problems」の略で、初級プログラマーが解ける水準の短いPythonタスク（関数の実装やアルゴリズム問題など）約1,000問から構成される評価ベンチマークとして知られる。HumanEvalと並び、LLMのコード生成能力を測る業界標準の指標の一つとされ、pass@1やpass@kといった正答率で評価される。ただし2026年時点の実運用では、MBPPは問題が基礎的すぎるため、最新の大規模モデル同士のスコアが軒並み高水準で頭打ちになり、差がつきにくいという弱点が指摘されている。現場でモデル選定を行う際は、MBPPの数値だけでなく、実務で扱うような複雑な複数ファイル編集やライブラリ利用を伴うタスクを含む評価（SWE-benchなど）と併用するのが実務的な選び方とされる。また評価用データの一部が学習データに混入している疑い（データ汚染）も指摘されており、スコアを鵜呑みにせず、自社のユースケースに近いコストと精度のバランスで判断することが重要とされる。
MBPP (Pythonコード生成ベンチ)を調べた人に
AIで
エディタのAIを使いこなしたい人向けの講座と、コードなしで作れるツールです。
初月10ドルオフ（新規ユーザー）
Claude CodeやCursorへの指示を声で入力できる。日本語にも対応し、Mac・Windowsのどの入力欄でも使える（無料は1,000語まで）
AI音声・文字起こし ／ 最低料金 ¥0〜
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます（CC BY 4.0）。
出典: AI PICKS AI用語辞典「MBPP (Pythonコード生成ベンチ)とは」 https://aipicks.jp/glossary/mbpp
MBPP (Pythonコード生成ベンチ)の使用例
- 「MBPPのpass@1で85%を達成したモデルは実務でも安全に使えますか」という比較質問の例。
- 「新モデル導入前にMBPPとSWE-benchの両方のスコアを確認してほしい」という社内レビュー依頼の例。
MBPP (Pythonコード生成ベンチ)に関連するAIツール
MBPP (Pythonコード生成ベンチ)の関連用語
12カテゴリ・1874語以上を体系的に整理しています