LiveCodeBenchとは、LeetCodeなどの競技プログラミングサイトから継続的に新問題を収集し、学習データ汚染を排除した条件でLLMのコーディング能力を客観評価するベンチマークのこと。
LiveCodeBench (汚染耐性コードベンチ)とは（詳しく解説）
LiveCodeBenchは2024年にMITらの研究チームが発表したコードLLM評価フレームワーク。HumanEvalやMBPPといった従来ベンチマークは問題が固定されており、モデルの学習データに含まれている（汚染）可能性が高く、スコアが実力を過大評価しやすい欠点があった。LiveCodeBenchはLeetCode・AtCoder・CodeForcesから継続的に新問題を取得し、モデルのカットオフ日以降に公開された問題のみで評価することで汚染リスクを根本的に排除する。2026年時点の実運用では、Claude 3.7 SonnetやGemini 2.5 Proなど主要モデルのコーディング評価指標として定着しており、現場での選び方として「HumanEvalスコアよりLiveCodeBenchスコアを重視する」トレンドが加速している。落とし穴は難易度分布がLeetCode寄りで競技プログラミング特有のアルゴリズム問題が中心なこと：業務コード生成（APIラッパー作成・テストコード等）との乖離がある点は見落としがちだ。相場感としてはフルセット実行にGPT-4o相当で数万円規模のAPIコストがかかる場合もあり、評価コストも無視できない。AI PICKSのコーディングAI比較記事では汚染耐性の観点からLiveCodeBenchを採用し、スコアの信頼性を担保している。
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます（CC BY 4.0）。
出典: AI PICKS AI用語辞典「LiveCodeBench (汚染耐性コードベンチ)とは」 https://aipicks.jp/glossary/livecodebench
LiveCodeBench (汚染耐性コードベンチ)の使用例
- GPT-4o・Claude 3.7・Gemini 2.5のLiveCodeBenchスコアを比較し、汚染排除後の真のコーディング性能ランキングを確認したい。
- コーディングAI選定時にLiveCodeBenchのカテゴリ別スコア（補完・バグ修正・アルゴリズム）で絞り込む手順を教えて。
