MMLU / HumanEval / ArenaなどAIの評価軸
172語を50音順で表示
評価指標の用語172語
- ARC-AGI-2 (汎用推論ベンチ第2版)あーくえーじーあいつーARC-AGI-2とは、初見の図形パズルでAIの抽象的推論力を測るベンチマークARC-AGIの改良版で、記憶や物量では解けない汎用知能寄りの評価指標のこと。
- IFEval (指示追従ベンチ)あいえふいーばるIFEvalとは、大規模言語モデルが「300字以内で書け」などの具体的な指示にどれだけ正確に従えるかを機械的に採点する指示追従ベンチマークのこと。
- アブレーション評価 (要因分解の効果測定)あぶれーしょんひょうかアブレーション評価とは、モデルやシステムの構成要素を一つずつ除去・置換して性能差を測定し、各要素の寄与度を切り分ける評価手法のこと。
- Arena-Hard (難問対話ベンチ)ありーなはーど（なんもんたいわべんち）Arena-Hardとは、LMSYSが実ユーザーの投稿から抽出した高難度プロンプト集でLLM同士の応答品質をペア比較評価するベンチマークのこと。
- AnswerCarefully (日本語安全性データセット)あんさーけあふりーAnswerCarefullyとは、理化学研究所と国立情報学研究所が日本語LLMの安全な応答を評価・訓練するために公開した、有害カテゴリ別の質問応答データセットのことである。
- ELYZA-tasks-100 (日本語指示追従評価)いーらいざたすくすひゃくELYZA-tasks-100とは、日本語LLMの複雑な指示追従能力を100件の多様なタスクで評価するベンチマークのこと。
- 一次解決率 (FCR)いちじかいけつりつ一次解決率(FCR)とは、顧客からの問い合わせを最初の1回の対応だけで完結させられた割合を示す指標のことです。
- 位置バイアス (Position Bias)いちばいあす位置バイアス（Position Bias）とは、LLM評価や検索ランキングで、内容の質ではなく提示順序（先頭か末尾か）によって評価や選択結果が偏ってしまう現象のこと。
- HealthBench (医療応答ベンチ)いりょうおうとうべんちHealthBenchとは、大規模言語モデルが医療関連の質問にどれだけ正確かつ安全に応答できるかを測定するために設計された評価ベンチマークのこと。
- 引用正確性 (Citation Accuracy)いんようせいかくせい引用正確性とは、AI が生成した回答に含まれる引用・出典の内容が、実際の一次情報の記述と正確に一致しているかどうかを測る評価指標のこと。
- WebArena (Web操作ベンチ)うぇぶあれなWebArenaとは、AIエージェントが実際のWebサイト上でショッピングや予約、情報検索などのタスクをどこまで自律的にこなせるかを測る評価用ベンチマークのこと。
- Aider Polyglot (コード編集ベンチ)えいだー・ぽりぐろっとAider Polyglotとは、AIペアプログラミングツールAiderが公開する、複数言語にまたがるコード編集ベンチマークのこと。
- ARC-AGI (汎用推論ベンチ)えーあーるしーえーじーあいARC-AGIとは、François Cholletが設計したAIの汎用推論能力を測る公開ベンチマークのこと。人間には自明な図形パターン推論タスクで構成され、AGI到達度の代表指標として業界で広く参照される。
- AIME (数学ベンチマーク)えーあいえむいーAIMEとは、米国の難関数学競技試験「アメリカ数学招待試験」を転用したAIモデルの高度な数学的推論能力を測るベンチマークのこと。
- AHT (平均処理時間)えーえいちてぃーAHTとは、コールセンターやチャットサポートで、問い合わせ1件の受付から対応完了までにかかる平均時間のこと。
- AgentHarm (エージェント安全性ベンチ)えーじぇんとはーむAgentHarmとは、AIエージェントが詐欺やサイバー攻撃など有害なマルチステップタスクをどこまで実行してしまうかを測定するベンチマークのこと。
- AgentBench (エージェント評価ベンチ)えーじぇんとべんちAgentBenchとは、LLM(大規模言語モデル)をコーディングやゲーム、ウェブ操作など複数の環境でエージェントとして動作させ、タスク遂行能力を横断的に評価するベンチマークのこと。
- AUC-ROC (ROC曲線下面積)えーゆーしーろっくAUC-ROCとは、機械学習モデルの分類性能を0から1の数値で表す評価指標で、ROC曲線の下側の面積を意味する。
- SI-SDR (音源分離の評価指標)えすあいえすでぃーあーるSI-SDRとは、音源分離モデルの出力音声が原音にどれだけ近いかを、音量スケールの違いを正規化した上でdB単位のSN比として測る評価指標のこと。
- SWE-benchえすだぶりゅーいーべんちSWE-benchとはGitHubの実際のIssueをAIが自動修正できるかを測る、コーディングAI評価の業界標準ベンチマークのこと。
- SWE-bench Pro (難化版コードベンチ)えすだぶりゅーいーべんちぷろSWE-bench Proとは、旧来のSWE-bench Verifiedがスコア飽和・汚染で実力差を測れなくなった反省から作られた、より難しい実務規模のコーディング能力評価ベンチマークのこと。
- SWE-bench Verified (検証済コードベンチ)えすだぶりゅーいーべんちべりふぁいどSWE-bench Verifiedとは、実GitHubリポジトリのバグ修正課題をAIがどれだけ解決できるか、人手で精査した500件の厳選タスクで測るコーディング評価指標のこと。
- SWE-bench Multimodal (UI付きコード修正ベンチ)えすだぶりゅーいーべんちまるちもーだるSWE-bench Multimodalとは、UIのスクリーンショットを含むGitHub issueをAIエージェントに解決させ、視覚理解力を測る評価ベンチマークのこと。
- NDCG (正規化割引累積利得)えぬでぃーしーじーNDCGとは、検索やレコメンドの順位付け結果について、関連度の高い項目が上位に来ているほど高いスコアになるよう設計された評価指標のこと。
- FID (画像生成評価指標)えふあいでぃーFIDとは、生成画像と実画像の特徴量分布の差を数値化し、画像生成モデルの品質を客観的に評価する指標のこと。
- FVD (動画生成の品質指標)えふぶいでぃーFVDとは、生成動画と実写動画それぞれの特徴量分布の差を数値化し、動画生成AIの品質を測る評価指標のこと。
- F1スコア (F1 Score)えふわんすこあF1スコアとは、分類モデルの適合率（Precision）と再現率（Recall）を調和平均した評価指標のこと。どちらかが低いと値が大きく下がるため、不均衡データの性能評価に広く用いられる。
- MRCR (多重参照検索ベンチ)えむあーるしーあーるMRCR(多重参照検索ベンチ)とは、長いコンテキストの中に似た複数の参照情報を埋め込み、LLMが正しい参照を区別・抽出できるかを測る長文脈評価指標のこと。
- MMAU (音声・音響理解ベンチ)えむえむえーゆー(おんせい・おんきょうりかいべんち)MMAUとは、音声・環境音・音楽という3領域を横断する質問応答タスクで、音声対応AIモデルの理解力を単一の指標で比較できるようにしたベンチマークのこと。
- MMMU (マルチモーダル理解ベンチ)えむえむえむゆーMMMUとはテキストと画像を組み合わせた大学レベルの専門問題でマルチモーダルAIの総合理解力を測るベンチマークのこと。医学・法律・工学など30以上の学術分野の11,500問以上で構成される。
- MMLUえむえむえるゆーMassive Multitask Language Understanding。 57 分野・1.5 万問の LLM 知識評価ベンチマーク。
- MMLU-Pro (難化版知識ベンチ)えむえむえるゆーぷろMMLU-Proとは、既存のMMLUベンチマークを難化させ、選択肢を10択に増やして推論力を重視したLLM評価基準のこと。
- MMMU-Pro (難化版マルチモーダルベンチ)えむえむゆーゆーぷろMMMU-Proとは、大学レベルの専門知識を問うマルチモーダルベンチマークMMMUを難化させ、選択肢を10択に増やしテキストのみで解ける設問を除去した、より厳格な評価指標のこと。
- MLE-bench (機械学習実装エージェント評価)えむえるいーべんちMLE-benchとは、AIエージェントにKaggle形式の機械学習実装タスクを解かせ、実装力を測定するベンチマークのこと。
- MLPerf (機械学習性能ベンチ)えむえるぱーふMLPerfとは、機械学習モデルの学習・推論の速度や電力効率を統一条件で比較する業界標準ベンチマークスイートのこと。
- MGSM (多言語算数ベンチ)えむじーえすえむMGSMとは、英語の数学文章題ベンチマークGSM8Kを日本語・中国語・スワヒリ語など複数言語に翻訳し、LLMの多言語数学推論力を測るベンチマークのこと。
- MTEB (埋め込みモデル評価ベンチ)えむてぃーいーびーMTEBとは埋め込みモデルの検索・分類・クラスタリングなど複数タスクの性能を横断的に比較するベンチマークのこと。
- MT-Bench (対話評価ベンチ)えむてぃーべんち（たいわひょうかべんち）MT-Benchとは、LLMの多段対話能力をGPT-4が自動採点する標準ベンチマークのこと。8カテゴリ80問の2ターン問答で推論・コーディング・作文などを1〜10点で評価する。
- MBPP (Pythonコード生成ベンチ)えむびーぴーぴーMBPPとは、初級者向けのPythonプログラミング問題集を使い、AIモデルのコード生成精度をpass@k形式で測定する評価ベンチマークのこと。
- エラー分析 (Error Analysis)えらーぶんせきエラー分析とは、AIモデルが出力した誤りを収集・分類し、原因パターンを特定して精度改善につなげる評価プロセスのこと。
- LM Arena (Chatbot Arena)えるえむあれなユーザー投票による LLM の人間評価ランキング。 Elo レーティングで モデルを順位付け。
- lm-evaluation-harness (LLM評価ツール)えるえむいーばりゅえーしょんはーねすlm-evaluation-harnessとは、複数の標準ベンチマークでLLMの性能を自動評価するOSSツールのこと。
- LLM-as-a-Judge (LLM評価者)えるえるえむあずあじゃっじLLM-as-a-Judgeとは、あるLLMの出力品質を別のLLMが自動採点する評価手法のこと。人手評価の代替として広く使われる。
- llm-jp-eval (日本語LLM評価ツール)えるえるえむじぇいぴーいーばるllm-jp-evalとは、LLM-jpコンソーシアムが公開する、日本語LLMの性能を複数タスクで横断評価できるオープンソースの評価ハーネスのこと。
- Eloレーティング (Elo Rating)えろれーてぃんぐEloレーティングとは、チェスで生まれた相対的な強さの数値化手法をAIモデル評価に転用したスコアリングシステムのこと。
- OSWorld (OS操作ベンチ)おーえすわーるどOSWorldとは、AIエージェントが実際のデスクトップOS環境（Ubuntu・Windows・macOS相当）でファイル操作やアプリ操作を自律的にこなせるかを測る評価ベンチマークのこと。
- オンライン評価 (Online Evaluation)おんらいんひょうかオンライン評価とは、本番環境で実際のユーザー入力に対するAIモデルの応答品質を継続的に監視・評価する手法のこと。
- GAIA (汎用AIアシスタントベンチ)がいあGAIAとはMeta AIらが開発した汎用AIアシスタント向けの難易度別評価ベンチマークのこと。実世界の複合タスクをどこまで正確に解けるかを多段階で測る。
- 回答関連性 (Answer Relevance)かいとうかんれんせい回答関連性とは、LLMが生成した回答が、入力された質問の意図や文脈にどれだけ的確に対応しているかを測るRAG評価指標のこと。
- 画像編集ベンチマーク (GEdit-Bench等)がぞうへんしゅうべんちまーく画像編集ベンチマークとは、AIモデルが指示通りに画像を編集できるかを定量的に評価する標準テスト手法のことである。
- 勝率 (Win Rate)かちりつ勝率とは、AIモデルや出力同士を対戦形式で比較したときに、特定のモデルが相手より高く評価された割合のことである。
- 完遂までの手数 (Steps to Completion)かんすいまでのてすう完遂までの手数とは、AIエージェントが与えられたタスクを開始から完了まで遂行する際に要した行動ステップ数を測る評価指標のこと。
- 完全一致 (Exact Match)かんぜんいっち完全一致(Exact Match)とは、モデルの出力が正解ラベルや参照文字列と一字一句同じかどうかで判定する評価指標のこと。
- キャリブレーション (Calibration / ECE)きゃりぶれーしょんキャリブレーションとは、モデルが出力する予測確率(確信度)が実際の正解率とどれだけ一致しているかを示す指標のこと。
- CLIPスコア (画像テキスト整合)くりっぷすこあCLIPスコアとは、生成画像とテキスト説明の意味的な一致度を数値化した評価指標のこと。
- 幻覚率 (Hallucination Rate)げんかくりつ はるしねーしょんれーと幻覚率とは、AIが事実と異なる情報を生成する割合を数値化した評価指標のこと。モデルの信頼性を測る基本指標として、本番導入前の検証フェーズで必ず確認される。
- 攻撃成功率 (Attack Success Rate)こうげきせいこうりつ攻撃成功率とは、脱獄プロンプトなど敵対的な入力が生成AIの安全対策を突破し、意図しない有害な出力を引き出せた試行の割合のこと。
- 構造化出力の妥当率 (Schema Validity Rate)こうぞうかしゅつりょくのだとうりつ構造化出力の妥当率とは、 LLM が出力した JSON などの構造化データが、 事前定義したスキーマに準拠している割合のこと。
- 公平性指標 (Demographic Parity等)こうへいせいしひょう公平性指標とは、AIモデルの予測結果が性別・人種・年齢などの属性によって不当な偏りを生んでいないかを定量的に測る評価基準のこと。
- Cohen's Kappa (評価者間一致度)こーえんのかっぱけいすうCohen's Kappaとは、2人の評価者やモデルによるラベル判定の一致度から、偶然による一致分を差し引いて算出する統計指標のこと。
- ゴールデンデータセット (正解データ集)ごーるでんでーたせっとゴールデンデータセットとは AI の出力精度を測るために人手で作った「模範解答付き」の評価用データ集のこと。
- コスト性能フロンティア (Pareto Frontier)こすとせいのうふろんてぃあコスト性能フロンティアとは、精度とコストのトレードオフにおいて、他のどの選択肢よりも優れた組み合わせだけを結んだ境界線のこと。
- COMET (機械翻訳品質評価)こめっとCOMETとは、事前学習済み多言語モデルの埋め込みを使い、機械翻訳の品質を人間の評価と高い相関でスコア化する自動評価指標のこと。
- コンテキスト再現率 (Context Recall)こんてきすとさいげんりつコンテキスト再現率とは、RAGなどの検索拡張生成において、正解に必要な情報を検索結果がどれだけ網羅できたかを示す評価指標のこと。
- コンテキスト適合率 (Context Precision)こんてきすとてきごうりつコンテキスト適合率とは、RAGが検索した文脈情報のうち、実際に回答生成に関連する情報がどれだけの割合を占めるかを示す評価指標のこと。
- 混同行列 (Confusion Matrix)こんどうぎょうれつ混同行列(Confusion Matrix)とは、分類モデルの予測結果を実際の正解ラベルと突き合わせ、真陽性・偽陽性・真陰性・偽陰性の件数を表形式に整理した評価指標のこと。
- SciCode (科学コード生成ベンチ)さいこーどSciCodeとは、物理学・化学・生物学など科学研究分野の実践的なコード生成能力をLLMに問うベンチマークのこと。
- CyberSecEval (LLMのサイバー能力評価)さいばーせっくえばるCyberSecEvalとは、Metaが開発したLLMのサイバーセキュリティ関連能力（脆弱なコード生成・悪用可能性等）を測定するベンチマークのことである。
- TheAgentCompany (実務代行ベンチ)じ・えーじぇんと・かんぱにーTheAgentCompanyとは、LLMエージェントに模擬ソフトウェア企業内で175件の実務タスクを遂行させ、完了率で実力を測るベンチマークのこと。
- G-Eval (LLM採点フレームワーク)じーいばるG-Evalとは、LLMにChain-of-Thoughtで評価基準を推論させ、生成テキストの品質をスコアリングする評価フレームワークのこと。
- GSM8K (算数推論ベンチ)じーえすえむえいとけーGSM8Kとは、小学校高学年レベルの算数文章題を8,500問収録した、大規模言語モデルの多段階推論能力を測定するベンチマークのこと。
- CSAT (AI応対の顧客満足度)しーさっとCSAT とは、 AI チャットボットや音声応対など カスタマーサポート業務について 利用者がどれだけ満足したかを 数値で示す指標のこと。
- GDPval (経済価値ベンチ)じーでぃーぴーばるGDPvalとは、OpenAIが2025年に公開した、AIモデルが実際の経済的価値を生む業務をどれだけこなせるかを測るベンチマークのこと。
- GPQAじーぴーきゅーえーGPQAとは、生物・物理・化学の大学院レベルの難問でAIの推論力を測る評価ベンチマークのこと。Googleで検索しても解けない設計が特徴。
- JMMMU (日本語マルチモーダルベンチ)じぇいえむえむえむゆーJMMMUとは、日本語かつ画像・図表を含む大学レベルの専門問題でAIの多モーダル理解力を測る評価ベンチマークのこと。
- JMMLU (日本語知識ベンチマーク)じぇいえむえむえるゆーJMMLUとは、人文・社会・自然科学など56分野の四択問題で日本語LLMの知識理解力を測定するベンチマークのこと。
- JMTEB (日本語埋め込み評価ベンチ)じぇいえむてぶJMTEBとは、日本語のテキスト埋め込みモデルの性能を検索・分類・クラスタリング・STSなど複数タスクで横断的に評価するベンチマークのこと。
- JQaRA (日本語検索・RAG評価)じぇいきゅーあーるえーJQaRAとは、日本語RAGシステムの検索精度を測定するために公開されたベンチマークデータセットのことである。
- JGLUE (日本語言語理解ベンチマーク)じぇいぐるーJGLUEとは、日本語の自然言語処理モデルの言語理解能力を測るために東京大学・早稲田大学・ヤフーが共同開発したベンチマークデータセット群のこと。
- JDocQA (日本語文書理解ベンチ)じぇいどっくきゅーえーJDocQAとは、日本語の文書画像を対象に質問応答性能を測る評価用ベンチマークデータセットのことである。
- JHumanEval (日本語コード生成ベンチ)じぇいひゅーまんえばるJHumanEvalとは、コード生成AIの性能を日本語のdocstringやコメント環境下で測定するために作られた評価ベンチマークのこと。
- JailbreakBench (脱獄耐性ベンチ)じぇいるぶれいくべんちJailbreakBenchとは、LLMが安全ガイドラインを回避しようとする脱獄(ジェイルブレイク)攻撃への耐性を、標準化された攻撃プロンプト集と分類基準で評価するベンチマークのこと。
- GenEval (画像生成の指示整合ベンチ)じぇねばるGenEvalとは、画像生成AIがプロンプトの指示（オブジェクト数・色・位置関係など）をどれだけ正確に画像へ反映できるかを測る評価ベンチマークのこと。
- シャドー評価 (Shadow Deployment)しゃどーひょうかシャドー評価とは、新しいモデルやプロンプトを本番トラフィックに並行して流し、ユーザーへ出力を見せないまま品質を比較検証する評価手法のこと。
- 人手介入率 (Intervention Rate)じんしゅかいにゅうりつ人手介入率とは、AIエージェントや自動化パイプラインが出した判断・出力のうち、人間による修正・承認・差し戻しを必要とした割合を示す指標のこと。
- SimpleQA (事実性ベンチマーク)しんぷるきゅーえーSimpleQAとは、OpenAIが2024年に公開した、短答式の事実確認クイズでLLMの正答率と幻覚(誤答)傾向を測るベンチマークのこと。
- SWE-Lancer (経済価値コードベンチ)すいーらんさーSWE-Lancerとは、実在のフリーランス案件と実際の報酬額をもとに、AIモデルのソフトウェア開発能力を経済価値で測定するベンチマークのことである。
- Style Control (回答体裁の補正)すたいるこんとろーるStyle Controlとは、LLMベンチマークの人間評価で生じる回答の長さや太字・箇条書きなど見た目の装飾による偏りを統計的に補正し、内容の質だけを測る評価手法のこと。
- 正解率 (Accuracy)せいかいりつ正解率(Accuracy)とは、分類モデルの全予測件数のうち、正しく予測できた件数の割合を示す評価指標のこと。
- 生成多様性の指標 (Distinct-n / Self-BLEU)せいせいたようせいのしひょう生成多様性の指標とは、LLMが生成する複数の応答や文章がどれだけ似通わず多様かを数値化する評価軸のことで、Distinct-nやSelf-BLEUが代表的な手法である。
- セマンティックエントロピー (幻覚検知指標)せまんてぃっくえんとろぴーセマンティックエントロピーとは、 同一の問いに対する LLM の複数回答を意味単位でクラスタリングし、 そのばらつきの大きさからハルシネーションの可能性を検知する指標のこと。
- SelfCheckGPT (幻覚検知手法)せるふちぇっくじーぴーてぃーSelfCheckGPTとは、追加の外部知識やAPIアクセスなしに、同じ質問へのLLMの複数回答のばらつきを比較して幻覚(事実と異なる出力)を検知する手法のこと。
- Terminal-Bench (端末操作ベンチ)たーみなるべんちTerminal-Benchとは、AIエージェントがターミナル上で実務的なタスクをどれだけ自律的にこなせるかを測定する評価ベンチマークのこと。
- τ²-bench (エージェント評価ベンチ)たうつーべんちτ²-bench（タウツーベンチ）とは、AIエージェントが複数ターンの対話とツール呼び出しを組み合わせたタスクをどれだけ正確にこなせるかを測定する評価ベンチマークのこと。
- τ-bench (エージェント評価ベンチ)たうべんちτ-benchとはAIエージェントのツール使用・多段階タスク遂行能力を、現実に近いシナリオで統計的に評価するベンチマークのこと。
- タスク時間地平 (METR Time Horizon)たすくじかんちへいタスク時間地平とは、AIエージェントが50%の確率で完遂できるタスクの長さを、人間換算の作業時間で表した能力指標のことである。
- タスク成功率 (Success Rate)たすくせいこうりつタスク成功率とは、AIエージェントに任せた一連のタスクが、人手を介さず最後まで正しく完了できた割合のこと。
- タスク単価 (Cost per Task)たすくたんかタスク単価とは、AIが特定のタスクを1件完了するのにかかるコストの総額を指す評価指標のこと。
- WER (単語誤り率)だぶりゅーいーあーるWER（単語誤り率）とは、音声認識・文字起こし・機械翻訳の精度を数値化する業界標準の評価指標のこと。正解テキストとの差異（置換・削除・挿入）の合計語数を正解語数で割った値で、低いほど高精度を示す。
- 知能指数 (Artificial Analysis Intelligence Index)ちのうしすう知能指数(Artificial Analysis Intelligence Index)とは、複数の第三者ベンチマーク結果を統合し、LLMの総合的な性能を単一のスコアで示す評価指標のこと。
- ChartQA (図表理解ベンチ)ちゃーときゅーえーChartQAとは、棒グラフや折れ線グラフなど図表画像と質問をセットで与え、AIモデルが図表から数値や傾向を正しく読み取れるかを測る画像質問応答ベンチマークのこと。
- 忠実性 (Faithfulness)ちゅうじつせい忠実性とは、AIが生成したテキストが参照元の文書や提供されたコンテキストにどれだけ正確に基づいているかを測る評価指標のこと。
- ツール選択精度 (Tool Selection Accuracy)つーるせんたくせいどツール選択精度とは、AIエージェントが与えられたタスクに対して複数の外部ツールやAPIの中から正しいものを選び、適切な引数で呼び出せる割合を示す評価指標のこと。
- TTFT (初回トークンまでの時間)ティーティーエフティー（しょかいとーくんまでのじかん）TTFTとはLLMへのリクエスト送信から最初のトークンが返ってくるまでの時間のこと。ユーザーが「反応している」と体感する待ち時間を左右する、応答速度の核心指標。
- 適合率・再現率 (Precision & Recall)てきごうりつ・さいげんりつ適合率・再現率とは、分類モデルの予測精度を測る2つの指標で、適合率は誤検知の少なさ、再現率は見逃しの少なさを表す評価軸のこと。
- デフレクション率 (自己解決率)でふれくしょんりつ (じこかいけつりつ)デフレクション率(自己解決率)とは、顧客からの問い合わせのうち、有人対応に至らずチャットボットやFAQで自己解決した割合を示すカスタマーサポート指標のこと。
- 動画生成の秒単価 (Cost per Second)どうがせいせいのびょうたんか動画生成の秒単価とは、AI動画生成サービスにおいて動画1秒あたりの生成にかかる費用を比較する際に用いられる指標のこと。
- 統計的有意性 (評価の信頼区間)とうけいてきゆういせい統計的有意性とは、AIモデルやA/Bテストの評価結果の差が偶然のばらつきではないと言えるかどうかを示す統計的な基準のことで、信頼区間の幅などで判定される。
- TruthfulQA (真実性ベンチ)とぅるーすふるきゅーえー(しんじつせいべんち)TruthfulQA(真実性ベンチ)とは、大規模言語モデルが人間に広く見られる誤解や俗説に引きずられず、事実に基づいた正確な回答を返せるかを測定するベンチマークのこと。
- トークン効率 (Token Efficiency)とーくんこうりつトークン効率とは、LLMへの入出力に使うトークン数あたりでどれだけの性能や成果を引き出せるかを示す指標のことである。
- トークン毎秒 (スループット)とーくんまいびょうトークン毎秒 (スループット) とは、LLM が1秒間に生成・処理できるトークン数を示す性能指標のこと。値が大きいほど応答が速く、リアルタイム用途や大量一括処理に向く。
- DocVQA (文書理解ベンチ)どっくぶいきゅーえーDocVQAとは、スキャンした請求書や契約書などの文書画像に対して質問応答を行わせ、AIモデルの文書理解力・OCR精度を測定するベンチマークのこと。
- トラジェクトリ評価 (行動履歴評価)とらじぇくとりひょうかトラジェクトリ評価とは、AIエージェントが目的達成までに行った一連の行動・判断（ツール呼び出しや推論ステップ）の履歴を評価する手法のこと。
- Needle in a Haystack (長文脈検索評価)にーどるいんあへいすたっくNeedle in a Haystackとは、LLMが長文の中から特定情報を正確に取り出せるかを測る評価手法のこと。コンテキストウィンドウの実効性能を埋め込み位置別に可視化でき、RAG設計の基準指標として使われる。
- Nejumiリーダーボード (日本語LLM評価)ねじゅみりーだーぼーどNejumiリーダーボードとは、Weights & Biasesが公開する日本語LLMの性能を横断比較するベンチマークランキングのこと。
- BIRD (Text-to-SQL評価ベンチ)ばーど てきすととぅーえすきゅーえる ひょうかべんちBIRDとは、実データベース規模でText-to-SQLモデルの精度を測る代表的な評価ベンチマークのこと。
- BERTScore (意味的類似度評価)ばーとすこあいみてきるいじどひょうかBERTScoreとは、BERTの文脈埋め込みでテキスト生成の意味的品質を測る評価指標のこと。表層一致のBLEU/ROUGEより人間の感覚に近く、言い換えや同義表現にも高スコアを出せる。
- パープレキシティ (困惑度)ぱーぷれきしてぃ（こんわくど）パープレキシティとは、言語モデルがテキストをどれほど的確に予測できるかを数値で示す評価指標のこと。値が低いほど予測精度が高く、LLMの開発・比較・ファインチューニング評価で広く用いられる。
- pass@k (コード生成評価指標)ぱすあっとけーpass@kとはコード生成AIが生成したk個のコードサンプルのうち、少なくとも1つが全ユニットテストを通過する確率を示す評価指標のこと。
- pass^k (一貫性評価指標)ぱすはっとけーpass^kとは、生成AIモデルに同一タスクをk回実行させ、k回すべてが正解・成功した割合で信頼性を測る一貫性評価指標のこと。
- HaluEval (幻覚検知ベンチ)はるえばるHaluEvalとは、LLMが生成した回答の幻覚（事実と異なる内容）を検知できるかを測定するために構築されたベンチマークデータセットのこと。
- BFCL (関数呼び出し評価)びーえふしーえるBFCLとは、LLM（大規模言語モデル）が外部ツールやAPIを状況に応じ正確に呼び出せるかを測る関数呼び出し評価ベンチマークのこと。
- P95レイテンシ (テール遅延)ぴーきゅうじゅうごれいてんしーP95レイテンシとは、リクエストの応答時間を速い順に並べたとき、下から95%目に位置する値のことで、平均値では見えない一部の遅い処理(テール遅延)を可視化する指標のこと。
- BigCodeBench (実用コード生成ベンチ)びっぐこーどべんちBigCodeBenchとは、複数ライブラリを組み合わせた実践的なタスクでLLMのコード生成能力を測るベンチマークのこと。
- BBH (BIG-Bench Hard)びっぐべんちはーどBBHとは、200以上のタスクを含むBIG-Benchの中から、従来のLLMが人間の平均正答率を下回った23の難問タスクだけを抽出した評価指標セットのこと。
- Video-MME (動画理解ベンチ)びでおえむえむいーVideo-MMEとは、マルチモーダルAIモデルの動画理解能力を、短尺から長尺までの多様な動画と質問応答セットで測定するベンチマークのこと。
- 人手評価 (Human Evaluation)ひとでひょうか人手評価とは、AIが生成したテキストや画像などの出力品質を、人間が直接採点・判定するモデル評価手法のこと。
- 百万トークン単価 (Cost per Million Tokens)ひゃくまんとーくんたんか百万トークン単価とは、LLM APIの利用料金を100万トークン処理あたりの金額で表す評価指標のこと。
- Humanity's Last Exam (HLE)ひゅーまにてぃーずらすとえぐざむHLEとはScale AIとCenter for AI Safety（CAIS）が2025年に公開した、博士課程レベルの難問2,500問でAIの推論限界を測る超難関ベンチマークのこと。
- HumanEvalひゅーまんいばるOpenAI 発の Python コーディング能力ベンチマーク。 164 問の関数実装タスク。
- 評価のばらつき (Eval Variance)ひょうかのばらつき評価のばらつきとは、同じAIモデルや同じプロンプトに対する評価結果が、評価者・実行タイミング・サンプリング設定によって一致せず変動する現象のこと。
- 品質ゲート (Quality Gate)ひんしつげーと品質ゲートとは、AIモデルや生成物が定めた基準を満たすまで本番環境への反映を止める検証プロセスのこと。
- FACTS Grounding (根拠性ベンチ)ふぁくつぐらうんでぃんぐFACTS Groundingとは、Google DeepMindが2024年に公開した、LLMの回答が与えられた文書にどれだけ忠実に基づいているかを測定するベンチマークのこと。
- FActScore (長文事実性評価)ふぁくとすこあFActScoreとは、生成された長文を細かい事実単位(atomic facts)に分解し、各事実を外部知識源と照合して正誤を判定する事実性評価指標のこと。
- VBench (動画生成評価ベンチ)ぶいべんちVBenchとは、動画生成AIの画質・一貫性・動きの自然さなど複数の観点を定量スコア化するオープンソースの評価ベンチマークのこと。
- BrowseComp (ブラウジング能力ベンチ)ぶらうずこんぷBrowseCompとは、AIエージェントが自力でWeb検索・閲覧を重ねて発見しづらい事実情報を見つけ出す能力を測定するベンチマークのこと。
- BLEU (機械翻訳評価)ぶるーBLEUとは機械翻訳や文章生成の品質を人間の参照訳と比較してスコア化する自動評価指標のこと。
- FrontierMath (最難関数学ベンチ)ふろんてぃあます さいなんかんすうがくべんちFrontierMathとは、専門家でも解くのに数時間から数日かかる高難度の数学問題群でAIモデルの推論能力を測定する最難関ベンチマークのこと。
- プロンプト回帰テスト (Prompt Regression Test)ぷろんぷとかいきてすとプロンプト回帰テストとは、プロンプトやモデルを変更した際に、既存の入出力品質が意図せず劣化していないかを事前に用意したテストケース集で自動検証する評価手法のこと。
- promptfoo (プロンプト評価ツール)ぷろんぷとふーpromptfooとは、LLMプロンプトやRAGアプリケーションの出力品質を自動テストし評価するオープンソースのCLI/ライブラリのこと。
- BEIR (検索性能ベンチマーク)べあBEIRとは、質問応答や事実検証など性質の異なる複数タスクを横断してゼロショットで検索モデルの精度を測る評価用ベンチマークのこと。
- MRR (平均逆順位)へいきんぎゃくじゅんいMRR（Mean Reciprocal Rank）とは、検索結果の中で最初に正解が出現した順位の逆数を、複数クエリで平均した情報検索の評価指標のこと。
- PESQ (音質の客観評価)ぺすくPESQとは、ITU-T勧告P.862で標準化された、音声通話やAI音声合成の品質を人の聴感に近い形で自動採点する客観指標のこと。
- HellaSwag (常識推論ベンチ)へらすわぐHellaSwagとは、状況の説明文に続く自然な文章を4択から選ばせ、AIモデルの常識的推論能力を測定するベンチマークのこと。
- HELM (総合評価フレームワーク)へるむ（そうごうひょうかふれーむわーく）HELMとは、Stanford大学の研究チームが開発した、LLMの性能を精度・公平性・堅牢性・効率性など複数の指標で横断的に評価するオープンな評価フレームワークのこと。
- Heron-Bench (日本語画像理解ベンチ)へろんべんちHeron-Benchとは、日本の文化・状況を含む画像を用いて、VLM(視覚言語モデル)の日本語での画像理解力を評価するベンチマークのこと。
- ベンチマーク (Benchmark)べんちまーくベンチマークとは、AIモデルの性能を標準化されたテスト課題で数値化し、異なるモデル間を公平に比較するための評価基準セットのこと。MMLUやHumanEval等、用途別に数十種類が存在する。
- ベンチマーク汚染 (Benchmark Contamination)べんちまーくおせんベンチマーク汚染とは、AIモデルの訓練データにテスト用評価データが混入し、性能スコアが実際の能力より高く見える現象のこと。
- ベンチマーク飽和 (Saturation)べんちまーくほうわベンチマーク飽和とは、AIモデルの性能向上によって主要ベンチマークで上位モデルのスコアが軒並み高得点に張り付き、モデル間の実力差を判別できなくなる現象のこと。
- Vending-Bench (長期運用ベンチ)べんでぃんぐべんちVending-Bench とは AI エージェントに自動販売機の運営を模擬させ、 長時間の一貫した意思決定力を測るベンチマークのこと。
- ホールドアウト (非公開の検証データ)ほーるどあうとホールドアウトとは、モデルの学習には一切使わず、性能評価だけのために取り分けておく非公開の検証データセットのこと。
- MATH (数学ベンチマーク)ますMATHとは、高校数学コンテスト水準の問題12,500問(難易度1〜5段階)で構成され、LLMの数式推論能力を測るために広く使われるベンチマークデータセットのこと。
- MathVista (視覚数学ベンチ)ますびすたMathVistaとは、図表・グラフ・幾何図形など視覚情報を伴う数学問題でAIモデルの推論力を測る評価ベンチマークのこと。
- MultiChallenge (マルチターン評価ベンチ)まるちちゃれんじMultiChallengeとは、大規模言語モデルが複数ターンにわたる対話で指示を正確に保持し一貫して応答できるかを測る評価ベンチマークのこと。
- CER (文字誤り率)もじごさりつCER（文字誤り率）とは、音声認識やOCRの出力結果を正解データと比較し、誤って認識された文字の割合を示す評価指標のこと。
- MOS (平均オピニオン評点)もす（へいきんおぴにおんひょうてん）MOSとは、合成音声や生成コンテンツの品質を人間の主観評価によって1〜5点で数値化する評価指標のこと。
- モデルドリフト (性能劣化)もでるどりふと（せいのうれっか）モデルドリフトとは、本番稼働中のAIモデルの予測精度や出力品質が、学習時点と現在の入力データやユーザー行動の変化によって時間とともに低下していく現象のこと。
- 有害性スコア (Toxicity)ゆうがいせいすこあ有害性スコア（Toxicity）とは、AIが生成する文章に含まれる差別・暴力・ハラスメントなどの有害度合いを数値化した評価指標のこと。
- ユーザーシミュレータ評価 (User Simulation)ゆーざーしみゅれーたひょうかユーザーシミュレータ評価とは、実際のユーザーの代わりにAIモデルや台本化されたエージェントを用いて対話システムやAIエージェントの性能を自動評価する手法のこと。
- LiveCodeBench (汚染耐性コードベンチ)らいぶこーどべんちLiveCodeBenchとは、LeetCodeなどの競技プログラミングサイトから継続的に新問題を収集し、学習データ汚染を排除した条件でLLMのコーディング能力を客観評価するベンチマークのこと。
- LiveBench (汚染耐性総合ベンチ)らいぶべんちLiveBench（ライブベンチ）とは、推論・数学・コーディングなど複数分野でLLMを横断評価し、データ汚染を避けるため毎月問題を更新し続ける総合ベンチマークのこと。
- RAGAS (RAG評価フレームワーク)らがすRAGASとはRAGシステムの回答品質を自動評価するオープンソースフレームワークのこと。忠実性・回答適合性・文脈精度・文脈網羅性の4指標をLLMジャッジで採点し、チューニングの効果を定量化する。
- LegalBench (法務推論ベンチ)りーがるべんち（ほうむすいろんべんち）LegalBenchとは、契約解釈や規則適用など162種の法務推論タスクで構成された、大規模言語モデルの法的推論能力を測るオープンベンチマークのことである。
- Recall@k (検索再現率)りこーるあっとけーRecall@kとは、検索・推薦システムが上位k件の結果の中に、正解となる関連アイテムをどの割合で含めているかを測る評価指標のこと。
- RewardBench (報酬モデル評価ベンチ)りわーどべんちRewardBenchとは、LLMの報酬モデル(RLHFで人間の選好を学習したモデル)の選好一致精度を測定する評価ベンチマークのこと。
- ROUGE (要約評価指標)るーじゅROUGEとはLLMや機械翻訳が生成したテキストを参照テキストとのn-gram一致率で自動採点する要約評価指標のこと。
- ルーブリック評価 (採点基準)るーぶりくひょうかルーブリック評価とは、AI出力や成果物を複数の評価観点と段階別の基準文で採点し、評価者間のブレを抑えて一貫した判定を行う手法のこと。
- RULER (長文脈評価ベンチ)るーらーRULERとは、大規模言語モデル（LLM）が主張する文脈長で実際にどこまで情報を正確に扱えるかを、検索・追跡・集約など複数タスクで測定するベンチマークのこと。
- レイテンシ (Latency)れいてんしレイテンシとは、AIモデルにリクエストを送信してから最初のレスポンスが返るまでの応答時間のこと。
- LongBench (長文脈ベンチ)ろんぐべんちLongBenchとは、大規模言語モデルが長い文脈をどれだけ正確に理解・処理できるかを測る多タスク・多言語対応のベンチマークのこと。
- WildBench (実利用評価ベンチ)わいるどべんちWildBenchとは、実際のユーザーが投稿した多様で難易度の高いチャットログをもとに、LLMの応答品質をタスクごとのチェックリストで採点する評価ベンチマークのこと。
- 話者類似度 (Speaker Similarity)わしゃるいじど話者類似度とは、AI音声合成やボイスクローニングで生成した声が対象話者本来の声にどれだけ似ているかを数値化する評価指標のこと。
AI用語辞典のトップへ
全カテゴリ横断で検索・絞り込みができます
辞典トップへ