評価指標

うぇぶあれな

WebArenaとは、AIエージェントが実際のWebサイト上でショッピングや予約、情報検索などのタスクをどこまで自律的にこなせるかを測る評価用ベンチマークのこと。

えいだー・ぽりぐろっと

Aider Polyglotとは、AIペアプログラミングツールAiderが公開する、複数言語にまたがるコード編集ベンチマークのこと。

えーあーるしーえーじーあい

ARC-AGIとは、François Cholletが設計したAIの汎用推論能力を測る公開ベンチマークのこと。人間には自明な図形パターン推論タスクで構成され、AGI到達度の代表指標として業界で広く参照される。

えーあいえむいー

AIMEとは、米国の難関数学競技試験「アメリカ数学招待試験」を転用したAIモデルの高度な数学的推論能力を測るベンチマークのこと。

えすだぶりゅーいーべんち

SWE-benchとはGitHubの実際のIssueをAIが自動修正できるかを測る、コーディングAI評価の業界標準ベンチマークのこと。

えふわんすこあ

F1スコアとは、分類モデルの適合率（Precision）と再現率（Recall）を調和平均した評価指標のこと。どちらかが低いと値が大きく下がるため、不均衡データの性能評価に広く用いられる。

えむえむえむゆー

MMMUとはテキストと画像を組み合わせた大学レベルの専門問題でマルチモーダルAIの総合理解力を測るベンチマークのこと。医学・法律・工学など30以上の学術分野の11,500問以上で構成される。

えむえむえるゆー

Massive Multitask Language Understanding。 57 分野・1.5 万問の LLM 知識評価ベンチマーク。

えむえむえるゆーぷろ

MMLU-Proとは、既存のMMLUベンチマークを難化させ、選択肢を10択に増やして推論力を重視したLLM評価基準のこと。

えむてぃーべんち（たいわひょうかべんち）

MT-Benchとは、LLMの多段対話能力をGPT-4が自動採点する標準ベンチマークのこと。8カテゴリ80問の2ターン問答で推論・コーディング・作文などを1〜10点で評価する。

えるえむあれな

ユーザー投票による LLM の人間評価ランキング。 Elo レーティングで モデルを順位付け。

えるえるえむあずあじゃっじ

LLM-as-a-Judgeとは、あるLLMの出力品質を別のLLMが自動採点する評価手法のこと。人手評価の代替として広く使われる。

えろれーてぃんぐ

Eloレーティングとは、チェスで生まれた相対的な強さの数値化手法をAIモデル評価に転用したスコアリングシステムのこと。

がいあ

GAIAとはMeta AIらが開発した汎用AIアシスタント向けの難易度別評価ベンチマークのこと。実世界の複合タスクをどこまで正確に解けるかを多段階で測る。

げんかくりつ はるしねーしょんれーと

幻覚率とは、AIが事実と異なる情報を生成する割合を数値化した評価指標のこと。モデルの信頼性を測る基本指標として、本番導入前の検証フェーズで必ず確認される。

じーでぃーぴーばる

GDPvalとは、OpenAIが2025年に公開した、AIモデルが実際の経済的価値を生む業務をどれだけこなせるかを測るベンチマークのこと。

じーぴーきゅーえー

GPQAとは、生物・物理・化学の大学院レベルの難問でAIの推論力を測る評価ベンチマークのこと。Googleで検索しても解けない設計が特徴。

しんぷるきゅーえー

SimpleQAとは、OpenAIが2024年に公開した、短答式の事実確認クイズでLLMの正答率と幻覚(誤答)傾向を測るベンチマークのこと。

すいーらんさー

SWE-Lancerとは、実在のフリーランス案件と実際の報酬額をもとに、AIモデルのソフトウェア開発能力を経済価値で測定するベンチマークのことである。

たーみなるべんち

Terminal-Benchとは、AIエージェントがターミナル上で実務的なタスクをどれだけ自律的にこなせるかを測定する評価ベンチマークのこと。

たうべんち

τ-benchとはAIエージェントのツール使用・多段階タスク遂行能力を、現実に近いシナリオで統計的に評価するベンチマークのこと。

たすくせいこうりつ

タスク成功率とは、AIエージェントに任せた一連のタスクが、人手を介さず最後まで正しく完了できた割合のこと。

たすくたんか

タスク単価とは、AIが特定のタスクを1件完了するのにかかるコストの総額を指す評価指標のこと。

だぶりゅーいーあーる

WER（単語誤り率）とは、音声認識・文字起こし・機械翻訳の精度を数値化する業界標準の評価指標のこと。正解テキストとの差異（置換・削除・挿入）の合計語数を正解語数で割った値で、低いほど高精度を示す。

ちのうしすう

知能指数(Artificial Analysis Intelligence Index)とは、複数の第三者ベンチマーク結果を統合し、LLMの総合的な性能を単一のスコアで示す評価指標のこと。

ちゅうじつせい

忠実性とは、AIが生成したテキストが参照元の文書や提供されたコンテキストにどれだけ正確に基づいているかを測る評価指標のこと。

ティーティーエフティー（しょかいとーくんまでのじかん）

TTFTとはLLMへのリクエスト送信から最初のトークンが返ってくるまでの時間のこと。ユーザーが「反応している」と体感する待ち時間を左右する、応答速度の核心指標。

とーくんまいびょう

トークン毎秒 (スループット) とは、LLM が1秒間に生成・処理できるトークン数を示す性能指標のこと。値が大きいほど応答が速く、リアルタイム用途や大量一括処理に向く。

にーどるいんあへいすたっく

Needle in a Haystackとは、LLMが長文の中から特定情報を正確に取り出せるかを測る評価手法のこと。コンテキストウィンドウの実効性能を埋め込み位置別に可視化でき、RAG設計の基準指標として使われる。

ばーとすこあいみてきるいじどひょうか

BERTScoreとは、BERTの文脈埋め込みでテキスト生成の意味的品質を測る評価指標のこと。表層一致のBLEU/ROUGEより人間の感覚に近く、言い換えや同義表現にも高スコアを出せる。

ぱーぷれきしてぃ（こんわくど）

パープレキシティとは、言語モデルがテキストをどれほど的確に予測できるかを数値で示す評価指標のこと。値が低いほど予測精度が高く、LLMの開発・比較・ファインチューニング評価で広く用いられる。

ぱすあっとけー

pass@kとはコード生成AIが生成したk個のコードサンプルのうち、少なくとも1つが全ユニットテストを通過する確率を示す評価指標のこと。

びーえふしーえる

BFCLとは、LLM（大規模言語モデル）が外部ツールやAPIを状況に応じ正確に呼び出せるかを測る関数呼び出し評価ベンチマークのこと。

ひとでひょうか

人手評価とは、AIが生成したテキストや画像などの出力品質を、人間が直接採点・判定するモデル評価手法のこと。

ひゅーまにてぃーずらすとえぐざむ

HLEとはScale AIとCenter for AI Safety（CAIS）が2025年に公開した、博士課程レベルの難問2,500問でAIの推論限界を測る超難関ベンチマークのこと。

ひゅーまんいばる

OpenAI 発の Python コーディング能力ベンチマーク。 164 問の関数実装タスク。

ぶるー

BLEUとは機械翻訳や文章生成の品質を人間の参照訳と比較してスコア化する自動評価指標のこと。

ふろんてぃあます さいなんかんすうがくべんち

FrontierMathとは、専門家でも解くのに数時間から数日かかる高難度の数学問題群でAIモデルの推論能力を測定する最難関ベンチマークのこと。

べんちまーく

ベンチマークとは、AIモデルの性能を標準化されたテスト課題で数値化し、異なるモデル間を公平に比較するための評価基準セットのこと。MMLUやHumanEval等、用途別に数十種類が存在する。

べんちまーくおせん

ベンチマーク汚染とは、AIモデルの訓練データにテスト用評価データが混入し、性能スコアが実際の能力より高く見える現象のこと。

もす（へいきんおぴにおんひょうてん）

MOSとは、合成音声や生成コンテンツの品質を人間の主観評価によって1〜5点で数値化する評価指標のこと。

らいぶこーどべんち

LiveCodeBenchとは、LeetCodeなどの競技プログラミングサイトから継続的に新問題を収集し、学習データ汚染を排除した条件でLLMのコーディング能力を客観評価するベンチマークのこと。

らいぶべんち

LiveBench（ライブベンチ）とは、推論・数学・コーディングなど複数分野でLLMを横断評価し、データ汚染を避けるため毎月問題を更新し続ける総合ベンチマークのこと。

らがす

RAGASとはRAGシステムの回答品質を自動評価するオープンソースフレームワークのこと。忠実性・回答適合性・文脈精度・文脈網羅性の4指標をLLMジャッジで採点し、チューニングの効果を定量化する。

りこーるあっとけー

Recall@kとは、検索・推薦システムが上位k件の結果の中に、正解となる関連アイテムをどの割合で含めているかを測る評価指標のこと。

るーじゅ

ROUGEとはLLMや機械翻訳が生成したテキストを参照テキストとのn-gram一致率で自動採点する要約評価指標のこと。

れいてんし

レイテンシとは、AIモデルにリクエストを送信してから最初のレスポンスが返るまでの応答時間のこと。

ろんぐべんち

LongBenchとは、大規模言語モデルが長い文脈をどれだけ正確に理解・処理できるかを測る多タスク・多言語対応のベンチマークのこと。