本ページはプロモーションを含みます（掲載基準）
評価のばらつき (Eval Variance)の定義
評価のばらつきとは、同じAIモデルや同じプロンプトに対する評価結果が、評価者・実行タイミング・サンプリング設定によって一致せず変動する現象のこと。
評価のばらつき (Eval Variance)とは（詳しく解説）
評価のばらつき（Eval Variance）とは、LLMの出力に対する評価スコアが、評価者（人間またはLLM審査員）・実行タイミング・温度やサンプリング設定の違いによって一定にならない問題を指す。生成AIの評価は分類タスクのような決定論的な正解判定と異なり、同一プロンプトでも生成結果自体が確率的にぶれるため、評価結果にも本質的なばらつきが生じるとされる。2026年時点の実運用ではLLM-as-a-judge方式が主流になった一方、審査モデルの表現差やプロンプトの言い回しでスコアが変動する「judge bias」が現場の悩みとして広く指摘されている。対策としては、同一入力に対する複数回評価の平均化、評価基準を明文化したルーブリックの併用、人間評価とのサンプリング突合によるキャリブレーションなどが一般的とされる。コスト面では評価回数を増やすほどAPI呼び出し費用が積み上がるため、精度とコストの相場感を見ながら評価頻度・サンプル数を選ぶのが現場での基本的な考え方とされる。
評価のばらつき (Eval Variance)を調べた人に
ChatGPT・
複数のAIに同じ質問をして答えを比べたり、講座で使い方を体系立てて学んだりできます。
初月10ドルオフ（新規ユーザー）
ChatGPTやClaudeへの長い指示を、打たずに声で入力できる。日本語にも対応し、Mac・Windowsのどのアプリでも使える（無料は1,000語まで）
AI音声・文字起こし ／ 最低料金 ¥0〜
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます（CC BY 4.0）。
出典: AI PICKS AI用語辞典「評価のばらつき (Eval Variance)とは」 https://aipicks.jp/glossary/eval-variance
評価のばらつき (Eval Variance)の使用例
- 同じプロンプトを5回実行し、LLM審査員のスコアが70点台〜80点台まで振れた場合、評価のばらつきが疑われる。
- 「高評価が出やすいモデルを選ぶべきか、ばらつきを減らす評価設計を先にすべきか」という判断が現場で問われる。
評価のばらつき (Eval Variance)に関連するAIツール
評価のばらつき (Eval Variance)の関連記事
評価のばらつき (Eval Variance)の関連用語
12カテゴリ・1874語以上を体系的に整理しています