定義
HaluEvalとは、LLMが生成した回答の幻覚（事実と異なる内容）を検知できるかを測定するために構築されたベンチマークデータセットのこと。
HaluEval (幻覚検知ベンチ)とは（詳しく解説）
HaluEvalは、中国人民大学の研究チームが2023年に発表した、LLMの幻覚検知能力を測るベンチマークで、質問応答・対話・文章要約・一般ユーザークエリの4種類のタスクにわたり、正しい回答と幻覚を含む回答のペアを大量に収録している構成が業界標準として知られる。モデルにどちらが幻覚かを判定させることで、生成内容の事実整合性をチェックする能力を測定する枠組みとされる。2026年時点の実運用では、HaluEvalのスコアが高いモデルでも、ドメイン固有の専門用語や最新情報を扱う場面では幻覚を出しやすいという落とし穴が指摘されており、ベンチマーク単体の数値を鵜呑みにせず、RAGや事実検証ツールとの併用が現場での標準的な選び方になっているとされる。導入のコスト感としては、ベンチマーク自体は無償公開されているが、実運用に組み込む場合は評価パイプラインの構築や継続的なモニタリング体制にかかる工数が主なコストになるとされる。
この解説の引用について
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます（CC BY 4.0）。
出典: AI PICKS AI用語辞典「HaluEval (幻覚検知ベンチ)とは」 https://aipicks.jp/glossary/halueval
HaluEval (幻覚検知ベンチ)の使用例
- HaluEvalのQAタスクでは、正しい回答と幻覚を含む回答を提示し、モデルにどちらが正しいか判定させる。
- プロンプト例:「次の回答は幻覚を含みますか、事実に基づいていますか。理由とともに判定してください」
