定義
TruthfulQA(真実性ベンチ)とは、大規模言語モデルが人間に広く見られる誤解や俗説に引きずられず、事実に基づいた正確な回答を返せるかを測定するベンチマークのこと。
TruthfulQA (真実性ベンチ)とは（詳しく解説）
TruthfulQAは2021年にOpenAIとオックスフォード大学の研究者が発表した、大規模言語モデルの「真実性」を測るベンチマークとされる。医療・法律・都市伝説など人間が誤解しやすい817問の質問に対し、モデルが世間に広まった俗説やバイアスを鵜呑みにせず、事実に即した回答を返せるかを採点する仕組みで、GPT系やLlama系など主要モデルの技術レポートで比較指標として広く採用されているとされる。ただし2026年時点の実運用では、スコアが高いモデルでも自社ドメイン固有の事実確認には弱く、RAGやファクトチェック機構との併用が現場では前提になっているとされる。単体のベンチマークスコアだけでモデル選定をすると、実際のハルシネーション率と乖離するケースがあるため、社内評価セットでの追試コストを見込んだ上で、公開ベンチマークは相場感をつかむ一次情報として扱うのが現実的な選び方とされる。
この解説の引用について
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます（CC BY 4.0）。
出典: AI PICKS AI用語辞典「TruthfulQA (真実性ベンチ)とは」 https://aipicks.jp/glossary/truthfulqa
TruthfulQA (真実性ベンチ)の使用例
- 「TruthfulQAのスコアが高いから安心」と鵜呑みにせず、自社ユースケースでの追試も行う。
- 契約書レビューAI導入前に、俗説・迷信への追随といった誤答パターンを想定した社内テストケースを用意する。
