定義
RewardBenchとは、LLMの報酬モデル(RLHFで人間の選好を学習したモデル)の選好一致精度を測定する評価ベンチマークのこと。
RewardBench (報酬モデル評価ベンチ)とは（詳しく解説）
RewardBenchは、chosen(採用すべき応答)とrejected(却下すべき応答)のペアデータに対し、報酬モデルが人間の選好と同じ順位付けをどれだけ再現できるかをChat・Reasoning・Safety・Chat Hardなど複数カテゴリで採点する評価ベンチマークとして広く参照される。RLHFやDPOでベースモデルを調整する際、報酬モデルの選好精度が低いと生成結果が意図しない方向に最適化される「reward hacking」が起きやすく、事前検証の位置づけで使われる。2026年時点の実運用では、総合スコアの順位だけで報酬モデルを選ぶと日本語対話や業務ドメイン固有の判断で性能が乖離するケースがあるため、カテゴリ別スコアと自社データでの追加検証を併用するのが現場の相場感になっている。既製の報酬モデルをAPI経由で使う場合の評価コストは小さいが、自前でファインチューニングし継続的に評価し直す運用では計算コストがかさむ点に注意が必要とされる。
この解説の引用について
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます（CC BY 4.0）。
出典: AI PICKS AI用語辞典「RewardBench (報酬モデル評価ベンチ)とは」 https://aipicks.jp/glossary/rewardbench
RewardBench (報酬モデル評価ベンチ)の使用例
- モデルAとBの報酬モデルをRewardBenchのChatカテゴリで比較し、選好一致率が高い方をRLHF学習に採用する。
- 自社向け報酬モデルを選ぶ際、RewardBenchの総合順位だけでなくカテゴリ別スコアも確認する。
