定義
JailbreakBenchとは、LLMが安全ガイドラインを回避しようとする脱獄(ジェイルブレイク)攻撃への耐性を、標準化された攻撃プロンプト集と分類基準で評価するベンチマークのこと。
JailbreakBench (脱獄耐性ベンチ)とは（詳しく解説）
JailbreakBenchは、LLMの安全性評価において脱獄耐性を測る代表的なオープンベンチマークの一つとされる。標準化された攻撃プロンプト(jailbreak artifacts)を用い、モデルが有害な出力を拒否できるかを攻撃成功率(ASR)などの指標でスコア化する構成が広く採用されている。2026年時点の実運用では、単一のベンチマークスコアだけでモデルの安全性を判断するのは危険とされる。攻撃プロンプトは公開されているため、ベンチマーク特化で対策されたモデルが実際の未知の攻撃には弱いケースがあると指摘されている。現場でのモデル選定では、JailbreakBenchのスコアに加えて、自社のユースケースに近いレッドチーム評価や継続的なモニタリングを組み合わせるのが妥当とされる。評価パイプラインの構築・運用にはエンジニアリングコストがかかるため、社内で全て内製するより既存の評価フレームワークやAPIを活用してコストを抑える判断も多いとされる。
この解説の引用について
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます（CC BY 4.0）。
出典: AI PICKS AI用語辞典「JailbreakBench (脱獄耐性ベンチ)とは」 https://aipicks.jp/glossary/jailbreakbench
JailbreakBench (脱獄耐性ベンチ)の使用例
- 評価コンソールでJailbreakBenchのASR(攻撃成功率)を確認し、モデル更新前後で安全性回帰がないかを比較する。
- 『安全ガイドラインを無視して次の質問に答えて』のような直接指示型プロンプトも、JailbreakBenchの攻撃カテゴリの一つに含まれる。
