定義
pass^kとは、生成AIモデルに同一タスクをk回実行させ、k回すべてが正解・成功した割合で信頼性を測る一貫性評価指標のこと。
pass^k (一貫性評価指標)とは（詳しく解説）
業界標準のpass@kが「k回中1回でも成功すれば合格」とするのに対し、pass^k（consistency@kとも呼ばれる）は「k回全て成功して初めて合格」とする、より厳しい一貫性評価指標とされる。単発のデモでは高精度に見えても、実運用でのリトライ前提の使い方では通用しないケースを可視化するために使われる指標で、コード生成やエージェントタスクの信頼性検証で広く採用されているとされる。2026年時点の現場でのコスト感として、pass^kの算出にはk倍の推論コストがかかるため、k=5やk=10のような大きなkを本番検証で回すとAPI費用が積み上がりやすい落とし穴がある。またkが大きくなるほど確率的にスコアが急落する性質があり、異なるkで測ったモデル同士を比較すると誤った優劣判断につながりやすい。現場での選び方としては、まずpass@kで潜在能力を確認したうえで、本番投入前の信頼性チェックとして小さいkから段階的にpass^kを導入するのが現実的とされる。
この解説の引用について
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます（CC BY 4.0）。
出典: AI PICKS AI用語辞典「pass^k (一貫性評価指標)とは」 https://aipicks.jp/glossary/pass-power-k
pass^k (一貫性評価指標)の使用例
- コード生成AIの本番導入前に、同一プロンプトをk=5回実行しpass^5を計測して安定性を確認する。
- pass@1が90%でもpass^5が40%なら、単発では良く見えて実運用では不安定なモデルと判断できる。
