定義
プロンプトA/Bテストとは、同じタスクに対して複数のプロンプト案を用意し、出力品質やコストを比較して最適な指示文を選び出す手法のこと。
プロンプトA/Bテストとは（詳しく解説）
プロンプトA/Bテストは、同一のタスクや質問に対して文言・構成・パラメータが異なる複数のプロンプトを用意し、出力の精度や再現性、トークン消費量などを比較検証する手法で、ソフトウェア開発におけるA/Bテストの考え方をLLM活用に応用したものとされる。2026年時点の実運用では、モデルの出力にはランダム性があるため単発の比較では判断を誤りやすく、同一プロンプトを複数回実行して分布で評価する必要がある点が現場での落とし穴として知られる。また評価を人手レビューのみに頼ると工数がかさむため、LLM自身に出力を採点させるLLM-as-judge方式や既存の評価フレームワークを併用する構成が広く採用されている。コスト面では比較対象のプロンプト数やモデル呼び出し回数に比例してAPI利用料がかさむため、まず少数のバリエーションと小規模サンプルで絞り込み、有望な候補のみ本番相当のトラフィックで検証する段階的な進め方が相場感として定着しつつある。
この解説の引用について
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます（CC BY 4.0）。
出典: AI PICKS AI用語辞典「プロンプトA/Bテストとは」 https://aipicks.jp/glossary/prompt-ab-testing
プロンプトA/Bテストの使用例
- 同じ要約タスクに『簡潔に要約して』と『重要な数値と結論を3行で要約して』の2案を用意し、出力の情報量を比較する。
- カスタマーサポート返信生成で、口調指定ありのプロンプトと無しのプロンプトを同数実行し、満足度評価の分布を比較する。
