OpenAI Codexの発表内容
OpenAIは、OpenAI CodexのAPIで12時間のプロンプトキャッシュ (指示内容を一時保存する仕組み) を選べるようにしました。開発者はAPI経由で指示を送る際に、キャッシュの保持期間として12時間を指定できます。
これにより、共通して使う指示文やツール定義、前後の文脈データを長く保持できます。リクエストの間隔が数時間空いた場合でも、キャッシュされた入力データに対する低い料金が適用されます。繰り返し同じ指示文を送信するコストを抑えられます。
dotsのような、日中を通して同じ文脈を再利用する常駐型のエージェントで効果を発揮します。数時間おきに動く自動処理でも文脈が途切れず、低い入力単価のまま処理を続けられます。
つまり、どういうこと？
ひらたく言うと、AIへの事前説明を半日ほど覚えておいてもらえる機能です。たとえるなら、朝に一度仕事の背景やルールを伝えておけば、夕方に次の作業を頼むときでも最初から説明し直さずに済むような仕組みです。数時間作業が空いても割引料金でそのまま頼めます。
誰に関係するか
APIで常駐型エージェントを動かしている人は、数時間空いた処理でも低単価のキャッシュ料金で文脈を引き継げるようになります。
