Patronus AIは、Patronus AI, Inc.が提供する、AIエージェントやLLMの信頼性を評価・検証するための研究とシミュレーション基盤です。現在は「Digital World Model」と呼ぶ、デジタル上の業務でエージェントがどう動くかを予測・再現するモデルの開発に力を入れており、エージェントが学習と検証に使える仮想環境を作っています。

主な機能

  • 製品はCore Platform、Percival、RL Envs（強化学習環境）の3本立て
  • ソフトウェア開発、カスタマーサービス、金融、研究、Webやモバイルアプリの操作といった実務を再現したシミュレーション
  • 長期タスク、マルチターン対話、ディープリサーチ、エージェントの記憶など、モデルの中核能力を試すシナリオ設計
  • 幻覚検出モデル「Lynx」、金融の質問への回答力を測るベンチマーク「FinanceBench」、判断の根拠を示す評価モデル「GLIDER」などの研究成果

向いている使い方

AIエージェントを本番に出す前に失敗しやすい場面を洗い出したい開発チームや、LLMの回答に幻覚が混じっていないかを継続的に確かめたい企業に向きます。ブラウザ上のPlaygroundで仮想環境を試すこともできます。

料金

Developerプランは無料で、クレジットカード不要、2プロジェクトまで、プロジェクトごとに5実験まで使えます。Patronus APIは従量課金で、$10分の無料クレジットが付きます。Enterpriseは要問い合わせで、利用量無制限、オンプレミスまたは専用VPCでの運用、SSOとカスタムデータ保持に対応します。

注意点

公式サイトはフロンティアラボとしての研究を前面に出しており、評価ツールとしての細かな使い方はドキュメントで確かめる必要があります。評価シナリオの設計にはある程度の専門知識が求められます。