Jevmanは、パックマンのゲーム環境を用いて意思決定モデルの推論性能を測定するベンチマークです。各モデルには1手あたり2秒以内の応答制限が課され、超過した手は代替ルールに置き換わる仕様となっており、判断の的確さとレイテンシを同時に検証できます。静的なテキスト処理ではなく、即時性が求められる環境下でのエージェント性能を比較したい開発者や研究者に適しています。95%信頼区間を用いた平均スコアの算出により、動的タスクにおける各モデルの実力を客観的に把握できます。
Jevmanは、各モデルにパックマンを100ゲームずつプレイさせ、一手あたり2秒の制限内で判断させる公開ベンチマークです。95%の誤差範囲に収まるモデル同士は同順位とし、全ゲームを記録して再生できるため、結果を検証しやすい点が強みです。
編集部レビューの全文 >

