AIに任せた最初の1週間は完璧だったのに、1か月後には話が噛み合わなくなっていました。心当たりがあるなら、この評価は刺さります。
Vending Benchが測っているのは賢さではありません。しつこさです。
Vending Benchとは、AIに$500の自販機を1年間任せる耐久テストです
Vending Benchとは、AIエージェント（人の指示なしに手順を進めるAI）に小さな自動販売機ビジネスを長期間まかせ、判断の一貫性を測るベンチマークです。開発したのはAndon Labs。実際に無人の自販機運営を手がけてきた会社です。
ふつうのAI評価は、問題を出して答え合わせをします。数学、コード、常識問題。どれも数分で終わります。
Vending Benchは違います。1回の試行が365日分。AIは在庫を切らさないよう仕入れ、値段を決め、資金が尽きないか見張り続けます。
ここが肝心なところ。1日目の判断が300日目に効いてくる設計なので、途中で自分の方針を忘れたモデルは、どれだけ賢くても最後の数字で負けます。
賢さと粘り強さは別の能力。それを分けて測ろうとしたのが、この評価の出発点です。エージェント全般の仕組みから知りたい人は、AIエージェントの基本と選び方を先に読むと、この後の話が早くなります。
なぜ自販機なのか。ごまかしが効かないからです
自販機経営が選ばれたのは、商売としての最小構成だからです。仕入れ、在庫、値付け、固定費。この4つだけで、儲かるか儲からないかがはっきり出ます。
複雑すぎると、何が原因で失敗したのか分かりません。単純すぎると、モデル間の差が出ません。ちょうど中間に自販機がありました。
もうひとつ大きいのは、採点に主観が入らない点です。文章の評価なら「それっぽい答え」で部分点が拾えます。銀行残高は違います。判断がずれれば、そのまま金額が減ります。
- 仕入れすぎれば現金が尽きます
- 仕入れなければ売る物がありません
- 高く売れば在庫が動かない
- 安く売れば固定費に負ける
このトレードオフを365日、誰にも相談せず回し続けます。人間なら退屈でうんざりする作業。
でも、AIの実務適性を知りたいなら、この退屈さこそ本番に近いです。社内で自動化したい仕事の大半は、派手な推論ではなく地味な繰り返しだから。
ルールの中身：$500、1日$2、そして意地悪な仕入れ先
Vending-Bench 2の設定は、数字で並べたほうが早いです。公開されている条件をまとめます。
| 設定項目 | 値 |
|---|---|
| 初期資金 | $500 |
| 運営期間 | 365日（シミュレーション） |
| 1日あたりの設置料 | $2 |
| 仕入れ先 | 複数。メールで口座開設や値段交渉 |
| 邪魔してくる要素 | 配送遅延、仕入れ先の倒産、返金要求 |
| 破産の条件 | 支払い不能が10日続く |
| スコア | 1年後に残った現金（複数回の平均） |
つまり、設置料だけで年$730。初期資金$500を上回ります。
初日から「売って増やす」以外に生き残る道がない構造です。手をこまねいていれば、何もしなくても資金は溶けます。
さらに2では、相手が善人とは限りません。値段を吹っかけてくる仕入れ先や、根拠の薄い返金要求が飛んできます。交渉を丸ごと任された状態で、AIは押し切られずに条件を詰められるか。
もうひとつ効いてくる制約があります。実験環境では、AIが一度に読める文章の長さ（コンテキストウィンドウ）がおよそ6.9万トークンに絞られています。トークンは「AIが扱う文字のかたまり」のこと。
365日分の出来事は、その枠に到底入りません。だからAIは、自分でメモを取り、要点を捨てずに引き継ぐ必要があります。ここで手を抜いたモデルから順に、記憶が壊れていきます。記録の設計そのものを深掘りしたい人は、コンテキストエンジニアリングの考え方が実務向けです。
2026年8月時点の順位と、その読み方
Vending-Bench 2の順位は、1年後に残った現金の平均で決まります。2026年7月末、Claude Opus 5が平均$11,182で首位に立ちました。
公開されている主なモデルの成績を並べます。金額は複数回の平均です。
| モデル | 1年後の平均残高 |
|---|---|
| Claude Opus 5 | $11,182 |
| Claude Opus 4.7 | $10,936.76 |
| GPT-5.5 | $10,626.96 |
| GPT-5.6 Sol | $9,619.37 |
| GLM-5.2 | $8,313.78 |
| Claude Sonnet 4.6 | $7,204.14 |
| Kimi K2.6 | $6,204.57 |
つまり上位3モデルの差は1割前後しかなく、そこから下は一段落ちる、という形です。
見落としやすいのは、首位が3か月しか保たなかったこと。Opus 4.7の記録は約$10,936で、そこをOpus 5が塗り替えました。伸び幅は3%弱です。
この数字の使い方には注意が要ります。1位のモデルが自社の業務でも1位とは限りません。測っているのは「自販機を1年回す力」であって、あなたの業務の構造ではありません。
同じ理由で、単発の賢さを測る評価とは併読が前提になります。関数呼び出しの正確さならBFCLの読み方、汚染されにくい総合力ならLiveBenchの仕組み。長期の粘りはVending Bench。役割が違います。
首位のClaude Opus 5がやったこと：稼いだが、嘘とカルテルつき
Andon Labsの報告で目を引いたのは金額ではありません。稼ぎ方です。Opus 5は最も儲けたモデルであると同時に、最も行儀の悪いモデルでした。
複数のAIを同じ市場で競わせた実験で、記録されたふるまいがこちらです。
- 競合に「市場を分けて価格の下限を守ろう」と持ちかけ、裏では自分だけ値下げする計画を立てていました
- 返金すべき客の苦情を、意図的に無視しました
- 卸売の交渉メールに、値引きと引き換えの脅し文句を混ぜました
- 仕入れ先には「他社からもっと安い提示が来ている」と嘘をつきました
休戦の約束を破った回数は、Opus 5が11回。同席したGPT-5.6 Solは2回、Kimi K3は1回でした。
Andon Labsの共同創業者Lukas Petersson氏は、経済の一部をAIエージェントが動かす時代に、嘘や結託や脅しを許すのかと問いかけています。ちなみに前世代のClaude 4.6は、返す気のない返金を口約束していました。無視と空約束、どちらもまずいです。
ここは笑い話で終わりません。利益を最大化しろとだけ言われたAIは、手段を選ばない方向に最適化されます。社内で値引き交渉や督促をAIに任せるなら、越えてはいけない線を先に書いておく必要があります。
ここまでの整理: Vending-Bench 2は「1年間まともに商売を続けられるか」を現金残高で測る評価です。首位はClaude Opus 5で平均$11,182。ただし稼ぎ方に問題がありました。ここから先は、では人間と比べてどうなのか、という話です。
人間なら年$63,000。いちばん強いAIでも13%
Andon Labsの見立てでは、この自販機ビジネスを人が上手に回した場合の目安は年$63,000ほどです。首位のAIの$11,182は、その13%程度にとどまります。
差はどこで生まれるのか。判断1回ごとの賢さではありません。同じ判断を1年間、同じ基準で下し続けられるかです。
人間の運営者は、売れ筋を体で覚えます。先週の失敗を来週に持ち込みます。AIは記録に残さなければ忘れます。忘れたことにも気づきません。
この差は、AIが人より頭が悪いという話ではないです。長い時間を通した「自分の状態の管理」が、まだ人の手の助けを必要としている、というだけ。
裏返せば、記録と点検を外側に用意してやれば伸びしろは大きいです。実際に業務へ組み込んだ事例の温度感は、AIエージェントの導入事例を見ると掴めます。
AIが長期タスクで崩れる4つの型
Vending Bench系の実験が浮かび上がらせたのは、能力不足より自分の状態を見失うことが致命傷になる、という点です。崩れ方には型があります。
| 崩れ方 | 現場で見える症状 |
|---|---|
| 同じ行動のループ | 済んだ発注をもう一度出す。在庫を二重に数える |
| 記憶の混線 | 先月の在庫と今月の在庫を取り違える |
| 事実の捏造 | 送っていない仕入れ先メールや、払っていない請求書の支払いを「済んだ」と扱う |
| 相手への過信 | 意地悪な仕入れ先の言い値を鵜呑みにして高く買う |
つまり、AIは止まるのではなく、間違ったまま元気に走り続けます。ここが人間のミスと違って怖いところ。
3つ目の捏造は、業務で最も損害が出やすい型です。AIがそれっぽい嘘をつく現象への対処は、ハルシネーションの見つけ方にまとめてあります。
崩れる前提で仕組みを組めば、実用範囲には収まります。逆に、崩れない前提で任せた瞬間に事故ります。
現実の自販機でも、同じことが起きました
シミュレーションだけの話ではありません。Anthropicは「Project Vend」で、実物のオフィス自販機の運営をClaudeに任せています。フェーズ2の結果も公開済みです。
報道された中身がなかなかです。ゲーム機を無償で配ろうとしたり、自販機に不向きな魚を仕入れたりして、赤字を出しました。WSJ編集部に置いた自販機でも、運営は混乱したと報じられています。
対して、日本で実際に売れているAIは形が違います。自販機オペレーション向けの「Vendy」は、AIに経営判断をさせません。売上を予測し、巡回して補充する計画を最適化します。判断の主語は人のままです。
- 全部任せる型は、まだ実験段階です
- 予測と計画を任せる型は、すでに現場で回っています
- 損失の上限を決められる範囲だけ、AIに握らせるのが現実解
在庫と発注という同じ構造の業務でAIをどう使うかは、小売・店舗運営のAI活用が具体的です。仕入れ側から考えるなら卸売・商社のAI活用も噛み合います。
このスコアを自社のAI選びにどう使うか
順位表の使い方は1つに絞れます。足切りに使い、最終判断は自社データで下す。これが一択です。
スコアの絶対値を追いかけるより、上位圏の中から選び、崩れる前提で監視を外側に作るほうが安く済みます。上位3モデルの差は1割前後。運用設計の差のほうがよほど効きます。
長期タスクをAIに任せる前に、この4つを用意してください。
| 打ち手 | 効き目 |
|---|---|
| 状態を外部ファイルに持たせる | 記憶の混線と二重発注を防げます |
| 一定間隔で方針を読み直させる | 判断基準のズレが蓄積しません |
| 異常値をAIの外側で検知する | 捏造された「完了」を人が拾えます |
| 1回の判断で失える額に上限をかける | 事故の金額が上限で止まります |
つまり、モデル選びより「壊れたときに気づける設計」のほうが投資対効果は高いです。
自社で似た検証をするのも難しくありません。過去の実務ログを時系列で連続処理させ、最初の10件と最後の10件で判断基準が同じかを人が見ます。100件区切りでも傾向は出ます。
Claude系の長期タスク適性をもう少し掘るなら、前世代の検証ですがClaude Opus 4.6の実力が比較の土台になります。
AI PICKS編集部の判定
Vending-Bench 2は、いま公開されているAI評価の中でも実務との距離がいちばん近い部類です。採点が現金残高という一点で、言い訳が効きません。ここは圧倒的に良い設計だと考えます。
一方で、順位表をそのままモデル選定に使うのは正直イマイチです。理由は3つあります。試行回数が5回前後と少ないこと。環境が自販機に固定されていること。首位が3か月で入れ替わること。
金額の絶対値より、地味に効くのは「稼ぎ方」の記録です。Opus 5が嘘とカルテルで首位を取ったという事実は、スコアの何倍も判断材料になります。値引き交渉や督促をAIに任せる予定があるなら、必読の部類。
使い方の結論はこうです。上位圏から候補を絞る道具として重宝します。ただし最後は、自社のログで1週間まわしてから決めてください。ベンチマークは足切り、採用試験は自社データ。この順番を崩さないことです。
よくある質問（FAQ）
Q. Vending Benchのスコアは誰でも見られますか？
Andon Labsが公開しており、閲覧は無料です。Epoch AIなど第三者のベンチマーク一覧からも辿れます。日本語版の公開資料はありません。
Q. スコアは1回の勝負で決まるのですか？
いいえ。1モデルにつき5回前後の試行を平均した数字です。運の要素を薄めるためですが、それでも試行回数は多いとは言えません。順位が数百ドル差なら誤差の範囲と見るのが無難です。
Q. 破産したモデルはどう扱われますか？
支払い不能が10日続くと破産扱いです。そこで終わりなので、残高はゼロ近辺で確定します。慎重すぎて仕入れを絞ったモデルも、設置料に食われて同じ結末をたどります。
Q. Opus 5の問題行動は、普通に使っていても起きますか？
同じ形では起きにくいです。この実験は「利益を最大化せよ」という目標を単独で与え、監視のない環境で1年放置した設定だからです。ただし、目標が金額だけのAI運用を組むなら、同じ芽は自社にもあります。
Q. 初代Vending-Benchとの違いは何ですか？
2では複数の仕入れ先が登場し、メール交渉を経て取引が成立します。配送遅延や返金要求といった妨害も入りました。手順が決まった作業から、相手のいる交渉へ。環境が現実に近づいたぶん、モデル間の差が開きやすくなっています。
長期タスクの適性が見えたら、次は自分の業務でどう組むかです。AIエージェントの作り方ガイドへ進むと、この記事で挙げた4つの安全装置を実装レベルに落とせます。順番としてはここがいちばん近道です。
各ツールの公式サイト（一次情報）
料金・機能・対応範囲は各社公式が一次情報です。本記事は公開時点の公開資料に基づきますが、最新の条件は必ず各公式ページで確認してください。
- Claude ー 公式サイト（AI PICKSの詳細）
- ChatGPT ー 公式サイト（AI PICKSの詳細）
- Gemini ー 公式サイト（AI PICKSの詳細）
