Vercel Labsが開発したagent-desktopは、自律エージェントにデスクトップ操作機能を提供するオープンソースツールです。macOS、Windows、Linuxに対応し、Rustで実装されています。画面の画像解析や座標推定を行わず、OS標準のアクセシビリティAPIを通じてUI構造を取得し、各要素に固有の参照IDを割り当てて操作します。画像送信を伴わないため入力トークン消費を抑えられます。ポインタを専有しないバックグラウンド実行を標準としており、ローカル環境でエージェントを並行稼働させる開発者に向いています。
agent-desktopは、Vercel Labsが公開している、AIエージェントにデスクトップアプリを操作させるためのCLIとCライブラリです。画面のピクセルを照合する方式ではありません。
編集部レビューの全文 >

