定義
GUIグラウンディングとは、AIエージェントが画面のスクリーンショットやDOM情報からボタン・アイコンなどの操作対象を認識し、クリックやタップすべき座標へ変換する技術のこと。
GUIグラウンディング (画面要素の座標特定)とは（詳しく解説）
GUIグラウンディングとは、AIエージェントが画面のスクリーンショットやDOM情報から操作対象のUI要素を認識し、クリックやタップに必要な座標へ変換する技術を指す。大規模マルチモーダルモデルにビジョン系の認識能力を組み込み、テキスト指示から実際の画面操作へ橋渡しする役割を担うとされる。2026年の実運用では、解像度やスケーリングの違いによる座標ズレ、動的に変化するUIでの誤認識、類似アイコンの取り違えなどが落とし穴として指摘される。現場では精度を担保するため、スクリーンショットの前処理やリトライ機構、人間による最終確認ステップを組み合わせる運用が広く採用されている。コスト面では画面解析のたびにモデル呼び出しが発生するため操作回数が多い自動化ほど推論コストが積み上がりやすく、相場感としてはタスクの複雑さに応じた従量課金を提示するベンダーが多い。選定時はグラウンディング精度のベンチマークと料金体系の両方を確認することが重要とされる。
この解説の引用について
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます（CC BY 4.0）。
出典: AI PICKS AI用語辞典「GUIグラウンディング (画面要素の座標特定)とは」 https://aipicks.jp/glossary/gui-grounding
GUIグラウンディング (画面要素の座標特定)の使用例
- 「送信ボタンを押して」という指示に対し、スクリーンショットからボタン位置を認識し座標を出力してクリックを実行する。
- ブラウザ操作エージェントが検索窓の位置を画面画像から特定し、クリック後にテキストを入力する。
