定義
SWE-bench Multimodalとは、UIのスクリーンショットを含むGitHub issueをAIエージェントに解決させ、視覚理解力を測る評価ベンチマークのこと。
SWE-bench Multimodal (UI付きコード修正ベンチ)とは（詳しく解説）
SWE-bench Multimodalは、テキストのみだったSWE-bench/SWE-bench Verifiedを拡張し、UIバグやレイアウト崩れなど画像・スクリーンショットの理解が必要なGitHub issueを解決させる評価ベンチマークとして提案された。エージェントはissue文と画面キャプチャから原因を特定し、実際にコードを修正してPRを生成、テストスイートの通過可否でスコアが決まる。テキストのみのベンチより解決率が大きく下がる傾向が広く知られており、視覚情報からDOM構造やCSSの因果関係を推論する能力がボトルネックになりやすいとされる。2026年時点の実運用では、フロントエンド修正を任せるAIコーディングエージェントの選定基準としてこのスコアが参照されることが増えており、現場ではベンチマーク上位でも自社のUIコンポーネント構成には弱いケースがあるため、実案件に近いissueでの検証が推奨される。実行にはスクリーンショット付きの環境構築とテスト実行コストがかかり、大規模モデルを多数のissueに回す評価コストも相場感として無視できない。
この解説の引用について
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます（CC BY 4.0）。
出典: AI PICKS AI用語辞典「SWE-bench Multimodal (UI付きコード修正ベンチ)とは」 https://aipicks.jp/glossary/swe-bench-multimodal
SWE-bench Multimodal (UI付きコード修正ベンチ)の使用例
- 『ログインボタンが画面下にはみ出す』というスクリーンショット付きissueをエージェントに渡し、CSS修正PRを生成させて自動評価する。
- テキストのみのSWE-bench Verifiedでは高スコアでも、SWE-bench Multimodalでは解決率が落ちるエージェントの弱点発見に使う。
