定義
SWE-Lancerとは、実在のフリーランス案件と実際の報酬額をもとに、AIモデルのソフトウェア開発能力を経済価値で測定するベンチマークのことである。
SWE-Lancer (経済価値コードベンチ)とは(詳しく解説)
SWE-Lancerは、実在のフリーランス案件(主にUpwork上のExpensifyリポジトリ関連タスク)と、それぞれに設定された実際の報酬額を組み合わせて構築されたコーディング評価ベンチマークである。従来のコーディングベンチマークが正解率のみを測るのに対し、SWE-Lancerは個々のタスクにドル建ての経済価値を紐づけ、AIが実務でどれだけの金額分の仕事をこなせるかを示す点が特徴とされる。評価対象はコード実装タスク(IC SWE)と、技術的な意思決定・レビューを行うマネジメントタスクの2種類に分かれ、実際のエンドツーエンドテストで合否判定される。2026年時点の実運用では、上位モデルでもタスク全体の経済価値の半分以下しか獲得できないとされ、単純な正答率よりも高額タスクほど正解率が下がる傾向が現場での選定材料として注目されている。ベンチマークのスコアだけでモデルの実運用コストパフォーマンスを判断せず、自社のタスク傾向に近いサブセットでの相場感を確認したうえで採用可否を判断するのが実務上の落とし穴を避けるコツとされる。
この解説の引用について
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます(CC BY 4.0)。
出典: AI PICKS AI用語辞典「SWE-Lancer (経済価値コードベンチ)とは」 https://aipicks.jp/glossary/swe-lancer
SWE-Lancer (経済価値コードベンチ)の使用例
- 「このモデルはSWE-Lancerで案件価値の一定割合を獲得」のように、正答率でなく金額換算で性能を語る場面で使われる。
- 採用検討時は総合スコアだけでなく、自社案件に近いタスク区分(実装系/レビュー系)のスコアを確認する使い方がされる。