定義
BFCLとは、LLM(大規模言語モデル)が外部ツールやAPIを状況に応じ正確に呼び出せるかを測る関数呼び出し評価ベンチマークのこと。
BFCL (関数呼び出し評価)とは(詳しく解説)
BFCLは、UC Berkeleyが公開する、LLMが外部の関数やAPIを状況に応じて正しく呼び出せるかを測る業界標準の評価ベンチマークの一つとされる。単一の関数呼び出しに加え、複数関数を並列に呼び出す能力や、マルチターンで文脈を保ちながら連続して呼び出す能力、さらに適切な関数が存在しない場合に呼び出しを控える判断力までを評価対象に含む点が特徴とされる。2026年時点の実運用では、リーダーボード上位のモデルであっても、自社が実際に使うツール定義や独自のAPI仕様に当てはめると精度が想定より落ちることがあるとされ、現場ではBFCLのスコアを絶対値ではなく参考値として扱う運用が広く採用されている。またモデルの入れ替えを検討するたびに独自の評価セットで再検証する手間や、評価用のAPI呼び出しにかかるコストも無視できないため、相場感を踏まえてどこまで自動評価に投資するかを見極めることが、現場でのモデル選びの実務上のポイントになるとされる。
この解説の引用について
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます(CC BY 4.0)。
出典: AI PICKS AI用語辞典「BFCL (関数呼び出し評価)とは」 https://aipicks.jp/glossary/bfcl
BFCL (関数呼び出し評価)の使用例
- 「東京の明日の天気を調べて」という指示に対し、天気APIの関数を正しい引数で呼び出せるかをBFCL形式で評価する。
- 検索・計算・カレンダー登録など複数ツールから適切な1つを選び、パラメータ込みで呼び出せるかを採点する。