定義
LongBenchとは、大規模言語モデルが長い文脈をどれだけ正確に理解・処理できるかを測る多タスク・多言語対応のベンチマークのこと。
LongBench (長文脈ベンチ)とは(詳しく解説)
LongBenchは清華大学(THU)発の研究チームが公開した、大規模言語モデルの長文脈理解力を測る代表的なベンチマークとされる。要約・QA・コード補完・少数ショット学習など複数タスクを英語・中国語で評価し、モデルが数万トークン規模の入力から必要な情報を正確に抽出できるかを検証する構成が特徴とされる。2026年時点の実運用では、ベンチマークスコアが高いモデルでも、実際のドキュメント検索や長大な議事録要約では中間部分の情報を取り落とすといった課題が指摘されており、公開スコアだけで導入判断をするのは危ういという声が多い。現場でモデルを選定する際は、LongBenchのようなベンチマーク結果を足切りの参考値として使いつつ、自社の実データ・実タスクに近い形で追加検証するのが定石とされる。またコンテキストウィンドウを広げるほど推論コストも上がるため、相場感としては必要な文脈長とコストのバランスを見て選定する運用が広がっている。
この解説の引用について
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます(CC BY 4.0)。
出典: AI PICKS AI用語辞典「LongBench (長文脈ベンチ)とは」 https://aipicks.jp/glossary/longbench
LongBench (長文脈ベンチ)の使用例
- 長大な議事録や仕様書をLLMに読み込ませる前に、LongBenchのタスク傾向で要約精度の目安をつける使い方がある。
- モデル選定時に「LongBenchのQAタスクで上位のモデルはどれか」を比較検討の出発点として使う。