定義
JGLUEとは、日本語の自然言語処理モデルの言語理解能力を測るために東京大学・早稲田大学・ヤフーが共同開発したベンチマークデータセット群のこと。
JGLUE (日本語言語理解ベンチマーク)とは（詳しく解説）
JGLUEは、文章分類・類似度判定・QAなど複数のタスクで構成される日本語版GLUEベンチマークで、英語圏で標準化されていたGLUE/SuperGLUEの枠組みを日本語に適用したものとして、国内の日本語LLM評価では事実上の標準的な参照ベンチマークの一つとされる。JGLUEのスコアだけでモデルの実運用適性を判断するのは危険で、ベンチマークで高スコアを出しても、現場の業務文書や口語表現、専門用語を含む実際のタスクでは精度が伸び悩むケースがあると指摘される。2026年時点では、JGLUEに加えて日本語特化の追加ベンチマークやドメイン別の評価セットを組み合わせて選定する運用が広く採用されている。自社でモデルを再評価する場合は、推論コストや評価用のAPI呼び出し費用も無視できないため、まずは公開されているJGLUEスコアで候補を絞り込み、実運用に近いテストセットで最終選定するという二段階の進め方が現場では合理的とされる。
この解説の引用について
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます（CC BY 4.0）。
出典: AI PICKS AI用語辞典「JGLUE (日本語言語理解ベンチマーク)とは」 https://aipicks.jp/glossary/jglue
JGLUE (日本語言語理解ベンチマーク)の使用例
- モデル選定時に「JGLUEのJSTSスコアを教えて」と聞き、候補モデルの日本語理解力を比較する。
- 社内評価パイプラインにJGLUEのタスクセットを組み込み、候補LLMの一次スクリーニングに使う。
