定義
JMTEBとは、日本語のテキスト埋め込みモデルの性能を検索・分類・クラスタリング・STSなど複数タスクで横断的に評価するベンチマークのこと。
JMTEB (日本語埋め込み評価ベンチ)とは（詳しく解説）
JMTEBは、多言語ベンチマークMTEBの枠組みを日本語向けに整備した評価基盤で、検索・分類・クラスタリング・STS(意味的類似度)・再ランキングなど複数タスクの平均スコアでモデルの実力を横断的に比較できるとされる。英語中心のMTEBスコアだけでは日本語特有の表記ゆれや助詞・敬語のニュアンスを捉えきれないため、日本語RAGや検索システムを構築する際はJMTEBのタスク別スコアを確認するのが実運用では定石とされる。ただし現場での落とし穴として、JMTEBの総合スコアが高くても特定タスク(法律文書や口語表現など)では精度が想定より低いケースがあるとされ、自社データでの追加検証が推奨される。また埋め込みモデルはAPI課金かセルフホストかでコスト構造が大きく変わり、2026年時点では高スコアの大型モデルほど推論コストとレイテンシが増す傾向があるため、精度とコストのバランスを見て選定するのが現場の相場感とされる。
この解説の引用について
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます（CC BY 4.0）。
出典: AI PICKS AI用語辞典「JMTEB (日本語埋め込み評価ベンチ)とは」 https://aipicks.jp/glossary/jmteb
JMTEB (日本語埋め込み評価ベンチ)の使用例
- 日本語RAGの検索精度を上げたいとき、JMTEBのretrievalタスクスコアが高い埋め込みモデルへの切り替えを検討する。
- 複数の埋め込みモデルを選定する際、JMTEBの日本語タスク別平均スコアを比較材料の一つとして参照する。
