定義
COMETとは、事前学習済み多言語モデルの埋め込みを使い、機械翻訳の品質を人間の評価と高い相関でスコア化する自動評価指標のこと。
COMET (機械翻訳品質評価)とは（詳しく解説）
COMET（Crosslingual Optimized Metric for Evaluation of Translation）は、Unbabelが開発した機械翻訳の自動評価指標。原文・機械翻訳文・人手参照訳の3つを事前学習済み多言語モデル（XLM-Rベース）に入力し、意味的な近さを回帰的にスコア化する。WMT（機械翻訳国際会議）の評価タスクでは、n-gram一致で測るBLEUより人間の判断との相関が高いとされ、翻訳品質評価の業界標準として広く採用されている。2026年時点の実運用では、GPU推論コストが落とし穴になりやすい。BLEUが軽量な文字列比較で済むのに対し、COMETは大型モデルの推論を伴うため、大量文書の一括評価では計算コストと処理時間が無視できない相場感になる。モデルのバージョンや学習データでスコアの絶対値が変動するため、異なるCOMETモデル間の比較は避け、同一モデル・同一条件での相対比較にとどめるのが現場のセオリーとされる。選定の目安は、少数言語や専門用語が多い訳文ではBLEUと併用し、意味の破綻を見逃さない体制を組むことだ。
この解説の引用について
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます（CC BY 4.0）。
出典: AI PICKS AI用語辞典「COMET (機械翻訳品質評価)とは」 https://aipicks.jp/glossary/comet-metric
COMET (機械翻訳品質評価)の使用例
- 翻訳モデルAとBをCOMETで比較し、意味的な破綻が少ないモデルBを本番の多言語サポート導線に採用する検討材料にした。
- 社内マニュアルの多言語翻訳でBLEUスコアが高いのに現地レビューで違和感が出たため、COMETも併用してチェック体制を見直した。
