本ページはプロモーションを含みます（掲載基準）
ROUGE (要約評価指標)の定義
ROUGE（ルージュ）とは、AIが作った要約や翻訳を、人が書いた正解の文章と比べ、単語の重なり具合で自動採点する評価指標のことです。2004年に発表され、LLMの要約性能の評価にも使われています。
- 正式名
- Recall-Oriented Understudy for Gisting Evaluation
- 提唱
- 南カリフォルニア大学のChin-Yew Lin（2004年、論文「ROUGE: A Package for Automatic Evaluation of Summaries」）
- 主な種類
- ROUGE-1（単語）、ROUGE-2（2語の連なり）、ROUGE-L（最長共通部分列）。論文ではほかにROUGE-W、ROUGE-Sも提案
- 計算できるツール
- Googleのrouge-score（Python）、Hugging Face evaluateのrouge
- 日本語での注意
- rouge-scoreの標準の分かち書きは英数字以外を消すため、日本語は形態素解析などの独自トークナイザーを渡す必要がある
ROUGE (要約評価指標)とは（詳しく解説）
ROUGE（Recall-Oriented Understudy for Gisting Evaluation）は、AIが作った要約や翻訳を、人が書いた正解の文章と比べて自動で採点する指標です。2004年に南カリフォルニア大学のChin-Yew Linが発表しました。それまで要約の評価は人手に頼っていて、大規模な評価には膨大な時間がかかっていました。 しくみは単語の重なりを数えることです。よく使われるのは3種類。ROUGE-1は1単語ずつ、ROUGE-2は2単語の連なりで重なりを見ます。ROUGE-Lは、語順を保ったまま共通する最も長い部分（最長共通部分列）を使います。計算はGoogleのrouge-scoreやHugging Faceのevaluateといった無料のライブラリでできます。 弱点は、意味が同じでも言い回しが違うと点が下がることです。LLMは正解と違う表現で正しく要約することが多いため、ROUGEだけでは品質を測りきれません。意味の近さを見るBERTScoreや、LLMに採点させる方法と組み合わせるのが一般的です。 日本語で使うときは特に注意が必要です。rouge-scoreの標準の処理は英数字以外の文字を消してしまうため、日本語の文章をそのまま入れると正しく計算できません。形態素解析などで単語に区切る独自のトークナイザーを渡してから計算してください。
ROUGE (要約評価指標)を調べた人に
データ分析を
CSVやスプレッドシートを渡して、日本語で質問するだけで集計やグラフができます。
ROUGE (要約評価指標)のよくある質問
Q. ROUGEの意味は何ですか？
AIの分野では、要約や翻訳の自動評価指標を指します。もとの単語rougeはフランス語で「赤」のことで、化粧品の口紅や頬紅（ルージュ）の意味でも使われます。
Q. ROUGEとrogue AIは同じですか？
別物です。rogue（ローグ）は「ならず者、制御を外れた」という意味で、rogue AIは人の制御から外れて勝手に動くAIを指します。綴りが似ているため混同されやすい言葉です。
Q. ROUGEとBLEUの違いは何ですか？
どちらも正解の文章との単語の重なりを見る指標です。BLEUは機械翻訳向けに作られ、ROUGEは要約向けに作られて、正解の内容をどれだけ拾えたか（再現率）を重視します。
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます（CC BY 4.0）。
出典: AI PICKS AI用語辞典「ROUGE (要約評価指標)とは」 https://aipicks.jp/glossary/rouge
ROUGE (要約評価指標)の使用例
- 要約モデル評価: ROUGE-Lが0.45未満の出力をLLM-as-Judgeで再評価し、品質閾値を二段階で管理する運用が増えている。
- RAG品質の週次モニタリング: 参照QA100件でROUGE-2を計測し、スコア低下時にリトリーバー設定を見直すトリガーにする。
ROUGE (要約評価指標)に関連するAIツール
ROUGE (要約評価指標)の関連記事
ROUGE (要約評価指標)の関連用語
12カテゴリ・1874語以上を体系的に整理しています