定義
表記ゆれ正規化とは、全角・半角、ひらがな・カタカナ、送り仮名などの表記差異を統一しRAGの検索漏れを防ぐ前処理のことである。
表記ゆれ正規化 (Orthographic Normalization)とは（詳しく解説）
表記ゆれ正規化(Orthographic Normalization)は、同じ意味を持つ語句が全角/半角、ひらがな/カタカナ、送り仮名、大文字/小文字などで異なる形式で存在する状態を統一し、検索やRAGの検索漏れ・重複ヒットを防ぐ前処理を指す。業界標準では形態素解析による正規化辞書やNFKC正規化などの手法が広く採用されているとされる。2026年時点の実運用では、日本語特有の表記ゆれ(半角カナ・旧字体・略称など)への対応が不十分なため、埋め込みベースの検索でも意味的には近いのに表記差でヒットしない事例が現場でしばしば報告される。正規化ルールを厳しくしすぎると別語を同一視してしまう副作用もあり、ドメイン辞書のメンテナンスコストが継続的に発生する点も選定時の考慮点となる。ツール選びでは、正規化処理を検索基盤に標準搭載しているかどうかで導入の相場感が変わるため、既存の検索/RAG基盤との統合コストを事前に見積もることが重要とされる。
この解説の引用について
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます（CC BY 4.0）。
出典: AI PICKS AI用語辞典「表記ゆれ正規化 (Orthographic Normalization)とは」 https://aipicks.jp/glossary/orthographic-normalization
表記ゆれ正規化 (Orthographic Normalization)の使用例
- RAGの検索ヒット率が低いとき「半角カナ」「旧字体」「略称」を正規化辞書に追加し表記差異を吸収する。
- 「AI」と「ＡＩ」を同一トークンとして扱うようNFKC正規化をインデックス前処理に組み込む。
