定義
マスク言語モデルとは、文中の一部の単語を意図的に隠し、前後の文脈から隠された単語を予測させる学習方式で訓練された言語モデルのこと。
マスク言語モデル (Masked LM)とは（詳しく解説）
BERTに代表される事前学習手法で、文の一部をマスクして周囲の文脈から復元させることで、双方向の文脈理解を獲得する。GPT系のような一方向の次単語予測とは異なり、前後両方向の情報を使えるため、分類・検索・埋め込み生成といった文脈理解タスクに強いとされる。一方で文章の自然な生成タスクには不向きで、対話型AIの主流がデコーダ型に移った現在では、実運用では検索エンジンのクエリ理解やRAGの埋め込みモデルの内部構造として使われる場面が中心になっている。2026年時点では自前でマスク言語モデルを学習するコストは決して低くなく、現場では既存の事前学習済みモデルをファインチューニングして使う相場感が定着している。選定時は生成用途かどうかをまず見極め、埋め込み・分類用途ならマスク型、対話・生成用途ならデコーダ型を選ぶのが基本になる。
この解説の引用について
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます（CC BY 4.0）。
出典: AI PICKS AI用語辞典「マスク言語モデル (Masked LM)とは」 https://aipicks.jp/glossary/masked-language-model
マスク言語モデル (Masked LM)の使用例
- 検索エンジンのクエリと文書の関連度を判定する埋め込みモデルの内部にマスクLM由来の構造が使われる
- 「[MASK]は東京にある」の[MASK]部分を周辺文脈から予測させる訓練データの一例
