定義
RoPEとは、Transformer系のLLMでトークンの位置情報を回転行列によってQuery・Keyベクトルに埋め込む位置エンコーディング手法のこと。
RoPE (回転位置埋め込み)とは（詳しく解説）
RoPE(Rotary Position Embedding)は、Transformer系LLMにおいてトークンの位置情報を回転行列によってQuery・Keyベクトルへ直接埋め込む手法で、絶対位置と相対位置の関係を同時に表現できる点が特徴とされる。LLaMAやMistral系などのオープンモデルで標準的に採用され、2026年時点でも長文脈対応モデルの基盤技術として広く使われている。実運用では、学習時より長い文脈長で推論すると精度が劣化しやすいことが知られており、その対策としてNTK-aware scalingやYaRNといった外挿手法を組み合わせる設計が現場で一般的になっている。モデル選定時はカタログ上の対応コンテキスト長だけでなく、実際どの外挿手法で拡張しているかを確認しないと、想定より短い文脈でしか性能が出ない落とし穴があるとされる。自前でファインチューニングする場合は検証工数がコストとして乗る点も、相場感として把握しておきたい。
この解説の引用について
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます（CC BY 4.0）。
出典: AI PICKS AI用語辞典「RoPE (回転位置埋め込み)とは」 https://aipicks.jp/glossary/rope
RoPE (回転位置埋め込み)の使用例
- モデルの技術仕様書でRoPEのbase値やYaRN適用有無を確認し、長文脈タスクでの実効性能を見積もる。
- 長文書の要約用にLLMを選ぶ際、RoPEスケーリング方式の違いによる精度劣化リスクを比較検討する。
