定義
モダリティ融合とは、テキストや画像、音声など異なる種類のデータをAIモデル内部で組み合わせて処理する技術のこと。
モダリティ融合 (Early/Late Fusion)とは（詳しく解説）
モダリティ融合とは、テキスト・画像・音声など複数種類のデータを一つのAIモデル内で統合処理する手法の総称で、統合のタイミングによりEarly FusionとLate Fusionに大別されるとされる。Early Fusionは入力段階で各モダリティの特徴量を結合してから学習する方式で、相互作用を深く捉えやすい反面、学習コストが膨らみやすい。Late Fusionはモダリティごとに専用モデルを個別処理し、最終段階で結果を統合する方式で、既存モデルを流用しやすく実運用での柔軟性が高いとされる。2026年時点の現場では、マルチモーダルLLMがAPI内部でこの融合処理を担うため自前設計の機会は減った一方、独自データでのファインチューニングでは方式選定が依然必要になる。落とし穴として、モダリティ間の品質差が大きいと精度が引きずられて落ちる点が知られ、相場感としてはEarly Fusion型の自社学習は計算コストが数倍規模に膨らみやすいため、まずLate Fusion構成で小さく検証してから統合度を上げる選び方が現場では採られやすい。
この解説の引用について
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます（CC BY 4.0）。
出典: AI PICKS AI用語辞典「モダリティ融合 (Early/Late Fusion)とは」 https://aipicks.jp/glossary/modality-fusion
モダリティ融合 (Early/Late Fusion)の使用例
- 画像診断AIで、CTスキャン画像とカルテのテキスト情報をLate Fusionで統合し、総合的な診断支援スコアを出す設計。
- 音声アシスタントで、音声波形とその書き起こしテキストをEarly Fusionで結合し、感情認識精度を高める設計。
