定義
FFN(フィードフォワード層)とは、Transformerの各層でAttention出力を非線形変換する全結合ネットワークのこと。
FFN (フィードフォワード層)とは（詳しく解説）
FFN(フィードフォワード層)は、Transformerブロック内でAttention層の後段に置かれる全結合ニューラルネットワークで、各トークンの表現を個別に非線形変換し、モデルの表現力と知識の蓄積を担う中核コンポーネントとされる。多くのLLMではパラメータの大部分をFFNが占めるため、モデルサイズやメモリ使用量、推論コストに直結する要素として扱われる。2026年時点の実運用では、FFN層をMoE(専門家混合)構造に置き換えて計算量を抑えつつパラメータ数を増やす設計が広く採用されており、現場でのモデル選定では「総パラメータ数」だけでなく「推論時に実際に使われるアクティブパラメータ数」を見て相場感やコストを見積もる必要がある点が実務上の注意点とされる。FFNの活性化関数(ReLUやGELU、SwiGLUなど)の違いが性能とコストのトレードオフに影響するため、モデル選定時にはアーキテクチャの公開情報を確認することが推奨される。
この解説の引用について
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます（CC BY 4.0）。
出典: AI PICKS AI用語辞典「FFN (フィードフォワード層)とは」 https://aipicks.jp/glossary/ffn
FFN (フィードフォワード層)の使用例
- 「このモデルはFFNの隠れ層サイズを4倍に拡張して表現力を上げている」
- 「MoE化でFFNを複数の専門家ネットワークに分割し推論コストを抑える」
