DeepSeekが公開したGPU向けBLASカーネルライブラリです。DeepSeek-V3で提案された細粒度スケーリングに基づくFP8行列積(GEMM)に対応し、通常のGEMMとMixture-of-Experts(MoE)向けグループ化GEMMを実装しています。FP8やFP4、BF16のテンソルコア演算に加え、通信と計算を重複実行するFused MoEに対応します。インストール時のビルドが不要な構成を採用しており、LLMの推論や学習パイプラインを最適化する機械学習エンジニアおよびシステム開発者向けに提供されています。
DeepGEMMは、FP8・FP4・BF16の行列積や、通信と計算を重ねて実行するMega MoEなど、LLMの主要な演算を一つのCUDAコードにまとめたカーネルライブラリです。
編集部レビューの全文 >

