ds4は、antirez氏が公開しているDeepSeek V4 Flash(284B規模のMoEモデル)専用のローカル推論エンジンです。汎用のGGUFランナーではなく、DS4向けのモデル読み込みとKV状態管理を実装した特化型で、OpenAI互換・Anthropic互換のHTTPサーバーAPIを備えます。対応環境はMetal、CUDA、ROCmで、PROモデルにも対応します。2ビット量子化での動作や、キャッシュの保存・復元もサポートします。推論エンジンのみでコーディング用ハーネスは含まれないため、利用側のツールからAPIエンドポイントとして接続します。ローカルで大規模モデルを動かしたい開発者向けです。
ds4(DwarfStar)は、DeepSeek V4 FlashやGLM 5.3など、少数の大規模オープンモデルを手元の機材で動かすことに絞った推論エンジンです。モデル読み込み、ツール呼び出し、KV状態、HTTPサーバーをまとめて検証している点が強みです。
編集部レビューの全文 >

