Perplexity、Apple Silicon向けローカル推論を最適化 MLX-LM比でdecode 1.35倍
- PerplexityがApple Silicon向け推論エンジンを説明しました。
- Qwen3.6-35B-A3Bに特化したLilyの最適化です。
- 平均でprefill 1.23倍、decode 1.35倍を示しました。
Perplexityは、Apple SiliconとQwen3.6-35B-A3Bに特化した軽量ローカル推論エンジン「Lily」の最適化内容を公開しました。Hybrid Computeでは、クラウドモデルが調査や推論を担い、Mac上のローカルモデルが非公開ファイルやアプリを扱います。
Lilyは、Rustランタイムがモデルチェックポイント、セッション状態、生成ループを管理します。OpenAI互換のchat-completions APIでリクエストを受け、トークンをストリーミングします。実行経路にはPyTorchもMLXも含まれません。
Perplexityは、M5 Max、40コアGPU、128 GBユニファイドメモリのMacBook Proでベンチマークしました。256から128K tokensまでの10種類の長さで測定し、LilyはMLX-LM比でprefill平均1.23倍、decode平均1.35倍でした。
4K-token promptと4K-token decode contextでは、Lilyはprefill 5,749.9 tokens per second、decode 186.6 tokens per secondに達しました。MLX-LMはそれぞれ4,737.5、140.9でした。複数ターンのセッションでは、モデル呼び出しごとに時間短縮が積み重なります。
つまり、Mac の中だけで動く AI を速くした、という話です。調べ物はクラウドの AI が引き受け、社外に出せない手元のファイルは Mac の中の AI が扱います。この分け方は、手元側が遅いとそのまま待ち時間になります。
Perplexity はその手元側を専用に作り直し、文章の読み込みで 1.23 倍、書き出しで 1.35 倍まで速くしました。
1.35 倍という数字より、筆者が引っかかったのはモデルを 1 つに絞ったことです。専用エンジンという割り切り。
Lily は Qwen3.6-35B-A3B 専用で、PyTorch も MLX も実行経路に入りません。汎用のライブラリを捨てて、1 つのモデルの形にすべてを合わせる作り直しです。手間はかなりのものですが、汎用の土台に勝つにはここまでやるしかない、ということだと思います。
そういえば、社外に出せない資料は手元、調べ物はクラウド、という分担は日本の会社でも通りが良さそうです。ファイルを外に出せない現場ほど刺さりそうな印象です。ただ、128 GB のユニファイドメモリを積んだ MacBook Pro での数字で、手持ちの Mac にそのまま当てはまるとは限りません。
次に見たいのは、M5 Max 以外のチップでの数字と、Qwen 以外のモデルへ広がるかどうかです。
Mac上でPerplexityのローカル推論を使う開発者や、Apple SiliconでQwen系モデルを動かす利用者に関係します。
