概要

Needle 2は、Cactus Compute社が開発した45Mパラメータのオンデバイス特化エージェントLLM。モデル全体が単一の14MBバイナリに収まり、実行時のRAM使用量は約28MBに抑えられる。独自アーキテクチャ「Simple Attention Network」を採用し、重みはCactus Quants技術によりCQ2-bit(平均2bit)まで量子化した状態で事前学習・事後学習される(post-hocの後付け量子化ではない)。

特徴

  • 関数呼び出し・デバイス操作・構造化データ抽出に特化した推論。スキーマからグラマーを生成し、不正なJSON出力を防ぐ
  • 公式ベンチマーク(Mobile-Actions等)では、FunctionGemma 270M・LFM2.5 230M・Apple FMといった同クラスのモデルと互角の性能を示す
  • Raspberry Pi 5でデコード500 tok/s超・プリフィル800 tok/s超、Meta Quest 3SなどVR端末で400〜1,500 tok/s、sub-$200スマホで300〜700 tok/sを記録(いずれも公式値)
  • ESP32-S3などマイコン上でも動作可能なほど省メモリ設計
  • 自前のPython環境で数分〜数時間でファインチューニングでき、自社デバイスの関数語彙に合わせて再学習できる

対象ユーザー

スマートフォン、ウェアラブル、スマートホーム機器、ロボットなど、クラウド接続を前提にできない組み込み機器の開発者向け。レイテンシ・プライバシー・オフライン動作が求められる用途に適する。