デスクトップ常駐とモデル設定の自動化

MacのメニューバーやWindowsのシステムトレイに常駐するデスクトップアプリです。端末の搭載メモリなどを認識し、動作するモデルの推薦や量子化精度、コンテキストサイズを自動で設定します。詳細な挙動はプレーンテキストの設定ファイルから変更できます。

ブラウザ対話と互換APIの提供

メニューから呼び出すブラウザ画面でモデルと直接対話できるほか、ローカルAPIサーバーを提供します。OpenAI互換およびAnthropic互換のエンドポイントに対応し、ストリーミング、ツール呼び出し、構造化出力、画像入力を処理します。外部通信を行わず、既存のエディタやコーディングエージェントの接続先を変更して利用できます。

リソース管理とCLI環境

ダウンロードしたモデルはHugging Faceキャッシュに保存され、重複保存を防ぎます。モデルはリクエスト時にロードされ、5分間アイドル状態が続くと自動でアンロードされます。MacやWindows向けGUIアプリのほか、Linux環境やスクリプト実行向けにCLI（llama cli、llama serve）も提供されています。