Open-LLM-VTuberは、Live2Dアバターと音声やテキストでリアルタイムに対話できるオープンソースのAIキャラクター基盤です。自作のAIエージェントをPC上で対話相手として動かしたいユーザーや、配信プラットフォームでAI VTuberを運用したい配信者・開発者に向いています。

対話と外部プロトコル連携

音声とテキストによる対話に対応し、発話途中での自然な割り込みやAIからの自発的な話しかけが可能です。思考プロセスやアクションの表示、感情に応じたLive2Dアバターの表情変化、クリックやドラッグへの反応をサポートします。MCP(Model Context Protocol)に対応し、グループチャットやライブ配信プラットフォームとの連携機能も備えます。

記憶保持とブラウザ操作・視覚機能

過去の会話履歴を辿れるほか、LettaやEVIなどの外部メモリエージェントと連携した長期記憶に対応します。視覚機能としてカメラ映像や画面共有を受け付けるだけでなく、AIによるブラウザ操作も行えます。デスクトップペットモードを利用すれば、背景を透過して画面最前面の任意の位置にキャラクターを常駐させられます。

動作環境とプライバシー管理

Windows、macOS、Linuxで動作し、Web版とデスクトップクライアントを提供します。各種LLM、音声認識(ASR)、音声合成(TTS)のモデルを自由に組み合わせられます。ローカルモデルで動かす構成では、会話データを外部に送信せずに完全オフラインで運用可能です。