Ollamaの発表内容
Ollamaは、Liquid AIが開発したモデル群「LFM3」の提供を開始しました。どこでも動作するように設計された小型モデルで、手元の環境で実行できます。
「LFM3」は、テキスト、画像、音声、複数のデータを同時に扱うオムニ、意思決定の各モデルを揃えています。このうちテキストモデルは、4ビットの圧縮形式で約1GBの容量に収まります。
一度に処理できる情報量を表すコンテキスト長は256Kです。大容量のデータを読み込める仕様を備えながら、1台のGPU (計算処理を行う半導体) だけで追加の学習や微調整を行えます。
これにより、高価なサーバーを用意することなく、手元の端末で用途に合わせたAIモデルを調整して利用できます。通信を行わない手元のパソコンだけで、各種の処理を実行できます。
つまり、どういうこと?
ざっくり言うと、普段使っているノートパソコンでも軽快に動く、超小型のAIが手に入ったということです。
たとえるなら、大型の重機が必要だった作業を、手持ちの使いやすい電動工具ひとつでこなせるようになる変化です。テキストモデルなら約1GBという小さなサイズで収まり、1台のGPUがあれば手元で自分好みに調整できます。
誰に関係するか
手元のパソコンでAIを動かしている人は、1台のGPUを使って約1GBの軽量なモデルを自社向けに微調整できるようになります。
出典: Ollama 公式 X ↗



