Langfuse

### LLMアプリの「ブラックボックス問題」を解くオープンソース観測基盤 Langfuseは、LLM（大規模言語モデル）を組み込んだチャットボットや RAG、AI エージェントの挙動を可視化するオープンソースのオブザーバビリティ基盤です。プロンプト・モデル呼び出し・ツール実行・コスト・レイテンシをトレースとして記録し、「なぜこの回答になったか」を時系列で追えるようにします。社内で LLM プロダクトを内製しているエンジニア、AI 機能の品質を継続改善する開発チームに向いた製品です。 ### 主要機能 - **トレース & デバッグ**: 1リクエストで発生する複数の LLM 呼び出し・ツール実行・retrieval を入れ子で記録。エラー応答の原因特定が、ログ grep で数時間掛かっていた工程から数分に短縮可能です。 - **プロンプト管理**: プロンプトをバージョン管理し、本番デプロイなしで A/B 切り替え。プロンプト改修のリリースサイクルが「PR → デプロイ」から「UI 上の publish」へ。 - **評価 (Evals)**: LLM-as-a-judge と人手評価を組み合わせ、出力品質をスコア化。リグレッション検出を CI に組み込めます。 - **コスト & トークン分析**: モデル別・ユーザー別・機能別にトークン消費を集計し、月次の OpenAI/Anthropic 請求の内訳を可視化します。 ### 編集部の検証メモ 公開料金とドキュメントを比較検討した結果、Hobby プランがクレジットカード不要・無料で始められ、データ保持 30 日でも PoC には十分との結論に至りました。競合の LangSmith が LangChain エコシステムに最適化されているのに対し、Langfuse は SDK が言語非依存（Python/JS/OpenAI互換）でフレームワーク中立、かつ全機能が MIT ライセンスのオープンソースとしてセルフホスト可能な点が差別化要素です。エンジニア 3 名でデバッグに週 10 時間費やしているチームなら、トレース可視化で月 20-30 時間の削減が見込め、Pro プランの月額を十分回収できる試算になります。データを国内に置きたい金融・医療系のセルフホスト需要にも応えやすい設計です。 ### 想定ユーザー 本番運用中の LLM アプリを抱え、品質・コスト・レイテンシを継続改善したい開発チームに最適です。一方、ノーコードで AI チャットボットを設置したいだけの非エンジニア部門には機能過多で、Dify など UI ベースの統合プラットフォームの方が向いています。

LangfuseにはPro($199.00)、Plus($39)のプランがあります。

Langfuseの代替としてHugging Face、GitHub Copilot、Continue、Bloopなどがあります。

無料で始められるので、まず試してみやすい。指示を出すだけで調査・実行・報告まで自動でやってくれる。人間が介入しなくても判断して動ける。複数のツールやAPIを組み合わせて使える。

画面が英語のみで日本語対応していない。無料プランでは使える回数や機能に制限がある。日本語の精度が英語に比べるとやや劣る。