LiteLLMとは
LiteLLMは、OpenAI・Anthropic・Google・Bedrock・Vertex AIなど140以上のプロバイダー、1,800以上のモデルを単一のOpenAI互換APIで呼び出せるオープンソースのAIゲートウェイ（プロキシ）です。セルフホスト・エアギャップ環境での運用が前提で、モデル切替時のアプリ側コード改修を不要にします。
主要機能
Guardrails: PIIマスキング、プロンプトインジェクション検知、シークレット検出をpre-call/during-call/post-callのタイミングで適用できます。
ガバナンス: SSOログイン、Team/Organization階層でのモデル・キー・予算の権限分離、監査ログ、ライブリクエストモニタリングに対応します。
ゲートウェイ機能の拡張: LLM APIの呼び出しだけでなく、MCPサーバーやAgentsへのアクセスも同じゲートウェイ・同じキーを通して提供します。
運用機能: 階層型の予算上限・レート制限、フォールバック/ロードバランシング、コストトラッキングをOSS版から無料で利用できます。
想定ユーザー
社内で複数のLLM・MCP・Agentsを横断利用させたいプラットフォーム/MLOpsチームに向いています。OSS版は無料でセルフホスト可能ですが、SSO/SCIM・監査ログ・マルチリージョン運用などのガバナンス機能はEnterprise契約が必要です。
