LiteLLM（旧Berri）とは？
LiteLLMは、OpenAI・Anthropic・Google Gemini・AWS Bedrockなど100以上のLLM（大規模言語モデル）を、同じコードで呼び出せるようにするオープンソースのAIゲートウェイです。もともと「Berri AI」という名前でサービスを展開していたチームが開発しており、現在はGitHubで3.7万以上のスターを獲得しています。
「複数のAIモデルを使い分けたいけど、APIの仕様がバラバラで面倒」という問題を解決するのがLiteLLMの役割です。OpenAIのAPIフォーマットに統一することで、モデルを切り替えてもコードをほとんど変えずに済みます。たとえばOpenAI GPT-4oで動いているアプリをAnthropicのClaudeに切り替えたい場合、呼び出す先を変えるだけで対応できます。
100+
対応LLMプロバイダー数
37,600+
GitHubスター数
8ms
P95レイテンシ（1k RPS時）
MIT
オープンソースライセンス
LiteLLMは大きく2つの形で使えます。ひとつはPython SDKとして自分のコードに組み込む方法、もうひとつはプロキシサーバー（AIゲートウェイ）としてチーム全体のリクエストを一元管理する方法です。この記事では主にエンジニア・開発チーム向けのプロキシサーバーとしての使い方を中心に解説します。
LiteLLMの主な機能
LiteLLMが提供する機能は、AIを使ったアプリを開発・運用するエンジニアや、複数チームにLLMを提供するプラットフォームチームを主な対象として設計されています。
統一APIインターフェース
OpenAI・Anthropic・Google VertexAI・AWS Bedrock・Groq・Mistralなど100以上のプロバイダーを、OpenAIフォーマットの単一APIで呼び出せます。モデル切り替えに必要なコード変更が最小限になります。
ロードバランシングとフォールバック
複数のモデルやAPIキーにリクエストを分散し、あるプロバイダーがダウンした場合に自動で別のプロバイダーに切り替えます。本番環境でのAI障害リスクを下げられます。
仮想キーとアクセス管理
チームや用途ごとに仮想APIキーを発行できます。開発者には特定モデルだけ、テスト環境には予算上限付きキーを配布する、といった細かい管理が可能です。
コスト追跡・予算管理
各キー・ユーザー・チームごとのAPIコストをリアルタイムで記録します。月次予算の上限設定や、特定チームの使いすぎアラートにも対応します。
レート制限
1分あたりのリクエスト数（RPM）やトークン数（TPM）を制限できます。特定のチームが大量リクエストを出してシステム全体を圧迫するのを防げます。
ログ・モニタリング連携
Langfuse・LangSmith・Datadog・S3・OpenTelemetryなど主要な可観測性ツールへのログ送信に対応しています。どのモデルをどれだけ使ったか、エラー率がどうかを把握できます。
とくに注目したいのはフォールバック機能です。たとえば「GPT-4oへのリクエストが失敗したらClaude 3.5 Sonnetに切り替える」という設定を数行で書けます。プロバイダーの障害がそのままサービス障害につながるリスクを減らせるのは、本番環境では大きなメリットです。
Python SDKとしての使い方（具体例）
LiteLLMをPython SDKとして使う最もシンプルな例はこちらです。OpenAI・Anthropic・Geminiをほぼ同じコードで呼び出せます。
from litellm import completion
# OpenAI GPT-4o を呼び出す
response = completion(model=”gpt-4o”, messages=[{“role”: “user”, “content”: “こんにちは”}])
# Anthropic Claude に切り替えたい場合はmodelを変えるだけ
response = completion(model=”claude-3-5-sonnet-20241022″, messages=[{“role”: “user”, “content”: “こんにちは”}])
# Google Gemini も同じフォーマット
response = completion(model=”gemini/gemini-2.0-flash”, messages=[{“role”: “user”, “content”: “こんにちは”}])
モデル名を変えるだけで切り替えられるため、「まずOpenAIで試してコストが高ければGeminiに移す」といった実験がしやすいです。
LiteLLMの料金
LiteLLMはオープンソース（MITライセンス）なので、自分でサーバーに立てて使う分には無料です。ただし「無料＝コストゼロ」ではなく、インフラ費用や運用コストが別途かかる点は把握しておく必要があります。
| プラン | ソフトウェア費用 | 主な内容 | 対象 |
|---|---|---|---|
| オープンソース無料 | $0 | 統一API・仮想キー管理・予算追跡・ロードバランシング・フォールバック・レート制限・ログ連携 | 個人・小規模チーム |
| Enterprise Basic | $250/月〜 | Prometheusメトリクス・LLMガードレール・JWT認証・SSO（5人超）・監査ログ | 中規模チーム |
| Enterprise Premium | $30,000/年〜 | Enterprise Basic全機能＋優先サポート・カスタム開発・SLA保証 | 大規模組織 |
インフラ費用について
プロキシサーバーとして本番運用するには、PostgreSQL（ログ・キー管理用）とRedis（レート制限・キャッシュ用）のデータベースが必要です。AWSやGCPのマネージドサービスを使う場合、データベース費用だけで月$100〜$400程度かかるのが一般的です。ソフトウェアは無料でも、インフラ・運用コストは別計算になります。
SSOのポリシーについて
よく確認されるのがSSOの扱いです。LiteLLMはSSO（シングルサインオン）を5人までは無料で使えますが、6人以上になるとEnterprise Basicライセンスが必要になります。また、RBAC（役割ベースのアクセス制御）の詳細設定や監査ログもEnterprise機能です。チームが大きくなった段階でコストが変わる点は事前に把握しておくと良いでしょう。
| 機能 | オープンソース | Enterprise Basic |
|---|---|---|
| 統一APIアクセス（100+プロバイダー） | あり | あり |
| 仮想キー管理・予算追跡 | あり | あり |
| ロードバランシング・フォールバック | あり | あり |
| SSO | 5人まで | 制限なし |
| RBAC（細かいアクセス制御） | 基本のみ | フル |
| 監査ログ | なし | あり |
| LLMガードレール | なし | あり |
| サポート | コミュニティのみ | 専用Slackチャンネル |
こんな人におすすめ
LiteLLMはエンジニアが中心のツールです。コードを書かずに使うGUIツールではなく、自分でセットアップして運用する前提で設計されています。
逆に、ノーコードツールを探している方やAIをプログラムから使わない方には向いていません。「ChatGPTに話しかけたい」という用途に使うツールではなく、AIを組み込んだシステムを作る側の人向けのインフラツールです。
活用シナリオの例
社内で10チームがそれぞれ別のLLMを使っているとします。全チームのAPIキーをLiteLLMプロキシに集約し、チームごとに仮想キーと月次予算上限を設定します。チームAがGPT-4oを使いすぎた場合も、他チームのレートに影響が出ません。月末に管理者がダッシュボードでチーム別コストをまとめてレビューできる、といった使い方が想定されます。
注意点
LiteLLMは機能が豊富ですが、使い始める前に把握しておきたい制約があります。
知っておきたいこと
- セルフホストが前提：LiteLLMはSaaSではなく、自分でサーバーに立てて管理します。本番稼働にはDockerやKubernetes環境、PostgreSQL・Redisの運用知識が必要です。インフラ管理が自社のエンジニアリソースを使う点は事前に確認してください
- SLAは自前で確保する必要がある：オープンソース版は99.99%のアップタイム保証などのSLAはありません。高可用性が必要な場合、冗長構成を自力で組む必要があります。Enterprise Premiumでは対応可能です
- コミュニティサポートのみ（無料版）：バグや設定の問題が起きた場合、公式の返答保証はありません。GitHubのIssueやDiscordで対応を探すことになります
- 大量リクエスト時にレイテンシが増える場合がある：ベンチマーク上は8ms P95を達成していますが、PostgreSQLへの書き込みが絡む処理（コスト記録など）はスループットに影響することがあります
- モデルのホスティングは含まない：LiteLLMはプロキシ・ルーティングツールであり、LLM自体をホストする機能はありません。vLLMやOllamaなど別のツールと組み合わせて使います
マネージドサービスとの比較
インフラ管理が負担になる場合、LiteLLMの管理をフルに引き受けるマネージドオプション（Hosted LiteLLM Proxy）も提供されています。ただしこちらはEnterpriseプランの範囲で、価格はカスタム見積もりになります。TrueFoundryやPortkeyなど、LiteLLMの代替となるマネージドゲートウェイサービスも存在するので、運用コストとトレードオフを比較してから選択するのが現実的です。
まとめ
LiteLLM（旧Berri）は、100以上のLLMプロバイダーを統一フォーマットで使えるようにするオープンソースのAIゲートウェイです。
「複数のAIモデルをコードから使い分けたい」「チーム全体のAPI使用コストを把握したい」「ベンダーロックインを避けたい」という課題を持つ開発チームには、自分でセットアップできる環境さえあれば有力な選択肢になります。GitHub上での採用実績も多く、コミュニティも活発です。
一方、セットアップと運用に一定の技術力が必要で、SaaSツールのように「登録してすぐ使える」ものではありません。チームのインフラ運用リソースと照らし合わせて、自前でホストするか、マネージドサービスを使うかを判断してから導入を検討してみてください。
グーグル