LiteLLM（旧Berri）

LiteLLM（旧Berri）とは？

LiteLLMは、OpenAI・Anthropic・Google Gemini・AWS Bedrockなど100以上のLLM（大規模言語モデル）を、同じコードで呼び出せるようにするオープンソースのAIゲートウェイです。もともと「Berri AI」という名前でサービスを展開していたチームが開発しており、現在はGitHubで3.7万以上のスターを獲得しています。

「複数のAIモデルを使い分けたいけど、APIの仕様がバラバラで面倒」という問題を解決するのがLiteLLMの役割です。OpenAIのAPIフォーマットに統一することで、モデルを切り替えてもコードをほとんど変えずに済みます。たとえばOpenAI GPT-4oで動いているアプリをAnthropicのClaudeに切り替えたい場合、呼び出す先を変えるだけで対応できます。

LiteLLMは大きく2つの形で使えます。ひとつはPython SDKとして自分のコードに組み込む方法、もうひとつはプロキシサーバー（AIゲートウェイ）としてチーム全体のリクエストを一元管理する方法です。この記事では主にエンジニア・開発チーム向けのプロキシサーバーとしての使い方を中心に解説します。

LiteLLMの主な機能

LiteLLMが提供する機能は、AIを使ったアプリを開発・運用するエンジニアや、複数チームにLLMを提供するプラットフォームチームを主な対象として設計されています。

とくに注目したいのはフォールバック機能です。たとえば「GPT-4oへのリクエストが失敗したらClaude 3.5 Sonnetに切り替える」という設定を数行で書けます。プロバイダーの障害がそのままサービス障害につながるリスクを減らせるのは、本番環境では大きなメリットです。

Python SDKとしての使い方（具体例）

LiteLLMをPython SDKとして使う最もシンプルな例はこちらです。OpenAI・Anthropic・Geminiをほぼ同じコードで呼び出せます。

モデル名を変えるだけで切り替えられるため、「まずOpenAIで試してコストが高ければGeminiに移す」といった実験がしやすいです。

LiteLLMの料金

LiteLLMはオープンソース（MITライセンス）なので、自分でサーバーに立てて使う分には無料です。ただし「無料＝コストゼロ」ではなく、インフラ費用や運用コストが別途かかる点は把握しておく必要があります。

SSOのポリシーについて

よく確認されるのがSSOの扱いです。LiteLLMはSSO（シングルサインオン）を5人までは無料で使えますが、6人以上になるとEnterprise Basicライセンスが必要になります。また、RBAC（役割ベースのアクセス制御）の詳細設定や監査ログもEnterprise機能です。チームが大きくなった段階でコストが変わる点は事前に把握しておくと良いでしょう。

こんな人におすすめ

LiteLLMはエンジニアが中心のツールです。コードを書かずに使うGUIツールではなく、自分でセットアップして運用する前提で設計されています。

逆に、ノーコードツールを探している方やAIをプログラムから使わない方には向いていません。「ChatGPTに話しかけたい」という用途に使うツールではなく、AIを組み込んだシステムを作る側の人向けのインフラツールです。

注意点

LiteLLMは機能が豊富ですが、使い始める前に把握しておきたい制約があります。

まとめ

LiteLLM（旧Berri）は、100以上のLLMプロバイダーを統一フォーマットで使えるようにするオープンソースのAIゲートウェイです。

「複数のAIモデルをコードから使い分けたい」「チーム全体のAPI使用コストを把握したい」「ベンダーロックインを避けたい」という課題を持つ開発チームには、自分でセットアップできる環境さえあれば有力な選択肢になります。GitHub上での採用実績も多く、コミュニティも活発です。

一方、セットアップと運用に一定の技術力が必要で、SaaSツールのように「登録してすぐ使える」ものではありません。チームのインフラ運用リソースと照らし合わせて、自前でホストするか、マネージドサービスを使うかを判断してから導入を検討してみてください。