Berri AI (LiteLLM)
Бесплатно
Не нужен VPN
Berri AI (LiteLLM) — open-source AI Gateway и LLM-прокси для платформенных команд: один ключ и OpenAI-compatible API к 140+ провайдерам и тысячам моделей. Видно, кто тратит бюджет, можно ставить hard caps, rate limits, SSO/RBAC, guardrails и роутить запросы на оптимальную модель; поддерживаются MCP, агенты и self-host/air-gapped. В проде используют Netflix, NVIDIA, Okta и другие; есть Docker/Helm и enterprise-слой. Это инфраструктура контроля доступа и стоимости LLM в организации.
Возможности:
- Единый gateway к 140+ LLM-провайдерам и тысячам моделей.
- Бюджеты, ключи, команды, observability и chargeback.
- Роутинг, кэш, fallback и guardrails (PII, prompt injection).
- Self-host/open-source LiteLLM и enterprise-функции для масштаба.
Попробовать
Отзывы
