LiteLLM
автор: BerriAI
AI gateway to call 100+ LLM APIs in OpenAI format with cost tracking, guardrails, and load balancing.
Звёзды
62,893
Форки
13,105
Язык
Python
Категория
Inference & Serving
Получить код
# Клонируйте репозиторийgit clone https://github.com/BerriAI/litellm
Частые вопросы
Что такое LiteLLM?
AI gateway to call 100+ LLM APIs in OpenAI format with cost tracking, guardrails, and load balancing.
Безопасно ли использовать LiteLLM?
LiteLLM — open-source проект BerriAI на GitHub. Проверьте исходный код и лицензию перед использованием в продакшене.
Как начать с LiteLLM?
git clone https://github.com/BerriAI/litellm
На каком языке написан LiteLLM?
openSource.faqWhatLanguageAnswer
Похожие проекты
Ollama
ollamaRun large models locally with a single command — LLMs, vision, and embeddings on any machine.
186k19.0k
llama.cpp
ggml-orgLLM inference in C/C++ with quantization — runs models on CPU, GPU, and edge devices.
134k25.3k
vLLM
vllm-projectHigh-throughput, memory-efficient inference and serving engine for LLMs with PagedAttention.
96.5k24.5k