LiteLLM
作者： BerriAI
AI gateway to call 100+ LLM APIs in OpenAI format with cost tracking, guardrails, and load balancing.
星数
62,893
派生数
13,105
语言
Python
分类
Inference & Serving
获取代码
# 克隆仓库git clone https://github.com/BerriAI/litellm
常见问题
LiteLLM 是什么？
AI gateway to call 100+ LLM APIs in OpenAI format with cost tracking, guardrails, and load balancing.
LiteLLM 使用安全吗？
LiteLLM 是 BerriAI 在 GitHub 上的开源项目。在生产环境使用前请先审阅源代码与许可证。
如何开始使用 LiteLLM？
git clone https://github.com/BerriAI/litellm
LiteLLM 是用什么语言写的？
openSource.faqWhatLanguageAnswer
相关项目
Ollama
ollamaRun large models locally with a single command — LLMs, vision, and embeddings on any machine.
186k19.0k
llama.cpp
ggml-orgLLM inference in C/C++ with quantization — runs models on CPU, GPU, and edge devices.
134k25.3k
vLLM
vllm-projectHigh-throughput, memory-efficient inference and serving engine for LLMs with PagedAttention.
96.5k24.5k