LiteLLM

AI gateway to call 100+ LLM APIs in OpenAI format with cost tracking, guardrails, and load balancing.

Estrellas

62,893

Forks

13,105

Idioma

Python

Categoría

Inference & Serving

Obtener el código

# Clona el repositorio
git clone https://github.com/BerriAI/litellm

¿Qué es LiteLLM?

AI gateway to call 100+ LLM APIs in OpenAI format with cost tracking, guardrails, and load balancing.

¿Es seguro usar LiteLLM?

LiteLLM es un proyecto de código abierto de BerriAI en GitHub. Revisa el código fuente y la licencia antes de usarlo en producción.

¿Cómo empiezo con LiteLLM?

git clone https://github.com/BerriAI/litellm

¿En qué lenguaje está escrito LiteLLM?

openSource.faqWhatLanguageAnswer

Run large models locally with a single command — LLMs, vision, and embeddings on any machine.

LLM inference in C/C++ with quantization — runs models on CPU, GPU, and edge devices.

High-throughput, memory-efficient inference and serving engine for LLMs with PagedAttention.