LiteLLM

AI gateway to call 100+ LLM APIs in OpenAI format with cost tracking, guardrails, and load balancing.

Yıldız

62,893

Çatallar

13,105

Dil

Python

Kategori

Inference & Serving

Kodu al

# Depoyu klonla
git clone https://github.com/BerriAI/litellm

LiteLLM nedir?

AI gateway to call 100+ LLM APIs in OpenAI format with cost tracking, guardrails, and load balancing.

LiteLLM kullanımı güvenli mi?

LiteLLM, BerriAI tarafından GitHub'da geliştirilen açık kaynak bir projedir. Üretimde kullanmadan önce kaynak kodu ve lisansı inceleyin.

LiteLLM ile nasıl başlanır?

git clone https://github.com/BerriAI/litellm

LiteLLM hangi dilde yazıldı?

openSource.faqWhatLanguageAnswer

Run large models locally with a single command — LLMs, vision, and embeddings on any machine.

LLM inference in C/C++ with quantization — runs models on CPU, GPU, and edge devices.

High-throughput, memory-efficient inference and serving engine for LLMs with PagedAttention.