LiteLLM

بواسطة BerriAI

AI gateway to call 100+ LLM APIs in OpenAI format with cost tracking, guardrails, and load balancing.

النجوم

62,893

التفرعات

13,105

اللغة

Python

الفئة

Inference & Serving

الحصول على الكود

# استنسخ المستودع
git clone https://github.com/BerriAI/litellm

ما هو LiteLLM؟

AI gateway to call 100+ LLM APIs in OpenAI format with cost tracking, guardrails, and load balancing.

هل استخدام LiteLLM آمن؟

LiteLLM مشروع مفتوحة المصدر من BerriAI على GitHub. راجع الكود المصدري والترخيص قبل استخدامه في الإنتاج.

كيف أبدأ مع LiteLLM؟

git clone https://github.com/BerriAI/litellm

بأي لغة كُتب LiteLLM؟

openSource.faqWhatLanguageAnswer

Run large models locally with a single command — LLMs, vision, and embeddings on any machine.

LLM inference in C/C++ with quantization — runs models on CPU, GPU, and edge devices.

High-throughput, memory-efficient inference and serving engine for LLMs with PagedAttention.