LiteLLM

AI gateway to call 100+ LLM APIs in OpenAI format with cost tracking, guardrails, and load balancing.

Sao

62,893

Fork

13,105

Ngôn ngữ

Python

Danh mục

Inference & Serving

Lấy mã nguồn

# Clone kho lưu trữ
git clone https://github.com/BerriAI/litellm

LiteLLM là gì?

AI gateway to call 100+ LLM APIs in OpenAI format with cost tracking, guardrails, and load balancing.

Sử dụng LiteLLM có an toàn không?

LiteLLM là dự án mã nguồn mở của BerriAI trên GitHub. Hãy xem mã nguồn và giấy phép trước khi dùng cho môi trường thật.

Làm sao bắt đầu với LiteLLM?

git clone https://github.com/BerriAI/litellm

LiteLLM được viết bằng ngôn ngữ nào?

openSource.faqWhatLanguageAnswer

Run large models locally with a single command — LLMs, vision, and embeddings on any machine.

LLM inference in C/C++ with quantization — runs models on CPU, GPU, and edge devices.

High-throughput, memory-efficient inference and serving engine for LLMs with PagedAttention.