vLLM
автор: vllm-project
High-throughput, memory-efficient inference and serving engine for LLMs with PagedAttention.
Звёзды
96,540
Форки
24,540
Язык
Python
Категория
Inference & Serving
Получить код
# Клонируйте репозиторийgit clone https://github.com/vllm-project/vllm
Частые вопросы
Что такое vLLM?
High-throughput, memory-efficient inference and serving engine for LLMs with PagedAttention.
Безопасно ли использовать vLLM?
vLLM — open-source проект vllm-project на GitHub. Проверьте исходный код и лицензию перед использованием в продакшене.
Как начать с vLLM?
git clone https://github.com/vllm-project/vllm
На каком языке написан vLLM?
openSource.faqWhatLanguageAnswer
Похожие проекты
Ollama
ollamaRun large models locally with a single command — LLMs, vision, and embeddings on any machine.
186k19.0k
llama.cpp
ggml-orgLLM inference in C/C++ with quantization — runs models on CPU, GPU, and edge devices.
134k25.3k
LiteLLM
BerriAIAI gateway to call 100+ LLM APIs in OpenAI format with cost tracking, guardrails, and load balancing.
62.9k13.1k