vLLM
作者： vllm-project
High-throughput, memory-efficient inference and serving engine for LLMs with PagedAttention.
星数
96,540
派生数
24,540
语言
Python
分类
Inference & Serving
获取代码
# 克隆仓库git clone https://github.com/vllm-project/vllm
常见问题
vLLM 是什么？
High-throughput, memory-efficient inference and serving engine for LLMs with PagedAttention.
vLLM 使用安全吗？
vLLM 是 vllm-project 在 GitHub 上的开源项目。在生产环境使用前请先审阅源代码与许可证。
如何开始使用 vLLM？
git clone https://github.com/vllm-project/vllm
vLLM 是用什么语言写的？
openSource.faqWhatLanguageAnswer
相关项目
Ollama
ollamaRun large models locally with a single command — LLMs, vision, and embeddings on any machine.
186k19.0k
llama.cpp
ggml-orgLLM inference in C/C++ with quantization — runs models on CPU, GPU, and edge devices.
134k25.3k
LiteLLM
BerriAIAI gateway to call 100+ LLM APIs in OpenAI format with cost tracking, guardrails, and load balancing.
62.9k13.1k