vLLM
作者： vllm-project
High-throughput, memory-efficient inference and serving engine for LLMs with PagedAttention.
スター
96,540
フォーク
24,540
言語
Python
カテゴリ
Inference & Serving
コードを取得
# リポジトリをクローンgit clone https://github.com/vllm-project/vllm
よくある質問
vLLM とは何ですか？
High-throughput, memory-efficient inference and serving engine for LLMs with PagedAttention.
vLLM は安全に使えますか？
vLLM は vllm-project による GitHub 上のオープンソースプロジェクトです。本番利用前にソースコードとライセンスを確認してください。
vLLM の始め方は？
git clone https://github.com/vllm-project/vllm
vLLM はどの言語で書かれていますか？
openSource.faqWhatLanguageAnswer
関連プロジェクト
Ollama
ollamaRun large models locally with a single command — LLMs, vision, and embeddings on any machine.
186k19.0k
llama.cpp
ggml-orgLLM inference in C/C++ with quantization — runs models on CPU, GPU, and edge devices.
134k25.3k
LiteLLM
BerriAIAI gateway to call 100+ LLM APIs in OpenAI format with cost tracking, guardrails, and load balancing.
62.9k13.1k