vLLM
द्वारा vllm-project
High-throughput, memory-efficient inference and serving engine for LLMs with PagedAttention.
स्टार
96,540
फोर्क
24,540
भाषा
Python
श्रेणी
Inference & Serving
कोड प्राप्त करें
# रिपॉजिटरी क्लोन करेंgit clone https://github.com/vllm-project/vllm
अक्सर पूछे जाने वाले प्रश्न
vLLM क्या है?
High-throughput, memory-efficient inference and serving engine for LLMs with PagedAttention.
क्या vLLM का उपयोग सुरक्षित है?
vLLM GitHub पर vllm-project का ओपन-सोर्स प्रोजेक्ट है। प्रोडक्शन में उपयोग से पहले सोर्स कोड और लाइसेंस देखें।
vLLM के साथ कैसे शुरू करें?
git clone https://github.com/vllm-project/vllm
vLLM किस भाषा में लिखा गया है?
openSource.faqWhatLanguageAnswer
संबंधित प्रोजेक्ट्स
Ollama
ollamaRun large models locally with a single command — LLMs, vision, and embeddings on any machine.
186k19.0k
llama.cpp
ggml-orgLLM inference in C/C++ with quantization — runs models on CPU, GPU, and edge devices.
134k25.3k
LiteLLM
BerriAIAI gateway to call 100+ LLM APIs in OpenAI format with cost tracking, guardrails, and load balancing.
62.9k13.1k