vLLM
개발자: vllm-project
High-throughput, memory-efficient inference and serving engine for LLMs with PagedAttention.
스타
96,540
포크
24,540
언어
Python
카테고리
Inference & Serving
코드 받기
# 저장소 클론git clone https://github.com/vllm-project/vllm
자주 묻는 질문
vLLM은(는) 무엇인가요?
High-throughput, memory-efficient inference and serving engine for LLMs with PagedAttention.
vLLM 사용이 안전한가요?
vLLM은(는) vllm-project의 GitHub 오픈소스 프로젝트입니다. 프로덕션 사용 전에 소스 코드와 라이선스를 확인하세요.
vLLM은(는) 어떻게 시작하나요?
git clone https://github.com/vllm-project/vllm
vLLM은(는) 어떤 언어로 작성되었나요?
openSource.faqWhatLanguageAnswer
관련 프로젝트
Ollama
ollamaRun large models locally with a single command — LLMs, vision, and embeddings on any machine.
186k19.0k
llama.cpp
ggml-orgLLM inference in C/C++ with quantization — runs models on CPU, GPU, and edge devices.
134k25.3k
LiteLLM
BerriAIAI gateway to call 100+ LLM APIs in OpenAI format with cost tracking, guardrails, and load balancing.
62.9k13.1k