llama.cpp
개발자: ggml-org
LLM inference in C/C++ with quantization — runs models on CPU, GPU, and edge devices.
스타
133,692
포크
25,250
언어
C++
카테고리
Inference & Serving
코드 받기
# 저장소 클론git clone https://github.com/ggml-org/llama.cpp
자주 묻는 질문
llama.cpp은(는) 무엇인가요?
LLM inference in C/C++ with quantization — runs models on CPU, GPU, and edge devices.
llama.cpp 사용이 안전한가요?
llama.cpp은(는) ggml-org의 GitHub 오픈소스 프로젝트입니다. 프로덕션 사용 전에 소스 코드와 라이선스를 확인하세요.
llama.cpp은(는) 어떻게 시작하나요?
git clone https://github.com/ggml-org/llama.cpp
llama.cpp은(는) 어떤 언어로 작성되었나요?
openSource.faqWhatLanguageAnswer
관련 프로젝트
Ollama
ollamaRun large models locally with a single command — LLMs, vision, and embeddings on any machine.
186k19.0k
vLLM
vllm-projectHigh-throughput, memory-efficient inference and serving engine for LLMs with PagedAttention.
96.5k24.5k
LiteLLM
BerriAIAI gateway to call 100+ LLM APIs in OpenAI format with cost tracking, guardrails, and load balancing.
62.9k13.1k