llama.cpp

LLM inference in C/C++ with quantization — runs models on CPU, GPU, and edge devices.

Stars

133,692

Forks

25,250

Sprache

C++

Kategorie

Inference & Serving

Code holen

# Repository klonen
git clone https://github.com/ggml-org/llama.cpp

Was ist llama.cpp?

LLM inference in C/C++ with quantization — runs models on CPU, GPU, and edge devices.

Ist die Nutzung von llama.cpp sicher?

llama.cpp ist ein Open-Source-Projekt von ggml-org auf GitHub. Prüfe Quellcode und Lizenz, bevor du es in Produktion nutzt.

Wie starte ich mit llama.cpp?

git clone https://github.com/ggml-org/llama.cpp

In welcher Sprache ist llama.cpp geschrieben?

openSource.faqWhatLanguageAnswer