llama.cpp

LLM inference in C/C++ with quantization — runs models on CPU, GPU, and edge devices.

Gwiazdki

133,692

Forki

25,250

Język

C++

Kategoria

Inference & Serving

Pobierz kod

# Sklonuj repozytorium
git clone https://github.com/ggml-org/llama.cpp

Czym jest llama.cpp?

LLM inference in C/C++ with quantization — runs models on CPU, GPU, and edge devices.

Czy korzystanie z llama.cpp jest bezpieczne?

llama.cpp to projekt open source autorstwa ggml-org na GitHub. Sprawdź kod źródłowy i licencję przed użyciem na produkcji.

Jak zacząć z llama.cpp?

git clone https://github.com/ggml-org/llama.cpp

W jakim języku napisany jest llama.cpp?

openSource.faqWhatLanguageAnswer

Run large models locally with a single command — LLMs, vision, and embeddings on any machine.

High-throughput, memory-efficient inference and serving engine for LLMs with PagedAttention.

AI gateway to call 100+ LLM APIs in OpenAI format with cost tracking, guardrails, and load balancing.