llama.cpp

بواسطة ggml-org

LLM inference in C/C++ with quantization — runs models on CPU, GPU, and edge devices.

النجوم

133,692

التفرعات

25,250

اللغة

C++

الفئة

Inference & Serving

الحصول على الكود

# استنسخ المستودع
git clone https://github.com/ggml-org/llama.cpp

ما هو llama.cpp؟

LLM inference in C/C++ with quantization — runs models on CPU, GPU, and edge devices.

هل استخدام llama.cpp آمن؟

llama.cpp مشروع مفتوحة المصدر من ggml-org على GitHub. راجع الكود المصدري والترخيص قبل استخدامه في الإنتاج.

كيف أبدأ مع llama.cpp؟

git clone https://github.com/ggml-org/llama.cpp

بأي لغة كُتب llama.cpp؟

openSource.faqWhatLanguageAnswer

Run large models locally with a single command — LLMs, vision, and embeddings on any machine.

High-throughput, memory-efficient inference and serving engine for LLMs with PagedAttention.

AI gateway to call 100+ LLM APIs in OpenAI format with cost tracking, guardrails, and load balancing.