llama.cpp

автор: ggml-org

LLM inference in C/C++ with quantization — runs models on CPU, GPU, and edge devices.

Звёзды

133,692

Форки

25,250

Язык

C++

Категория

Inference & Serving

Получить код

# Клонируйте репозиторий
git clone https://github.com/ggml-org/llama.cpp

Что такое llama.cpp?

LLM inference in C/C++ with quantization — runs models on CPU, GPU, and edge devices.

Безопасно ли использовать llama.cpp?

llama.cpp — open-source проект ggml-org на GitHub. Проверьте исходный код и лицензию перед использованием в продакшене.

Как начать с llama.cpp?

git clone https://github.com/ggml-org/llama.cpp

На каком языке написан llama.cpp?

openSource.faqWhatLanguageAnswer