llama.cpp

作者： ggml-org

LLM inference in C/C++ with quantization — runs models on CPU, GPU, and edge devices.

星数

133,692

派生数

25,250

语言

C++

分类

Inference & Serving

获取代码

# 克隆仓库
git clone https://github.com/ggml-org/llama.cpp

llama.cpp 是什么？

LLM inference in C/C++ with quantization — runs models on CPU, GPU, and edge devices.

llama.cpp 使用安全吗？

llama.cpp 是 ggml-org 在 GitHub 上的开源项目。在生产环境使用前请先审阅源代码与许可证。

如何开始使用 llama.cpp？

git clone https://github.com/ggml-org/llama.cpp

llama.cpp 是用什么语言写的？

openSource.faqWhatLanguageAnswer