LocalAI

Run any model — LLMs, vision, voice, image, video — on any hardware, no GPU required.

Sao

50,248

Fork

4,581

Ngôn ngữ

Danh mục

Inference & Serving

Lấy mã nguồn

# Clone kho lưu trữ
git clone https://github.com/mudler/LocalAI

LocalAI là gì?

Run any model — LLMs, vision, voice, image, video — on any hardware, no GPU required.

Sử dụng LocalAI có an toàn không?

LocalAI là dự án mã nguồn mở của mudler trên GitHub. Hãy xem mã nguồn và giấy phép trước khi dùng cho môi trường thật.

Làm sao bắt đầu với LocalAI?

git clone https://github.com/mudler/LocalAI

LocalAI được viết bằng ngôn ngữ nào?

openSource.faqWhatLanguageAnswer

Run large models locally with a single command — LLMs, vision, and embeddings on any machine.

LLM inference in C/C++ with quantization — runs models on CPU, GPU, and edge devices.

High-throughput, memory-efficient inference and serving engine for LLMs with PagedAttention.