Xinference

Unified, production-ready inference API for open-source LLMs, speech, and multimodal models.

Sao

9,648

Fork

897

Ngôn ngữ

Python

Danh mục

Inference & Serving

Lấy mã nguồn

# Clone kho lưu trữ
git clone https://github.com/xorbitsai/inference

Xinference là gì?

Unified, production-ready inference API for open-source LLMs, speech, and multimodal models.

Sử dụng Xinference có an toàn không?

Xinference là dự án mã nguồn mở của xorbitsai trên GitHub. Hãy xem mã nguồn và giấy phép trước khi dùng cho môi trường thật.

Làm sao bắt đầu với Xinference?

git clone https://github.com/xorbitsai/inference

Xinference được viết bằng ngôn ngữ nào?

openSource.faqWhatLanguageAnswer

Run large models locally with a single command — LLMs, vision, and embeddings on any machine.

LLM inference in C/C++ with quantization — runs models on CPU, GPU, and edge devices.

High-throughput, memory-efficient inference and serving engine for LLMs with PagedAttention.