Xinference

Unified, production-ready inference API for open-source LLMs, speech, and multimodal models.

Yıldız

9,648

Çatallar

897

Dil

Python

Kategori

Inference & Serving

Kodu al

# Depoyu klonla
git clone https://github.com/xorbitsai/inference

Xinference nedir?

Unified, production-ready inference API for open-source LLMs, speech, and multimodal models.

Xinference kullanımı güvenli mi?

Xinference, xorbitsai tarafından GitHub'da geliştirilen açık kaynak bir projedir. Üretimde kullanmadan önce kaynak kodu ve lisansı inceleyin.

Xinference ile nasıl başlanır?

git clone https://github.com/xorbitsai/inference

Xinference hangi dilde yazıldı?

openSource.faqWhatLanguageAnswer

Run large models locally with a single command — LLMs, vision, and embeddings on any machine.

LLM inference in C/C++ with quantization — runs models on CPU, GPU, and edge devices.

High-throughput, memory-efficient inference and serving engine for LLMs with PagedAttention.