Xinference

بواسطة xorbitsai

Unified, production-ready inference API for open-source LLMs, speech, and multimodal models.

النجوم

9,648

التفرعات

897

اللغة

Python

الفئة

Inference & Serving

الحصول على الكود

# استنسخ المستودع
git clone https://github.com/xorbitsai/inference

ما هو Xinference؟

Unified, production-ready inference API for open-source LLMs, speech, and multimodal models.

هل استخدام Xinference آمن؟

Xinference مشروع مفتوحة المصدر من xorbitsai على GitHub. راجع الكود المصدري والترخيص قبل استخدامه في الإنتاج.

كيف أبدأ مع Xinference؟

git clone https://github.com/xorbitsai/inference

بأي لغة كُتب Xinference؟

openSource.faqWhatLanguageAnswer

Run large models locally with a single command — LLMs, vision, and embeddings on any machine.

LLM inference in C/C++ with quantization — runs models on CPU, GPU, and edge devices.

High-throughput, memory-efficient inference and serving engine for LLMs with PagedAttention.