Xinference
作者： xorbitsai
Unified, production-ready inference API for open-source LLMs, speech, and multimodal models.
星数
9,648
派生数
897
语言
Python
分类
Inference & Serving
获取代码
# 克隆仓库git clone https://github.com/xorbitsai/inference
常见问题
Xinference 是什么？
Unified, production-ready inference API for open-source LLMs, speech, and multimodal models.
Xinference 使用安全吗？
Xinference 是 xorbitsai 在 GitHub 上的开源项目。在生产环境使用前请先审阅源代码与许可证。
如何开始使用 Xinference？
git clone https://github.com/xorbitsai/inference
Xinference 是用什么语言写的？
openSource.faqWhatLanguageAnswer
相关项目
Ollama
ollamaRun large models locally with a single command — LLMs, vision, and embeddings on any machine.
186k19.0k
llama.cpp
ggml-orgLLM inference in C/C++ with quantization — runs models on CPU, GPU, and edge devices.
134k25.3k
vLLM
vllm-projectHigh-throughput, memory-efficient inference and serving engine for LLMs with PagedAttention.
96.5k24.5k