Xinference
개발자: xorbitsai
Unified, production-ready inference API for open-source LLMs, speech, and multimodal models.
스타
9,648
포크
897
언어
Python
카테고리
Inference & Serving
코드 받기
# 저장소 클론git clone https://github.com/xorbitsai/inference
자주 묻는 질문
Xinference은(는) 무엇인가요?
Unified, production-ready inference API for open-source LLMs, speech, and multimodal models.
Xinference 사용이 안전한가요?
Xinference은(는) xorbitsai의 GitHub 오픈소스 프로젝트입니다. 프로덕션 사용 전에 소스 코드와 라이선스를 확인하세요.
Xinference은(는) 어떻게 시작하나요?
git clone https://github.com/xorbitsai/inference
Xinference은(는) 어떤 언어로 작성되었나요?
openSource.faqWhatLanguageAnswer
관련 프로젝트
Ollama
ollamaRun large models locally with a single command — LLMs, vision, and embeddings on any machine.
186k19.0k
llama.cpp
ggml-orgLLM inference in C/C++ with quantization — runs models on CPU, GPU, and edge devices.
134k25.3k
vLLM
vllm-projectHigh-throughput, memory-efficient inference and serving engine for LLMs with PagedAttention.
96.5k24.5k