启动与调用
启动与调用
pip install xinference
xinference-local -H 0.0.0.0 -p 9997
# 启动指定模型（命令行）
xinference launch --model-name qwen2.5-instruct --model-type LLM --size-in-billions 7| 默认端口 | 9997 |
|---|---|
| 模型类型 | LLM / embedding / rerank / 语音等 |
| 接口 | OpenAI 兼容 /v1 与原生 REST |
单机多模型场景下平台会按显存调度加载，与 vLLM 单模型高吞吐定位不同，按场景取舍。