部署形态与选型43 条

主流推理框架横向对照

按部署形态与调度机制对照 vLLM、SGLang、TGI、Ollama、llama.cpp：前三者面向服务端吞吐，Ollama 与 llama.cpp 面向单机与边缘；对照表用于快速缩小候选范围。

框架对照（定性）

# 服务端候选：先跑通 vLLM 或 SGLang 的 OpenAI 兼容接口
curl http://127.0.0.1:8000/v1/models
# 单机候选：用 Ollama 快速验证模型效果
ollama run qwen2.5:7b

对照只做方向性筛选，以目标模型在你硬件上的实测吞吐与质量为准。

‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌