首页/AI/大模型部署与运维速查/推理框架选型检查清单
本包目录(267 条)
部署形态与选型43 条
推理环境与 GPU50 条推理参数与优化50 条显存与并发估算40 条服务化与网关34 条运维监控与排障50 条

推理框架选型检查清单

选框架按六项核对:模型架构支持、量化格式支持、硬件后端、并发与延迟目标、运维成熟度、团队熟悉度;逐项打勾后再进测试环境验证。

  • 模型架构:是否支持目标模型的注意力变体、MoE、多模态
  • 量化:AWQ/GPTQ/FP8/GGUF 哪些能用,质量损失是否可接受
  • 硬件:单卡还是多卡、是否需要张量并行、显卡架构是否在支持列表
  • 目标:平均延迟、尾延迟、并发量级
  • 运维:日志、指标、健康检查、升级路径是否齐全
  • 团队:现有脚本与文档栈是否可复用

快速验证流程

快速验证流程
# 1) 单请求质量验证
curl ... /v1/chat/completions
# 2) 并发压测(框架自带 benchmark 或压测工具)
# 3) 观察 TTFT/吞吐/显存曲线后再定版
跳过并发压测直接上线是常见事故来源:单请求正常不代表并发下稳定。

易错点

  • 只验证 7B 小模型就下单:13B 以上与长上下文的显存行为差异很大

数据来源与参考

  • vLLM 官方文档(docs.vllm.ai)
  • Hugging Face TGI 文档(huggingface.co/docs/text-generation-inference)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌