- 模型架构:是否支持目标模型的注意力变体、MoE、多模态
- 量化:AWQ/GPTQ/FP8/GGUF 哪些能用,质量损失是否可接受
- 硬件:单卡还是多卡、是否需要张量并行、显卡架构是否在支持列表
- 目标:平均延迟、尾延迟、并发量级
- 运维:日志、指标、健康检查、升级路径是否齐全
- 团队:现有脚本与文档栈是否可复用
快速验证流程
快速验证流程
# 1) 单请求质量验证
curl ... /v1/chat/completions
# 2) 并发压测(框架自带 benchmark 或压测工具)
# 3) 观察 TTFT/吞吐/显存曲线后再定版跳过并发压测直接上线是常见事故来源:单请求正常不代表并发下稳定。