首页/AI/大模型部署与运维速查/输出异常:乱码/复读/截断排查
本包目录(267 条)
部署形态与选型43 条推理环境与 GPU50 条推理参数与优化50 条显存与并发估算40 条服务化与网关34 条
运维监控与排障50 条

输出异常:乱码/复读/截断排查

输出质量突然异常按四层查:chat template 错配、停止符与采样参数、finish_reason 截断、量化退化;用一个固定小用例做基线回归,可快速定位。

症状 → 排查方向

症状优先排查
角色标记错乱、格式怪chat template 与 tokenizer 配置
复读、循环repetition_penalty 与温度等极端参数组合
突然截断max_tokens 与 finish_reason=length
整体质量退化量化方案或权重版本变化

固定冒烟用例(示意)

固定冒烟用例(示意)
cat > /tmp/smoke.json <<'JSON'
{
  "model": "<模型>",
  "messages": [{"role": "user", "content": "用一句话介绍你自己"}],
  "max_tokens": 64
}
JSON
curl -s http://127.0.0.1:8000/v1/chat/completions -H 'Content-Type: application/json' -d @/tmp/smoke.json | python -m json.tool
记录 finish_reason:stop 与 length 对应完全不同的处理路径。

易错点

  • 先怀疑模型坏了:换回官方模板与默认采样参数复测一遍再下结论

数据来源与参考

  • Hugging Face 官方文档:chat templates(huggingface.co/docs)
  • vLLM 官方文档:Sampling Parameters(docs.vllm.ai)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌