首页/AI/大模型部署与运维速查/seed:可复现性的边界
本包目录(267 条)
部署形态与选型43 条推理环境与 GPU50 条
推理参数与优化50 条
显存与并发估算40 条服务化与网关34 条运维监控与排障50 条

seed:可复现性的边界

固定 seed 让采样序列可复现(尽力而为):OpenAI 兼容字段 seed、vLLM SamplingParams 也有 seed;但并行度、批组合与算子实现变化仍可能带来差异。

固定与记录

固定与记录
# 请求级
client.chat.completions.create(..., seed=42)

# vLLM 离线
SamplingParams(temperature=0.8, seed=42)
强复现场景要同时固定:模型版本、推理框架版本、采样参数、批处理配置;评测脚本把这几项写进结果元数据。

易错点

  • 以为 seed 就是完全确定:批处理下同一请求落在不同批次组合中仍可能产生极小差异

数据来源与参考

  • OpenAI API 参考:seed(platform.openai.com/docs)
  • vLLM 官方文档:SamplingParams(docs.vllm.ai)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌