固定与记录
固定与记录
# 请求级
client.chat.completions.create(..., seed=42)
# vLLM 离线
SamplingParams(temperature=0.8, seed=42)强复现场景要同时固定:模型版本、推理框架版本、采样参数、批处理配置;评测脚本把这几项写进结果元数据。
固定 seed 让采样序列可复现(尽力而为):OpenAI 兼容字段 seed、vLLM SamplingParams 也有 seed;但并行度、批组合与算子实现变化仍可能带来差异。
# 请求级
client.chat.completions.create(..., seed=42)
# vLLM 离线
SamplingParams(temperature=0.8, seed=42)