首页/AI/大模型部署与运维速查/generation_config.json:默认采样参数的来源
本包目录(267 条)
部署形态与选型43 条推理环境与 GPU50 条
推理参数与优化50 条
显存与并发估算40 条服务化与网关34 条运维监控与排障50 条

generation_config.json:默认采样参数的来源

模型目录里的 generation_config.json 记录作者设定的默认采样参数;请求未显式指定时,实际生效值由服务端默认与模型生成配置共同决定,可能与模型卡推荐不一致。

查看模型自带默认值

查看模型自带默认值
cat <模型目录>/generation_config.json | head -30

请求级显式覆盖(更可控)

请求级显式覆盖(更可控)
r = client.chat.completions.create(
    model="<模型名>",
    messages=[{"role": "user", "content": "你好"}],
    temperature=0.6,
    top_p=0.9,
)
上线前用最小请求确认实际生效的 temperature/top_p:默认值链路(服务端 → 模型配置 → 请求)容易想当然。

易错点

  • 线上输出风格与模型卡描述不符:多数是本机生效默认值与模型作者配置不一致,先核对再调参

数据来源与参考

  • Hugging Face 文本生成文档:生成配置(huggingface.co/docs/transformers)
  • vLLM 官方文档:Engine 参数(docs.vllm.ai)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌