首页/AI/大模型部署与运维速查/logprobs:输出置信度观测
推理参数与优化50 条

logprobs:输出置信度观测

返回生成 token 的对数概率用于置信度检查:OpenAI 兼容参数 logprobs=true,配合 top_logprobs=N 可看每个位置的前 N 个候选;vLLM 同样支持。

请求与响应字段

请求与响应字段
r = client.chat.completions.create(
    model="<模型名>",
    messages=[{"role": "user", "content": "填一个数字:一打等于__打"}],
    logprobs=True,
    top_logprobs=3,
)
# 响应:choices[0].logprobs.content[] 每项含 token / logprob / top_logprobs
常见玩法:低置信度结果转人工复核或重试;注意 logprobs 会增加响应体积与少量计算开销。

易错点

  • 用统一概率阈值筛全部任务:不同模型与分词器尺度不同,阈值要按模型和数据集重新标定

数据来源与参考

  • OpenAI API 参考:logprobs(platform.openai.com/docs)
  • vLLM 官方文档:OpenAI 兼容服务器(docs.vllm.ai)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌