输出置信度观测
生成式接口可以返回每个词元的对数概率，用于置信度检查与结果筛选。请求侧打开返回概率的开关，并指定每个位置返回多少个候选，就能看到模型在该位置最可能的几个选项；自托管引擎的兼容接口同样支持。代价是响应体积变大，并附带少量计算开销。
基本信息
| 适用平台 | OpenAI 兼容接口与自托管推理引擎 |
|---|---|
| 请求参数 | 打开返回概率的开关，并指定候选数量 |
| 响应字段 | 每个词元的概率与候选列表 |
| 代价 | 响应体积变大，附带少量计算开销 |
请求与响应字段
请求与响应字段
r = client.chat.completions.create(
model="<模型名>",
messages=[{"role": "user", "content": "填一个数字：一打等于__打"}],
logprobs=True,
top_logprobs=3,
)
# 响应中每个词元的字段含 token / logprob / top_logprobs典型使用场景
- 置信度筛选：低置信度结果转人工复核或重试
- 结构化抽取：检查关键字段的概率，判断是否可信
- 评测辅助：对比不同配置下概率分布的变化
- 调试对齐：定位模型从哪一步开始跑偏
字段读法
| 字段 | 含义 | 读法 |
|---|---|---|
| 词元 | 该位置实际生成的词元 | 与输出文本逐字对应 |
| 对数概率 | 该词元的对数概率 | 越接近零越有把握 |
| 候选列表 | 该位置概率最高的若干选项 | 概率分散说明模型在犹豫 |
常见玩法是把低置信度结果转人工复核或重试；注意返回概率会增加响应体积与少量计算开销。
概率是模型自身的尺度：换模型或换分词器后，同一个阈值不再等价，要按模型与数据集重新标定。
别把概率当正确率：模型可以高置信地给出错误答案，阈值只用于筛选，不能替代业务校验。
按需开启：只对需要复核的调用方或接口返回概率，避免给所有调用方增加响应体积与带宽成本。