首页/AI/提示词工程速查/不确定样本的弃权机制
任务型写法50 条

不确定样本的弃权机制

给分类器一个“弃权”出口:证据不足时输出 unknown 或低置信度,交给人工或二次判定,而不是强行打标。

提示词工程速查AI更新于 2026-10-13

给分类器一个弃权出口

分类任务里,总会有一部分样本信息不足以判定。如果提示里没有弃权出口,模型会在这类样本上强行选一个类别,错误因此被伪装成正常结果流向下游。做法是显式约定 unknown 的判定条件,并要求输出原因分类,让弃权样本能被聚合、复核和回补规则。

基本信息

输出label + cause(原因分类)+ 可选置信度
触发条件信息不足 / 语义多义 / 超出类别表
处置进入人工队列,同时补充判定规则
监控弃权率与弃权样本的后续准确率一起看

典型使用场景

  • 工单自动派单:描述过短且无上下文时先不派,转人工确认
  • 内容审核标签:同时强烈匹配两个互斥类别时不硬判
  • CRM 客户意向分级:原文只有一句客套话,不足以定级
  • 多渠道消息归类:渠道特有的缩写不在类别表覆盖范围内
  • 批量打标入库前:把弃权样本单独导出,作为规则补充输入

弃权规则模板

弃权规则模板
遇到以下情况输出 unknown,并在 cause 中给出原因分类:
- 文本过短且缺上下文(cause: 缺信息)
- 同时强匹配两个互斥类别(cause: 多义)
- 内容超出给定类别表的范围(cause: 超范围)

输出格式:
{"label": "unknown", "cause": "多义", "note": ""}

约束:不得因为不确定而一律弃权——
只有当上述条件成立时才输出 unknown。

输出字段读法

字段含义正常与异常
label判定类别或 unknownunknown 占比稳定在个位数百分比;持续升高说明提示或数据有问题
cause弃权的原因分类缺失时人工队列无法按原因聚合改进
note补充说明(可选)用于记录可疑之处,便于复核
弃权率unknown 占该批样本的比例突然飙升通常意味着类别表与真实数据脱节
弃权率要设阈值监控。模型在遇到难样本时倾向偷懒,如果只看「错误率下降」而不看弃权率,很容易用大面积弃权换来一个好看的数字,覆盖率却在下滑。
弃权样本是改进提示的原料:按 cause 聚合后,缺信息类去看上游数据字段是否丢字段,多义类去看类别定义是否互相覆盖。

易错点

  • 不设弃权出口,模型在信息不足的样本上强行打标,错误以正常结果的形式流入下游
  • 弃权不给出原因分类,人工队列无法按原因聚合,同类问题反复出现
  • 只监控准确率不监控弃权率,模型可以靠大面积弃权把指标做漂亮,覆盖率悄悄下降
  • 把 unknown 当作一类参与准确率计算,使指标既不可比也无法反映真实可用性

数据来源与参考

  • The Prompt Report(Schulhoff et al., 2024)与选择性预测(abstention)相关思路
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌