给分类器一个弃权出口
分类任务里,总会有一部分样本信息不足以判定。如果提示里没有弃权出口,模型会在这类样本上强行选一个类别,错误因此被伪装成正常结果流向下游。做法是显式约定 unknown 的判定条件,并要求输出原因分类,让弃权样本能被聚合、复核和回补规则。
基本信息
| 输出 | label + cause(原因分类)+ 可选置信度 |
|---|---|
| 触发条件 | 信息不足 / 语义多义 / 超出类别表 |
| 处置 | 进入人工队列,同时补充判定规则 |
| 监控 | 弃权率与弃权样本的后续准确率一起看 |
典型使用场景
- 工单自动派单:描述过短且无上下文时先不派,转人工确认
- 内容审核标签:同时强烈匹配两个互斥类别时不硬判
- CRM 客户意向分级:原文只有一句客套话,不足以定级
- 多渠道消息归类:渠道特有的缩写不在类别表覆盖范围内
- 批量打标入库前:把弃权样本单独导出,作为规则补充输入
弃权规则模板
弃权规则模板
遇到以下情况输出 unknown,并在 cause 中给出原因分类:
- 文本过短且缺上下文(cause: 缺信息)
- 同时强匹配两个互斥类别(cause: 多义)
- 内容超出给定类别表的范围(cause: 超范围)
输出格式:
{"label": "unknown", "cause": "多义", "note": ""}
约束:不得因为不确定而一律弃权——
只有当上述条件成立时才输出 unknown。输出字段读法
| 字段 | 含义 | 正常与异常 |
|---|---|---|
| label | 判定类别或 unknown | unknown 占比稳定在个位数百分比;持续升高说明提示或数据有问题 |
| cause | 弃权的原因分类 | 缺失时人工队列无法按原因聚合改进 |
| note | 补充说明(可选) | 用于记录可疑之处,便于复核 |
| 弃权率 | unknown 占该批样本的比例 | 突然飙升通常意味着类别表与真实数据脱节 |
弃权率要设阈值监控。模型在遇到难样本时倾向偷懒,如果只看「错误率下降」而不看弃权率,很容易用大面积弃权换来一个好看的数字,覆盖率却在下滑。
弃权样本是改进提示的原料:按 cause 聚合后,缺信息类去看上游数据字段是否丢字段,多义类去看类别定义是否互相覆盖。