分类提示是什么
分类任务的稳定性来自两件事:标签集封闭,且类别之间互斥。做法是先把全部标签列出来,给每类一句定义与一到两个边界案例,要求模型只从集合中选一个,必要时再要求输出置信度,并对低置信结果设复核阈值。实践中分类不稳的头号原因不是措辞问题,而是类别定义互相重叠——同一输入落在两个类的交叉区,模型自然反复摇摆,这时应先改类别划分,再回来调提示词。
基本信息
| 标签集要求 | 封闭、互斥、覆盖全部情况(含其他类) |
|---|---|
| 边界处理 | 易混类别各给 1-2 个样例 |
| 输出形态 | 标签,可选置信度 |
| 复核机制 | 低置信度转人工或二次判定 |
| 常见根因 | 类别定义重叠 |
| 批量场景 | 配批量接口可显著降低单条成本 |
典型使用场景
- 工单分流:按咨询、投诉、售后分类后派单
- 内容审核预分类:先粗分再决定是否进入深度审核
- 评论与反馈打标:为主题分析准备结构化标签
- 日志与告警归类:把重复告警归到同一问题族
- 意图识别:作为对话路由的第一步
- 语料清洗:按类型分桶,便于分别制定处理规则
工单分类模板
工单分类模板
从以下标签中选 1 个输出,格式为 标签|置信度:
咨询 / 投诉 / 售后 / 其他
规则:
- 无法归入前三类时选其他,不要自创标签;
- 置信度用 0 到 1 之间的小数,低于 0.6 时标注需复核;
- 只输出结果,不要解释理由。
工单内容:……
# 标签用短标识,中文映射表放在程序侧,减少输出漂移
# 低置信样本落库留存,作为下一轮补充类别的依据分类质量提升路径
| 问题 | 表现 | 处理方向 |
|---|---|---|
| 类别重叠 | 同一输入反复换标签 | 先改类别定义使其互斥 |
| 缺少兜底类 | 新类型被硬塞进旧类 | 增加其他类并要求低置信标注 |
| 标签名冗长 | 输出不规范、无法解析 | 用短标识或编号,程序侧映射 |
| 样本不均 | 罕见类召回低 | 补少样本示例或调整阈值 |
| 置信度不可信 | 分数普遍偏高 | 用验证集校准,勿直接当概率 |
类别定义重叠是分类不稳的头号原因,先改类别划分再调提示词;把两类合并或新增兜底类,往往比反复改措辞有效。
模型给出的置信度未必校准过,直接拿来当阈值会偏乐观;应在验证集上观察正确率与分数的对应关系后再定阈值。