示例挑选在挑什么
示例集的质量往往比规则描述更能决定输出稳定性,因为模型是从示例里读出规格的:格式、字段命名、语气、边界处理方式都能被模仿。挑选示例时容易犯两个错——全挑典型样本,模型在边界输入上表现不可预期;或者随手抓几条,格式互不一致,模型学着在多种样式间摇摆。
三类示例各挑什么
| 典型样本 | 覆盖最主要的输入类型,锚定正确行为的基线,1-2 组 |
|---|---|
| 边界样本 | 空值、极短、超长、多语种、字段缺失等极端输入,1 组 |
| 易错样本 | 看上去像 A 实际应归 B 的近似情形,1 组,最能纠正偏差 |
| 格式一致 | 所有示例的字段名、标点、布尔与空值写法逐字对齐 |
| 相似度 | 优先选与线上待处理输入分布接近的样本,而不是构造出来的理想样本 |
典型使用场景
- 特殊输出格式:内部 DSL、自定义标记、混合中英写法,示例比文字规则更省事
- 类别边界对齐:把最容易被误判的那一两个情形写成示例
- 语气与文风迁移:用两段范文锚定文体,避免逐次风格漂移
- 字段缺失处理:用一组空值示例明确缺失时的写法
- 示例集精简:输出不稳时先回看示例集是否格式不一致,而不是先改措辞
格式一致性演示
格式一致性演示
输入:工单:充电器发热严重,已换过一次仍有问题。
输出:{"category": "硬件", "severity": "中", "need_return": true}
# 后续所有示例的字段名、引号、布尔写法与上面完全一致
# 不要出现 true/True/是 混用,也不要漏掉某个字段示例组合建议
| 示例类型 | 作用 | 建议数量 |
|---|---|---|
| 典型样本 | 锚定正确行为的基线 | 1-2 个 |
| 边界样本 | 空值、极短、多语言等极端输入 | 1 个 |
| 易错样本 | 容易被误判的近似情形 | 1 个 |
| 回归样本 | 历史上出错过的真实输入 | 按 badcase 补充,可另存测试集 |
示例不是越多越好:三组高信息量示例通常优于十组雷同示例,后者既占上下文又容易引入格式噪声。
把示例集与评测集分开维护:示例集用于提示,评测集用于验收,样本重叠会让评测结果虚高。