迭代闭环：一轮一个变量
有效的迭代是：从错误分类里挑出占比最高的类，提出一个可检验的假设，只改一处提示，回放全量评测集并与上一版对比，最后把结论写进变更记录。一轮只动一个变量，结论才能归因；一次改五处，指标变好也不知道是哪一处的功劳。
基本信息
| 粒度 | 一轮一个变量，结论才可归因 |
|---|---|
| 输入 | 上一轮的错误分类占比 |
| 验证 | 回放评测集 + 回归集，记录护栏指标 |
| 收敛 | 连续几轮收益低于噪声即停止微调 |
典型使用场景
- 提示调优流程标准化：每轮有假设、有改动、有回放结果
- 团队协作：变更记录让任何人能看懂每个改动换来了什么
- 回归防护：改动后必须回放回归集，确认没有牵连其他场景
- 投入决策：连续几轮收益趋零时，转向数据或架构而不是继续调词
迭代轮次记录模板
迭代轮次记录模板
轮次 12：
问题：E3 指令未遵守占比 34%（居前）
假设：约束条款写在长提示中部被忽略
改动：把约束复述到输入末尾（仅此一处）
回放：golden-v3 与回归集全量，参数与上一轮一致
结果：E3 占比 34% → 21%，主指标 +2.1pt，
护栏（解析率 100%、P95 时延 1.2s）无变化
结论：保留；下一轮处理 E4 正确性
# 回滚点：保留上一版提示文件，异常时可快速切回每轮记录的内容
| 字段 | 作用 | 缺失时的后果 |
|---|---|---|
| 问题与占比 | 说明这一轮为什么改这里 | 改动理由丢失，后续无法判断是否值得 |
| 假设 | 把改动与预期效果绑定 | 只记录改了什么，无法验证判断力 |
| 改动范围 | 确认只有一个变量 | 多变量同时改，归因不成立 |
| 回放结果 | 主指标与护栏指标 | 只看主指标，另一处退化无人发现 |
| 结论 | 保留或回滚，以及下一步 | 迭代失去连续性，重复走老路 |
回放必须与上一轮使用相同的样本集、参数和重复次数，否则两轮结果不可比，很容易把噪声读成改进。
什么时候停：连续几轮收益都小于运行波动，说明提示层面的空间已经用尽，继续调词只是消耗预算，应该转去补数据、改结构或换模型。