流程
流程
1. 给模型一组输入输出样例,要求生成 5-10 条候选指令。
2. 用同一测试集分别执行每条候选,记录得分。
3. 选得分居前的 1-2 条,人工检查措辞后定稿。
4. 保留候选与分数记录,供后续迭代参考。| 关键 | 必须有可自动计算的评估分数(准确率、格式合法率) |
|---|---|
| 适用 | 批量、可度量的任务;主观任务收益有限 |
| 产出 | 候选指令集合 + 评分表,是提示迭代的原料 |
让模型自己批量生成候选指令,用目标任务的评分(如执行准确率)筛出表现好的指令;用搜索替代手写调优。
1. 给模型一组输入输出样例,要求生成 5-10 条候选指令。
2. 用同一测试集分别执行每条候选,记录得分。
3. 选得分居前的 1-2 条,人工检查措辞后定稿。
4. 保留候选与分数记录,供后续迭代参考。| 关键 | 必须有可自动计算的评估分数(准确率、格式合法率) |
|---|---|
| 适用 | 批量、可度量的任务;主观任务收益有限 |
| 产出 | 候选指令集合 + 评分表,是提示迭代的原料 |