元提示优化是什么
元提示优化把“指令与对应得分”的历史写进提示，让模型根据历史表现提出新的指令版本，再评估、再迭代，形成闭环搜索。它适合目标可自动打分、评估成本可控的离线调优；没有稳定评估口径的场景做这件事只会把噪声当成改进方向。
基本信息
| 机制 | 把得分作为反馈信号，引导模型在指令空间里搜索改进方向 |
|---|---|
| 历史要素 | 候选指令、得分、失败样本摘要，缺一不可 |
| 成本 | 每轮都要跑一批评估，属于离线优化而非实时链路 |
| 停止条件 | 分数连续多轮不涨、或达到预算上限即停 |
| 产出 | 一条更优指令加一份迭代记录，供后续版本对比 |
典型使用场景
- 有自动评分器的抽取任务：字段准确率可直接算分，适合跑迭代
- 分类与判定类提示：标签准确率就是现成目标函数
- 批量文案生成：用规则化打分（长度、禁用词、要点覆盖）做粗略信号
- 多人协作调提示：把迭代记录留档，替代口头传递的调参经验
- 对比实验设计：把不同提示版本在同一测试集上排开比较
元提示骨架
元提示骨架
你的任务是改进一条指令，使其在评测集上得分更高。
历史记录（指令 → 得分）：
- 指令 A：抽取字段时保持原文顺序 → 0.62
- 指令 B：先识别字段名再逐个取值 → 0.71
- 指令 C：输出前逐字段自检一遍 → 0.68
失败样本摘要：金额字段常把含税与不含税混同
请给出新的指令（更可能得高分），只输出指令本身。
# 每轮把新指令加入历史，重新评估后再生成下一轮迭代要素与常见失误
| 要素 | 正确做法 | 常见失误 |
|---|---|---|
| 评估集 | 固定且有代表性，样本量足够 | 样本太少，得分波动被当成改进 |
| 历史记录 | 附分数与失败样本摘要 | 只给分数，模型只能瞎猜方向 |
| 迭代轮次 | 设预算与停止条件 | 无限迭代，成本失控 |
| 验证 | 留出独立测试集 | 在同一集合上调优，过拟合测试集 |
评估集有噪声时，优化方向会被噪声主导。先确认同一指令重复评估的分数波动范围，再判断两轮之间的提升是否真实。