自洽性投票是什么
自洽性投票的做法是:对同一个问题用同一条提示多次采样,把每次的最终答案归一化后做多数投票,取出现最多的那个。它利用的是采样多样性——单次推理可能在某一步走偏,但走偏的路径通常不会重复,而正确的路径有更大概率被多次走到。Wang 等人 2022 年提出这一方法时,是在思维链提示的基础上做多路采样,换来更稳的正确率。
适用前提
它只对答案可以对齐的任务有效:数字、选项、短标签、枚举值都能归一化比较。开放式的长文本没有唯一答案,投票无从下手。成本也是硬约束:采样 n 次,费用与延迟大致按 n 倍增长,所以要按任务价值挑 n,而不是默认取大。
要点
| 前提 | 答案可归一化(数字、选项、短标签);开放文本不适用 |
|---|---|
| 成本 | 成本近似按 n 倍计,按任务价值选择 n |
| 采样设置 | 温度适当调高(如 0.5-0.8),保证路径有差异 |
| 归一化 | 去空格、统一单位与大小写,否则同一答案会被拆成多票 |
| 取舍 | 单次低温回答更省;自洽性用成本换稳定 |
典型使用场景
- 数值计算与估算:多次采样取多数,减少单次算错的影响
- 多选与判定类任务:选项对齐成本低,投票直接可用
- 抽取关键字段:对类别型字段投票,降低枚举值漂移
- 需要稳定结论的自动化流程:宁可多花几次调用,也不要结果反复
- 评估阶段:用投票结果作为参考,观察单次采样与投票结果的差距
流程
流程
1. 用同一 CoT 提示采样 n 次(如 n=5-10,temperature 0.5-0.8) # 保证路径有差异
2. 提取每次的最终答案并归一化(去空格、统一单位) # 归一化做不好会拆票
3. 取出现次数居前的答案;并列时回看推理质量或追加采样
4. 记录各答案的票数与原始输出,便于事后复核调参取舍
| 参数 | 偏低 | 偏高 |
|---|---|---|
| 采样次数 n | 省成本,投票增益有限 | 更稳,但费用与延迟线性上升 |
| temperature | 路径雷同,投票等于重复同一答案 | 路径差异大,但错误答案也会多样化 |
| 单次推理长度 | 快,中间步骤可能被压缩掉 | 信息更全,token 消耗上升 |
投票结果要连同各自的原始推理一起留档:只存多数答案,事后无法判断分歧出在哪一步。