Auto-CoT 是什么
Auto-CoT（自动构造思维链示例）指用模型自动生成「问题 + 推理链」示例，再按多样性筛选后组装进提示，替代人工编写。它的动机很实际：手工写推理示例既费时又难以覆盖问题类型。但自动生成会带进错误示例，而错误示例会被后续样本模仿，所以流程里必须有质检环节——否则省下的编写成本会以调试成本的形式还回来。
基本信息
| 来源 | Automatic Chain of Thought Prompting in Large Language Models（Zhang 等，ICLR 2023） |
|---|---|
| 适用平台 | 需要推理示例的问答与计算类任务；文本模型 |
| 核心步骤 | 问题分组 → 每组取代表问题生成推理链 → 质检 → 组装进提示 |
| 质检要点 | 推理过程与结论是否一致、格式是否统一、有无编造事实 |
典型使用场景
- 数学与逻辑题：由模型生成解题步骤作为示例，覆盖多种题型
- 字段抽取任务：生成带推理过程的抽取示例，帮助模型处理歧义输入
- 多类目分类：每类选代表样本生成判定推理，避免人工逐类编写
- 规则推理场景：示例中体现规则优先级的判断过程
- 示例维护：任务类型扩展时快速补充对应示例，不必重新手工编写
流程
流程
# 1 对一批问题做聚类或按主题分组（可借助文本聚类或人工划分）
# 2 每组选 1-2 个代表问题，让模型生成带推理链的示例
# 3 检查示例：推理是否成立、结论是否由推理支持、格式是否统一
# 4 抽样复核：对每组示例做交叉验证（换一次提问看结论是否稳定）
# 5 组装提示：按类别分散排列，避免同类示例扎堆
# 6 留档：记录示例来源、生成模型与日期，便于后续追查与更新示例质量检查项
| 检查项 | 合格标准 | 不合格示例的表现 |
|---|---|---|
| 推理与结论一致 | 结论能由所写步骤推出 | 跳跃结论、理由与答案无关 |
| 格式统一 | 步骤编号与输出结构一致 | 有的分步、有的直接给答案 |
| 事实可核 | 涉及的数值与前提无编造 | 出现来源不明的数字或规则 |
| 多样性 | 覆盖不同问题类型 | 五个示例全是同一类问题 |
| 长度适中 | 步骤数稳定且不冗长 | 示例过长挤占上下文预算 |
示例排列按类别分散比按生成顺序排列效果更稳：连续多个同类示例会让模型把细节当作通用规则套用。
生成示例所花的调用成本通常远低于人工编写时间，但质检不能省：一份错误的推理链被放进提示后，会稳定地影响所有同类输入，排查时反而更费劲。