用户反馈闭环是什么
用户反馈闭环把点赞、差评、引用点击这类零散信号，变成可行动的质量输入。要点有三条：反馈必须与 trace id 关联，否则收到差评也无法复现；差评要分类归因，检索没找到、生成编造、文档过期分属不同责任方；好样本要沉淀进评测集，让评测集随真实使用生长。缺少闭环时，质量问题只会在季度总结里以「用户抱怨」的形式被想起，而且已经积压到无法归类。
基本信息
| 信号来源 | 点赞差评、引用点击、复制、转人工 |
|---|---|
| 关联键 | trace id，必须写入反馈记录 |
| 归因分类 | 检索类、生成类、数据类、交互类 |
| 处理去向 | 召回缺陷清单、提示词清单、知识库运营清单 |
| 正向使用 | 好样本沉淀为评测集 |
| 常规动作 | 定期统计差评归因占比 |
典型使用场景
- 收到差评后按 trace id 复现完整链路，定位环节
- 用差评归因占比决定本轮优化优先级
- 把高质量问答沉淀进评测集，补充真实问法
- 用引用点击率判断引用是否真的帮助了用户
- 转人工的会话反哺知识库缺口清单
反馈数据结构
反馈数据结构
{"trace_id": "t-9f2", "rating": -1, "reason": "答案引用了过期版本",
"clicked_citation": true, "comment": "……"}
# trace_id 是唯一能把反馈还原成完整链路检索-生成记录的字段
# reason 允许用户自由补充，归因时比单纯评分有用得多差评归因读法
| 类别 | 典型描述 | 处理去向 |
|---|---|---|
| 检索类 | 没找到、找错了 | 召回缺陷清单：补同义词、调切分 |
| 生成类 | 编造、格式乱、忽略引用 | 提示词与模型改动清单 |
| 数据类 | 文档过期、内容缺失 | 知识库运营清单：催更或下线 |
| 交互类 | 太长、看不懂 | 答案格式与模板调整 |
定期统计差评归因占比，它本身就是团队的优化优先级清单：占比最高的那一类先修，比凭感觉排期可靠。
反馈入口要放在用户容易点到的位置，并允许一句话补充原因；只收集评分不收集原因，归因只能靠猜。