用户反馈闭环是什么
用户反馈闭环指把点赞踩、工单、人工改单这些信号接进评测体系：先抽样核对是不是真属于质量问题，再归类，然后把典型样本并入回归集，最后用修复版本回放验证。闭环的关键在「核对」和「回填」两步——原始反馈掺着情绪与误用，直接按数量排序会放大噪声；核对完不进回归集，同类问题下个版本还会再犯。
基本信息
| 数据来源 | 站内评价、客服工单、人工改单记录、投诉渠道 |
|---|---|
| 处理流程 | 抽样核对 → 归类 → 典型样本入回归集 → 修复版本回放验证 |
| 脱敏要求 | 入库前去除手机号、地址等个人标识信息 |
| 优先级依据 | 按核对确认后的影响面排序，不按原始反馈数量 |
典型使用场景
- 线上质量监控：差评集中出现时，判断是普遍问题还是个别误用
- 回归集补充：把确认过的真实坏例做成测试样本，防止同类退化
- 修复验证：新版本在历史反馈样本上回放，确认问题确实消失且无副作用
- 需求发现：高频被人工修正的字段，往往提示任务定义或提示描述不清
- 周报与复盘：用确认率与已修复比例替代原始差评量，避免被噪声带偏
反馈流转
反馈流转
# 收集：点踩 / 工单 / 人工改单记录
# 核对：抽样复核，判定是否确为质量问题（区分误用、期望不符、真缺陷）
# 归类：写入错误分类表，标注触发条件与影响面
# 入库：脱敏后把典型样本加入回归集，标注来源与确认日期
# 验证：修复版本在回归集回放，确认问题消失且未引入新退化
# 周报：差评量、确认率、已修复比例、待确认存量反馈分类与处置
| 类别 | 判别特征 | 处置方式 |
|---|---|---|
| 真缺陷 | 可复现，且输出确实不符合任务要求 | 入回归集，修复后回放验证 |
| 期望不符 | 输出符合既定规则但用户期待不同 | 评估规则是否需调整，同步说明文案 |
| 误用 | 输入超出设计范围或指令不完整 | 补充使用引导，不入评测集 |
| 环境问题 | 接口超时、配额不足等外部原因 | 走运维流程，与模型质量分开统计 |
反馈样本入库前必须脱敏：工单原文常带真实姓名、电话与业务数据，直接进评测集会让测试环境成为新的泄露面。
确认率是衡量这套流程健康度的指标：长期偏高说明产品确实有问题，长期极低则可能意味着反馈渠道被滥用或核对标准过严，两种情况都要复盘。