业务侧效果度量是什么
技术指标之外必须盯业务指标，否则很容易出现「技术指标达标、业务没有任何变化」的方案。至少要看四类：自助解决率（未转人工且用户未继续追问）、答案采纳率（点赞、复制、引用点击）、平均处理时长、二次追问率。这些指标的对照组设计比指标本身更重要——没有对照，就无法把变化归因于系统能力，而不是季节、流量结构或产品改版。
基本信息
| 关键指标 | 自助解决率、答案采纳率、平均处理时长、二次追问率 |
|---|---|
| 对照设计 | A/B 实验或前后同期对比 |
| 埋点最小集 | trace_id、场景、是否转人工、是否追问、是否采纳、时延、模型与模板版本 |
| 观察频率 | 周环比为主，发布后加密观察 |
| 归因要求 | 指标变化必须能关联到具体版本 |
| 口径管理 | 每个指标要写清判定规则 |
典型使用场景
- 上线前后对比，证明方案是否真的产生了业务价值
- 按场景拆分，看哪个知识域的收益最明显
- 结合 trace 定位高价值问答，反哺内容运营
- 用二次追问率判断首答是否完整
- 向管理层汇报时用业务语言而不是召回率
埋点最小集
埋点最小集
trace_id, 场景, 是否转人工, 是否追问, 是否采纳, 时延, 模型与模板版本
# 少了版本号，指标变化就无法对应到具体发布
# 少了场景字段，无法分辨是哪个知识域在拖后腿业务指标读法
| 指标 | 含义 | 观察点 |
|---|---|---|
| 自助解决率 | 未转人工且用户未继续追问 | 周环比与场景分布 |
| 答案采纳率 | 点赞、复制、引用点击 | 结合 trace 定位高价值问答 |
| 平均处理时长 | 工单或会话的完成时间 | 与无该能力的对照组比较 |
| 二次追问率 | 同一问题短时间内被重复提问 | 偏高说明首答不完整 |
业务指标的对照组设计比指标本身更重要：没有对照，任何变化都无法归因，汇报时也缺乏说服力。
埋点必须带模型与模板版本号：指标异常出现时，版本号是唯一能把现象和某次发布对应起来的线索。