业务指标
| 指标 | 含义 | 观察点 |
|---|---|---|
| 自助解决率 | 未转人工且用户未追问 | 周环比与场景分布 |
| 答案采纳率 | 点赞/复制/引用点击 | 结合 trace 定位高价值问答 |
| 平均处理时长 | 工单或会话完成时间 | 与对照组（无 RAG）比较 |
| 二次追问率 | 同一问题短时间重复提问 | 高则说明首答不完整 |
埋点最小集
埋点最小集
trace_id, 场景, 是否转人工, 是否追问, 是否采纳, 时延, 模型与模板版本业务指标的对照组设计（A/B 或前后对比）比指标本身更重要。
业务侧效果度量
技术指标之外要盯业务指标：自助解决率、转人工率、答案采纳率（复制/点赞）、平均处理时长、二次追问率；技术指标达标但业务无变化的方案需要重新对齐场景。
易错点
- 只汇报点赞率不设对照组，无法归因于 RAG
- 埋点缺版本号，指标变化无法关联到具体发布
数据来源与参考
- Microsoft Learn 官方文档（Copilot 度量实践）
- RAGAS 官方文档（评测评级）