核心指标
| 指标 | 含义 | 关注点 |
|---|---|---|
| Hit Rate@k | top-k 中至少有一条相关 | 召回底线，越高越好 |
| MRR | 第一条相关结果的排名倒数均值 | 头部排序质量 |
| nDCG@k | 带位置折损的排序质量 | 整体排序，支持多级相关度 |
| Recall@k | 相关文档被召回的比例 | 知识覆盖面 |
指标计算（Python）
指标计算（Python）
def hit_rate(retrieved, relevant, k):
return 1.0 if set(retrieved[:k]) & set(relevant) else 0.0
def mrr(retrieved, relevant):
for i, doc in enumerate(retrieved, 1):
if doc in relevant:
return 1.0 / i
return 0.0
# 对评测集逐条计算后取平均；改动切分/索引/重排后重跑对比评测集要覆盖高频问法、专有名词、跨文档多跳三类场景；只盯一种问法会过拟合。