配对 bootstrap 思路
配对 bootstrap 思路
import random
def paired_bootstrap(a, b, n=10000):
diffs = [x - y for x, y in zip(a, b)] # 逐样本对错差
k = 0
for _ in range(n):
s = sum(random.choice(diffs) for _ in diffs)
if s <= 0: k += 1
return k / n # 差值不大于 0 的比例（近似 p 值）| 配对 | 同题对错向量相减，消除题目难度差异 |
|---|---|
| 报告 | 给差值区间与显著性，不只给两个单点分数 |
| 纪律 | 指标很多时提高阈值，防止在大量对比中挑出偶然显著 |