分段计时
分段计时
import time
t0 = time.perf_counter()
candidates = retrieve(q)
t1 = time.perf_counter()
ranked = rerank(q, candidates)
t2 = time.perf_counter()
answer = generate(q, ranked)
t3 = time.perf_counter()
print(f"retrieve={t1-t0:.3f}s rerank={t2-t1:.3f}s gen={t3-t2:.3f}s")常见优化
| 环节 | 手段 |
|---|---|
| 检索 | 调低 efSearch/nprobe 到评测允许范围 |
| 重排 | 缩小候选池、换更小模型、批量推理 |
| 生成 | 流式输出、控制输出长度、缓存命中 |
优化每项都跑评测回归：延迟降了但召回掉了等于把问题转嫁给质量。