榜单只回答三个问题
榜单的本质是把模型在固定题目集上的表现折算成可比分数。读榜先问三件事：测了哪些题、怎么判分、能不能复现。题目构成决定它覆盖什么能力，判分方式决定分数里有多少是解析误差，运行方式（抽样次数、温度、是否多次取最好）决定这个分数稳不稳。三者任一不明，分数就只能当参考，不能当结论。
基本信息
| 榜单类型 | 学术题库榜 / 人类偏好对战榜 / 厂商自报 / 第三方复测 |
|---|---|
| 判分方式 | 精确匹配、正则抽取、脚本单测、模型评分、人工偏好 |
| 可比边界 | 同榜同期可比，跨榜排序通常不可比 |
| 关键读数 | 分差与误差范围，而不是绝对分数 |
| 主要污染源 | 训练数据混入题目、抽取失败被计错、只报最优配置 |
| 使用定位 | 缩小候选范围，不作为对外能力承诺 |
典型使用场景
- 初筛：从多个候选中挑出 2~3 个进入自建集实测
- 交叉验证：把厂商宣传数字与第三方复测结果对照，看口径差异
- 覆盖度检查：确认榜单是否覆盖你的核心能力，如长上下文与工具调用
- 版本跟踪：同一榜长期观察，判断更新是否带来真实变化
- 沟通对齐：向非技术同事解释为什么「榜首」不等于最适合
- 识别营销：判断被引用的数字是不是单向挑选的有利配置
读榜要看的字段
| 字段 | 含义 | 为什么重要 |
|---|---|---|
| 题量与样本数 | 参与统计的题目数量 | 样本太少时分差会被个别题主导 |
| 判分方式 | 正则抽取、单测还是模型评分 | 抽取失败会把正确回答直接判错 |
| 运行次数 | 单次、固定种子还是多次取最好 | 多次取最好会系统性抬高分数 |
| 误差范围 | 置信区间或多次运行的抖动 | 分差小于抖动即视为并列 |
| 评测日期 | 题目与模型各自的时间 | 新模型对旧题容易因时过境迁虚高 |
| 发布方 | 厂商自报还是第三方复测 | 自报通常只公开有利口径 |
| 污染说明 | 是否做过训练数据比对 | 未比对的分数无法排除背题 |
一次读榜的记录模板
一次读榜的记录模板
# 读完一份榜单后落一条记录，方便后续对照
benchmark: 长上下文检索类基准
task_type: 定位与引用 # 它到底量了什么能力
judge: 正则抽取加字符匹配 # 判分方式决定误差来源
samples: 题目总量与分层说明
runs: 1 # 运行次数，是否取最好
ci: 未公布 # 没有误差范围就不比较小数点
published: 2026-09
date_checked: 2026-10-17
publisher: 第三方复测
contamination_note: 未说明
local_relevance: 与长文档审核场景部分相关
conclusion: 仅用于初筛，结论待自建集验证人类偏好对战榜与静态题库榜度量的东西不同：偏好榜反映表达、风格与讨喜程度，题库榜反映对错。两者都不能单独代表业务表现，把二者混为一谈容易得到相反的结论。
分差小于噪声时没有意义。更稳的做法是先看同一榜内重复运行与相邻版本的抖动幅度，把这段幅度当成门槛，再判断差异是否真实；具体口径以榜单说明与官方文档为准。
不要把榜单名当能力证明写进对外承诺或合同。对客户或干系人做承诺前，用业务自建集复测，榜单只承担缩小候选范围的作用。