模型卡核对清单
模型仓库的 README 或模型卡是选型的一手资料：参数量与激活参数、上下文长度、许可证、支持语言、推荐推理配置与官方量化版本都写在里面。跳过模型卡直接套用旧教程的参数，是效果不达标最常见的原因——不同模型的推荐采样参数与对话模板差异很大。
基本信息
| 位置 | 模型仓库的 README 或模型卡 |
|---|---|
| 关键字段 | 参数量、上下文长度、许可、语言分布、推荐采样参数、对话模板 |
| 量化信息 | 是否提供 AWQ/GPTQ/GGUF 等官方量化产物 |
| 本地核对 | 下载后查看配置与生成配置文件 |
| 使用方式 | 把模型卡参数当作基线起点，再按业务调优 |
选型核对清单
- 参数量与激活参数：MoE 模型要分开看，激活参数决定单次推理的实际算力需求
- 上下文长度：确认训练支持的长度，以及长上下文是否有额外说明
- 许可证与商用限制：决定能否用于对外产品
- 训练数据的语言分布与目标场景：判断是否覆盖你的语种与任务类型
- 推荐推理参数与提示模板：直接影响复现质量
- 官方量化版本：有官方量化产物时优先用，避免自己量化带来的精度损失
下载后本地查看配置
下载后本地查看配置
head -40 models/<模型>/config.json # 架构、层数、上下文上限
cat models/<模型>/generation_config.json 2>/dev/null # 官方推荐采样参数
head -20 models/<模型>/tokenizer_config.json # 对话模板与特殊标记
# 三个文件合起来，基本能拼出这套权重的正确用法字段与用途
| 字段 | 为什么重要 | 怎么用 |
|---|---|---|
| 参数量 / 激活参数 | 决定显存与算力需求 | MoE 模型按激活参数估单次开销 |
| 上下文长度 | 决定可处理的输入规模 | 结合实际显存与并发再定窗口 |
| 许可证 | 决定商用边界 | 与合规核对一起完成 |
| 推荐采样参数 | 影响输出质量与复现性 | 先按它跑基线再调 |
生成配置里的推荐采样参数是质量复现的起点：先用它做基线，再逐项调整，改动才有可比较的参照。
模型卡写的上下文长度是模型的训练支持上限，实际能开多大还要看显存与并发取舍，两者不是一回事。