首页/AI/大模型部署与运维速查/选型必读:模型卡核对清单
本包目录(267 条)
部署形态与选型43 条
推理环境与 GPU50 条推理参数与优化50 条显存与并发估算40 条服务化与网关34 条运维监控与排障50 条

选型必读:模型卡核对清单

每个模型仓库的 README 或 model card 是选型的一手资料:参数量、上下文长度、许可、支持语言、推荐推理配置与量化版本都在其中。

  • 参数量与激活参数(MoE 需分开看)
  • 上下文长度与长上下文扩展说明
  • 许可证与商用限制
  • 训练数据的语言分布与目标场景
  • 推荐推理参数(temperature 等)与提示模板
  • 官方量化版本(AWQ/GPTQ/GGUF)是否提供

下载后本地查看配置

下载后本地查看配置
head -40 models/<模型>/config.json
cat models/<模型>/generation_config.json 2>/dev/null
generation_config.json 里的推荐采样参数是质量复现的起点,先用它做基线再调参。

易错点

  • 跳过 model card 直接用旧教程参数:不同模型的推荐 temperature 与模板差异明显

数据来源与参考

  • Hugging Face 模型卡规范(huggingface.co/docs/hub/model-cards)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌