三种结构对照
| 变体 | KV 组数 | KV 显存 | 代表 |
|---|---|---|---|
| MHA | 等于头数 | 高 | 早期模型 |
| GQA | 少于头数（常见 1/4~1/8） | 中 | Llama 系列、Qwen 等 |
| MQA | 1 组 | 低 | 部分生成模型 |
选型时看 config.json 里 num_key_value_heads 与 num_attention_heads 的比值：它就是 KV 显存的系数来源。
注意力头结构：KV 规模的关键变量
注意力变体直接决定 KV 缓存规模：MHA 每头独立 KV、GQA 多个查询头共享一组 KV、MQA 全部共享一组；共享程度越高，KV 越小、推理越省显存。
易错点
- 只按参数量判断显存友好度：KV 结构差异会让同规模模型表现相差明显
数据来源与参考
- GQA 论文（arxiv.org/abs/2305.13245）
- Hugging Face 模型配置文档（huggingface.co/docs）