计算链
计算链
bytes/token = 2 × layers × kv_heads × head_dim × dtype_bytes
序列 KV = bytes/token × seq_len
KV 总量 = 序列 KV × 并发序列数| layers | num_hidden_layers |
|---|---|
| kv_heads | num_key_value_heads（GQA 关键） |
| head_dim | config 中的 head_dim 或 hidden/heads |
参数都在模型 config.json 里；GQA 模型务必用 KV 头数而不是注意力头数。