常见组合速览
| 方案 | 典型形态 | 权重显存 | 常见场景 |
|---|---|---|---|
| FP8（W8A8） | 权重+激活 8 位 | 约减半 | 新代 GPU 的在线服务 |
| INT8（W8A8） | 权重+激活 8 位 | 约减半 | 通用加速组合 |
| AWQ / GPTQ | W4A16（权重 4 位） | 约为 FP16 的 1/4 | 单卡跑更大模型 |
| GGUF | 多档位（2~8 位） | 按档位 | llama.cpp 本地部署 |
量化省的是权重占用：KV 缓存、激活与运行时缓冲不随权重量化同比例缩小，显存估算以实测为准。
本包目录（267 条）
部署形态与选型43 条推理环境与 GPU50 条
推理参数与优化50 条
- temperature：控制输出随机性
- top_p：核采样阈值
- max_tokens：限制生成长度
- KV 缓存是什么：显存的主要变量
- top_k：固定候选数量截断
- 量化总览：位宽、对象与格式
- repetition_penalty：重复惩罚
- prefill 与 decode：两阶段性能特征
- 连续批处理（continuous batching）
- stream：流式返回（SSE）
- stop：停止序列
- 受约束解码：JSON/Schema/正则
- seed：可复现性的边界
- chat template：消息到 prompt 的渲染
- 前缀缓存：复用相同前缀的 KV
- min_p：按峰值比例过滤候选
- presence/frequency penalty：出现次数惩罚
- chunked prefill：长输入分块执行
- FP16 与 BF16 的选择
- generation_config.json：默认采样参数的来源
- 工具调用：服务端解析与启用
- KV 缓存精度：fp8 选项
- GPTQ：4 位权重量化
- GGUF 量化档位与选择
- 采样参数的作用顺序
- token 计数：预算与截断的基准
- PagedAttention：KV 分页管理
- 推测解码：用小模型加速生成
- FP8 量化：新代 GPU 的加速选项
- AWQ：激活感知的 4 位量化
- bitsandbytes：即用量化（int8/NF4）
- 推理模型输出：分离思维过程
- 离线批推理：吞吐优先的跑法
- 超窗请求的处理策略
- 注意力头结构：KV 规模的关键变量
- logprobs：输出置信度观测
- KV swap：用 CPU 内存做缓冲
- 长上下文部署的三个关注点
- AWQ 与 GPTQ 的取舍对照
- MoE 模型推理：激活与驻留
- n 与 best_of：多候选生成
- tokenizer 版本与一致性
- CUDA Graphs：降低解码步启动开销
- 采样与束搜索：解码策略取舍
- 量化效果评估：质量与性能一起看
- logit_bias：按 token 施加偏置
- 权重卸载：部分层放 CPU 内存
- 服务端 INT8（W8A8）路径
- RoPE 位置缩放：扩展上下文窗口
- Prefill/Decode 分离部署
量化总览：位宽、对象与格式
量化用更低位数存权重或激活来省显存、提吞吐：先分「权重量化」还是「权重+激活」，再定位宽（8/4 位）与格式（FP8/GPTQ/AWQ/GGUF 等），最后用评测集验证质量取舍。
易错点
- 按位宽线性折算显存：KV 与激活占大头时收益远低于预期，先算清构成再定方案
数据来源与参考
- vLLM 官方文档：量化支持矩阵（docs.vllm.ai）
- Hugging Face 量化指南（huggingface.co/docs）