两栈写法
两栈写法
# OpenAI 兼容：{ "n": 2 }
# vLLM
SamplingParams(n=1, best_of=4) # 内部生成 4 个候选，返回 1 个容量估算按总生成 token 数而不是请求数：n 或 best_of 上调会直接放大显存与耗时需求。
n 与 best_of：多候选生成
n 表示单请求返回多个候选；vLLM SamplingParams 还提供 best_of：采样多个结果后按累计概率挑选后返回；生成量随参数成倍放大。
易错点
- 用多候选提升命中率：成本与延迟同步放大，先小流量验证收益再决定是否常开
数据来源与参考
- OpenAI API 参考：n（platform.openai.com/docs）
- vLLM 官方文档：SamplingParams（docs.vllm.ai）