首页/AI/大模型部署与运维速查/chat/completions:请求结构要点

chat/completions:请求结构要点

主端点围绕 messages 数组:role(system/user/assistant/tool)与 content 是必填骨架;采样参数、stream、tools 都是同级字段,服务端按模型模板渲染。

最小请求

最小请求
curl http://127.0.0.1:8000/v1/chat/completions -H 'Content-Type: application/json' -d '{
  "model": "<模型名>",
  "messages": [
    {"role": "system", "content": "你是简洁的助手"},
    {"role": "user", "content": "一句话介绍 KV 缓存"}
  ],
  "temperature": 0.3,
  "max_tokens": 128
}'
多轮对话把历史消息按顺序放回数组:服务端会用模板重新渲染,不要自己拼角色标记。

易错点

  • 消息里塞自定义字段:渲染与网关校验可能出错,扩展信息走独立通道传递

数据来源与参考

  • OpenAI API 参考:Chat Completions(platform.openai.com/docs)
  • vLLM 官方文档:OpenAI 兼容服务器(docs.vllm.ai)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌