首页/AI/大模型部署与运维速查/OpenAI 兼容接口总览

OpenAI 兼容接口总览

自托管引擎普遍提供 OpenAI 兼容接口:/v1/chat/completions、/v1/completions、/v1/embeddings、/v1/models 等;客户端只换 base_url 与 key,生态工具可直接复用。

快速核对可用端点

快速核对可用端点
curl -s http://127.0.0.1:8000/v1/models | head -20
curl -s http://127.0.0.1:8000/v1/chat/completions -H 'Content-Type: application/json' \
  -d '{"model": "<模型名>", "messages": [{"role": "user", "content": "ping"}]}'
兼容不等于完全一致:个别参数、错误结构与用量字段存在差异,接入前用目标 SDK 跑通最小用例。

易错点

  • 按官方行为写死所有分支:自托管实现的部分字段语义不同,集成测试要覆盖到

数据来源与参考

  • vLLM 官方文档:OpenAI 兼容服务器(docs.vllm.ai)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌