首页/AI/大模型部署与运维速查/客户端 SDK 接入三件事

客户端 SDK 接入三件事

接入自托管服务只需三处:base_url 指向网关、api_key 用下发的密钥、timeout 按最长输出设置;再确认 SDK 版本对参数的支持范围。

Python SDK

Python SDK
from openai import OpenAI
client = OpenAI(base_url="http://<网关地址>/v1", api_key="<KEY>", timeout=600.0)
r = client.chat.completions.create(model="<别名>", messages=[{"role": "user", "content": "你好"}])
团队内固定 SDK 版本与统一封装:超时、重试、日志字段集中管理,升级先回归。

易错点

  • 各项目直连引擎:密钥、超时、重试散落各处,鉴权与限流形同虚设

数据来源与参考

  • OpenAI Python SDK 文档(github.com/openai/openai-python)
  • vLLM 官方文档:客户端接入(docs.vllm.ai)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌