首页/AI/大模型部署与运维速查/超时链:逐层对齐
本包目录(267 条)

超时链:逐层对齐

超时要分层对齐:客户端超时 ≥ 网关读超时 ≥ 引擎单请求最长生成时间;任何一层偏短,长输出都会在中途被切断,且各层表现不同。

三层对照(示意)

三层对照(示意)
客户端 timeout         ≥ 600s
Nginx proxy_read_timeout ≥ 600s
引擎生成本身              按业务最长输出评估

客户端设置

客户端设置
client = OpenAI(base_url="http://<网关>/v1", api_key="<KEY>", timeout=600.0)
用业务最长输出定上限,而不是拍一个 30 秒;连接建立可用更短的 connect 超时单独控制。

易错点

  • 只调模型参数不动网关:读超时到点切断长回答,表现为「说到一半断流」

数据来源与参考

  • Nginx 官方文档:proxy_read_timeout(nginx.org/en/docs)
  • OpenAI Python SDK 文档(github.com/openai/openai-python)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌