三层对照(示意)
三层对照(示意)
客户端 timeout ≥ 600s
Nginx proxy_read_timeout ≥ 600s
引擎生成本身 按业务最长输出评估客户端设置
客户端设置
client = OpenAI(base_url="http://<网关>/v1", api_key="<KEY>", timeout=600.0)用业务最长输出定上限,而不是拍一个 30 秒;连接建立可用更短的 connect 超时单独控制。
超时要分层对齐:客户端超时 ≥ 网关读超时 ≥ 引擎单请求最长生成时间;任何一层偏短,长输出都会在中途被切断,且各层表现不同。
客户端 timeout ≥ 600s
Nginx proxy_read_timeout ≥ 600s
引擎生成本身 按业务最长输出评估client = OpenAI(base_url="http://<网关>/v1", api_key="<KEY>", timeout=600.0)