首页/AI/AI 应用速查/流式输出与提前取消的成本
本包目录(159 条)

流式输出与提前取消的成本

流式(SSE)让用户边看边等,同时在用户主动停止、超时或页面关闭时可立刻中断连接——模型停止生成,后续输出 token 不再计费,是长回答场景的省钱阀。

AI 应用速查AI更新于 2026-10-12
收益首字延迟低;中断即停,不为不看的输出付费
计费按实际生成的 token 计费,中断后停止累计
实现SSE 连接关闭 → 服务端中止上游请求
注意中断要传递到模型调用层,否则白流

中断传播(伪代码)

中断传播(伪代码)
# 前端 abort → 网关捕获 → 关闭上游请求
async def proxy(req):
    upstream = client.stream(...)   # 指向上游模型的流
    try:
        async for chunk in upstream:
            yield chunk
    finally:
        await upstream.aclose()     # 客户端断开时真正停掉生成
“用户已经关页面了,上游还在生成”是常见的隐性浪费:网关层要把断连传导到模型调用。

易错点

  • 客户端断开了但服务端继续生成到底,白付钱
  • 中断只断开自己的连接,没通知上游模型

数据来源与参考

  • SSE 流式接口工程实践;各厂商流式文档

相关工具

​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌