Python SDK 流式消费
Python SDK 流式消费
stream = client.chat.completions.create(
model="<模型名>",
messages=[{"role": "user", "content": "写一首短诗"}],
stream=True,
)
for chunk in stream:
print(chunk.choices[0].delta.content or "", end="")流式改变的是到达方式而不是总生成时间；用量字段出现在哪个块取决于服务实现，网关聚合日志时注意别漏计。