| 镜像 | 引擎版本、CUDA 运行时与依赖;用不可变标签 |
|---|---|
| 权重 | 目录与修订号(revision);与镜像解耦 |
| 配置 | 启动参数与模板;纳入版本管理 |
灰度观察点(示意)
灰度观察点(示意)
curl -s http://127.0.0.1:8001/metrics | grep -E 'num_requests|time_to_first_token'
# 另核对:错误率、KV 水位、TTFT/TPOT 与旧版本对比回退路径保持可用:旧镜像与旧权重在观察期不删,回退只改指向,不重新构建。
版本升级把三个制品分开管理:镜像(代码与依赖)、权重(模型文件)、配置(启动参数);各自版本化与锁定,升级先在预发对比基准,再灰度单实例、观察、全量。
| 镜像 | 引擎版本、CUDA 运行时与依赖;用不可变标签 |
|---|---|
| 权重 | 目录与修订号(revision);与镜像解耦 |
| 配置 | 启动参数与模板;纳入版本管理 |
curl -s http://127.0.0.1:8001/metrics | grep -E 'num_requests|time_to_first_token'
# 另核对:错误率、KV 水位、TTFT/TPOT 与旧版本对比