写满之后会连锁
磁盘写满会引发一连串问题：日志写不进去、缓存无法更新、容器与探针开始异常，严重时服务直接不可用。排查先定位占用大头：模型权重、容器镜像层、未切割的日志、下载缓存。按可清与需扩容两类分别处理，并补上水位告警，否则同类问题还会再来一次。
基本信息
| 适用平台 | Linux 服务器与容器宿主 |
|---|---|
| 常用工具 | df、du、journalctl --disk-usage、find |
| 常见大头 | 模型多版本、镜像层、日志归档、下载缓存 |
| 防复发 | 磁盘水位告警从八成起，日志强制走轮转 |
定位占用
定位占用
df -h
du -xh --max-depth=1 / 2>/dev/null | sort -h | tail -15
journalctl --disk-usage
find /var/log -name '*.gz' -mtime +14 -size +100M 2>/dev/null | head典型使用场景
- 服务异常排查：日志写不进与缓存失败常同时出现
- 容量清理：回收旧模型版本与悬空镜像
- 日志治理：先配轮转再清理历史归档
- 上线前检查：新服务上线前确认数据盘水位充足
- 扩容决策：长期高水位时评估加盘而不是反复清理
占用来源与处置
| 占用来源 | 可清还是扩容 | 说明 |
|---|---|---|
| 旧模型版本 | 可清 | 确认没有回退依赖后再删 |
| 容器镜像层 | 多数可清 | 悬空镜像与旧标签可回收 |
| 未切割日志 | 可清 | 先配轮转再清理归档 |
| 下载缓存 | 可清 | 确认不影响在途拉取 |
| 块设备长期高水位 | 需扩容 | 清理只能短期缓解，应规划加盘 |
清理权重与镜像前确认没有在途拉取与回退依赖；删除前先导出清单，动作不可逆。
水位告警在八成就要响：等到满了再处置，同一时刻还要应付日志与容器异常，排查成本高得多。
把清理动作脚本化并记录执行结果：谁能清、清了多少、清完剩多少，写清楚才不会重复踩同一个坑。
日志与缓存目录尽量单独挂盘：与权重目录分离之后，日志写满不会连带影响模型加载。
清理完立刻复核：系统层与容器层两处的磁盘用量都要再看一遍，有些占用来自已删除但句柄未释放的文件。