显存碎片：成因与治理

长跑推理进程不断申请、释放不同尺寸的显存块，空闲空间被切成小洞，出现「总量够、没有连续大块」的分配失败；治理手段有段内扩展、调整切分策略与定期重启。

成因	不同尺寸块反复申请/释放，空闲块不连续
现象	free 看着不小，大请求仍失败
表征	reserved 高、allocated 低、失败时未分配缓存大

两个常用开关（先试其一）

PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True
PYTORCH_CUDA_ALLOC_CONF=max_split_size_mb:512

vLLM 的 PagedAttention 把 KV 缓存池化并按块管理，减轻 KV 侧碎片；权重加载与临时张量仍需常规手段。

‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌