训练 Pytorch 模型时会遇到 CUDA Out of Memory 的问题，大部分情况下是模型本身占用显存超过硬件极限，但是有时是Pytorch 内存分配机制导致预留显存太多，从而报出显存不足的错误，针对这种情况，本文记录 Pytorch 内存分配机制，与通过配置 max_split_size_mb 来解决上述问题。