由于一次模型训练过程通常包含多轮，因此，初始数据预热占用的同步时间在整个训练过程中的占比很低，而且本地缓存不受节点数量增加的影响，可以保证每个节点具有同等的吞吐性能。这样做效率更高，性能可提升数倍。不同的分布式并行技术对通信带宽的要求不同，因此，针对不同的硬件环境，需要选择最适合的分布式并行方案，并针对不同的数据量和模型特点做针对性的优化，从而达到最好的通信效率。还有一些需要关注的 I/O 问题，如训练数据量比较大，通常有几 TB∼几百 TB，这对存储的要求比较高，既需要大存储容量，又需要高吞吐性能。