前面一篇介绍了如何最大限度的榨取SCP的传输速度，有了这个基础，就可以进一步的使用压缩来加速传输速度了。只使用scp，传输速率最快约90MB，本文通过压缩将把最快传输速率提升到约250MB/s(包括解压的过程)。1. 结论使用tar+lz4+ssh的方式能够获得最大的传输性能：time tar -c sendlog/|pv|lz4 -B4|ssh -c arcfour128 \
-o"MACs umac-64@openssh.com" 10.xxx.xxx.36 "lz4 -d |tar -xC /u01/backup_supu"
3.91GiB 0:00:16 [ 249MiB/s]
real 0m16.067s
user 0m15.553s
sys 0m16.821s249MB/s，妥妥的。是最原始scp(40MB/s)的6倍，原来400GB传输需要约3小时，现在只需要27分钟了。注1：lz4在解压方面的优异表现，使得他在本案例中非常重要。如果无需解压的传输，则可以考虑使用pigz/pbiz2注2：使用pv观察，网络流量约80MB，所以使用nc替换ssh并不会有明显的性能提升注3：lz4压缩使用-B4(64KB块大小)，解压使用-B7(4MB块大小)，是本案例的测试最优值2. 关于lz4lz4是一个让"人见人爱、花见花开"的压缩算法，能够在多核上很好的扩展，压缩速度和压缩
...
继续阅读
(77)
