在万兆甚至更高的网络带宽场景下 scp
的传输效率并不如人意。毕竟 scp
是旧时代的产物,那时千兆网络都很罕见。以下通过修改压缩方式的方法提升数据的传输速度。同时也采用 nc
, bbcp
和 rsync
进行了对比测试。
目录
- scp
- 采用默认方式
- 更改压缩算法为 aes192
- nc
- bbcp
- 结论
创建 10GB测试数据。
[root@c3-60 data]# dd if=/dev/zero of=test.img bs=1024k count=10000
10000+0 records in
10000+0 records out
我的测试环境是千兆网络。
scp
采用默认方式
[root@c3-60 data]# scp test.img root@c3-61:/dev/null
test.img 100% 10GB 62.6MB/s 02:39
更改压缩算法为 aes192
[root@c3-60 data]# scp -c aes192-cbc test.img root@c3-61:/dev/null
test.img 100% 10GB 111.3MB/s 01:29
很明显,传输速度提升了50%。
[参考]
https://www.orczhou.com/index.php/2013/11/make-scp-faster-with-cipher-and-compression/
nc
nc
是一个常用的网络工具,它的全名是 Netcat。nc 可以在网络中传输数据,也可以用于监听端口、创建服务器、进行端口扫描等。
接收端打开端口
nc -l 6666 >/dev/null
发生端发送文件
nc c3-61 6666 < test.img
以下是不通传输方法的结果对比
bbcp
bbcp
是一种用于高性能、并行文件传输的工具。它的全名是 “BBCP - Bulk Data Copy Program”。bbcp
被设计用于在大规模计算环境中快速、可靠地传输大量数据。
下载地址:https://www.slac.stanford.edu/~abh/bbcp/bin/
传输数据
bbcp -f test.img root@c3-61:/dev/null
传输文件夹
bbcp -f -r -s 16 taos/data root@c3-61:/data/bak
参数简介:
-f 删除目标端同名文件
-r 文件递归复制
-s 并行线程数(默认4)
注意:
与 nc
相同,bbcp
也必须在接收端和发送端同时存在(接收端无需主动运行)。
结论
- 修改压缩算法能够提升
scp
的数据传输速度。 nc
传输的速度较scp
更快,但nc
也有很大缺点,需要服务端和客户端进行配合,而且不能传输文件夹【可通过tar
间接实现】。bbcp
传输速度接近甚至超过nc
,同时支持传输文件和文件夹【强烈推荐】。