万兆网络数据传输-scp加速

news2024/11/16 19:40:07

在万兆甚至更高的网络带宽场景下 scp 的传输效率并不如人意。毕竟 scp 是旧时代的产物,那时千兆网络都很罕见。以下通过修改压缩方式的方法提升数据的传输速度。同时也采用 ncbbcprsync 进行了对比测试。

目录

    • scp
      • 采用默认方式
      • 更改压缩算法为 aes192
    • nc
    • bbcp
    • 结论

创建 10GB测试数据。

[root@c3-60 data]# dd if=/dev/zero of=test.img bs=1024k count=10000
10000+0 records in
10000+0 records out

我的测试环境是千兆网络。

scp

采用默认方式

[root@c3-60 data]# scp test.img root@c3-61:/dev/null
test.img                                100%   10GB  62.6MB/s   02:39

更改压缩算法为 aes192

[root@c3-60 data]# scp -c aes192-cbc test.img root@c3-61:/dev/null
test.img                                100%   10GB 111.3MB/s   01:29 

很明显,传输速度提升了50%。

[参考]
https://www.orczhou.com/index.php/2013/11/make-scp-faster-with-cipher-and-compression/

nc

nc 是一个常用的网络工具,它的全名是 Netcat。nc 可以在网络中传输数据,也可以用于监听端口、创建服务器、进行端口扫描等。

接收端打开端口

nc -l 6666 >/dev/null

发生端发送文件

nc c3-61 6666 < test.img 

以下是不通传输方法的结果对比
在这里插入图片描述

bbcp

bbcp 是一种用于高性能、并行文件传输的工具。它的全名是 “BBCP - Bulk Data Copy Program”。bbcp 被设计用于在大规模计算环境中快速、可靠地传输大量数据。
下载地址:https://www.slac.stanford.edu/~abh/bbcp/bin/

传输数据

bbcp -f  test.img root@c3-61:/dev/null

传输文件夹

 bbcp -f -r -s 16 taos/data root@c3-61:/data/bak

参数简介:
-f 删除目标端同名文件
-r 文件递归复制
-s 并行线程数(默认4)

注意:
nc相同,bbcp 也必须在接收端和发送端同时存在(接收端无需主动运行)。

在这里插入图片描述

结论

  1. 修改压缩算法能够提升 scp 的数据传输速度。
  2. nc 传输的速度较 scp 更快,但 nc 也有很大缺点,需要服务端和客户端进行配合,而且不能传输文件夹【可通过 tar 间接实现】。
  3. bbcp 传输速度接近甚至超过 nc,同时支持传输文件和文件夹【强烈推荐】。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1419992.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

seata 分布式

一、下载安装seata 已经下载好的朋友可以跳过这个步骤。这里下载的是seata1.6.1这个版本。 1、进入seata官网 地址&#xff1a; https://seata.io/zh-cn/index.html 2、进入下载 3、点击下载地址 下载地址&#xff1a; https://github.com/seata/seata 二、配置seata 进入c…

vue3项目中让echarts适应div的大小变化,跟随div的大小改变图表大小

目录如下 我的项目环境如下利用element-resize-detector插件监听元素大小变化element-resize-detector插件的用法完整代码如下&#xff1a;结果如下 在做项目的时候&#xff0c;经常会使用到echarts&#xff0c;特别是在做一些大屏项目的时候。有时候我们是需要根据div的大小改…

2023年全国职业院校技能大赛(高职组)“云计算应用”赛项赛卷9

某企业根据自身业务需求&#xff0c;实施数字化转型&#xff0c;规划和建设数字化平台&#xff0c;平台聚焦“DevOps开发运维一体化”和“数据驱动产品开发”&#xff0c;拟采用开源OpenStack搭建企业内部私有云平台&#xff0c;开源Kubernetes搭建云原生服务平台&#xff0c;选…

redis—Zset有序集合

目录 前言 1.常见命令 2.使用场景 3.渐进式遍历 4.数据库管理 前言 有序集合相对于字符串、列表、哈希、集合来说会有一-些陌生。它保留了集合不能有重复成员的 特点&#xff0c;但与集合不同的是&#xff0c;有序集合中的每个元素都有-个唯- -的浮 点类型的分数(score) …

c语言常量详解 全

c语言常量详解 全 一 常量的基本概念及分类二 常量的存储方式三 c语言常量和变量的具体区别四 字面常量详解4.1 常见类型的字面常量及其示例&#xff1a;4.2 字面常量的使用情况4.3 字面常量的优点 五 const 关键字常量详解5.1 const关键字在C语言中的使用情况&#xff1a;5.2 …

山海鲸可视化大屏:引领企业洞悉市场,提升客户价值的秘密武器

随着大数据时代的到来&#xff0c;企业面临着前所未有的机遇与挑战。如何从海量数据中挖掘出有价值的信息&#xff0c;洞察市场趋势&#xff0c;提升客户价值&#xff0c;成为了企业发展的重要课题。山海鲸可视化企业客户价值分析大屏&#xff0c;为企业提供了一个全新的解决方…

利用外卖系统源码构建高效的在线订餐平台

在当今数字化时代&#xff0c;外卖服务已成为人们日常生活中不可或缺的一部分。为了满足用户需求&#xff0c;许多创业者和企业都希望搭建自己的在线订餐平台。利用现有的外卖系统源码&#xff0c;可以快速构建一个高效、安全的在线订餐平台。本文将介绍如何利用外卖系统源码来…

播报 | 天空卫士入围FreeBuf《CCSIP 2023中国网络安全产业全景图》16个细分领域

2024年1月24&#xff0c;国内安全行业门户FreeBuf旗下FreeBuf咨询正式发布《CCSIP 2023中国网络安全产业全景图》&#xff08;第六版&#xff09;。 天空卫士成功入围SASE、数据防泄露&#xff08;DLP&#xff09;、分类分级、数据安全治理(解决方案)、数据安全管控&#xff08…

Django问题报错:Cannot resolve keyword ‘name‘ into field. Choices are: course, id

笔者在进行登录注册实验用户名已经注册过的操作时报错 一、错误位置 二、问题原因 使用Student模型时参数名错误 三、解决办法 修改为与Student模型中对应的参数名,问题解决

每日一题 力扣514自由之路

514. 自由之路 题目描述&#xff1a; 电子游戏“辐射4”中&#xff0c;任务 “通向自由” 要求玩家到达名为 “Freedom Trail Ring” 的金属表盘&#xff0c;并使用表盘拼写特定关键词才能开门。 给定一个字符串 ring &#xff0c;表示刻在外环上的编码&#xff1b;给定另一…

插值(Python)

插值 插值是数学和计算机科学领域中的一种技术&#xff0c;用于在给定一些离散数据点的情况下&#xff0c;估计在这些点之间的数值。插值的目标是通过某种函数&#xff08;插值函数&#xff09;来逼近或拟合这些离散数据&#xff0c;从而使得在原始数据点之间的数值也有合理的估…

物流信息网

技术架构&#xff1a; JSPMySQL 功能描述&#xff1a; 物流信息网主要用于实现网上自主物流&#xff0c;基本功能包括&#xff1a;登录、查询、时效查询、价格查询、注册等。本系统结构如下&#xff1a; &#xff08;1&#xff09;普通用户&#xff1a; 登录&#xff1a…

GIS毕业的那10000人,你们都在做什么?

根据阳光高考网&#xff08;教育部指定高校招生平台&#xff09;的数据显示&#xff0c;截止到2022年12月31日&#xff0c;全国高校GIS&#xff08;地理信息科学&#xff09;本科毕业生人数为&#xff1a;9000-10000人。 我们还可以看到&#xff0c;地信专业的男女比例为&#…

强化学习原理python篇06(拓展)——DQN拓展

强化学习原理python篇06&#xff08;拓展&#xff09;——DQN拓展 n-steps代码结果 Double-DQN代码结果 Dueling-DQN代码结果 Ref 拓展篇参考赵世钰老师的教材和Maxim Lapan 深度学习强化学习实践&#xff08;第二版&#xff09;&#xff0c;请各位结合阅读&#xff0c;本合集只…

nginx负载均衡案例

大家好今天给大家带来nginx负载均衡实验案例,首大家先看一下我的各类版本信息。&#xff08;还有两台设备信息相同就不展示了&#xff09; 一&#xff0c;搭建nginx环境 ❶首先创建Nginx的目录并进入&#xff1a; [rootlocalhost]# mkdir /soft && mkdir /soft/nginx…

Python qt.qpa.xcb: could not connect to display解决办法

遇到问题&#xff1a;qt.qpa.xcb: could not connect to display 解决办法&#xff0c;在命令行输入&#xff1a; export DISPLAY:0 然后重新跑python程序&#xff0c;解决&#xff01; 参考博客&#xff1a;qt.qpa.xcb: could not connect to displayqt.qpa.plugin: Could …

内核和进程的内存管理,内核从buddy到alloc到slab到kmalloc,内核的内核栈和中断处理程序栈,进程的虚拟内存到页表

内核中的内存管理 内核把物理页作为内存管理的基本单位&#xff0c;尽管处理器最小寻址单位为字&#xff0c;但是MMU&#xff08;管理内存并且把虚拟地址转换为物理地址的硬件&#xff09;通常以页为单位进行处理。 每个物理页面都由一个相应的 struct page 结构来表示&#…

打造高效经营:开发连锁餐饮管理系统的技术深度解析

为了适应市场的快速发展和提高经营效率&#xff0c;许多连锁餐饮企业纷纷投入开发连锁餐饮管理系统。 一、数字化转型的动力 传统的餐饮经营面临着诸多挑战&#xff0c;如订单管理、库存控制、人力资源等问题。在这样的背景下&#xff0c;连锁餐饮企业迫切需要一种全面而高效…

jenkins pipeline配置maven可选参数

1、在Manage Jenkins下的Global Tool Configuration下对应的maven项添加我们要用得到的不同版本的maven安装项 2、pipeline文件内容具体如下 我们maven是单一的&#xff0c;所以我们都是配置单选参数 pipeline {agent anyparameters {gitParameter(name: BRANCH_TAG, type: …

【智能家居入门之微信小程序控制下位机】(STM32、ONENET云平台、微信小程序、HTTP协议)

实现微信小程序控制单片机外设动作 一、使用ONENET可视化组件控制单片机外设动作二、使用微信小程序控制单片机外设动作三、总结 本篇博客话接上文&#xff1a; https://blog.csdn.net/m0_71523511/article/details/135892908 上一篇博客实现了微信小程序接收单片机上传的数据…