高效传输秘籍,揭秘Rsync和SCP的优劣,助你做出明智选择!

news2024/11/13 9:25:37

在日常的运维工作中,文件传输任务频繁出现,而选择合适的工具能显著提高工作效率。RsyncSCP 是两款常见的文件传输工具,但它们各具优缺点,适合不同的场景。本文将通过深入分析这两款工具的特性、使用场景和性能,帮助你做出明智的选择,从而在文件传输中省时省力。

Rsync 与 SCP 简介

Rsync:增量传输的强大工具

Rsync 是一款支持文件同步的工具,广泛应用于备份和传输大文件。它最强大的功能是支持增量传输,只传输源和目标之间的差异部分,从而节省带宽和时间。此外,Rsync 支持本地和远程同步,并且能够保留文件的元数据信息如权限、时间戳等,适合复杂的传输需求。

SCP:简洁高效的文件传输工具

SCP 基于 SSH 协议传输文件,提供了简单、安全的文件复制方式。通过 SSH 进行加密传输,SCP 是传输小型文件和敏感数据的理想选择。相比于 RsyncSCP 的命令更加简单,直接用于单次的文件传输任务,但不支持增量同步和自动恢复中断。

核心功能对比

让我们通过以下表格来直观了解 RsyncSCP 的区别:

功能维度RsyncSCP
传输模式增量传输,支持差异化传输全量传输,每次复制整个文件
传输协议基于 SSH 或 Rsync 协议基于 SSH
数据压缩支持(可使用 -z 选项)不支持
文件权限保留支持保留文件的权限、时间戳等元数据不支持,默认不保留
中断恢复支持自动恢复中断的传输不支持
适用场景大量文件传输、定期备份、同步任务小文件传输、临时文件复制任务

使用场景详解

Rsync:高效的同步与备份解决方案

  • 定期数据备份Rsync 的增量传输功能特别适合进行定期数据备份。即使是大型文件夹或数据库,Rsync 也能高效地将更新部分同步,避免每次传输大量重复数据。
  • 大文件传输:当处理大文件或大量数据时,Rsync 的压缩功能和增量传输可以显著节省带宽,并加快传输速度。
  • 容错性强:网络环境不稳定时,Rsync 可以恢复被中断的传输,不需要重新传输整个文件。

SCP:快速传输的简洁方案

  • 小文件传输:当你只需传输少量文件时,SCP 是更快速的选择。它的命令语法简单直接,不需要配置复杂的选项即可完成文件的安全传输。
  • 传输敏感数据:由于 SCP 使用 SSH 加密,传输过程是安全的,适合敏感数据的快速传输。无需复杂设置,即可实现主机间的加密通信。
  • 快速部署:在简单的文件分发和临时文件传输任务中,SCP 能以最快速度完成任务,而不需要复杂的同步过程。

实战操作示例

Rsync 使用示例

假设你想将本地的 /home/user/docs/ 文件夹同步到远程服务器上,命令如下:

rsync -avz /home/user/docs/ user@remote:/backup/docs/
  • -a:归档模式,保留文件权限、符号链接和时间戳。

  • -v:详细模式,显示传输过程。

  • -z:压缩数据传输,提高效率。

SCP 使用示例

将本地的文件 /home/user/file.txt 传输到远程服务器上:

scp /home/user/file.txt user@remote:/remote/path/

这个命令非常直观,直接指定本地文件和远程路径,传输过程默认通过 SSH 加密。

性能对比与选择建议

单文件传输对比

以下是一个脚本,用于输出传输过程中CPU的利用率:

#!/bin/bash

if ! command -v pidstat &>/dev/null || !command -v bc &>/dev/null; 
then
    echo "请安装 sysstat 和 bc 软件包"
    exit 1
fi

#rsync -avz bigfile.img  root@192.168.1.200:/tmp &
scp bigfile.img root@192.168.1.200:/tmp &
SCP_PID=$!

CPU_USAGE_SUM=0
COUNT=0

while kill -0 $SCP_PID 2> /dev/null; do
#从pidstat 中正确捕获CPU的值
    CPU_USAGE=$(pidstat -p $SCP_PID 1 1 | awk '/[0-9]:[0-9][0-9]:[0-9][0-9] PM|AM/ && /(scp|rsync)/ {print $9}')
    if [[ $CPU_USAGE =~^[0-9]+([.][0-9]+)?$ ]]; then
        CPU_USAGE_SUM=$(echo "$CPU_USAGE_SUM + $CPU_USAGE" | bc)
        COUNT=$((COUNT + 1))
    fi
    sleep 1
done
if [ $COUNT -ne 0 ]; then
    AVG_CPU=$(echo "scale=2; $CPU_USAGE_SUM / $COUNT" | bc)
    echo "平均 CPU : $AVG_CPU%"
else
    echo "没有采集到 CPU 数据."

fi

首先我们通过dd构造一个大文件,执行如下的命令

dd if=/dev/zero of=bigfile.img bs=1M count=1024

测试使用SCP的传输,执行如下命令:

time ./scp-test.sh

等待片刻后打印出了结果,如下所示:

root@didiplus:~# time ./scp-test.sh
bigfile.img                                                                                                                                                                                            100% 1024MB  22.2MB/s   00:46
平均 CPU :4.77%

real    0m46.837s
user    0m9.321s
sys     0m39.456s

然后,测试使用rsync命令传输,执行如下命令

time ./rsync-test.sh

等待片刻后打印出了结果,如下所示:

root@didiplus:~# time ./rsync-test.sh
sending incremental file list
bigfile.img

sent 32,892 bytes  received 35 bytes  7,317.11 bytes/sec
total size is 1,073,741,824  speedup is 32,609.77
平均 CPU :23.50%

real    0m6.087s
user    0m1.591s
sys     0m0.403s

经过对比发现,SCP在传输单个文件时,CPU利用率明显低于 rsync,且传输速度更快。

root@didiplus:~# time ./rsync-test.sh
sending incremental file list

sent 63 bytes  received 12 bytes  50.00 bytes/sec
total size is 1,073,741,824  speedup is 14,316,557.65
没有采集到 CPU 数据.

real    0m2.030s
user    0m0.387s
sys     0m0.050s

root@didiplus:~# time ./scp-test.sh
bigfile.img                                                                                                                                                                                            100% 1024MB  22.8MB/s   00:44
平均 CPU :5.08%

real    0m46.800s
user    0m9.426s
sys     0m38.125s

然而,当再次执行 rsync 传输时,你会注意到第二次的传输速度明显提升,同时几乎不再占用 CPU 资源。这是因为 rsync 会智能判断文件是否已存在,已存在的文件将不会被重复传输。而 SCP 则无论文件是否已存在,每次都会重新传输整个文件。

目录传输对比

修改脚本,将文件改成目录,其他不变,如下所示

#rsync -avz /root/test_dir/  root@192.168.1.200:/tmp &
scp  -rq /root/test_dir/  root@192.168.1.200:/tmp &

然后,测试SCP传输效果,运行脚本,输出结果所示所示,由于SCP每一次传输都是完整传输。两次传输的用时和CPU使用率几乎一致。

root@didiplus:~# time ./scp-test.sh
平均 CPU :3.98%

real    0m16.368s
user    0m2.974s
sys     0m11.934s
root@didiplus:~# time ./scp-test.sh
平均 CPU :4.66%

real    0m14.366s
user    0m2.979s
sys     0m11.137s

接着测试rsync传输效率,一样脚本重复执行两次,输出结果如下所示:

root@didiplus:~# time ./rsync-test.sh
sending incremental file list
./
bigfile.img

sent 131 bytes  received 229,426 bytes  41,737.64 bytes/sec
total size is 314,572,800  speedup is 1,370.35
平均 CPU :5.99%

real    0m6.086s
user    0m0.778s
sys     0m0.213s
root@didiplus:~# time ./rsync-test.sh
sending incremental file list

sent 81 bytes  received 12 bytes  186.00 bytes/sec
total size is 314,572,800  speedup is 3,382,503.23
没有采集到 CPU 数据.

real    0m2.029s
user    0m0.386s
sys     0m0.058s

由于 rsync 能检测文件是否已存在,因此二次传输所耗时间远远少于首次。如果仅对比首次传输的时间和 CPU 利用率,SCP 无论是在传输文件还是目录方面,速度都更快,且资源消耗较低。

增量场景对比

最后,再测试一下目录增量,将一些新的文件复制到要传输的目录中。

cp hostResourceUtil.py  install.sh xp-install.log  test_dir/

然后,测试rsync,执行测试rsync脚本,输出结果如下所示:

root@didiplus:~# time ./rsync-test.sh
sending incremental file list
./
hostResourceUtil.py
install.sh
xp-install.log

sent 10,654 bytes  received 76 bytes  7,153.33 bytes/sec
total size is 314,604,934  speedup is 29,320.12
没有采集到 CPU 数据.

real    0m2.030s
user    0m0.396s
sys     0m0.052s
root@didiplus:~# time ./scp-test.sh
平均 CPU :5.33%

real    0m14.460s
user    0m2.915s
sys     0m10.500s

rsync会计算出了需要传输的文件列表,并且仅传输了这些新的文件,而scp在增量的场景下,则完全不如rsync.

总结

如何在 Rsync 和 SCP 之间做出选择?

  • 选择 Rsync 的场景:当你需要进行大规模文件传输、定期备份或者对传输效率和稳定性有高要求时,Rsync 无疑是首选。
  • 选择 SCP 的场景:当你只是偶尔需要传输少量文件,且需要快速完成任务时,SCP 简单直接、命令简洁,是传输少量文件的理想工具。

Rsync 和 SCP 都各有千秋,了解它们的优劣,才能在实际工作中做出最佳选择。无论是高效的数据备份,还是轻松的小文件传输,选择正确的工具不仅能提高工作效率,还能为你的工作流程带来更多便利。

推荐阅读


  • 当你拥有一台云服务器,你最想做的事情是啥?

  • IP地址乱成一团?用Shell一键搞定!

  • Nginx日志分析:编写Shell脚本进行全面日志统计

  • 如何用find命令按文件大小快速查找并美化输出显示

  • 不再担心数据丢失:用rsync打造你的自动化备份解决方案

  • 从繁琐到简单:Python实现快速批量文件重命名攻略!


本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2113429.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Django+Vue3前后端分离学习(一)(项目开始时settings.py里的设置)

一、创建django项目 二、修改settings.py里的配置: 1、修改语言和时区: # 语言编码 LANGUAGE_CODE zh-hansTIME_ZONE UTCUSE_I18N True# 不用时区 USE_TZ False 2、配置数据库: DATABASES {default: {ENGINE: django.db.backends.m…

如何启动网络安全计划:首先要做的事情

目录 数据分类:网络安全的基石 为什么它很重要? 如何对数据进行分类? 风险分析 什么是风险分析? 如何进行风险分析? 业务影响分析 (BIA) BIA 的用途是什么? BIA 是如何进行的? 安全解…

文法—语法推导树例题

答案:C 解析: S推出A0,A0推出1,可以推出字符串01 S推出B1,B1推出0,可以推出字符串10 选项A,所有由0构成的字符串,不正确 选项B,所有由1构成的字符串。不正确 选项C&#xff0c…

探索Invoke:Python自动化任务的瑞士军刀

文章目录 探索Invoke:Python自动化任务的瑞士军刀背景:为何选择Invoke?invoke是什么?如何安装invoke?简单的invoke库函数使用方法场景应用:invoke在实际项目中的使用场景一:自动化测试场景二&am…

DAQmx Connect Terminals 路由的实际应用与注意事项

DAQmx Connect Terminals VI 是 NI 数据采集 (DAQ) 系统中的关键功能,用于在物理或虚拟终端之间建立信号路由。它允许用户自定义信号的硬件连接路径,以满足复杂的测试和测量需求。本文将详细介绍如何使用该功能,实际应用中的例子,…

UE5引擎工具链知识点

当我们提到“引擎工具链的开发”时,通常指的是为游戏开发或其他类型的软件开发创建一系列工具和技术栈的过程。这包括但不限于游戏引擎本身(如Unity或Unreal Engine),以及围绕这些引擎构建的各种工具和服务,比如用于构…

基于SpringBoot+Vue+MySQL的宿舍维修管理系统

系统展示 前台界面 管理员界面 维修员界面 学生界面 系统背景 在当今高校后勤管理的日益精细化与智能化背景下,宿舍维修管理系统作为提升校园生活品质、优化资源配置的关键环节,其重要性日益凸显。随着学生规模的扩大及住宿条件的不断提升,宿…

Redis 篇-深入了解基于 Redis 实现分布式锁(解决多线程安全问题、锁误删问题和确保锁的原子性问题)

🔥博客主页: 【小扳_-CSDN博客】 ❤感谢大家点赞👍收藏⭐评论✍ 文章目录 1.0 分布式锁概述 1.1 Redis 分布式锁实现思路 1.2 实现基本的分布式锁 2.0 Redis 分布式锁误删问题 2.1 解决 Redis 分布式锁误删问题 3.0 Redis 分布式锁原子性问题…

高级法医视频分析技术 2024

高级法医视频分析技术 2024 如今,法医视频分析是数字取证的重要组成部分 ,因为它可以帮助特工了解视频证据很重要的案件的重要信息。到 2024 年,该领域使用的工具和方法将以前所未有的速度发生变化。在这个领域工作的人需要了解这些变化。在本…

ctfshow-nodejs

什么是nodejs Node.js 是一个基于 Chrome V8 引擎的 Javascript 运行环境。可以说nodejs是一个运行环境,或者说是一个 JS 语言解释器 Nodejs 是基于 Chrome 的 V8 引擎开发的一个 C 程序,目的是提供一个 JS 的运行环境。最早 Nodejs 主要是安装在服务器…

线性代数 第六讲 特征值和特征向量_相似对角化_实对称矩阵_重点题型总结详细解析

文章目录 1.特征值和特征向量1.1 特征值和特征向量的定义1.2 特征值和特征向量的求法1.3 特征值特征向量的主要结论 2.相似2.1 相似的定义2.2 相似的性质2.3 相似的结论 3.相似对角化4.实对称矩阵4.1 实对称矩阵的基本性质4.2 施密特正交化 5.重难点题型总结5.1 判断矩阵能否相…

Flutter集成Firebase中的 A/B Testing

前提 完成Flutter集成Firebase中的远程配置流程 A/B Test的使用流程 我们先通过远程配置设置变量,应用程序根据变量值展示不同的界面创建一个A/B Test实验,在实验中创建满足条件的用户才能加入到这个实验中,并且在A/B 实验中修改远程配置变…

【网络安全】服务基础第二阶段——第二节:Linux系统管理基础----Linux统计,高阶命令

目录 一、Linux高阶命令 1.1 管道符的基本原理 1.2 重定向 1.2.1 输出重定向 1.2.2 输入重定向 1.2.3 wc命令基本用法 1.3 别名 1.3.1 which命令基本语法 1.3.2 alias命令基本语法 1.4 压缩归档tar 1.4.1 第一种:gzip压缩 1.4.2 第二种:bzip…

多款式随身WiFi如何挑选,USB随身WiFi、无线电池随身WiFi、充电宝随身WiFi哪个好?优缺点分析!

市面上的随身WiFi款式多样琳琅满目,最具代表性的就是USB插电款、无线款和充电宝款。今天就来用一篇文章分析一下这三种款式的优缺点。 USB插电款 优点:便宜,无需充电,在有电源的地方可以随时随地插电使用,比如中兴的U…

交换两个变量数值的3种方法

前言:交换两个数值可不是"a b,b a"。这样做的话,a先等于了b的值;当“b a”后,因为此时a已经等于b的值了,这个语句就相当于执行了b b。最终的数值关系就成了a b,b b。 下面教给大…

综合DHCP、ACL、NAT、Telnet和PPPoE进行网络设计练习

描述:企业内网和运营商网络如上图所示。 公网IP段:12.1.1.0/24。 内网IP段:192.168.1.0/24。 公网口PPPOE 拨号采用CHAP认证,用户名:admin 密码:Admin123 财务PC 配置静态IP:192.168.1.8 R1使用模拟器中的AR201型…

重生奇迹MU老大哥剑士职业宝刀未老

重生奇迹MU中,老大哥剑士职业一直以来备受玩家们的喜爱。这个职业不仅拥有强大的攻击力、防御力和战斗技巧,而且还能够通过使用各种宝刀来增强自身的战斗能力。即便经过了多年的沉淀,老大哥剑士依然是一名宝刀未老的男人,仍然能够…

[羊城杯 2021]Ez_android-快坚持不下去的第五天

找到mainactivity函数 1. 用户名和密码的检查 2. 密码的加密然后 - 1 的操作 for (int i 0; i < bArr.length; i) {bArr[i] (byte) (bArr[i] - 1); } 这段代码通过遍历字节数组中的每个元素&#xff0c;将每个元素的值减去 1&#xff0c;并更新数组。这里的 byte 强制转…

怎么给U盘加密来防止数据泄密?总结了五个管用方法

U盘里的数据通常涉及课件、报表、演讲稿等&#xff0c;非常重要&#xff0c;最好能给U盘加密&#xff0c;这样即使丢了也无法看到里面的内容&#xff0c;那么如何给U盘加密呢&#xff1f; 一、使用Windows BitLocker To Go&#xff08;仅限Windows用户&#xff09; 操作步骤&a…

CentOS7.9虚拟机安装

一、下载CentOS7.9镜像文件 链接: https://pan.baidu.com/s/11eY8sS5mXWwQlW6yO9jokA 提取码: jrm6 二、创建CentOS7.9虚拟机 1、打开vmware,选择新建虚拟机 2、这里选择自定义 3、单击“下一步”。 4、先选择稍后安装 5、这里选择Liunx&#xff0c;然后找到对应的版本 6、…