如何使用rclone将腾讯云COS桶中的数据同步到华为云OBS

news2024/11/17 3:48:09

在多云策略与数据迁移趋势下,企业往往需要将数据在不同云服务提供商之间进行迁移。本文介绍如何使用rclone工具同步腾讯云COS(Cloud Object Storage)桶中的数据到华为云OBS(Object Storage Service)。先决条件是您已经使用华为云在线迁移工具完成了初始数据迁移,现在我们需要保持后续的数据一致性。
image.png
迁移过程如下:
输入源端桶与目的桶的各个配置信息,点击下一步:
image.png
这里直接默认,点击下一步:
image.png
到这里数据就可以开始同步了!
但是这里要注意账号密钥的权限:
image.png
我创建了一个用户组obs-list,将obs的用户加入,并赋予了OBS Buckets Viewer OBS ReadOnlyAccess权限(应该赋予OBS ReadOnlyAccess就可以)
image.png
存储桶,桶策略绑定了下面的权限:
image.png
image.png
其实华为云也有同步任务这个选项可以增量同步,但是看了一眼:
创建一个同步任务
image.png
image.png
image.png
image.png
but我源站新建了一个文件没有能在这里看到更新
image.png
访问:同步请求接收地址放弃了…
image.png
尝试一下rclone吧还是!

什么是rclone?

rclone是一款开源的命令行工具,支持同步文件和目录到多种云存储服务提供商。rclone具有多种特性,包括但不限于复制、同步、迁移、加密等。它支持多种云存储服务,例如Amazon S3, Microsoft OneDrive, Google Drive, Alibaba Cloud OSS, Huawei Cloud OBS以及腾讯云COS等。

开始使用

步骤1:安装rclone

访问rclone官方网站(https://rclone.org/downloads/),下载适合您操作系统的rclone版本并安装。例如,对于Linux系统可以使用以下命令:

curl -O https://downloads.rclone.org/rclone-current-linux-amd64.zip
unzip rclone-current-linux-amd64.zip
cd rclone-*-linux-amd64
sudo cp rclone /usr/bin/
sudo chown root:root /usr/bin/rclone
sudo chmod 755 /usr/bin/rclone

步骤2:配置rclone

使用rclone配置命令交互式创建新配置。

rclone config
添加华为云OBS
  1. 选择“n”新建远程配置。

image.png

  1. 输入配置名称,如 HuaweiOBS

image.png

  1. 选择存储类型,输入 s3,选择 13

image.png

  1. 输入华为云OBS的相关信息,包括区域access_key_idsecret_access_key等。

image.png

  1. 完成配置,保存并退出。

image.png

添加腾讯云COS
  1. 同样使用“n”创建新的远程配置。

image.png

  1. 输入配置名称,如 TencentCOS

image.png

  1. 选择存储类型,选择 s3,选择 13(腾讯云)。

image.png

  1. 输入腾讯云TencentCOS的相关信息,包括区域access_key_idsecret_access_key等。

image.png

  1. 输入腾讯云COS的相关信息。
  2. 完成配置,保存并退出。

image.png

步骤3:运行rclone同步命令

使用以下rclone命令将腾讯云COS的数据同步到华为云OBS。请将 TencentCOS:bucket-nameHuaweiOBS:bucket-name 替换为您自己的具体存储桶名称。

rclone sync TencentCOS:bucket-name HuaweiOBS:bucket-name --progress
###or
rclone sync -P TencentCOS:bucket-name HuaweiOBS:bucket-name 

--progress 参数可以让您实时看到同步的进度。
image.png

步骤4:设置定时任务(可选)

要保持数据持续同步,可以在服务器上设置定时任务。以下是一个示例cron任务,它每天凌晨1点执行数据同步。

打开cron编辑器:

crontab -e

添加以下行(确保您已经替换命令中的存储桶名):

0 1 * * * rclone sync TencentCOS:bucket-name HuaweiOBS:bucket-name --log-file=/var/log/rclone.log

保存并退出编辑器。

其他注意的:

一些加快速度的参数:

image.png
发现了没有同时传输的数量为4!
可以这样修改一下:

  • --transfers: 设置同时进行文件传输的数量,默认通常是4。例如,如果想一次同步8个文件,可以使用 --transfers 16 作为命令参数
rclone sync -P TencentCOS:bucket-name HuaweiOBS:bucket-name --transfers 16

image.png
恩 发现同步完成后**checking **数量为8?

  • --checkers: 设置同时进行检查操作的数量。检查操作是指在上传文件前检查文件是否需要更新。默认值通常是8。增加这个值可以加快检查的速度,但可能会消耗更多的资源
rclone sync -P TencentCOS:bucket-name HuaweiOBS:bucket-name  --transfers 16 --checkers 16 

rclone sync 与rclone copy

rclone syncrclone copy都可以对数据进行复制。不同处是copy是增量复制,只复制目的端缺少的。例如两端数据一样后,源端删除了某个文件a.txt,再执行一次copy,目的端对应的文件a.txt仍然存在;
sync是同步,会将目的端同步为源端的情况,会删除目的端中源端没有的文件。例如两端数据一样后,源端删除了某个文件a.txt,再执行一次sync,目的端对应的文件a.txt也会被删掉。
具体的可以验证一下!

生成配置文件的方式

参照上面配置了rclone config的工作节点:

ls /root/.config/rclone

image.png
cat rclone.conf:

[HuaweiOBS]
type = s3
provider = Other
env_auth = false
access_key_id = xxxxx
secret_access_key = xxxxxxxxxxxxxxxxxxxxx
region = cn-north-4
endpoint = obs.cn-north-4.myhuaweicloud.com

[TencentCOS]
type = s3
provider = Other
env_auth = false
access_key_id = xxxxxxxxxxxxxxxx
secret_access_key = xxxxxxxxxxxxxxx
region = ap-shanghai
endpoint = cos.ap-shanghai.myqcloud.com

image.png
步骤2也可以这样生成配置文件,然后继续3 4的操作!

结论

通过以上步骤,您可以轻松地使用rclone将腾讯云COS桶中的数据同步到华为云OBS。确保在执行过程中准确无误地替换了所有必须的配置信息,以保证同步的成功。若您需要进一步的自定义或了解高级功能,请访问rclone的官方文档。
注:以上大纲chatgpt生成,参数 and copy用法以及生成配置文件方式为个人尝试!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1234160.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【MATLAB基础绘图第17棒】绘制玫瑰图

MATLAB绘制玫瑰图 玫瑰图(Nightingale Rose Chart)风玫瑰图(WindRose)准备工作:WindRose工具包下载案例案例1:基础绘图 参考 玫瑰图(Nightingale Rose Chart) 玫瑰图(Ni…

入行IC | 从小白助理级,到总监专家级,到底要经历怎样的成长阶段呢?

《中国集成电路产业人才发展报告》是业内和IC设计、IC人才都息息相关的一份报告。 (文末可领全部报告资料) * 从报告数据来看,无论在半导体产业的哪个环节,个人发展路径和年薪待遇都是逐级攀升的趋势。 那么从小白助理级&a…

Unity下载资源且保存

UnityWebRequest(WWW——已过时) 替代:Unity不再支持WWW后,使用UnityWebRequest完成web请求。 Unity - Scripting API: UnityWebRequest (unity3d.com)https://docs.unity3d.com/ScriptReference/Networking.UnityWebRequest.html if (www.isNetworkEr…

如何理解低代码开发工具?

目录 一、低代码平台是什么 1. 数据输入 2. 数据流转 3. 数据加工 4. 数据输出 (1)视图:单表的数据的简单展示 (2)看板:提供单表、多表数据的多种图表组合展示 二、低代码能力 ➪ 全栈可视化编程&#xff1…

企业怎么进行人事管理?一篇文章带你了解!

阅读本文你将了解企业如何运用数字化工具进行人事管理:一、数字化、线上化,解放人力;二、规范管理流程,提升处理效率;三、数据分析可视化,支持并优化决策;四、个性化定制,灵活适应需…

太累了,是时候让AI数字人来帮我干活了(走,上教程)

阿酷TONY,原创文章,长沙,2023.11.21 关 键 词:AI数字人,生成式AI,智能数字分身适用场景:培训数字人,演讲授课数字人,直播带货数字人特别说明:教程用的是国内…

部署Kubernetes Dashboard

Dashboard简介 Dashboard 是基于网页的 Kubernetes 用户界面。 可以使用 Dashboard 将容器应用部署到 Kubernetes 集群中,也可以对容器应用排错,还能管理集群资源。 Dashboard创建 #创建pods kubectl apply -f https://raw.githubusercontent.com/kub…

全栈程序员太难了,这个报表工具别再错过了!!

打开百度百科,全栈工程师的解释:是指掌握多种技能,可以胜任前端和后端,能用多种技能独立完成产品的人。 对于这个答案我是保持观望的态度。如果说能同时开发前端和后端,还能独立完成产品,它就是全栈工程师…

spark内置数据类型

在用scala编写spark的时候,假如我现在需要将我spark读的数据源的字段,做一个类型转换,因 为需求中要拼接出sql的create table语句,需要每个字段的sql中的类型,那么就需要去和sparksql 中的内置数据类型去比对。 写s…

去除IDEA中代码的波浪线(黄色警示线)

去除IDEA中代码的波浪线 首先是点击File—>Settings 操作如下图所示: 然后点击Editor—>Inspections—>General—>Duplicated code fragment(去掉勾选)—>Apply—>OK 即可,详情请看下图所示:

Mysql数据库管理-Innodb 内存优化分析

MySql数据库内存分析优化 1 Innodb重做日志 redo log是Innodb保障事务ACID属性的重要机制。工作原理图如下: 2 增加缓冲池数量,减少内部对缓冲池结构争用。 mysql内部线程对innodb缓存池的访问在某个阶段是互斥的,这种内部竞争也会产生性能…

【Java】多线程-单例模式/volatile-指令重排序

单例模式即代码中只有一个实例的模式 适用场景:有些场景下,有的类只能有一个对象,不能有多个 要注意:在单例模式下,要保证不能产生多个实例 1、饿汉模式 class Singleton{private static Singleton instance new …

捷诚管理信息系统 SQL注入漏洞复现

0x01 产品简介 捷诚管理信息系统是一款功能全面,可以支持自营、联营到外柜租赁的管理,其自身带工作流管理工具,能够帮助企业有效的开展内部审批工作。 0x02 漏洞概述 捷诚管理信息系统CWSFinanceCommon.asmx接口存在SQL注入漏洞。未经身份认…

金蝶云星空套打设计

文章目录 金蝶云星空套打设计下载登录打开需要创建套打的单据新建套打模板数据中心-发货通知单-设置预览 金蝶云星空套打设计 下载 登录 打开需要创建套打的单据 KD开头,是标准产品预设。 新建套打模板 默认A4纸 默认插入三行三列。 拖入文本,填写内容…

【OpenCV实现图像:OpenCV利用Python创作热力图】

文章目录 概要读取图像图像灰度化**像素化效果**小结 概要 热力图是一种强大的统计图表,通过对数据进行色彩映射,直观展示了数据分布的热度和密度。在绘制热力图时,关键在于指定颜色映射的规则,这决定了图中不同数值的呈现方式。…

基于nodejs学校宿舍管理系统-计算机毕设 附源码45118

nodejs学校宿舍管理系统 摘要 信息化社会内需要与之针对性的信息获取途径,但是途径的扩展基本上为人们所努力的方向,由于站在的角度存在偏差,人们经常能够获得不同类型信息,这也是技术最为难以攻克的课题。针对学校宿舍管理系统等…

问题:vue2+elementui,tabs切换显示表格并设置表格选中行高亮失败

错误示范: 1.直接setCurrentRow失败(this.currentRow是之前保存的表格当前选中行的数据) this.$refs.table.setCurrentRow(this.currentRow);2.以为是表格没生成就执行了setCurrentRow导致设置不成功,所以使用了this.$nextTick&…

自动化物流运输设备模组要选择哪种类型?

在自动化物流运输设备中,选择合适的模组类型取决于具体的运输需求和应用场景。 1、同步带模组:同步带模组是一种低噪音、低成本的物流运输设备,适用于中短距离、轻型货物的运输。它采用同步带传动的方式,具有传动准确、运行稳定、…

类和对象学习笔记

类和对象 类的定义this指针类的6个默认成员函数构造函数析构函数拷贝构造函数赋值运算符重载赋值运算符重载运算符重载const成员 取地址操作符重载const取地址操作符重载 初始化列表explicit关键字static成员匿名对象友元内部类拷贝对象时编译器的优化 类的定义 c类的定义形式…

leetcode:1773. 统计匹配检索规则的物品数量(python3解法)

难度:简单 给你一个数组 items ,其中 items[i] [typei, colori, namei] ,描述第 i 件物品的类型、颜色以及名称。 另给你一条由两个字符串 ruleKey 和 ruleValue 表示的检索规则。 如果第 i 件物品能满足下述条件之一,则认为该物…