rclone迁移对象存储之间的数据

news2024/11/24 20:12:50

1 概述

rclone是一款文件复制工具,既可以用于在linux主机之间复制文件,也可以在对象存储之间复制文件。
rclone的官网为:

https://rclone.org

rlcone关于对象存储的官方文档为:

https://rclone.org/s3

2 安装

2.1 yum安装

yum -y install rclone

2.2 二进制安装

curl -O https://downloads.rclone.org/rclone-current-linux-amd64.zip
unzip rclone-current-linux-amd64.zip
cd rclone-*-linux-amd64
cp rclone /usr/bin/
chown root:root /usr/bin/rclone
chmod 755 /usr/bin/rclone

3 配置

创建rclone的配置文件

mkdir -p $HOME/.config/rclone
touch $HOME/.config/rclone/rclone.conf

依据实际情况,输入以下内容:

[myminio]
type = s3
provider = Minio
env_auth = false
access_key_id = admin
secret_access_key = admin@2024
endpoint = http://127.0.0.1:9090

[myobs]
type = s3
provider = Other
env_auth = false
access_key_id = xxxxxxxxxxxxxx你的ak
secret_access_key = xxxxxxxxxxxxxxxxxx你的sk
region = cn-north-9
endpoint = obs.cn-north-9.myhuaweicloud.com

4 迁移对象存储的数据

目标端桶名为:ceshi12345678
在这里插入图片描述

源端桶名为demo,执行以下命令进行文件复制:

# rclone sync会删除目标端多余的文件,让源端桶和目标桶完全保持一致。
# clone copy --update只会复制那些位于源端但不存在于目标端的文件,不会在目标端删除文件,一般情景下推荐此命令。
rclone copy --update myminio:demo myobs:ceshi12345678 --progress

在这里插入图片描述

在这里插入图片描述

接着在源端桶中新上传一个文件java_error_in_GOLAND_11842.log

在这里插入图片描述

再次执行clone copy --update命令,会发现本次只传输了一个文件到目标桶中,正是这次新增的文件。

在这里插入图片描述
在这里插入图片描述


5 小结

rclone是一个文件复制的神器,本文介绍了如何在配置文件中设置源端和目标端的对象存储信息,并使用rclone copy命令进行数据的全量和增量的迁移。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1690779.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【全网最全】2024电工杯数学建模A题前两问完整解答+21页初步参考论文+py代码+保奖思路等(后续会更新成品论文)

您的点赞收藏是我继续更新的最大动力! 一定要点击如下的卡片链接,那是获取资料的入口! 【全网最全】2024电工杯数学建模A题前两问完整解答21页初步参考论文py代码保奖思路等(后续会更新成品论文)「首先来看看目前已有…

在线生成数据库er图的工具

网址 https://databasediagram.com/ 其实很早之前我也有类似的想法,根据数据表结构,显示数据表之间的关系图。 当时我还写了一个工具,可惜后来就没怎么用过了。 这个网站和我当时的思路很像,只不过他这个页面显示比我的好得多&…

谈恋爱没经验?那就来刷谈恋爱经验宝宝吧

❤️作者主页:小虚竹 ❤️作者简介:大家好,我是小虚竹。2022年度博客之星评选TOP 10🏆,Java领域优质创作者🏆,CSDN博客专家🏆,华为云享专家🏆,掘金年度人气作…

C++青少年简明教程:If选择语句

C青少年简明教程:If选择语句 C中选择语句的语法是: if (条件) { 条件成立时需要执行的语句... } [else { 条件不成立时需要执行的语句... }] 说明: if后面使用一个括号,括号里是条件——关系表达式。 所谓的关系表达式就是判…

报错:找不到或无法加载主类 com.example.SpringbootApplication(idea)

OpenJDK 64-Bit Server VM warning: Sharing is only supported for boot loader classes because bootstrap classpath has been appended 错误: 找不到或无法加载主类 com.example.SpringbootApplication 原因: java.lang.NoClassDefFoundError: com/example/SpringBootAppli…

上位机图像处理和嵌入式模块部署(mcu中的串口接口)

【 声明:版权所有,欢迎转载,请勿用于商业用途。 联系信箱:feixiaoxing 163.com】 在mcu开发中,mcu扮演着非常重要的角色。一方面,串口可以帮助我们对固件功能进行调试,另外一方面,串…

小猫咪的奇幻冒险:一个简单的Python小游戏

新书上架~👇全国包邮奥~ python实用小工具开发教程http://pythontoolsteach.com/3 欢迎关注我👆,收藏下次不迷路┗|`O′|┛ 嗷~~ 目录 一、游戏简介与演示 二、游戏开发与运行 1. 环境搭建 2. 代码解析 3. 加速机制 三、游戏…

k近邻和kd树

K近邻 选取k值的时候可以采用交叉验证的方法 一般采用欧氏距离 kd树 采用树这个特殊的数据结构来实现k近邻算法 先假设是二维的情况 下面讲解kd树的完整构造过程 找这个中位数是按照每棵子树来创建的 前提是已经有了一棵kd树,然后来一个实例点

45岁前TVB有型熟男生图流出

凭无线处境剧《爱回家》中饰演律师「严谨」一角成功入屋的张达伦,于2022年约满无线离巢后,正式「卖身」给杜琪峰成为旗下艺人,先后亮相ViuTV剧集及综艺节目,又参与电影演出,作多方面尝试和发展。 日前有网民食完糖水在…

网段与广播域

ip地址与子网掩码做与运算得到网络号,得到的网络号相同就是同一个网段,否则不是,跟他们在什么位置没有任何关系 这里面pc3和前两个pc虽然不在同一个网段,但是pc1发广播包的时候,pc3也能收到,因为路由器的所…

离开谷歌:九年之后,我为何选择离开这家公司

每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗?订阅我们的简报,深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同,从行业内部的深度分析和实用指南中受益。不要错过这个机会,成为AI领…

【学习笔记】Windows GDI绘图(四)矩阵Matrix详解

矩阵Matrix 基于矩阵在GDI绘图的重要性,所以想深入了学习矩阵的相关属性与方法。 先上个本文中所有的函数图例演示吧。 原型: namespace System.Drawing.Drawing2D;public sealed unsafe class Matrix : MarshalByRefObject, IDisposableMatrix类封装…

玩机社区 - 2024年最美社区源码开源

玩机社区 - 2024年最美社区源码开源 教程源码文档都内置到压缩包了 https://pan.baidu.com/s/1xwcscTne-JMbmKEntiuAuA?pwd78oi

22个C语言小白常见问题总结

一.语言使用错误 在打代码的过程中,经常需要在中文与英文中进行转换,因此常出现一些符号一不小心就用错,用成中文。例如:“;”中文中的分号占用了两个字节,而英文中“;”分号只占用一个字节。编译器只能识…

遥感和ENVI技术检测食物污染

对于生产者和消费者来说食物污染都是个问题。家禽污染会引发严重的健康问题,导致严重的危害。美国农业部需要一种方法,使用遥感影像在离开生产线之前探测出受污染的家禽。 解决方案 提起遥感,人们想到的大多是那些太空船和轨道卫星。然而在美…

电脑版网易云音乐听歌识曲

文章目录 流程 流程 电脑网易云音乐的搜索框旁边就是听歌识曲功能

基于PHP的物业管理的设计与实现

第1章 绪论... 1 1.1 研究背景与意义... 1 1.2 国内外发展现状... 2 第2章 关键技术介绍... 3 2.1 PHP语言... 3 2.2 MySQL数据库... 3 2.3 Zend框架... 4 2.4 B/S架构... 4 第3章 系统需求分析... 5 3.1 可行性分析... 5 3.1.1 技术可行性分析... 5 3.1.2 经济可行…

Spring6基础笔记

Spring6 Log4j2 1、概述 1.1、Spring是什么? Spring 是一款主流的 Java EE 轻量级开源框架 ,Spring 由“Spring 之父”Rod Johnson 提出并创立,其目的是用于简化 Java 企业级应用的开发难度和开发周期。Spring的用途不仅限于服务器端的开发…

某大型制造集团企业信息化建设总体规划设计方案(67页PPT)

方案介绍: 随着信息技术的飞速发展,企业信息化建设已成为提高管理效率、增强企业竞争力的重要手段。某大型制造集团为应对市场变化、提升管理水平、优化资源配置,决定进行全面深入的信息化建设。本方案旨在构建一个集生产、管理、销售、物流…

C语言 浮点数 打印的方法

一、方式1 在C语言中&#xff0c;浮点数&#xff08;通常包括 float 和 double 类型&#xff09;的打印是通过标准库中的 printf 函数完成的。为了正确地打印浮点数&#xff0c;需要使用格式说明符来指定如何格式化输出。 #include <stdio.h> int main(void) { floa…