GaussDB(DWS)数据库的数据迁移实操【玩转PB级数仓GaussDB(DWS)】

news2024/12/24 21:55:26

GaussDB(DWS)数据库的数据迁移实操【玩转PB级数仓GaussDB(DWS)】

1.1先了解一下Gauss数据库

GaussDB架构师老朱:一朝“入坑”数据库,从此踏上“不归路”-云社区-华为云

Gauss数据库并非完全自主开发。它可以看作是基于PostgreSQL 9.2的一次神奇的修改。正如Redhat和Android都源于LINUX的研发,IBM AIX和IOS都源于UNIX的研发一样,制造商基于开源资源进一步开发和推出自己的产品是行业规范。其中,分布式GaussDB 200/300将开源内容改变得面目全非,自我研究的比例已经相当高。
此外,华为已开放GaussDB 100单机版,完全放弃赚取商业利润,并邀请行业领袖参与GaussDB的开发和建设。是否单独研究这个问题已不再是问题。

环境配置:CentOS Linux release 7.9.2009 (Core)

1.1.1 GaussDB明显的优点

GaussDB产品可支持X86、ARM、GPU、NPU等异构架构。由此可见,未来的目标市场不仅是国内服务器市场,未来5G也将带来更多计算应用场景。
GaussDB是业界第一个AI原生(人工智能原始)数据库。首次将人工智能技术融入分布式数据库的全生命周期,实现自我运维、自我管理、自调优、故障自诊断和自我修复。第一个基于深度强化学习的自校正算法已将整个行业的调整性能提高了60%以上。
GaussDB可以构建在华为IT架构的底层生态系统上,包括网络设备、芯片、操作系统、云计算、人工智能等。这些都与华为IT架构高度耦合。

2.1 实操GaussDB(DWS)数据库

2.1.1 mysql数据迁移到gaussDB案例

原理图:

img

连接MySQL实例,查看MySQL数据库情况。

mysql -h <host>-P <port>-u <userName>-p--ssl-ca=<caDIR>
  • 云下MySQL数据迁移:

    CDM通过公网IP访问MySQL数据库,CDM与GaussDB(DWS)在同一个VPC下,CDM分别与MySQL和DWS建立JDBC连接。

  • 云上RDS-MySQL数据迁移:

    RDS、CDM和GaussDB(DWS)均在同一个VPC下,CDM分别与MySQL和DWS建立JDBC连接。如果云上RDS与DWS不在一个VPC,则CDM通过弹性公网IP访问RDS。

show variables like '%secure%'

在secure_file_priv地址下mkdir aaa;

修改文件权限chmod -R 777 aaa;

select * from i18n_message into outfile '/tmp/etl/temp.dat' fields terminated by ''';

下载数据并上传至GaussDB

导入GaussDB

COPY I18N_MESSAGE FROM '/home/gaussdba/app/bin/temp.dat' WITH DELIMITER '''';

查询库表。

use <databasename>;
show full tables;  

注意:

  • 执行出现如下错误:column “TASK.TASK_ID” must appear in the GROUP BY clause or be used in an aggregate function ,原因是:select的字段与Group by中的字段要一致或不一致的字段必须使用聚合函数;

  • 由于GaussDB(DWS)数据库对表名大小写不敏感,如果原MySQL数据库中存在大小写混用的表名或者纯大写的表名,例如Table01、TABLE01,需要先修改表名为纯小写后才支持迁移,否则会导致迁移后,GaussDB(DWS)无法识别该表。

  • MySQL中的ifnull函数用nvl函数替换;

  • 建议将MySQL也设置成大小写不敏感模式,修改方法:修改/etc/my.cnf参数lower_case_table_names=1,并重启MySQL服务。

img

2.1.1 最后

华为公司智能数据平台CTO武新曾说,数据库需要长期扎实的投入,华为态度非常坚定,目标是要像5G一样,打造中国出品的世界级数据库GaussDB,在不久的将来实现全面超越并引领数据库技术的发展。

在华为GaussDB发布中有一行文字:向数学致敬、向科学家致敬。前人的积累必将影响我们现在的科技。GaussDB,不仅蕴含着华为对数学和科学的敬畏,也承载着华为对基础软件的坚持和梦想以及我们中国人,中国IT人对国产数据库的未来与希望。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/165533.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

16、ThingsBoard-配置OAuth2

1、概述 如果你的系统想要接入第三方认证来登录,就像国内很多网站都支持微信、QQ等授权登录,其实thingsboard也提供了OAuth2.0来支持,ThingsBoard 是支持授权码授权类型来交换访问令牌的授权码,同时它自己也提供了几种方式 Google、GitHub、Facebook、Apple 同时也支持自定…

使用numpy进行深度学习代码实战

使用方法定义网络from net import ConvNet net ConvNet() if not net.load(MODEL_PATH): net.addConvLayout([3,3,1,4],bias True,paddingVAILD,init_typeinit_type,st_funcLEAKY_RELU_0.01)net.addConvLayout([3,3,4,8],bias True,paddingVAILD,init_typeinit_type,st…

weblogic反序列化之T3协议

前言 weblogic 的反序列化漏洞分为两种 &#xff0c;一种是基于T3 协议的反序列化漏洞&#xff0c;一个是基于XML的反序列化漏洞&#xff0c;这篇来分析一下基于T3 协议的反序列化漏洞。 环境搭建&#xff1a; [JAVA安全]weblogic反序列化介绍及环境搭建_snowlyzz的博客-CSDN…

Virtualbox设置固定IP

Virtualbox桥接实现静态固定IP内外网访问 super_kancy 2018-10-20 11:55:28 6024 收藏 7 展开 桥接实现静态固定IP内外网访问 第一步、安装好一个虚拟机linux01 第二步、配置网卡&#xff0c;选择桥接网卡模式&#xff0c;并且指定桥接的具体的网卡 第三步、正常启动虚拟机lin…

【Java集合】Collection 体系集合详解(ArrayList,LinkedList,HashSet,TreeSet...)

文章目录1. 概念2. 集合和数组的区别3. 集合的体系结构4. Collection父接口5. List 子接口6. List 实现类6.1 ArrayList 类6.2 Vector 类6.3 LinkedList 类6.4 ArrayList和LinkedList的区别7. Set 子接口8. Set 实现类8.1 HashSet 类8.2 TreeSet 类9. Collections 工具类Java编…

【链表经典题目】总结篇

【链表经典题目】总结篇1 虚拟头结点2 链表的基本操作3 反转链表4 删除倒数第N个节点5 链表相交6 环形链表总结【链表】关于链表&#xff0c;你该了解这些&#xff01; 1 虚拟头结点 在链表&#xff1a;听说用虚拟头节点会方便很多&#xff1f; 中&#xff0c;我们讲解了链表…

简单了解OSI网络模型

本文为学习笔记&#xff0c;根据了解需求摘抄自下篇文章 参考&#xff1a;原文地址 作者&#xff1a;sunsky303 目录 OSI模型 TCP/IP分层模型 OSI模型 OSI 模型(Open System Interconnection model)&#xff08;七层网络模型&#xff09;是一个由国际标准化组织提出的概念模…

职责链模式

职责链模式 1.职责链模式基本介绍 职责链模式&#xff08;Chain of Responsibility Pattern&#xff09;, 又叫 责任链模式&#xff0c;为请求创建了一个接收者对象的链(简单示意图)。这种模式对请求的发送者和接收者进行解耦。 职责链模式通常每个接收者都包含对另一个接收者…

谷歌搜索引擎排名规则(谷歌 seo 外链重要还是内容重要)

谷歌外链仍然是Google排名前三的因素之一&#xff0c;这意味着你根本不能忽视外链带来的排名。如果不建立高质量的链接&#xff0c;现实情况是&#xff0c;你的竞争性关键字和搜索词不会有高排名的。 并非所有外链都是平等的。事实上&#xff0c;错误类型的链接可能会损害您的…

一次线上事故,我顿悟了MongoDB的精髓

目录MongoDB拒绝连接&#xff1f;显然是MongoDB服务又挂了。mongodb启动异常&#xff1a;about to fork child process, waiting until server is ready for connection一、什么是MongoDB分片&#xff1f;二、MongoDB如何分片?三、何时分片&#xff1f;四、搭建MongoDB分片服务…

算法:链表(力扣+牛客经典题)

链表 力扣 203. 移除链表元素 思路&#xff1a;使用while循环每找到指定的值&#xff0c;就把下一个节点指向下下个节点的位置 /*** Definition for singly-linked list.* public class ListNode {* int val;* ListNode next;* ListNode() {}* ListNode(int…

【指针笔试题下】你知道大厂面试题的指针题是什么样的吗?快来通过这些面试题目检测一下自己吧!

目录 前言 笔试题1&#xff1a; 笔试题2&#xff1a; 笔试题3&#xff1a; 笔试题4&#xff1a; 笔试题5&#xff1a; 笔试题6&#xff1a; 笔试题7&#xff1a; 笔试题8&#xff1a; 总结&#xff1a; 博客主页&#xff1a;张栩睿的博客主页 欢迎关注&#xff1a;点赞收藏留…

JVM--Garbage First(G1) 垃圾收集器

G1 (Garbage-First)是一款面向服务器的垃圾收集器,主要针对配备多颗处理器及大容量内存的机器. 以极高概率满足GC停顿时间要求的同时,还具备高吞吐量性能特征。G1垃圾回收器是在Java7 update 4之后引入的一个新的垃圾回收器&#xff0c;在 JDK9 中更被指定为官方GC收集器一、G1…

【零基础】学python数据结构与算法笔记12

文章目录前言74.AVL树的概念75.AVL:旋转76.AVL:旋转实现177.AVL:旋转实现278.AVL:插入79.AVL树应用与数据结构总结总结前言 学习python数据结构与算法&#xff0c;学习常用的算法&#xff0c; b站学习链接 74.AVL树的概念 首先看一下二叉搜索树的效率 平均情况下&#xff0c…

networkx学习(三) 小世界网络

networkx学习(三) 小世界网络 1.小世界网络模型 K-近邻规则网络的生成与可视化

彻底分析Arduino库安装和开发板库安装路径和方式

参考&#xff1a;https://blog.csdn.net/weixin_43794311/article/details/128631564&#xff0c;https://blog.csdn.net/t01051/article/details/103766886 一个最简单的安装esp8266和esp32的方法 在网址&#xff1a;https://arduino.me/download&#xff0c;下载对应的开发…

dp(七)把数字转化为字符串 (力扣版+牛客版) 跳台阶问题+最小花费跳台阶

目录 l剑指 Offer 46. 把数字翻译成字符串力扣版本 把数字翻译成字符串_牛客题霸_牛客网牛客版 滚动数组优化 跳台阶【一】 &#xff08;大数取模&#xff09;一 八个零七 最小花费爬楼梯 l剑指 Offer 46. 把数字翻译成字符串力扣版本 给定一个数字&#xff0c;按照对应的格…

【微信小程序入门到精通】—小程序实战构建售货平台首页

目录前言一、步骤阐述二、新建项目并梳理结构三、配置导航栏四、tabBar 实现五、轮播图实现总结前言 对于目前形式&#xff0c;微信小程序是一个热门&#xff0c;那么我们该如何去学习并且掌握之后去做实际项目呢&#xff1f; 为此我特意开设此专栏&#xff0c;在我学习的同时也…

买车是个计算题,看上了比亚迪的宋DMI,选择困难了,选择55km的还是,110km的,理科生一起计算下。

1&#xff0c;背景 赶时髦&#xff0c;啥新鲜就购买啥&#xff0c;最火的车子当然是比亚迪宋dmi。 大家都买说明还不错&#xff0c;买车还要排队。等上一阵子了。 而且可以省下购置税。 就按照最热销的110 km 的版本 17/1.13*0.1 1.50 w 按照发票上“价税总计”金额计算的话…

计算两个字符串的相似度difflib.SequenceMatcher

【小白从小学Python、C、Java】 【计算机等级考试500强双证书】 【Python-数据分析】 计算两个字符串的相似度 difflib.SequenceMatcher 选择题 对于以下python代码表述错误的是? from difflib import SequenceMatcher myText1"我想学习Python做人工智能项目" myTex…