mysql和pg等数据库之间的数据迁移实战分享

news2024/11/14 22:30:33

mysql和pg等数据库之间的数据迁移是常见的问题:比如一开始使用Oracle,后来想使用mysql,而且需要把Oracle数据库的数据迁移到mysql里面;后期有想使用pg数据库,同时需要把Mysql数据库的数据迁移到pgl里面,等等诸如此类数据迁移,都是一个重要问题。基于此,我们今天分享mysql数据迁移到pg数据库的案例。方案如下:

一、客户端迁移

如果数据量比较小,并且win电脑端可以连上数据库,此种情况下可以使用客户端迁移数据,比如使用Navicat 15及以上版本。现在开始演示:

1、工具栏中选择数据传输

2、选择数据源和目标

点击下一步进入 

3、选择表结构

自定义选择或者选择全部数据,再点击下一步,就可以开始传输数据了,如果有错误,有日志实时打印。 

4、创建自增序列

msql数据库迁移到pg之后,字段类型都改成相应的字段了,比如:

常见数据类型的映射:

  • TINYINT -> SMALLINT
  • INT -> INTEGER
  • BIGINT -> BIGINT
  • VARCHAR -> VARCHAR
  • TEXT -> TEXT
  • DATETIME -> TIMESTAMP
  • DECIMAL -> NUMERIC

只有主键自增这一块,需要单独处理一下:即每张表的主键添加自增序列

参考文章

二、pgLoader 工具迁移

pgloader 使用文档

1、安装 pgLoader

首先,确保你的系统上安装了 pgLoader。你可以使用包管理器安装,也可以从源代码编译安装。

Ubuntu/Debian 环境
sudo apt-get install pgloader

或者 CentOS/RHEL 环境

sudo yum install pgloader

2、从源代码编译安装

如果你的发行版没有直接提供 pgLoader 包,你可以从源代码安装:

git clone https://github.com/dimitri/pgloader.git
cd pgloader
make build
sudo make install

下载地址

3、Docker 镜像安装

docker pull dimitri/pgloader
运行
docker run --rm dimitri/pgloader:latest pgloader --version

3、命令查看 pgLoader 是否安装成功:

pgloader --version

4、准备 MySQL 和 PostgreSQL 数据库

确保你的 MySQL 数据库和 PostgreSQL 数据库已经准备好,并且你有相应的访问权限。

  • MySQL: 确保你知道 MySQL 数据库的连接信息(用户名、密码、数据库名、主机名、端口)。
  • PostgreSQL: 确保目标 PostgreSQL 数据库已经创建好,并且你有相应的访问权限。

5、使用 pgLoader 迁移数据

pgloader mysql://mysql_user:mysql_password@mysql_host/mysql_dbname postgresql://pg_user:pg_password@pg_host/pg_dbname

参数注释:

  • mysql_user: MySQL 用户名
  • mysql_password: MySQL 密码
  • mysql_host: MySQL 服务器地址(例如 localhost 或 IP 地址)
  • mysql_dbname: 要迁移的 MySQL 数据库名
  • pg_user: PostgreSQL 用户名
  • pg_password: PostgreSQL 密码
  • pg_host: PostgreSQL 服务器地址(例如 localhost 或 IP 地址)
  • pg_dbname: 目标 PostgreSQL 数据库名

三、手动导入

1、使用 mysqldump 导出 SQL 脚本

mysqldump -u [username] -p[password] --compatible=postgresql --no-create-info [database_name] > mysql_data.sql

此命令将生成一个 mysql_data.sql 文件,其中包含 MySQL 表的数据,且格式与 PostgreSQL 兼容。 

2、创建 PostgreSQL 表

根据 MySQL 表的结构,在 PostgreSQL 中创建相应的表。需要注意的是,MySQL 和 PostgreSQL 在数据类型方面有一些差异。以下是一些常见数据类型的映射:

  • TINYINT -> SMALLINT
  • INT -> INTEGER
  • BIGINT -> BIGINT
  • VARCHAR -> VARCHAR
  • TEXT -> TEXT
  • DATETIME -> TIMESTAMP
  • DECIMAL -> NUMERIC

例如,假设 MySQL 中有以下表:

CREATE TABLE employees (
    id INT PRIMARY KEY,
    name VARCHAR(255),
    salary DECIMAL(10, 2),
    hired_date DATETIME
);

则在 PostgreSQL 中创建相应的表:

CREATE TABLE employees (
    id SERIAL PRIMARY KEY,
    name VARCHAR(255),
    salary NUMERIC(10, 2),
    hired_date TIMESTAMP
);

3、导入数据到 PostgreSQL

psql -U [username] -d [database_name] -f mysql_data.sql

最后,检查数据是否正确迁移到 PostgreSQL,确保表结构、数据类型和数据内容都无误。 

到此,不同数据库之间的数据迁移暂时分享完成,后面我们会持续更新更新的迁移方案,敬请期待!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2110261.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

shell脚本编写之函数

shell中的函数定义比较简单,定义函数名可以没有类型,函数返回值可有可无,如果有返回值,必须返回整数n(0~255)。同时,函数的定义必须放在shell脚本的开头部分,只有函数被shell解释器发…

【微机】DOSBox在windows上的安装和masm的配置

本文首发于 ❄️慕雪的寒舍 最近学校学习微型计算机原理与接口技术,需要用到DOSBox来模拟DOS环境进行汇编编程的学习。 本文记录了如何在windows11/10上安装DOSBox0.74并配置masm5 1.安装 这两个软件我打包上传到了百度云盘。放心,加起来也就2mb&…

【多线程】死锁

🥰🥰🥰来都来了,不妨点个关注叭! 👉博客主页:欢迎各位大佬!👈 文章目录 1. 死锁的三种情况1.1 一个线程一把锁(同一个线程给同一个对象加两次锁的情况)1.2 两…

Save OpenAI response in Azure function to Blob storage

题意:将 OpenAI 的响应保存在 Azure 函数中到 Blob 存储 问题背景: I used blob trigger template to create an Azure function that is triggered by new file updated in Azure blob storage. I am using python v2 to create Azure function in VSc…

SAP ABAP任意表数据查询+快速下载工具

背景: 项目上业务顾问有时候需要下载标准表大量的数据到Excel进行一些比对,但是标准SE16N,SE16的下载电子表格功能在遇到大批量数据的时候会非常慢,于是抽空写了个通用的查询下载工具,可以快速的下载数据。 工具界面&…

Linux - Linux安装部署xxl-job

一、下载源码 xxl-job源码地址: https://github.com/xuxueli/xxl-job 2.4.2版本为例:https://github.com/xuxueli/xxl-job/archive/refs/tags/2.4.1.tar.gz xxl-job文档地址: 分布式任务调度平台XXL-JOB 二、安装依赖环境 因为需要…

Go语言中的RPC协议原理解析

Go语言中的RPC协议原理解析 在分布式系统中,不同的服务或组件通常运行在不同的计算机或进程上。为了实现这些服务之间的通信,我们可以使用RPC(Remote Procedure Call,远程过程调用)协议。RPC允许我们像调用本地函数一…

【区块链 + 人才服务】FISCO BCOS 高校实训和管理平台 | FISCO BCOS应用案例

深圳市火链文化传播有限公司建设部署 FISCO BCOS 高校实训和管理平台,这是一条多领域覆盖的联盟链,以高 校 政府教育部门 合作企业共同授权成为联盟链节点,实现在政府指导监管下,多行业扩展、多机构参与、多 平台共存的联盟链模…

SparseDrive - 清华地平线开源的e2e的框架

清华地平线合作开发的e2e的框架 SparseDrive资源 论文 https://arxiv.org/pdf/2405.19620 git https://github.com/swc-17/SparseDrive 个人觉得该文章厉害的地方 纯sparse mapping, 3d detection方案, 用的检测头sparse4D V3 sparsev1v2v3基本一致,m…

秒懂:父子进程

1.概念 在操作系统中,当一个进程(称为父进程)创建另一个新进程(称为子进程)时,父子进程之间建立了一种特殊的关系。 2.创建父子进程的方法 2.1 fork()函数详解: fork 是一个系统调用&#xff0…

Qt 加载 WPS 时提示要登录

项目中Qt加载word时 默认用wps打开word文档 程序一运行老是提示要立即登录 看着很烦 可以按下面的方法去掉这个烦人的东西 在下面的项目中新建字符串enableforceloginforfirstinstalldevice,值为false即可。

品聚文化--打造票圈神话

热烈祝贺鸿玉祥安文票9月5号正式启动运营 尊敬的各位领导、合作伙伴、客户以及全体品聚的家人们 今天,我们迎来了公司文票正式启动这一历史性的时刻,在此,我谨代表公司及全体员工,向所有关心和支持我们发展的朋友们表示最热烈的祝…

Java进阶13讲__第十讲

IO流、File 1. File 1.1 创建对象 1.1.1 File指向 指向文件 File f1 new File("E:\\TableFace\\Finished\\合同审核.txt"); 指向文件夹 File f2 new File("E:\\TableFace\\Finished"); 指向不存在文件 File f2 new File("E:\\T…

用最简单的话来解释大模型中的Transformer架构

开篇 我个人的观点是要想系统而又透彻地理解 Transformer,至少要遵循下面这样一个思路(步骤): 理解NLP基础 在探讨Transformers之前,了解自然语言处理(NLP)的一些基本知识至关重要。NLP使计算机能够理解和生成自然语…

GEE数据集:美国国家结构清单(NSI)用于评估和分析自然灾害的点式结构清单

简介 国家结构清单 国家结构清单(NSI)是一个数据库系统,其中包含不同质量和空间覆盖范围的结构清单。 NSI 数据库的目的是促进存储和共享用于评估和分析自然灾害的点式结构清单。 洪水风险是主要用途,但每个结构都有足够的数据来…

prompt实用技巧-竞对分析-飞书发布会上多维表和低代码平台原型分析

prompt engineer 工程师的一天 ,竞品分析相关。 “作为企业软件咨询公司整理出uipath,salesforce,airtable,zapier的官网地址,功能点详情,优势,劣势 生成表格4*4,表头为:uipath,salesforce,airtable,zapier, 第一例为&…

Nvidia股价反弹,博雅分析师力挺“行业首选”

在周四的交易中,Nvidia(NVDA)股价成功收复部分失地,上涨1%,这一积极走势得益于博雅全球研究公司(美国银行全球研究)发布的一份看涨报告。博雅分析师重申了对Nvidia的“行业首选”评级&#xff0…

『功能项目』Unity本地数据库读取进入游戏【29】

本章项目成果展示 打开上一篇28Unity连接读取本地数据库的项目, 本章要做的事情是通过读取本地数据库登录进入游戏场景 首先创建一个脚本文件夹: 新建脚本:MySqlAccess.cs 编写脚本:MySqlAccess.cs using UnityEngine; using MyS…

自定义v-model的两种形式

1 使用update (1)在组件中使用v-model"value" (2)props中接收modelValue (3)然后在value值发生变化的时候:this.$emit("update:modelValue", this.value); (4&…

【压力测试】如何确定系统最大并发用户数?

一、明确测试目的与了解需求 明确测试目的:首先需要明确测试的目的,即为什么要确定系统的最大并发用户数。这通常与业务需求、系统预期的最大用户负载以及系统的稳定性要求相关。 了解业务需求:深入了解系统的业务特性,包括用户行…