Oracle 使用OGG(Oracle GoldenGate) 实现19c PDB与MySQL5.7 数据同步

news2024/10/6 12:29:15

OGG 是一种基于日志的结构化数据复制软件，它通过解析源数据库在线日志或归档日志获得数据的增删改变化。

OracleMysql
IP address192.168.80.100192.168.80.16
DB version19.2.05.7
host nametempmysql

OS version： CentOS 7.9

一，Oracle 服务器上的准备工作。

1.在oracle服务器上创建ogg 用户以及工作目录

su - root

useradd ogg -g oinstall

passwd ogg

mkdir -p /opt/ogg

chown -R ogg /opt/ogg

mkdir -p /home/oracle/oradata/OGG/ORCLCDB

mkdir -p /home/oracle/oradata/OGG/tablespace

chown -R oracle:oinstall /home/oracle/oradata/OGG

2.安装ogg软件

su - ogg

将ogg安装包 213000_fbo_ggs_Linux_x64_Oracle_shiphome.zip 传到/home/ogg下

unzip -d ~ 213000_fbo_ggs_Linux_x64_Oracle_shiphome.zip


cd fbo_ggs_Linux_x64_Oracle_shiphome/Disk1/response/

编辑 oggcore.rsp

更新以下行：

INSTALL_OPTION=ORA19C
SOFTWARE_LOCATION=/opt/ogg/source_endpoint

cd ..

./runInstaller -silent -nowait -responseFile /home/ogg/fbo_ggs_Linux_x64_Oracle_shiphome/Disk1/response/oggcore.rsp

3.编辑ogg用户环境变量

export PATH
export ORACLE_BASE=/u01/app/oracle
export ORACLE_HOME=$ORACLE_BASE/product/19.2.0/db_1
export ORACLE_SID=orcl
export PATH=$ORACLE_HOME/bin:$PATH
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:$LD_LIBRARY_PATH

export OGG_HOME=/opt/ogg/source_endpoint/
export PATH=$OGG_HOME:$PATH:$ORACLE_HOME/bin
export TNS_ADMIN=$ORACLE_HOME/network/admin
alias ggsci='cd $OGG_HOME;ggsci'


source ~/.bashrc使其生效：

4.建立软链接


ln -s $ORACLE_HOME/lib/libnnz19.so /opt/ogg/source_endpoint/libnnz19.so
cd $OGG_HOME

ldd ggsci

5.检查归档

su - oracle

mkdir /home/oracle/archivelog

sqlplus / as sysdba

archive log list

6.开启oracle ogg

alter system set enable_goldengate_replication=true;

7.创建c##ogg所需要的表空间

创建c##ogg所需要的表空间：

create tablespace oggtbs datafile '/home/oracle/oradata/OGG/tablespace/oggtbs01.dbf' size 1000M autoextend on;

并在上面创建c##ogg用户：

create user c##ogg identified by ogg default tablespace oggtbs;

赋予权限：

grant dba ,connect, resource, unlimited tablespace to c##ogg;

exec dbms_goldengate_auth.grant_admin_privilege('c##ogg','*',TRUE);

select username,common,con_id from cdb_users where username like '%OGG%';

commit;

8.检查pdb状态

9.给c##ogg用户赋权限

grant dba ,connect, resource, unlimited tablespace to c##ogg;

10.编辑$TNS_ADMIN下的 tnsnames.ora文件

pdb =
  (DESCRIPTION =
    (ADDRESS_LIST =
      (ADDRESS = (PROTOCOL = TCP)(HOST = 192.168.80.100)(PORT = 1521))
    )
    (CONNECT_DATA =
      (SERVER = DEDICATED)
      (SERVICE_NAME =pdb)
    )
  )

11.创建ogg所需要的表空间

create tablespace mytbs datafile '/home/oracle/oradata/OGG/tablespace/mytbs01.dbf' size 500M autoextend on;

并在上面创建ogg用户：

create user ogg identified by ogg default tablespace mytbs;

赋予权限：

grant dba ,connect, resource, unlimited tablespace to ogg;

exec dbms_goldengate_auth.grant_admin_privilege('ogg','*',TRUE);

select username,common,con_id from cdb_users where username like '%OGG%';

commit;

12.验证ogg可以正常登录PDB数据库

13.创建ogg子目录

su - ogg
ggsci
create subdirs

14.切换到oracle用户，创建一个test_ogg用户

create user test_ogg identified by ogg ;

grant dba ,connect, resource, unlimited tablespace to test_ogg;

quit

切换到test_ogg用户登录PDB

sqlplus test_ogg/ogg@PDB

create table test_ogg(id int,name varchar(20),primary key(id));

15.

切换到ogg用户：



cd $OGG_HOME

ggsci

edit param ./globals

填写以下内容

oggschema ogg

16.输入以下内容

dblogin userid ogg@PDB password ogg

add schematrandata PDB.test_ogg

add trandata test_ogg.*

capture tabledef test_ogg.*

17.OGG源端管理进程MGR配置：

edit param mgr

添加以下内容

PORT 7809

18.OGG源端抽取进程extoracle配置

edit param extorcl
extract extorcl

DDL INCLUDE ALL

SETENV (ORACLE_HOME = "/u01/app/oracle/product/19.2.0/db_1")
SETENV (ORACLE_SID="orcl")
SETENV (NLS_LANG="american_america.AL32UTF8")
userid c##ogg@orcl , password ogg
exttrail /opt/ogg/source_endpoint/dirdat/to
table PDB.test_ogg.*;

19.

OGG源端传输进程pumysql配置

edit param pumysql

加入以下内容
extract pumysql
userid c##ogg@orcl, password ogg
rmthost 192.168.80.16,mgrport 7810
rmttrail /opt/ogg/target_endpoint/dirdat/rt
table PDB.test_ogg.*;

20.

delete extract pumysql

add extract pumysql, exttrailsource /opt/ogg/source_endpoint/dirdat/to

add rmttrail /opt/ogg/target_endpoint/dirdat/rt, extract pumysql, megabytes 100

info all

21.把这些全启动

start mgr

start extorcl

start pumysql

其实可以看到现在Time Since Chkpt 这里是有问题的，没有及时的重置时间，因为我们mysql那边还没有进行配置

22.

edit param tab1


defsfile /opt/ogg/source_endpoint/dirdef/ogg_test.ogg_test
userid test_ogg@PDB, password ogg
table test_ogg.test_ogg;

23.

quit

./defgen paramfile dirprm/tab1.prm  

二，Mysql服务器上的准备工作。

1.安装Mysql步骤这里不做描述。

2.创建ogg用户

create user 'ogg'@'%' identified by 'ogg';

grant all on *.* to 'ogg'@'%';

3.创建目的端ogg用户:ogg2

useradd ogg2

passwd ogg2

su - ogg2

4.将ogg for mysql安装包 传到/home/ogg2下

unzip -d ~ ./213000_ggs_Linux_x64_MySQL_64bit.zip

5.创建工作目录

mkdir /opt/ogg/target_endpoint

chown -R ogg2 /opt/ogg/target_endpoint

6.切换回ogg2用户：

tar -xvf ggs_Linux_x64_MySQL_64bit.tar -C /opt/ogg/target_endpoint

7.编辑环境变量

PATH=$PATH:$HOME/.local/bin:$HOME/bin

export PATH
export JAVA_HOME=$HOME/jdk1.8.0_141
export PATH=$JAVA_HOME/bin:$PATH

export OGG_HOME=/opt/ogg/target_endpoint
export LD_LIBRARY_PATH=$JAVA_HOME/jre/lib/amd64:$JAVA_HOME/jre/lib/amd64/server:$JAVA_HOME/jre/lib/amd64/libjsig.so:$JAVA_HOME/jre/lib/amd64/server/libjvm.so:$OGG_HOME/lib:$HOME/libs

export PATH=$OGG_HOME:$PATH
alias ggsci='cd $OGG_HOME;ggsci'

8.

cd $OGG_HOME

ggsci

create subdirs

9.edit param mgr

这个端口要和一.19步要对应上

10.OGG目的端检查点日志表checkpoint配置

edit param ./GLOBALS

添加如下内容

CHECKPOINTTABLE ogg.checkpoint

11.

创建MySQL的ogg用户：

drop user ogg;

create user 'ogg'@'%' identified by 'ogg';

grant all on *.* to 'ogg'@'%';

创建checkpoint所需的ogg库：

create database ogg;
use ogg

create table test_ogg(id int,name varchar(20),primary key(id));

12.

将上次生成的 /opt/ogg/source_endpoint/dirdef/ogg_test.ogg_test 文件拷贝到 $OGG_HOME/dirdef下：

cp /opt/ogg/source_endpoint/dirdef/ogg_test.ogg_test /opt/ogg/target_endpoint/dirdef/ogg_test.ogg_test

目标端：

13.进入ggsci命令行



dblogin sourcedb ogg@127.0.0.1:3306 ,userid ogg, password ogg

add checkpointtable ogg.ggs_checkpoint

14.edit params r_tab1  这里重中之重，所参考文档 这一步是有问题的。

replicat r_tab1
targetdb ogg@192.168.80.16:3306,userid ogg,password ogg
sourcedefs /opt/ogg/target_endpoint/dirdef/ogg_test.ogg_test
HANDLECOLLISIONS
MAP PDB.test_ogg.*,target ogg.test_ogg;

翻译过来就是，我理解的意思就是源表你指定了要同步一个PDB的内容，但是params r_tab1这个文件里面却没指定，所以MAP 后面应该是PDB.test_ogg.*。之前参考的文档有些许错误。

15.

dblogin sourcedb ogg@127.0.0.1:3306 ,userid ogg, password ogg

delete replicat r_tab1

add replicat r_tab1,exttrail /opt/ogg/target_endpoint/dirdat/rt,checkpointtable ogg.ggs_checkpoint


info all

start mgr

start r_tab1

16. 关于排错的体会。

首先看一下RBA是否是有值的，如果是0，证明数据没同步过来，解决思路是看一下Log Read Checkpoint 这个目录里面的文件名字是否对上了。

info all

看一下 Time Since Chkpt 每隔十几秒钟会不会清零，如果没清零，则肯定是有报错，去看日志，

view ggsevt

同时在Oracle这边 PUMYSQL组也Time Since Chkpt也应该十几秒清零一次，做检查点。

一般来讲，如果Time Since Chkpt 一直没清零，则几分钟后该程序就会停止。

最后，检查数据是否同步：

使用OGG实现Oracle 19C到MySQL 5.7的数据同步（1） - 知乎 (zhihu.com)

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1540244.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

[数据结构]二叉树(下)

[数据结构]二叉树(下)

一、二叉树的节点和深度关系 1.满二叉树 我们可以假设二叉树有N个节点，深度为h我们可以恒容易得到满二叉树每行的节点数，然后错位相减,算出节点与高度的关系。 2.完全二叉树 注意我这个是因为最后一行的节点数为1。 二、向上调整建堆和向下调整建堆的时…
阅读更多...
NFT交易市场-后端开发

NFT交易市场-后端开发

首先我们需要配置好我们的ipfs，参考官方文档 1.https://docs.ipfs.tech/install/command-line/#system-requirementshttps://docs.ipfs.tech/how-to/command-line-quick-start/#initialize-the-repository 首先新建一个文件夹 然后在终端输入npm init -y命令进行初…
阅读更多...
【数据结构】顺序表习题之移除元素和合并两个有效数组

【数据结构】顺序表习题之移除元素和合并两个有效数组

👑个人主页：啊Q闻 🎇收录专栏：《数据结构》 🎉道阻且长，行则将至 前言 嗨呀，今天的博客是关于顺序表的两道题目，是力扣的移除元素和合并有序数组的题目。 一.移除…
阅读更多...
java selenium 元素点击不了

java selenium 元素点击不了

最近做了一个页面爬取，很有意思被机缘巧合下解决了。 这个元素很奇怪，用xpath可以定位元素，但是就是click()不了。 试过了网上搜的一些办法： //尝试一 WebElement a_tag driver.findElement(By.xpath("xxx")); a_tag…
阅读更多...
今天聊聊新零售

今天聊聊新零售

一、什么是新零售？ 2016年，在杭州举行的“云栖大会”上，马云发表了讲话，首次提出了“新零售”这一概念。 1.1 新零售概念 新零售，英文是New Retailing，新零售是对人货场的重构。人是消费者、销售人员、…
阅读更多...
Linux：Jenkins全自动持续集成持续部署（3）

Linux：Jenkins全自动持续集成持续部署（3）

在上一章部署好了之后，还需要点击一下才能进行部署，本章的效果是：当gitlab上的代码发生了变化后，我们不需要做任何事情不需要去点击构建按钮，Jenkins直接自动检测变化，然后自动去集成部署Linux：…
阅读更多...
jmeter参数化--CSV数据驱动

jmeter参数化--CSV数据驱动

主要是用来接口测试正例反例测试。 http请求下添加csv数据文件设置 进行csv配置 1、首先创建csv文件 内容第一行输入变量名，逗号隔开 下面输入正常异常的测试值及对应的校验结果。 2、CSV数据文件配置 文件名路径选择上面创建的csv文件 编码选utf-8 变量名与csv…
阅读更多...
【深度学习】四种天气分类 模版函数 从0到1手敲版本

【深度学习】四种天气分类 模版函数 从0到1手敲版本

引入该引入的库 import torch import torch.nn as nn import matplotlib.pyplot as plt import torch.nn.functional as F import torchvision import torch.optim as optim %matplotlib inline import os import shutil import glob os.environ["KMP_DUPLICATE_LIB_OK&q…
阅读更多...
【数据挖掘】实验5：数据预处理（1）

【数据挖掘】实验5：数据预处理（1）

实验5：数据预处理（1） 一：实验目的与要求 1：熟悉和掌握数据预处理，学习数据清洗、数据集成、数据变换、数据规约、R语言中主要数据预处理函数。 二：实验内容 【缺失值分析】 第一步&#xff1…
阅读更多...
Python工具-清理Unity(批量深度)清理U3D项目工程保留关键工程文件

Python工具-清理Unity(批量深度)清理U3D项目工程保留关键工程文件

前沿 1. Unity工程越来越多，很久不用的工程里存在了很多无用的大文件夹，极大的影响电脑容量。 2. 我电脑里面U3D工程只有17个，但容量就高达60GB，使用自己编写的工具清理后，减到了30GB多。清理了不是很重要的文件和文件…
阅读更多...
2024-03-22 问AI: 介绍一下深度学习中的 sigmoid函数

2024-03-22 问AI: 介绍一下深度学习中的 sigmoid函数

文心一言 Sigmoid函数是深度学习中常用的一种激活函数，主要用于将神经元的输出值压缩到0和1之间。这种特性使得sigmoid函数在二分类问题中特别有用，因为输出值可以被解释为属于某个类别的概率。 sigmoid函数的数学表达式为： σ(x) 1 / (1…
阅读更多...
Notepad++ 如何调整显示字面大小

Notepad++ 如何调整显示字面大小

在 Notepad 上，可以使用 ctrl 加上鼠标的左键来滚动来进行调整。 如何恢复默 可以使用 Ctrl 加数字键盘上的 / 键 来恢复默认设置。 当然也可以通过菜单栏上 view 菜单下的 Zoom 选项。 上面的界面中可以看到我们的在 Notepad 中使用的选项。 Notepad 如何调整显示…
阅读更多...
llvm后端

llvm后端

SelectionDAGBuilder是LLVM（Low Level Virtual Machine）编译器中的一个重要组件，它负责将LLVM中间表示（Intermediate Representation，IR）转换为SelectionDAG（选择有向无环图）的形式。…
阅读更多...
RabbitMq高可用

RabbitMq高可用

消息队列高级 服务异步通信-高级篇1.消息可靠性1.1.生产者消息确认1.2.消息持久化1.3.消费者消息确认1.4.消费失败重试机制1.5.总结 2.死信交换机2.1.初识死信交换机2.2.TTL2.3.延迟队列 3.惰性队列3.1.消息堆积问题3.2.惰性队列 4.MQ集群4.1.集群分类4.2.普通集群4.3.镜像集群…
阅读更多...
C#，图论与图算法，计算图（Graph）的岛（Island）数量的算法与源程序

C#，图论与图算法，计算图（Graph）的岛（Island）数量的算法与源程序

1 孤岛数 给定一个布尔矩阵，求孤岛数。一组相连的1形成一个岛。例如，下面的矩阵包含5个岛: 在讨论问题之前，让我们先了解什么是连接组件。无向图的连通分量是一个子图，其中每两个顶点通过一条路径相互连接，并且不与子图外的其他顶点连接。 所有顶点相互连接的图只有一个…
阅读更多...
Spring05 SpringIOC DI

Spring05 SpringIOC DI

名词解释 今天我们来介绍Spring框架的最重要的part之一 SpringIOC 和 DI 这里的SpringIOC 其实是容器的意思,Spring是一个包含了很多工具方法的IOC容器 什么是IOC呢? IOC其实是Spring的核心思想 Inversion of Control (控制反转) 可能这里你还是不理解这个是啥意思 其实就…
阅读更多...
xilinx的高速接口构成原理和连接结构

xilinx的高速接口构成原理和连接结构

本文来源： V3学院 尤老师的培训班笔记【高速收发器】xilinx高速收发器学习记录Xilinx-7Series-FPGA高速收发器使用学习—概述与参考时钟GT Transceiver的总体架构梳理 文章目录 一、概述：二、高速收发器结构：2.1 QUAD2.1.1 时钟2.1.2 CHANNEL…
阅读更多...
【SysBench】OLTP 基准测试示例

【SysBench】OLTP 基准测试示例

前言 本文采用 MySQL 沙盒实例作为测试目标，使用 sysbench-1.20 对其做 OLTP 基准测试。 有关 MySQL 沙盒的更多信息，请参阅 玩转 MySQL Shell 沙盒实例，【MySQL Shell】6.8 AdminAPI MySQL 沙盒 。 1、部署一个 MySQL 沙盒实例 使用 mysq…
阅读更多...
【ESP32S3 Sense接入百度在线语音识别】

【ESP32S3 Sense接入百度在线语音识别】

视频地址： 1. 前言 使用Seeed XIAO ESP32S3 Sense开发板接入百度智能云实现在线语音识别。自带麦克风模块用做语音输入，通过串口发送字符“1”来控制数据的采集和上传。 步骤概括    (1) 在百度云控制端选择“语音识别”并创建应用获取API Key和Secr…
阅读更多...
MapReduce学习问题记录

MapReduce学习问题记录

1、如何跳过对某行数据的处理 第一行数据是字段名不需要处理，我们知道第一行偏移量是0（行记录的时候是从数组首地址开始，到了行标识符进行一次计数，这个计数就是行偏移量，从0开始），我们根据偏移…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023