YMP实现Oracle迁移到YashanDB

news2024/11/20 18:42:29

迁移需求

ip地址

数据库信息

操作系统信息

源库

192.168.3.132

实例名topdh 用户密码TOPICIS/oracle 端口1521

Centos7.9 x86_64

目标库

192.168.3.175

实例名yasdb 用户密码topicist/opicis 端口1688

Centos7.9 x86_64

迁移前准备

YMP工具获取

根据实际需求向厂商技术支持获取软件包：（xx.xx为软件版本号）

软件包名称

说明

yashan-migrate-platform-23.1.1.100-linux-x86-64.zip

yashan-migrate-platform-23.1.1.100-linux-aarch64.zip

YMP安装包，用于在Linux x86_64/arm64平台进行YMP的安装和部署。

instantclient-basic-linux.x64-19.19.0.0.0dbru.el9.zip

instantclient-basic-linux.arm64-19.10.0.0.0dbru-2.zip

OCI客户端压缩包，用于在Linux x86_64/arm64平台下进行OCI客户端的安装和替换 。

Note:
1. OCI客户端压缩包可在'<https://www.oracle.com/cn/database/technologies/instant-client/downloads.html>'处获取。
2. 使用Oralce到YashanDB的数据迁移功能时，必须使用OCI客户端压缩包，并建议使用表格里的版本，其他版本未经验证可能有未知风险。

源库

--查看实例名
SQL> select instance_name from v$instance;
INSTANCE_NAME
----------------
topdh

--查看用户
set lin1000 pagesize 999
select username,default_tablespace,temporary_tablespace from dba_users where username not in ('SYS','SYSTEM','HR','OUTLN','MGMT_VIEW','FLOWS_FILES','MDSYS','ORDSYS','EXFSYS','DBSNMP','WMSYS','APPQOSSYS','APEX_030200','OWBSYS_AUDIT','ORDDATA','CTXSYS','ANONYMOUS','SYSMAN','XDB','ORDPLUGINS','OWBSYS','SI_INFORMTN_SCHEMA','OLAPSYS','SCOTT','ORACLE_OCM','XS$NULL','BI','PM','MDDATA','IX','SH','DIP','OE','APEX_PUBLIC_USER','SPATIAL_CSW_ADMIN_USR','SPATIAL_WFS_ADMIN_USR');

USERNAME		       DEFAULT_TABLESPACE	      TEMPORARY_TABLESPACE
------------------------------ ------------------------------ ------------------------------
......
TOPICIS 		       TOPICIS			      TOPICISTEMP


--查看用户使用了哪些表空间
select distinct tablespace_name from dba_segments where owner in ('TOPICIS');
TABLESPACE_NAME
------------------------------
TOPICIS

--赋予dba角色给TOPICIS用户
sqlplus / as sysdba
GRANT DBA TO TOPICIS;

-- 查看表空间及数据文件位置及大小
set lin 1000 pagesize 999
col file_name for a55
select tablespace_name,file_name,bytes/1024/1024/1024 gb,AUTOEXTENSIBLE from dba_data_files where tablespace_name not in ('USERS','UNDOTBS1','SYSAUX','SYSTEM') order by tablespace_name ;
TABLESPACE_NAME 	       FILE_NAME						       GB AUT
------------------------------ ------------------------------------------------------- ---------- ---
TOPICIS 		       /oradata/topdh/TOPICIS01.dbf			       31.9990234 YES
TOPICIS 		       /oradata/topdh/etopicis02.dbf			       31.9999847 YES
TOPICIS 		       /oradata/topdh/etopicis03.dbf			       31.9999847 YES
......

--查看业务用户TOPICIS的数据量
select round(sum(bytes) / 1024 / 1024 / 1024, 2) || 'G'
  from dba_segments
  2    3   where owner in ('TOPICIS') ;

ROUND(SUM(BYTES)/1024/1024/1024,2)||'G'
-----------------------------------------
95.99G


--查看redo大小 位置
set linesize 999
col member for a60
select b.thread#,a.group#,a.member,bytes/1024/1024,b.members,b.status from v$logfile a,v$log b where a.group#=b.group#;	 

   THREAD#     GROUP# MEMBER							   BYTES/1024/1024    MEMBERS STATUS
---------- ---------- ------------------------------------------------------------ --------------- ---------- ----------------
	 1	    1 /oradata/topdh/redo01.log 					       500	    1 INACTIVE
	 1	    3 /oradata/topdh/redo03.log 					       500	    1 INACTIVE
	 1	    2 /oradata/topdh/redo02.log 					       500	    1 CURRENT

-- 查看数据库字符集
select * from nls_database_parameters where PARAMETER in ('NLS_CHARACTERSET','NLS_NCHAR_CHARACTERSET');
PARAMETER		       VALUE
------------------------------ ----------------------------------------------------------------------------
NLS_CHARACTERSET	       AL32UTF8
NLS_NCHAR_CHARACTERSET	   UTF8


--每个业务用户下的总对象数量校验
SELECT D.OWNER,COUNT(1)
 FROM dba_objects d
WHERE d.OWNER   in ('TOPICIS')
AND NOT EXISTS (SELECT 1 FROM DBA_RECYCLEBIN B WHERE B.object_name=D.OBJECT_NAME AND D.OWNER=B.owner) 
GROUP BY D.OWNER
ORDER BY D.OWNER ;
OWNER				 COUNT(1)
------------------------------ ----------
TOPICIS 			     6551

--每个业务用户下的各个对象类别的数量校验
SQL> select OWNER,OBJECT_TYPE,status,count(OBJECT_NAME) from dba_objects  where owner in ('TOPICIS')  group by OBJECT_TYPE,owner,status order by 1,3,2;

OWNER			       OBJECT_TYPE	   STATUS  COUNT(OBJECT_NAME)
------------------------------ ------------------- ------- ------------------
TOPICIS 		       FUNCTION 	   INVALID		   20
TOPICIS 		       PROCEDURE	   INVALID		  133
TOPICIS 		       DATABASE LINK	   VALID		    5
TOPICIS 		       FUNCTION 	   VALID		   57
TOPICIS 		       INDEX		   VALID		 1631
TOPICIS 		       LOB		   VALID		  478
TOPICIS 		       PACKAGE		   VALID		    2
TOPICIS 		       PROCEDURE	   VALID		  116
TOPICIS 		       SEQUENCE 	   VALID		   60
TOPICIS 		       TABLE		   VALID		 4015
TOPICIS 		       TYPE		   VALID		   34


--查询回收站lob对象数量(可选),lob数量不一致排查
select owner,type,count(*) from dba_recyclebin group by owner,type order by owner;

OWNER			       TYPE			   COUNT(*)
------------------------------ ------------------------- ----------
...
TOPICPSP		       TABLE				  1


--数据量统计
----新增count_rows 函数
CREATE OR REPLACE FUNCTION count_rows (
	table_name IN varchar2, 
	owner IN varchar2 := NULL
)
RETURN number AUTHID current_user
AS
num_rows number;
	stmt varchar2(2000);
BEGIN
	IF owner IS NULL THEN
		stmt := 'select count(*) from "' || table_name || '"';
	ELSE
		stmt := 'select count(*) from "' || owner || '"."' || table_name || '"';
	END IF;
	EXECUTE IMMEDIATE stmt INTO num_rows;
	RETURN num_rows;
END;
/
---调用count_rows 函数，统计各种表的记录数
select table_name, count_rows(table_name) nrows from user_tables  where tablespace_name='TOPICIS'
order by nrows desc;

目标库

创建业务用户

--登录数据库
su - yashan
yasql 'sys/"Admin@2023"'

--查看表空间和数据文件的关系
SELECT tablespace_name,file_name FROM DBA_DATA_FILES order by 1;

--创建业务表空间
create tablespace topicis datafile 
'/yashandb/data/db-1-1/dbfiles/topicis' size 100m autoextend on maxsize unlimited;

--创建业务用户
create user topicis identified by topicis default tablespace topicis;
GRANT CREATE SESSION TO topicis;  #CREATE SESSION为用户的最基本权限，拥有此权限后才可以连接数据库

--授予角色或其他系统权限
GRANT DBA TO topicis;

迁移工具YMP部署

环境要求

  • YMP支持浏览器Chrome、Firefox和Microsoft Edge，建议使用当前较新的版本。
  • YMP需要在JDK8或JDK11的环境下安装，不支持其他版本JDK。
  • YMP安装路径不可包含英文句号（.）。
  • 建议YMP安装在磁盘最为充足的目录下，YMP会使用磁盘进行缓存CSV文件，建议安装路径容量不小于待同步表中的最大单表数据量的三倍。
  • 建议在机器新建用户以安装部署YMP。
  • YMP部署前使用 rpm -qa | grep libaio 检查环境中是否已安装 libaio 库，若未安装则使用 yum install libaio 安装 libaio 库及其依赖项后再进行部署。
开放端口

关闭防火墙

在主机上执行如下命令关闭防火墙：

# 关闭防火墙
$ systemctl stop firewalld
# 关闭开机自启
$ systemctl disable firewalld
创建安装用户
--新建YMP用户
$ useradd -d /home/ymp -m ymp
$ echo ymp | passwd --stdin ymp                      # 更改kingbase 即操作系统kingbase账户密码

内置库目录规划

mkdir -p /ysdb
chown -R ymp:ymp /ysdb

上传安装包至服务器

将数据库和oci和ymp的安装包上传至192.168.3.175服务器/opt目录下

--数据库和ymp安装包
[root@top175:/root]$ ls -l /opt/yashan*
-rw-r--r-- 1 root root 175386922 Feb 28 14:50 /opt/yashandb-personal-23.1.1.100-linux-x86_64.tar.gz
-rw-r--r-- 1 root root 167402494 Feb 29 15:50 /opt/yashan-migrate-platform-23.1.1.100-linux-x86-64.zip

[root@top175:/opt]$ chown -R ymp:ymp yashan*

--oci
[root@top175:/opt]$ ls -l instantclient-basic-linux.x64-19.19.0.0.0dbru.el9.zip
-rw-r--r-- 1 root root 75001671 Feb 29 20:40 instantclient-basic-linux.x64-19.19.0.0.0dbru.el9.zip
[root@top175:/opt]$ chown -R ymp:ymp instantclient-basic-linux.x64-19.19.0.0.0dbru.el9.zip

默认内置库安装YMP

Note:
YMP安装时按默认方式自行安装YashanDB作为内置库。要进行一个yashan数据库的安装，这个数据库是ymp工具使用的，和您另外部署的作为迁移目的的yashan数据库没有关系，如果按照YMP的服务器上已经部署有yashanDB需注意新创建用户。
YMP安装前需用户准备YashanDB安装包（注：db目录与bin/yasldr目录在部署前须为空目录）。 如需要使用Oracle到YashanDB的数据迁移功能，还需要准备OCI客户端的压缩包。
默认内置库安装YMP的方式有两种：
1. 使用install参数：安装内置库，成功后自动启动。
2. 使用install参数：安装内置库和OCI客户端，成功后自动启动。

本文采用方式2，安装内置库和OCI客户端并启动。
Note: 默认内置库以yasboot工具方式部署并启动。 默认内置库相关信息：
部署形态：单机
集群名称：ymp
安装目录：yashan-migrate-platform/db

su - ymp
unzip /opt/yashan-migrate-platform-23.1.1.100-linux-x86-64.zip -d /home/ymp/
cd /home/ymp/yashan-migrate-platform/
sh bin/ymp.sh install --db /opt/yashandb-personal-23.1.1.100-linux-x86_64.tar.gz --oci /opt/instantclient-basic-linux.x64-19.19.0.0.0dbru.el9.zip

最后返回如下：
YMP has been started!

首次登录时需要重置登录密码，初始账户名和密码为（admin/admin）

部署完成后，可通过 http://IP:PORT/ 访问YMP页面，其中PORT默认值为8090

YMP使用

--查看脚本参数及其使用方法
cd /opt/yashan-migrate-platform
sh bin/ymp.sh -h

[root@top175:/opt/yashan-migrate-platform]$ sh bin/ymp.sh -h

Usages: ./ymp.sh [<flags>] <command>

Yashan-migrate-platform version: Release v23.1.1.100

Flags:
    -h,--help      Show detailed help information
    -v,--version   Show Yashan-migrate-platform version information

Commonly used commands:
    install                     Initialize ymp with the built-in database and start
        --db <package path>       new yashandb and yasldr package path
       [--oci  <package path>]    new OCI client package path
    restart                     Restart ymp with the built-in database
    status                      View status of ymp and built-in database
    uninstall [ param ]         Uninstall the built-in database,
                 -f               force clean the environment


Other commands:
    start                       Start ymp with the built-in database
    stop                        Stop ymp with the built-in database
    startnodb                   Start ymp with external database
    stopnodb                    Stop ymp with external database
    restartnodb                 Restart ymp with external database
    replace                     Replace yasldr version,
       --yasldr <package path>    new yasldr package path
       --oci <package path>       new OCI client package path
    installnodb                 Initialize ymp with external database and start
       --db <package path>        new yasldr package path
       [--oci  <package path>]    new OCI client package path

--查看运行状态
cd /opt/yashan-migrate-platform/
sh bin/ymp.sh status

--停止YMP
cd /opt/yashan-migrate-platform/
sh bin/ymp.sh stop

--启动YMP
cd /opt/yashan-migrate-platform/
sh bin/ymp.sh start

--重启YMP
cd /opt/yashan-migrate-platform/
sh bin/ymp.sh restart

--查看默认内置库与YMP版本
[ymp@top175 yashan-migrate-platform]$ cd /opt/yashan-migrate-platform/
[ymp@top175 yashan-migrate-platform]$  bin/ymp.sh -v
Yashan-migrate-platform version: Release v23.1.1.100
YashanDB SQL Personal Edition Release 23.1.1.100 x86_64
YashanDB Loader Personal Edition Release 23.1.1.100 x86_64 0e623bd

测试访问ymp页面

访问方式：http://192.168.3.175:8090/，PORT默认8090。初始账户名和密码是（admin/admin）。
更改密码为Topnet@123。

添加数据源

添加源数据源


添加目标数据源

迁移步骤

创建迁移任务

迁移评估

由于是测试环境，选择跳过不兼容的对象。如果是生产环境还是需要和厂商沟通下。

兼容性必须是100%才能下一步。如果兼容性不是100%可选择跳过不兼容的对象先进行迁移。

跳过不兼容的对象(测试环境)

  • 点击该按钮会根据当前筛选条件对满足筛选结果的所有对象的DDL进行是否忽略操作。
  • 忽略会变更满足筛选结果的对象的是否忽略状态为忽略，且刷新报告时不会再评估这些对象。
  • 不忽略会变更满足筛选结果的对象的是否忽略状态为不忽略，且刷新报告时会评估这些对象。

然后刷新报告，刷新报告时会进行二次评估

由于评估的对象比较多，0%则是在进行环境准备

迁移配置

问题处理

重新部署，不保留之前的所有数据

--重新部署，不保留之前的所有数据
sh bin/ymp.sh stop && sh bin/ymp.sh uninstall -f 
sh bin/ymp.sh start

内置库端口被占用

内置库端口被占用，产生端口冲突，错误如图

请修改 application.yml 下 spring.datasource.url 与 db.properties 下 YASDB_PORT 的端口，并确保一致。

ymp.sh进程被 kill -9 强制停止后再次调用ymp.sh脚本失败

根据提示删除 bin/ 目录下 lock 文件。
 

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1609687.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

晨昏线学习

晨昏线学习

看视图记得标自转方向
阅读更多...
C语言指针进阶：数组与指针的联系

C语言指针进阶：数组与指针的联系

目录 1. 数组名的本质2. 使用指针访问数组3. 一维数组传参的本质4. 二级指针5. 指针数组5.1 指针数组模拟二维数组 正文开始。 1. 数组名的本质 数组名代表着这个数组中第一个元素的地址 例如&#xff1a; int arr[4] { 1,2,3,4 }; int *p1 &arr[0]; int *p2 arr;上述…
阅读更多...
MATLAB R2024a：重塑商业数学软件的未来

MATLAB R2024a：重塑商业数学软件的未来

在数字化浪潮席卷全球的今天&#xff0c;商业数学软件已经成为企业、研究机构乃至个人不可或缺的工具。而在这其中&#xff0c;MATLAB R2024a以其卓越的性能和广泛的应用领域&#xff0c;正逐步成为商业数学软件的新标杆。 MATLAB R2024a不仅继承了前代版本的优秀基因&#xf…
阅读更多...
VirtualBox Manjaro Linux(kde)虚拟机扩容 增大硬盘存储空间

VirtualBox Manjaro Linux(kde)虚拟机扩容 增大硬盘存储空间

https://blog.csdn.net/m0_65274357/article/details/131965463 df -h发现/可用空间之后几百M了 文件系统 大小 已用 可用 已用% 挂载点 dev 2.0G 0 2.0G 0% /dev run 2.0G 1.2M 2.0G 1% /run /dev/sda1 40G 37…
阅读更多...
手把手教你实现 C 语言的函数多参默认值 「上」

手把手教你实现 C 语言的函数多参默认值 「上」

以下内容为本人的学习笔记&#xff0c;如需要转载&#xff0c;请声明原文链接 微信公众号「ENG八戒」https://mp.weixin.qq.com/s/nj0C9SbAuzUOPt_J1n8B_Q 自从上一篇关于 C 语言单个参数函数的默认值实现《C语言函数也可以给形参添加默认值&#xff1f;》发表以来&#xff0c;…
阅读更多...
构建Python中的分布式日志系统：ELK与Fluentd的结合

构建Python中的分布式日志系统：ELK与Fluentd的结合

&#x1f47d;发现宝藏 前些天发现了一个巨牛的人工智能学习网站&#xff0c;通俗易懂&#xff0c;风趣幽默&#xff0c;忍不住分享一下给大家。【点击进入巨牛的人工智能学习网站】。 在现代软件开发中&#xff0c;日志系统是至关重要的组成部分。它们不仅用于故障排查和性能监…
阅读更多...
跟TED演讲学英文：How AI could empower any business by Andrew Ng

跟TED演讲学英文：How AI could empower any business by Andrew Ng

How AI could empower any business Link: https://www.ted.com/talks/andrew_ng_how_ai_could_empower_any_business Speaker: Andrew Ng Date: April 2022 文章目录 How AI could empower any businessIntroductionVocabularyTranscriptSummary后记 Introduction Expensiv…
阅读更多...
MySQL与Redis缓存一致性的实现与挑战

MySQL与Redis缓存一致性的实现与挑战

缓存是提高应用性能的重要手段之一&#xff0c;而 MySQL 和 Redis 是两种常用的数据存储和缓存技术。在许多应用中&#xff0c;常常将 Redis 用作缓存层&#xff0c;以加速对数据的访问。然而&#xff0c;在使用 MySQL 和 Redis 组合时&#xff0c;保持缓存与数据库之间的一致性…
阅读更多...
使用 Flask 和 Flask-Login 构建用户认证的 Web 应用程序

使用 Flask 和 Flask-Login 构建用户认证的 Web 应用程序

在本篇技术博客中&#xff0c;我们将学习如何使用 Flask 框架和 Flask-Login 扩展构建一个具有用户认证功能的简单 Web 应用程序。我们将从创建 Flask 应用实例开始&#xff0c;然后逐步添加用户认证功能。 1. 安装依赖库 首先&#xff0c;确保您已经安装了 Flask、Flask-PyM…
阅读更多...
【题解】NC398 腐烂的苹果(多源BFS)

【题解】NC398 腐烂的苹果(多源BFS)

https://www.nowcoder.com/practice/54ab9865ce7a45968b126d6968a77f34?tpId196&tqId40529&ru/exam/oj 从每个腐烂的苹果开始使用广度优先遍历&#xff08;bfs&#xff09; class Solution {int n, m;int dx[4] {0, 0, 1, -1};int dy[4] {1, -1, 0, 0};vector<v…
阅读更多...
[AI OpenAI-doc] 微调

[AI OpenAI-doc] 微调

学习如何为您的应用程序定制模型。 介绍 微调允许您通过提供以下内容&#xff0c;从 API 提供的模型中获得更多收益&#xff1a; 比提示更高质量的结果能够训练比提示中能容纳的更多示例由于提示更短而节省的标记更低的延迟请求 OpenAI 的文本生成模型已经在大量文本上进行…
阅读更多...
ElasticSearch可视化工具：kibana + elasticsearch-head

ElasticSearch可视化工具：kibana + elasticsearch-head

kibana 下载 地址&#xff1a;https://www.elastic.co/cn/downloads/kibana 下载别的版本&#xff1a;https://www.elastic.co/cn/downloads/past-releases#kibana 将Kibana安装包解压缩 进入config目录&#xff0c;在kibana.yml中添加es服务器地址。&#xff08;如果之前没…
阅读更多...
实在Agent：超自动化智能体的革命（附导引指南）

实在Agent：超自动化智能体的革命（附导引指南）

在自动化技术的浪潮中&#xff0c;实在智能推出了实在Agent&#xff08;智能体&#xff09;&#xff0c;一款基于大语言模型和屏幕语义理解技术的超自动化智能体。它通过自然对话交互&#xff0c;将复杂工作简化为一句话指令&#xff0c;自动规划并执行工作任务&#xff0c;极大…
阅读更多...
链表 - OJ（超清晰思路+实现）

链表 - OJ（超清晰思路+实现）

目录 题目一-移除链表元素&#xff08;来源&#xff09; 题目描述 思路实现 思路一 &#xff08;双指针&#xff09; 思路二&#xff08;虚拟头节点-哨兵位&#xff09; 题目二-反转链表&#xff08;来源&#xff09; 题目描述 思路实现 思路一&#xff08;双指针&#…
阅读更多...
【Linux】帮助类命令

【Linux】帮助类命令

在Linux中&#xff0c;man用于查看系统手册页&#xff08;manual pages&#xff09;。它用于查阅关于特定命令、函数、工具或文件格式的详细信息。要使用man命令&#xff0c;只需在终端中输入man&#xff0c;后跟您要查看的命令或主题的名称。 例如&#xff0c;如果查看ls命令…
阅读更多...
fastjson转换json时默认将属性第一个字母转小写

fastjson转换json时默认将属性第一个字母转小写

描述&#xff1a; 我新建了一个实体类&#xff0c;但是实体类的首字母是大写的&#xff0c;但是使用fastjson后打印的&#xff0c;Json字符串首字母却是小写的&#xff0c;这是fastjson的一个bug 实体类&#xff1a; Json字符串&#xff1a; 解决方法&#xff1a; 一、使…
阅读更多...
securecrt 批量登录服务器介绍

securecrt 批量登录服务器介绍

一、前言 在有一些IT环境中&#xff0c;可能存在各种情况的服务器&#xff0c;因为各种原因不能统一部署类似ansible、saltstack等批量操控软件&#xff0c;当遇到需要对这些服务器进行某项信息的排查或调整配置时&#xff0c;你是否还是通过securecrt一台一台登录后进行操作&a…
阅读更多...
java算法day59 | 单调栈part02 ● 503.下一个更大元素II ● 42. 接雨水

java算法day59 | 单调栈part02 ● 503.下一个更大元素II ● 42. 接雨水

503.下一个更大元素II 思路&#xff1a; 相比于单纯寻找下一个最大元素&#xff0c;要遍历两边数组&#xff0c;注意i%nums.length。 class Solution {public int[] nextGreaterElements(int[] nums) {int[] resnew int[nums.length];for(int i0;i<res.length;i){res[i]-1;…
阅读更多...
Microchip逆市扩张，接连收购2家公司

Microchip逆市扩张，接连收购2家公司

尽管年初传来降薪停工的消息&#xff0c;全球领先的半导体解决方案供应商Microchip并未因此停下扩张的脚步。相反&#xff0c;该公司在短短的一个月内&#xff0c;接连宣布收购两家公司&#xff0c;展现了其坚定的市场布局和前瞻的战略眼光。 4月11日&#xff0c;Microchip成功…
阅读更多...
2024年开通最新版云开发cms步骤，开始开发微信小程序前的准备工作，认真看完奥！

2024年开通最新版云开发cms步骤，开始开发微信小程序前的准备工作，认真看完奥！

小程序官方有改版了&#xff0c;搞得石头哥不得不紧急的再新出一版&#xff0c;教大家开通最新版的cms网页管理后台 一&#xff0c;技术选型和技术点 1&#xff0c;小程序前端 wxml css JavaScript MINA原生小程序框架 2&#xff0c;数据库 云开发 云数据库 云…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023