《CDP企业数据云平台从入门到实践》——如何迁移CDH/HDP到CDP(2)

news2025/2/13 5:27:51

原文:《CDP企业数据云平台从入门到实践》——如何迁移CDH/HDP到CDP(2)-阿里云开发者社区

简介: 《CDP企业数据云平台从入门到实践》——如何迁移CDH/HDP到CDP(2)

《CDP企业数据云平台从入门到实践》——如何迁移CDH/HDP到CDP(1) 《CDP企业数据云平台从入门到实践》——如何迁移CDH/HDP到CDP(1)-阿里云开发者社区

2. 迁移升级

迁移升级方法是 CDP 的第二条路径。在第二套硬件上配置了一个新的未开发的 CDP私有云基础版集群。对于阿里云上的用户,可以直接采用该方案进行迁移到基于阿里云部署的 CDP 平台上。该过程旨在最大程度地减少单个工作负载的停机时间,同时在每个工作负载的基础上提供一种直接的回滚机制。迁移升级分为三个主要阶段。

1) 用户特征

在迁移升级的情况下,最适合的用户特征如下:

• 有额外的基础设施,这一点对于阿里云用户来说得天独厚

• 干净的开始(新服务器配置,新网络,操作系统,平台)

• 无法承受长时间停机的租户

• 大型的多租户集群,难以协调切换

2) 升级过程

• 资产清单

• 创建新的 CDP PvC Base 集群

• 逐步将数据和工作负载迁移到 CDP 集群

• 随着工作负载从旧集群移出,服务器可以退役,然后添加到新的 CDP 集群

• 重复使用或停用旧硬件

3) 升级任务

集群中的主要内容可以分成这样四部分:用户积累的历史数据,数据对应的 Schema等数据状态相关的元数据,数据处理的批量和流处理程序,数据上层的外部应用。其中历史数据和 Schema 需要进行迁移并升级到新版本;但批量脚本和外部程序因为涉及到组件版本和 API 的调整,会涉及到代码改造的工作。

3. CDH/HDP 到 CDP 升级路线图

其中较为推荐 CDP7.1.7,版本更为稳定。CDP/HDP 的所有用户都可以通过原地升级或迁移升级到 CDP7.1.7。如果需要使用更低的版本,可以在上图找到适合的最低版本。

4. 技术风险和应对措施

《CDP企业数据云平台从入门到实践》——如何迁移CDH/HDP到CDP(3) 《CDP企业数据云平台从入门到实践》——如何迁移CDH/HDP到CDP(3)-阿里云开发者社区

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/645570.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Windows安装和配置VCenter

Vcenter的环境搭建和配置 Vcenter简介 Vcenter一般指 VMware vCenter™ Server,VMware vCenterServer 提供了一个可伸缩、可扩展的平台,为 虚拟化管理奠定了基础。 VMware vCenter Server(以前称为 VMware VirtualCenter)&#…

Qt6.5.1+WebRTC学习笔记(十一)开发环境搭建(ubuntu22.04)

前言 win10开发测试已经一段时间了,最近将程序移植到ubuntu测试了下,改动不是很大,本教程记录下环境搭建过程 一、准备 1.操作系统ubuntu22.04 64位 x86架构(建议更新到最新) 2.合理的上网方式,需要正常…

模板匹配笔记

模板匹配是一种最基本、最原始的模式识别的方法。通过对比某一特定物体的图案位于图像的什么地方,进而识别出物体。它是图像处理中最基本、最常用的匹配方法。它的局限性主要是它只能进行平行移动,若原图像中的匹配目标发生旋转或大小变化,该…

运维(SRE)成长之路-第2天 文本编辑工具之神VIM

vi和vim简介 在Linux中我们经常编辑修改文本文件,即由ASCII, Unicode 或其它编码的纯文字的文件。之前介绍过nano,实际工作中我们会使用更为专业,功能强大的工具 文本编辑种类: 全屏编辑器:nano(字符工具…

Spark SQL数据源:Parquet文件

文章目录 一、Parquet简介二、读取和写入Parquet的方法(一)利用parquet()方法读取parquet文件1、数据准备2、读取parquet文件3、显示数据帧内容 (二)利用parquet()方法写入parquet文件1、写入parquet文件2、查看生成的parquet文件…

Spring Security--多个过滤器链和多个用户表

请求从客户端出发,到达客户端,也就是servlet,中间有很多过滤器的,其中就有一个过滤器链代理,里面包含了过滤器的一个集合。而且Spring Security Filter并不是直接嵌入到Web Filter中的,而是通过FilterChain…

海纳“千川”:得物多场景统一推荐平台|精选

1 千川由来 得物的推荐场景,除了首页瀑布流等几个比较大的场景之外,还有很多长尾的小场景,包括:频道、会场、购中购后场景、品牌墙等。这类场景存在单个场景体量小(UV和GMV均偏小)、场景零散、类型多元的情…

炫龙笔记本怎么用U盘重装Win10系统?

炫龙笔记本怎么用U盘重装Win10系统?很多使用炫龙笔记本电脑的用户在问,怎么使用U盘来重装一下电脑的Win10系统,这时候用户先要准备一个U盘,还有一个能够正常联网的炫龙笔记本电脑,最后按照以下炫龙笔记本用U盘重装Win1…

可算是熬出头了,测试3年,费时6个月,入职阿里,涨薪14K

本科毕业后就一直从事测试的工作,和多数人一样,最开始从事点点点的工作,看着自己的同学一步一步往上走,自己还是在原地踏步,说实话这不是自己想要的状态。 一年半后开始沪漂生活,又摸爬滚打了一年半&#…

FL Studio21.0.3最新版本下载 可切换中文语言

FL Studio是最好的! 在我12/13岁的时候,一个DJ向我介绍了FL Studio。它让我大吃一惊,怎么能在几秒钟内做出一个鼓的模式。后来我又玩了好几年,到了15岁时,我确定我想成为一名制作人。FL Studio帮助我把脑海中的想法快速地变成一个…

开发者必备:动态贴纸和美颜SDK的集成教程

动态贴纸和美颜技术不仅能带来多样的拍摄方案,还可以增加应用的吸引力。本篇文章将为开发者提供动态贴纸和美颜SDK的集成教程、技术方案,帮助开发者快速实现这些功能。 一、动态贴纸美颜SDK集成教程 导入SDK 在Android Studio中,开发者需要…

柴油发电机供电技巧,太有用了!

随着现代工业和商业的发展,对可靠的电力供应的需求变得越来越重要。在许多场景中,柴油发电机作为备用电源成为了关键设备,用于应对停电或电力故障时的紧急情况。 然而,对于企业和组织来说,有效监控和管理柴油发电机的运…

自学黑客!告诉你如何规划

博主本人 18年就读于一所普通的本科学校,21年 6 月在三年经验的时候顺利通过校招实习面试进入大厂,现就职于某大厂安全联合实验室。 我为啥说自学黑客 (网络安全),一般人我还是劝你算了吧。因为我就是那个不一般的人。…

Jwt过期时间

最近在复习Spring Security,发现测试jwt解密的时候会报错,之前没有问题,但是最近几次都出现了问题,我决定究其原因。 debug看一下, 进入真正的解析 看一下这里的源码 Override public Jwt parse(String jwt) throws …

Ansible 部署

ansible 自动化运维工具,可以实现批量管理多台(成百上千)主机,应用级别的跨主机编排工具 特性: 无agent的存在,不要在被控制节点上安装客户端应用 通过ssh协议与被控制节点通信 基于模块工作的&#xff0c…

面试华为,足足花了2个月才上岸,真的难呀····

花2个月时间面试一家公司,你们觉得值吗? 背景介绍 二本计算机专业,代码能力一般,之前有过两段实习以及一个学校项目经历。第一份实习是大二暑期在深圳的一家互联网公司做前端开发,第二份实习由于大三暑假回国的时间比…

chatgpt赋能python:Python如何打包APK

Python如何打包APK Python是现代编程语言中最流行的之一,它是一种易于学习和使用的语言,因为它拥有直观的语法并且具有许多强大的工具和库。其互动性和可移植性使得Python适合用于开发各种类型的应用程序,包括移动应用程序。 在本文中&…

Android Retrofit 给你的接口加上缓存

转载请注明出处:https://blog.csdn.net/kong_gu_you_lan/article/details/131200501?spm1001.2014.3001.5501 本文出自 容华谢后的博客 往期回顾: Android Retrofit RxJava使用详解 Android 探讨一下Retrofit封装的最佳姿势 Android 谈谈我所理解的…

数据分析规范总结-V2.0

结构规范及写作 报告常用结构: 1. 架构清晰、主次分明 数据分析报告要有一个清晰的架构,层次分明能降低阅读成本,有助于信息的传达。虽然不同类型的分析报告有其适用的呈现方式,但总的来说作为议论文的一种,大部分的分…

C语言之函数栈帧的创建与销毁讲解(2)

上一篇博客我们讲到了函数栈帧的创建与销毁(1)今天我们来讲解Add函数的函数栈帧相关知识 在开始本章博客之前,大家可以把上一篇博客的主要内容仔细复习一下 看图 第一个mov:把b的值放到eax里面去 第二个mov:把a的…