Amazon Aurora MySQL 与 Amazon Redshift 的 Zero ETL 集成已全面可用,一起轻松上手!

news2025/1/11 12:41:40

9c7085adcbcebeb9efd0380f395bc08f.gif

“数据是应用、流程和商业决策的核心。”

亚马逊云科技数据库、

数据分析和机器学习全球副总裁 

Swami Sivasubramanian

如今,客户常用的数据传输模式是建立从 Amazon Aurora 到 Amazon Redshift 的数据管道。这些解决方案能够帮助客户获得新的见解,进而推动销售增长、降低成本、优化业务。

1ef83f99176b5f9e616970130b517347.png

为助力客户将重心从分析数据转向从数据中创造价值,亚马逊云科技在 re:Invent 2022 上发布了 Amazon Aurora 与 Amazon Redshift 的 Zero ETL 集成,并在2023年6月推出了 Amazon Aurora MySQL 兼容版本的公开预览版

Amazon Aurora MySQL

与 Amazon Redshift的 Zero-ETL 集成

现已全面可用!

采用这一全托管解决方案,用户无需构建或维护复杂的数据管道,便可从事务数据中获取具有时效性的见解,为关键的业务决策提供信息。

a11e0609af3584f769cf3ab8f8b72635.png

本文将讲解一些操作步骤,教您如何轻松上手。了解更多该解决方案的应用与意义,欢迎您阅读 《Amazon Aurora MySQL 与 Amazon Redshift 的 Zero ETL 集成现全面可用》。

现在开始轻松上手吧!

我们将使用现有的 Amazon Aurora MySQL 无服务器数据库和 Amazon Redshift 数据仓库。

首先,前往 Amazon RDS 控制台,然后在 Zero ETL 集成页面上选择“创建 Zero ETL 集成”。

5e1f6a106d8175482b92eb8d8a5b5852.png

我们需要在“创建 Zero ETL 集成”页面上操作几个步骤,为 Amazon Aurora 数据库集群和 Amazon Redshift 数据仓库配置集成。

接下来,需要为集成定义一个标识符,然后选择“下一步”。

de3cf02cd4dbda2d5785bb8da3c288a1.png

在下一个页面,选择“浏览RDS数据库”来选择源数据库。

6f3afa09e045441ad4cd9cb027a11d07.png

在这一步可以将现有数据库选为源数据库。

42e4fc6b8834ee4a2a989af44e0aaf3b.png

下一步会询问目标 Amazon Redshift 数据仓库。在这一步,可以灵活选择我的账户或其他账户中的 Amazon Redshift Serverless 或 RA3 数据仓库。本次选的是“浏览 Redshift 数据仓库”。

fc471720d93798635317828a3c925b54.png

然后选择目标数据仓库。

f272d6b0dd5314bed2039aaa40728c44.png

因为 Amazon Aurora 需要复制到数据仓库中,所以需要添加额外的资源策略,并将 Aurora 数据库添加为 Amazon Redshift 数据仓库中的授权集成源。

为了解决这个问题,可以在 Amazon Redshift 控制台中选择手动更新,或者让 Amazon RDS 来帮助解决,即勾选此处的复选框。

d8f77c01ff251e90f9f9323e60fb4642.png

下一个页面会显示 Amazon RDS 将为我们执行的更改。选择“继续”。

f37e6cc27d6f8cad7dd2a868024c317f.png

可以在下一个页面配置标签和加密。Zero ETL 集成会默认使用亚马逊云科技密钥管理服务(Amazon KMS)对数据进行加密,也可以选择使用自己的密钥。

628f684bc7387339f2108c0f910567e4.png

然后需要核对所有配置,并选择“创建 Zero ETL 集成”来创建集成。

26516b2e84eb043a49db8f2369dfe2ba.png

Zero ETL 集成在几分钟后便会成功创建。然后切换到 Amazon Redshift,可以在“Zero ETL 集成”页面看到最近创建的 Zero ETL 集成。

7803f62453c914a0319df0d1fb6fd2c6.png

由于这个集成目前还没有 Amazon Redshift 中的目标数据库,所以需要创建一个。

94a84868e68c38c18fa0d2b49605226b.png

现在集成配置已经完成了。可以在这个页面上看到,集成现在是激活状态,已经复制了一个表格。

0aa9b1e672362fe877d972fec0045156.png

为了测试,我们在 Amazon Aurora 数据库中新建了一个表格,并在该表中插入一条记录。

f59e3f6a6a3fe2b4524022470e14a3bc.png

然后切换到 Amazon Redshift 中的 Redshift Query Editor v2。可以在这里连接到作为集成的一部分而创建的数据库。可以运行一个简单的查询,看到 Amazon Redshift 中已经有了我们的数据。

69f5459a763e046e2c89a1eeb4fa0600.png

Zero ETL 集成非常方便,原因有二:第一,可以将多个数据库集群的所有数据整合到一起并进行汇总分析;第二,事务数据不出几秒就会被写入 Amazon Aurora MySQL,也就是说 Zero ETL 集成的数据能与 Amazon Redshift 无缝衔接。

注意事项

  • 可用性:Amazon Aurora 与 Amazon Redshift 的 Zero ETL 集成目前的可用区域包括美国东部的俄亥俄、弗吉尼亚北部,美国西部的俄勒冈,亚太地区的新加坡、悉尼、东京,以及欧洲的法兰克福、爱尔兰和斯德哥尔摩。

  • 支持的数据库引擎:Amazon Aurora 与 Amazon Redshift 的 Zero ETL 集成目前支持Amazon Aurora MySQL 的兼容版本。支持 Amazon Aurora PostgreSQL 的兼容版本目前正在开发中。

  • 定价:Amazon Aurora 与 Amazon Redshift 的 Zero ETL 集成无需额外费用。用户只需为创建和处理 Zero ETL 集成所创建的变更数据的现有 Amazon Aurora 和 Amazon Redshift 资源付费。

我们距离目标更近了一步:让您能够更专注于利用数据创造价值,而非为数据分析做准备。想要了解更多如何上手操作的资讯,请点击“阅读原文”扫描下方二维码进入 Amazon Aurora MySQL 与 Amazon Redshift 的 Zero ETL 集成页面。

13e397fed54ac00c2db64c26157c4053.png

祝各位集成愉快!

本篇作者

6eb44173e98e4e2f7afe1de1c2bc247d.jpeg

Donnie Prakoso

亚马逊云科技首席开发者布道师。他在电信、银行和初创企业等技术行业拥有超过17年的经验。他现在的工作重点是帮助开发人员了解各种技术,将他们的想法转化为实践。他热爱喝咖啡,自诩为“咖啡师”,也热衷于探讨微服务、人工智能/机器学习等各种话题。

2cb8b46715805b0f0ce14f0f6a330169.gif

星标不迷路,开发更极速!

关注后记得星标「亚马逊云开发者」

f7905e031654f951c599e7d96afe0e2e.gif

听说,点完下面4个按钮

就不会碰到bug了!

e88a8c533bcf1d0a81a67150c608b9b6.gif

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1195439.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【狂神说Java】linux详解

✅作者简介:CSDN内容合伙人、信息安全专业在校大学生🏆 🔥系列专栏 :狂神说Java 📃新人博主 :欢迎点赞收藏关注,会回访! 💬舞台再大,你不上台,永远…

Llama2通过llama.cpp模型量化 WindowsLinux本地部署

Llama2通过llama.cpp模型量化 Windows&Linux本地部署 什么是LLaMA 1 and 2 LLaMA,它是一组基础语言模型,参数范围从7B到65B。在数万亿的tokens上训练的模型,并表明可以专门使用公开可用的数据集来训练最先进的模型,而无需求…

编码规范集合

文章目录 前言命名规范项目命名目录命名文件命名命名严谨性 HTML 书写规范结构、样式、行为分离缩进文件编码语义化IE 兼容模式viewport为移动端设备优化,设置可见区域的宽度和初始缩放比例iOS 图标favicon(网站图标,移动端默认可用于添加到桌…

微信小程序前端开发

目录 前言: 1. 框架选择和项目搭建 2. 小程序页面开发 3. 数据通信和接口调用 4. 性能优化和调试技巧 5. 小程序发布和上线 前言: 当谈到微信小程序前端开发时,我们指的是使用微信小程序框架进行开发的一种方式。在本文中,我…

100+ Windows运行命令大全,装B高手必备

操作电脑关闭、重启、注销、休眠的命令细则: 用法: shutdown [/i | /l | /s | /sg | /r | /g | /a | /p | /h | /e | /o] [/hybrid] [/soft] [/fw] [/f] [/m \\computer][/t xxx][/d [p|u:]xx:yy [/c "comment"]] 没有参数 显示帮助。这与键入 /? 是一样的。…

第七章 :Spring Boot web开发常用注解(二)

第七章 :Spring Boot web开发常用注解(二) 前言 本章节知识重点:作者结合自身开发经验,以及觉察到的一个现象:Springboot注解全面理解和掌握的并不多,对注解进行了全面总结,共分两个章节,可以作为web开发工程师注解参考手册,SpringBoot常用注解大全,一目了然!。本…

python机器学习——随机森林

随机森林 随机森林(Random Forest)是一种集成学习方法,它通过构建多个决策树并结合它们的预测结果来进行分类或回归。 算法原理: 决策树(Decision Tree): 随机森林由多个决策树组成。决策树是一种基于树…

增强地理热图:Highcharts Maps v11.2.0 Crack

Highcharts Maps v11.2.0 添加了对地理热图插值的支持,允许您在类似温度图的图表的已知数据点之间添加估计值。 Highcharts Maps 提供了一种符合标准的方法,用于在基于 Web 的项目中创建逻辑示意图。它扩展了用户友好的 Highcharts JavaScript API&#…

JTS: 18 DistanceToPoint 最近距离计算

这里写目录标题 版本代码 版本 org.locationtech.jts:jts-core:1.19.0 链接: github 代码 import org.locationtech.jts.algorithm.distance.DistanceToPoint; import org.locationtech.jts.algorithm.distance.PointPairDistance; import org.locationtech.jts.geom.Coordin…

【Qt-23】ui界面设计-ToolBar

1、ToolBar 右击主窗体添加工具栏 新建动作,可设置图标,图标有本地文件和资源两种方式。 修改toolButtonStyle的属性,可设置图标与汉字显示的方式。 页面跳转: connect(ui->action, SIGNAL(triggered()), this, SLOT(openWid…

抖音直播矩阵玩法,直播矩阵引流项目,每日精准引流500左右

今天我再分享一个专注于纯直播带货的玩法,这个案例不论是导流还是直播模式,都值得我们深入关注。某音直播矩阵玩法,每日精准引流500 这种直播方式通常会邀请两位模特,一个展示产品,一个递交产品,无需过多的…

小程序开发——小程序页面的配置与生命周期

目录 1.小程序的页面配置 2.页面的生命周期 3.页面跳转 4.页面间的参数传递 5.新闻客户端案例讲解 6.小结 1.小程序的页面配置 页面的配置设置app.json中的window配置项的内容(页面中配置项会覆盖app.json的window中相同的配置项),其属…

【狂神说Java】SpringCloud-Netflix

✅作者简介:CSDN内容合伙人、信息安全专业在校大学生🏆 🔥系列专栏 :狂神说Java 📃新人博主 :欢迎点赞收藏关注,会回访! 💬舞台再大,你不上台,永远…

利用梯度上升可视化卷积核:基于torch实现

利用梯度上升可视化卷积核 文章目录 前言基本原理版本和包结果展示 简单绘图修改源码绘图方法一 方法二(推荐) 报错解决总结 前言 基于梯度上升的可视化是一种常用的技术,用于理解卷积神经网络(CNN)中的卷积核是如何对…

Kali常用配置(持续更新)

1. 同步系统时间 命令:dpkg-reconfigure tzdata ,这个命令可以同时更新系统时间和硬件时间。 然后选择区域和城市,中国可以先选择Asia,然后选择Shanghai 2.更换系统数据源 # vim /etc/apt/sources.list #不是root用户的话需要…

ElasticSearch文档分析

ElasticSearch文档分析 包含下面的过程: 将一块文本分成适合于倒排索引的独立的 词条将这些词条统一化为标准格式以提高它们的“可搜索性”,或者 recall 分析器执行上面的工作。分析器实际上是将三个功能封装到了一个包里: 字符过滤器 首先&a…

PMCW体制雷达系列文章(1) – PMCW体制雷达综述

说明 相位调制连续波(Phase-modulated continuous wave, PMCW)雷达,或又被称为数字雷达,近年来开始被应用于汽车雷达领域。而且因其特有的一些优势(精度高、抗干扰能力强等)被认为是车载毫米波雷达的发展趋势之一(从目前占主导的调频连续波(Frequency-mo…

美国材料与试验协会ASTM发布新版玩具安全标准 ASTM F963-23

美国材料与试验协会ASTM发布新版玩具安全标准 ASTM F963-23 2023年10月13日,美国材料与试验协会(ASTM)发布了新版玩具安全标准ASTM F963-23 ​根据CPSIA的规定,当ASTM将ASTM F963的拟定修订意见通知CPSC时,若CPSC认为…

QRadioButton、QCheckBox样式表

QRadioButton、QCheckBox样式表 实现效果Chapter1 QRadioButton样式表详细描述示例效果源码样式表 Chapter2 QRadioButton样式表 实现效果 QRadioButton{spacing: 2px;color: white; } QRadioButton::indicator {width: 60px;height: 35px; } QRadioButton::indicator:unchecke…

基于SpringBoot+Redis的前后端分离外卖项目-苍穹外卖(三)

员工分页查询和账号启用禁用功能 1. 员工分页查询1.1 需求分析和设计1.1.1 产品原型1.1.2 接口设计 1.2 代码开发1.2.1 设计DTO类1.2.2 封装PageResult1.2.3 Controller层1.2.4 Service层接口1.2.5 Service层实现类1.2.6 Mapper层 1.3 功能测试1.4 代码完善 2. 启用禁用员工账号…