Amazon Redshift Serverless – 现已正式推出新功能

news2024/10/10 22:27:10

去年在 re:Invent 上，我们推出了 Amazon Redshift Serverless 的预览版，这是 Amazon Redshift 的无服务器选项，可让您分析任何规模的数据，而无需管理数据仓库基础设施。您只需要加载和查询数据，并且只需为使用的内容付费。这使更多的公司能够制定现代数据策略，尤其适用于分析工作负载不全天候运行且数据仓库并非一直处于活动状态的使用案例。也适用于组织内数据使用量不断扩大、新部门的用户希望在不拥有数据仓库基础设施的情况下运行分析的公司。

亚马逊云科技开发者社区为开发者们提供全球的开发技术资源。这里有技术文档、开发案例、技术专栏、培训视频、活动与竞赛等。帮助中国开发者对接世界最前沿技术，观点，和项目，并将中国优秀开发者或技术推荐给全球云社区。如果你还没有关注/收藏，看到这里请一定不要匆匆划过，点这里让它成为你的技术宝库！

 

今天，我很高兴地与大家分享 Amazon Redshift Serverless 已正式推出，而且我们添加了许多新功能。与预览版相比，我们还降低了 Amazon Redshift Serverless 的计算成本。

现在，您可以使用命名空间和工作组为每个 Amazon 账户和区域创建多个无服务器端点：

  • 命名空间是数据库对象和用户的集合，例如数据库名称和密码、权限和加密配置。这是管理数据的地方，在这里您可以看到使用了多少存储空间。
  • 工作组是计算资源的集合，包括网络和安全设置。每个工作组都有一个无服务器端点，您可以将应用程序连接到该端点。配置工作组时，您可以设置私有或可公开访问的端点。

每个命名空间只能有一个与之关联的工作组。相反，每个工作组只能与一个命名空间关联。您可以拥有一个没有任何工作组与其关联的命名空间，例如，仅将其用于与同一或其他 Amazon 账户或区域中的其他命名空间共享数据。

在工作组配置中，您现在可以使用查询监控规则来帮助控制成本。此外，Amazon Redshift Serverless 自动扩展数据仓库容量的方式更加智能，能够快速为要求苛刻且不可预测的工作负载提供性能。

我们来通过一个快速演示了解下具体的工作原理。然后，我将向您展示如何使用命名空间和工作组。

使用 Amazon Redshift Serverless

在 Amazon Redshift 控制台中，我在导航窗格中选择了 Redshift serverless（Redshift 无服务器）。首先，我选择 Use default settings（使用默认设置）来配置命名空间和具有最常用选项的工作组。例如，我将能够使用我的默认 VPC 和默认安全组进行连接。

image.png

使用默认设置时，剩下的唯一配置选项是 Permissions（权限）。在这里，我可以指定 Amazon Redshift 如何与 S3、Amazon CloudWatch Logs、Amazon SageMaker 和 Amazon Glue 等其他服务进行交互。为了稍后加载数据，我授予 Amazon Redshift 访问 S3 存储桶的权限。我选择 Manage IAM roles（管理 IAM 角色），然后选择 Create IAM role（创建 IAM 角色）。

image.png

创建 IAM 角色时，我选择了授予 specific S3 buckets（特定 S3 存储桶）访问权限的选项，然后在同一 Amazon 区域中选择一个 S3 存储桶。 然后，我选择 Create IAM role as default（创建 IAM 角色作为默认角色）来完成角色的创建，并自动将其用作命名空间的默认角色。

image.png

我选择 Save configuration（保存配置），几分钟后数据库就可以使用了。在 Serverless dashboard（无服务器控制面板）中，我选择 Query data（查询数据）来打开 Redshift query editor v2（Redshift 查询编辑器 v2）。然后，我按照 Amazon Redshift 数据库开发人员指南中的说明加载示例数据库。如果您想做一个快速测试，sample_data_dev 数据库中已经有几个示例数据库（包括我在这里使用的数据库）。另请注意，运行查询不需要将数据加载到 Amazon Redshift 中。通过创建外部架构和外部表，我可以在查询中使用来自 S3 数据湖的数据。

示例数据库由七个表组成，跟踪虚构的“TICKIT”网站的销售活动，用户在该网站上买卖体育赛事、表演和音乐会的门票。

image.png

为了配置数据库架构，我运行了几个 SQL 命令来创建 users、venue、category、date、 event、listing和 sales表。

image.png

然后，我下载了 tickitdb.zip 文件，其中包含数据库表的示例数据。我解压缩文件并将其加载到配置 IAM 角色时使用的同一 S3 存储桶中的 tickit文件夹。

现在，我可以使用 COPY 命令将 S3 存储桶中的数据加载到我的数据库中。例如，要将数据加载到 users表中，请执行以下操作：

SQL

copy users from 's3://MYBUCKET/tickit/allusers_pipe.txt' iam_role default;

包含 sales表数据的文件使用制表符分隔的值：

SQL

copy sales from 's3://MYBUCKET/tickit/sales_tab.txt' iam_role default delimiter '\t' timeformat 'MM/DD/YYYY HH:MI:SS';

在所有表中加载数据后，我开始运行一些查询。例如，以下查询联接五个表，以查找加利福尼亚州活动的前五名卖家（请注意，示例数据为 2008 年的数据）：

SQL

select sellerid, username, (firstname ||' '|| lastname) as sellername, venuestate, sum(qtysold)
from sales, date, users, event, venue
where sales.sellerid = users.userid
and sales.dateid = date.dateid
and sales.eventid = event.eventid
and event.venueid = venue.venueid
and year = 2008
and venuestate = 'CA'
group by sellerid, username, sellername, venuestate
order by 5 desc
limit 5;

image.png

现在我的数据库已准备就绪，让我们看看通过配置 Amazon Redshift Serverless 命名空间和工作组可以做些什么。

使用和配置命名空间

命名空间是数据库数据及其安全配置的集合。在 Amazon Redshift 控制台的导航窗格中，我选择 Namespace configuration（命名空间配置）。在列表中，我选择我刚刚创建的 default命名空间。

在 Data backup（数据备份）选项卡中，我可以创建或恢复快照或从其中一个恢复点恢复数据，这些恢复点每 30 分钟自动创建一次，保留 24 小时。这对于在意外写入或删除的情况下恢复数据非常有用。

image.png

在 Security and encryption（安全和加密）选项卡中，我可以更新权限和加密设置，包括用于加密和解密我的资源的 AWS Key Management Service（AWS KMS）密钥。在此选项卡中，我还可以启用审计日志记录并导出用户、连接和用户活动日志。[[日志要导出到哪里？ CloudWatch 日志？ 从控制台的角度不清楚]]

image.png

在 Datashares（数据共享）选项卡中，我可以创建一个数据共享，以便与相同或不同区域中的其他命名空间和 AWS 账户共享数据。在此选项卡中，我还可以使用从其他命名空间或 AWS 账户收到的共享创建数据库，并且可以看到由 AWS Data Exchange 管理的数据共享的订阅。

image.png

当我创建数据共享时，我可以选择要包含哪些对象。例如，现在我只想共享 date和 event表，因为它们不包含敏感数据。

image.png

使用和配置工作组

工作组是计算资源及其网络和安全设置的集合。它们为其配置的命名空间提供无服务器端点。在 Amazon Redshift 控制台的导航窗格中，我选择 Workgroup configuration（工作组配置）。在列表中，我选择我刚刚创建的 default命名空间。

在 Data access（数据访问）选项卡中，我可以更新网络和安全设置（例如，更改 VPC、子网或安全组）或将端点设为可公开访问。在此选项卡中，我还可以启用 Enhanced VPC routing（增强型 VPC 路由），以便通过 VPC 而非互联网在我的无服务器数据库和我使用的数据存储库（例如，用于加载或卸载数据的 S3 存储桶）之间路由网络流量。要访问位于其他 VPC 或子网中的无服务器端点，我可以创建由 Amazon Redshift 管理的 VPC endpoint（VPC 端点）。

image.png

在 Limits（限制）选项卡中，我可以配置用于处理查询的基本容量（以 Redshift 处理单元或 RPU 表示）。Amazon Redshift Serverless 可扩展容量以应对更多用户的需求。在这里，我还可以选择增加基本容量以加快查询速度，或者减少基本容量以降低成本。

在此选项卡中，我还可以设置 Usage limits（使用限制），以配置每日、每周和每月阈值，以保持成本的可预测性。例如，我为计算资源配置了每日 200 RPU 小时的限制和每月 2,000 RPU 小时的限制。为了控制跨区域数据共享的数据传输成本，我将每日限制配置为 3 TB，每周限制配置为 10 TB。最后，为了限制每个查询使用的资源，我使用 Query limits（查询限制）将运行超过 60 秒的查询设为超时。

image.png

可用性和定价

Amazon Redshift Serverless 现已在以下 Amazon 区域正式推出：美国东部（俄亥俄州）、美国东部（弗吉尼亚州北部）、美国东部（俄勒冈州）、欧洲地区（法兰克福）、欧洲地区（爱尔兰）、欧洲地区（伦敦）、欧洲地区（斯德哥尔摩）和亚太地区（首尔）、亚太地区（新加坡）、亚太地区（悉尼）和亚太地区（东京）。

您可以使用自己喜欢的客户端工具通过 JDBC/ODBC 或使用 Amazon Redshift 查询编辑器 v2（在 Amazon Redshift 控制台上提供的基于 Web 的 SQL 客户端应用程序）连接到工作组端点。使用基于 Web 服务的应用程序（例如 AWS Lambda 函数或 Amazon SageMaker 笔记本）时，您可以使用内置的 Amazon Redshift 数据 API 访问数据库并执行查询。

使用 Amazon Redshift Serverless，您只需为数据库处于活动状态时消耗的计算容量付费。计算容量会根据您的工作负载自动扩展或缩减，并在闲置期间关闭，以节省时间和成本。您的数据存储在托管存储中，您需要按每月 GB 的费率付费。

为了提高性价比并灵活地将 Amazon Redshift Serverless 用于更广泛的使用案例，我们正在将美国东部（弗吉尼亚州北部）区域的每 RPU 小时价格从 0.5 美元降至 0.375 美元。同样，我们也会将其他区域的价格从预览版价格平均降低 25%。有关更多信息，请参阅 Amazon Redshift 定价页面。

为了帮助您练习自己的使用案例，我们还提供 300 美元的 AWS 服务抵扣金，为期 90 天，用于试用 Amazon Redshift Serverless。这些服务抵扣金仅用于支付 Amazon Redshift Serverless 的计算、存储和快照使用费用。

使用 Amazon Redshift Serverless，在几秒钟内从数据中获取见解。

— Danilo

文章来源：https://dev.amazoncloud.cn/column/article/6309a617afd24c6ba216ff92?sc_medium=regulartraffic&sc_campaign=crossplatform&sc_channel=CSDN 

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/790109.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

C语言动态内存管理（三）

C语言动态内存管理（三）

目录 五、C/C程序的内存开辟1.图解2.关键点 六、柔性数组1.什么是柔性数组2.两种语法形式3.柔性数组的特点4.柔性数组的创建及使用在这个方案中柔性数组的柔性怎么体现出来的? 5.不用柔性数组，实现数组可大可小的思路6.对比 总结 五、C/C程序的内存开辟 1.图解 &a…
阅读更多...
上手 SpringBoot

上手 SpringBoot

简介 SpringBoot设计的目的是简化 Spring应用的初始搭建以及 开发过程。 SpringBoot概述 parent 继承父pom文件，方便管理依赖的版本。此处涉及maven的使用 作用： 继承parent的形式可以采用引入依赖的形式实现效果 starter(原理是依赖传递) 包含了若…
阅读更多...
C语言include学习

C语言include学习

#include叫做文件包含命令&#xff0c;用来引入对应的头文件&#xff08;.h文件&#xff09;。 #include 也是C语言预处理命令的一种。 一个简单程序&#xff0c; #include <stdio.h>int main() {printf("hello world\n");return 0; } 使用printf()函数需要…
阅读更多...
从虚拟现实到真实现实：沉浸式体验的未来 （ps beta）

从虚拟现实到真实现实：沉浸式体验的未来 （ps beta）

首先&#xff0c;您需要创建一个免费的Adobe账户&#xff0c;如果您还没有一个账户的话。您可以在Adobe的注册页面上填写必要的信息来创建一个新账户。 Adobe: Creative, marketing and document management solutions login 创建账号&#xff1a; 编一个google邮箱&#xf…
阅读更多...
F5 LTM 知识点和实验 1-BIG-IP 系统介绍

F5 LTM 知识点和实验 1-BIG-IP 系统介绍

第一章&#xff1a;BIG-IP 系统介绍 基于包转发和全代理架构的区别&#xff08;packet-based vs full proxy architeture&#xff09; 一个网络设备如果是基于包转发的&#xff0c;则他是一个会话流&#xff08;communication stream&#xff09;的中间设备&#xff0c;而不是…
阅读更多...
Atcoder Beginner Contest 311 C - E题讲解

Atcoder Beginner Contest 311 C - E题讲解

C - Find it! 1. Description Problem Statement There is a directed graph with N N N vertices and N N N edges. The i i i-th edge goes from vertex i i i to vertex A i A_i Ai​. (The constraints guarantee that i ≠ A i i \neq A_i iAi​.) Find a dire…
阅读更多...
记负均正 C语言实现

记负均正 C语言实现

记负均正 描述 首先输入要输入的整数个数n&#xff0c;然后输入n个整数。输出为n个整数中负数的个数&#xff0c;和所有正整数的平均值&#xff0c;结果保留一位小数。 0即不是正整数&#xff0c;也不是负数&#xff0c;不计入计算。如果没有正数&#xff0c;则平均值为0。 数…
阅读更多...
【C++】-多态的语法细节详解

【C++】-多态的语法细节详解

&#x1f496;作者&#xff1a;小树苗渴望变成参天大树&#x1f388; &#x1f389;作者宣言&#xff1a;认真写好每一篇博客&#x1f4a4; &#x1f38a;作者gitee:gitee✨ &#x1f49e;作者专栏&#xff1a;C语言,数据结构初阶,Linux,C 动态规划算法&#x1f384; 如 果 你 …
阅读更多...
软路由系统 --- iKuai虚拟机修改虚拟机网卡类型

软路由系统 --- iKuai虚拟机修改虚拟机网卡类型

软路由系统&#xff1a;iKuai 注意&#xff1a;2.0系列及以后版本&#xff0c;默认安装成功后只是绑定了LAN口&#xff0c;其他的接口需要自己进爱快的WEB界面手工绑定。 虚拟机网卡类型说明&#xff1a; 个人版vmware 建议选择Linux ubuntu64位&#xff0c;否则默认网卡类型…
阅读更多...
MySQL 数据抽稀 每分钟取一条

MySQL 数据抽稀 每分钟取一条

假如原始数据为每5秒一个数据&#xff0c;现在想展示为每4分钟一条数据&#xff0c;先按照分钟数把除以4余数为0的行选出来&#xff0c;在按照 年月日 时分&#xff0c;做组内排序&#xff08;窗函数ROW_NUMBER&#xff09;&#xff0c;最后再拿出序号为1的行。 WITH data_01 …
阅读更多...
基于SpringBoot+vue的私人健身与教练预约管理系统设计与实现（源码+LW+部署文档等）

基于SpringBoot+vue的私人健身与教练预约管理系统设计与实现（源码+LW+部署文档等）

博主介绍&#xff1a; 大家好&#xff0c;我是一名在Java圈混迹十余年的程序员&#xff0c;精通Java编程语言&#xff0c;同时也熟练掌握微信小程序、Python和Android等技术&#xff0c;能够为大家提供全方位的技术支持和交流。 我擅长在JavaWeb、SSH、SSM、SpringBoot等框架…
阅读更多...
谈谈区块链技术

谈谈区块链技术

目录 1.什么是区块链 2.区块链的实现原理 3.区块链技术有哪些应用 4.区块链技术潜在的危害 5.区块链技术未来会怎么发展 1.什么是区块链 区块链是一种技术&#xff0c;它通过在一个分布式网络中记录和验证交易和数据&#xff0c;实现去中心化的数字账本。区块链的核心概念是…
阅读更多...
读数据压缩入门笔记11_读后总结与感想兼导读

读数据压缩入门笔记11_读后总结与感想兼导读

1. 基本信息 数据压缩入门 Understanding Compression [美]柯尔特麦克安利斯&#xff08;Colt McAnlis&#xff09;、[美]亚历克斯海奇 著&#xff1b; 王凌云 译 人民邮电出版社,2020年4月出版&#xff0c;1版 1.1. 读薄率 书籍总字数300千字&#xff0c;笔记总字数18197…
阅读更多...
Linux用户权限

Linux用户权限

1.用户、权限、组的概念 1.1 用户 用户 是Linux系统工作中重要的一环&#xff0c;在Linux系统中&#xff0c;不论是由本机或是远程登录系统&#xff0c;每个系统都必须拥有一个账号&#xff0c;一个账号就是一个用户。 1.2 权限 在Linux系统中&#xff0c;每一个用户对不同…
阅读更多...
汇编语言（第4版）实验5 编写、调试具有多个段的程序

汇编语言（第4版）实验5 编写、调试具有多个段的程序

&#xff08;1&#xff09;参考答案&#xff1a; ①不变&#xff08;0123h,0456h,0789h,0abch,0defh,0cabh,0987h&#xff09; ②076c 076b 076a ③X-2 X-1 &#xff08;2&#xff09;参考答案&#xff1a; ①不变&#xff08;0123h,0456h&#xff09; ②076c 076b 076a ③X-2…
阅读更多...
AcWing 1275. 最大数—线段树单点修改

AcWing 1275. 最大数—线段树单点修改

题目链接 AcWing 1275. 最大数 题目描述 分析 这道题是线段树的模板题&#xff0c;属于一眼ding真&#xff0c;鉴定为线段树的裸题&#xff0c;正好用来学习线段树。线段树、树状数组等数据结构题&#xff0c;难的地方是在如何分析出来要用哪个数据结构解决。 线段树要比树状…
阅读更多...
上海VR全景展示，快速了解VR全景拍摄

上海VR全景展示，快速了解VR全景拍摄

导语&#xff1a; 随着科技的不断进步&#xff0c;虚拟现实技术的应用日益广泛。在这其中&#xff0c;VR全景图片作为一种数字化助力的全景拍摄方式&#xff0c;正逐渐成为人们关注的焦点。通过数字化技术&#xff0c;VR全景图片能够以360度全方位的视角呈现真实的场景&#x…
阅读更多...
docker学习和进阶2023

docker学习和进阶2023

文末有下载地址。如有侵权请联系作者谢谢&#xff01; docker学习和进阶2023 参考引用 docker学习笔记&#xff1a;https://blog.csdn.net/m0_46188681/article/details/128993319 Docker容器配置和资源限制&#xff1a;https://www.cnblogs.com/xiugeng/p/16254087.html 容…
阅读更多...
idea使用命令将jar包导入到maven仓库中

idea使用命令将jar包导入到maven仓库中

因为今天突然忘了命令&#xff0c;记下来方便以后查看 pom文件的依赖 jar包路径 进入idea中命令窗 输入命令 mvn install:install-file -DfileD:\Project\spring-cloud\dubbo-api\target\dubbo-api-1.0-SNAPSHOT.jar -DgroupIdcom.wmx -DartifactIddubbo-api -Dversion1.0…
阅读更多...
flutter数字动画库：animated_flip_counter

flutter数字动画库：animated_flip_counter

前言 在数字动画的制作中&#xff0c;有时候我们会面临时间紧张或效果不尽如人意的情况。这时&#xff0c;使用现成的动画库或工具可以大大提高效率&#xff0c;同时也能够获得更好的效果。animated_flip_counter就是一个非常不错的数字动画库&#xff0c;可以帮助我们快速地创…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023