Amazon DataZone现已正式发布。作为一项新的数据管理服务,它能够在组织中对数据生产者和消费者之间产生的数据进行编目、发现、分析、共享和管理。
早在2022年的亚马逊云科技re:Invent上,就预告了Amazon DataZone产品的发布,并在2023年3月对其进行了公开预览。
在之前re:Invent的主题演讲中,亚马逊云科技数据与机器学习副总裁Swami Sivasubramanian博士表示:“我是Amazon DataZone的早期受益客户。在我主持亚马逊云科技每周的业务审查会议时,我们会在会上收集起通过销售渠道和收入预测获得的数据,为经营战略的制定提供信息。”
Amazon DataZone产品主管Shikha Verma向大家展示了如何使用该产品创建更有效的广告活动,最大限度地利用其数据。
她提到:“每个企业都由多个团队组成,每个团队都将拥有和使用各种数据存储中的数据。数据人员必须将这些数据汇集在一起,但他们却没有找到一种简单的方法来访问这些数据,甚至有时无法查看这些数据。Amazon DataZone提供了一个联合环境,能够让组织中的每个人,从数据生产者到消费者,都可以在管理之下访问和共享数据。”
通过Amazon DataZone,数据生产者可使用Amazon Glue数据目录和Amazon Redshift表格中的结构化数据资产,填充业务数据目录。数据消费者可以在数据目录中搜索并订阅数据资产,并与其他业务用例合作者共享。消费者可以使用Amazon Redshift或Amazon Athena等查询编辑器等工具分析其订阅的数据资产,这些工具可以从Amazon DataZone门户网站直接下载。集成的发布及订阅工作流程可以提供跨项目访问审核功能。
Amazon DataZone简介
Amazon DataZone域代表了在组织内部,能够管理自己数据(包括自己的数据资产和数据定义、业务术语)的业务线(LOB)或业务领域清晰的边界,并且可能拥有自己的管理标准。该域包括所有核心组件,例如数据门户、业务数据目录、项目和环境以及内置工作流程。
1.数据门户(在亚马逊云科技管理控制台之外)
它是一个网络应用程序,不同的用户可以自选服务,对数据进行编目、发现、管理、共享和分析。数据门户使用Amazon Identity and Access Manager(IAM)凭证或通过您的身份提供商Amazon IAM Identity Center提供现有凭证对用户进行身份验证。
2.业务数据目录
在目录中,您可以定义分类法或业务术语表。您可以使用此组件根据业务上下文对整个组织的数据进行编目,从而使组织中的每个人都能快速查找和理解数据。
3.数据项目和环境
您可以创建基于业务用例的人员分组、数据资产分组和分析工具分组,以简化对亚马逊云科技分析的访问。Amazon DataZone将为项目成员提供一个可以进行协作、交换数据和共享数据资产的空间。在项目中,您可以创建一个环境,为项目成员提供必要的基础架构,如分析工具和存储,以便项目成员可以轻松地生成新数据或使用他们有权访问的数据。
4.治理和访问控制
您可以使用内置的工作流程来管理数据订阅请求,它允许整个组织的用户请求访问目录中的数据,并允许数据所有者审查和批准这些请求。在订阅请求获准后,Amazon DataZone便可通过管理等基础数据存储(例如Amazon Lake Formation和Amazon Redshift)的权限,自动授予访问权限。