re:Invent 2023技术上新｜Amazon DynamoDB与OpenSearch Service的Zero-ETL集成

news2024/10/6 2:29:28

Amazon DynamoDB 与 Amazon OpenSearch Service 的 Zero-ETL 集成已正式上线，该服务允许您通过自动复制和转换您的 DynamoDB 数据来搜索数据，而无需自定义代码或基础设施。这种 Zero-ETL 集成减少了运营负担和成本，使您能够专注于应用程序。这些负担和成本涉及数据管道架构编写代码、保持数据同步以及通过频繁更改应用程序来更新代码。

通过这种 Zero-ETL 集成，Amazon DynamoDB 客户现在可以使用 Amazon OpenSearch Service 的强大搜索功能（例如机器学习（ML）功能所需的全文搜索、模糊搜索、自动完成和向量搜索），来提供新的体验，从而提高用户参与度并提高对其应用程序的满意度。

这种 Zero-ETL 集成使用 Amazon OpenSearch Ingestion 来同步 Amazon DynamoDB 和 Amazon OpenSearch Service 之间的数据。您可以选择需要同步数据的 DynamoDB 表，然后 Amazon OpenSearch Ingestion 会在数据可用后的几秒钟内将其同步到 Amazon OpenSearch 托管集群或无服务器集合。

您还可以指定索引映射模板，以确保您的 Amazon DynamoDB 字段映射到 Amazon OpenSearch Service 索引中的正确字段。此外，您可以将来自多个 DynamoDB 表的数据同步到一个 Amazon OpenSearch Service 托管集群或无服务器集合，以提供对多个应用程序的全面见解。

开始使用此 Zero-ETL 集成

只需单击几下，您就可以将数据从 DynamoDB 同步到 OpenSearch Service。要在 DynamoDB 和 OpenSearch Service 之间创建集成，请在 DynamoDB 控制台的左侧面板中选择“集成”菜单，然后选择要同步其数据的 DynamoDB 表。

您必须开启时间点故障恢复（PITR）和 DynamoDB 流媒体功能。此功能允许您捕获表格中的项目级更改并将更改推送到直播。选择“打开”PITR，然后启用“导出和流”选项卡中的 DynamoDB Streams。

开启 PITR 和 DynamoDB Stream 后，选择“创建”来设置您的账户中的 OpenSearch Ingestion 管道，将数据复制到 OpenSearch Service 托管域。

在第一步中，输入唯一的管道名称并设置管道容量和计算资源，以便根据当前的采集工作负载自动扩展管道。

现在，您可以用 YAML 文件格式配置预定义的管道配置。您可以浏览资源来查找和粘贴信息，从而构建管道配置。该管道由来自 DyanmoDB 设置的 source 部分和 OpenSearch Service 的 sink 部分组成。

您必须设置多个 IAM 角色（ sts_role_arn ），使其具有从 DynamoDB 表中读取数据和写入 OpenSearch 域所必需的权限。然后，OpenSearch Ingestion 管道将承担此角色，以确保在将数据从 source 迁移到目标时始终保持应有的安全状态。要了解更多信息，请参阅亚马逊云科技文档中的 Setting up roles and users in Amazon OpenSearch Ingestion：https://docs.aws.amazon.com/opensearch-service/latest/developerguide/pipeline-security-overview.html

输入所有必填值后，您可以验证管道配置，以确保您的配置有效。要了解更多信息，请参阅亚马逊云科技文档中的 Creating Amazon OpenSearch Ingestion pipelines：https://docs.aws.amazon.com/opensearch-service/latest/developerguide/creating-pipeline.html

花几分钟时间设置 OpenSearch Ingestion 管道，即可看到您的集成已在 DynamoDB 表中完成。

现在，您可以在 OpenSearch 仪表板中搜索同步项目。

注意事项

关于这项功能，下面的这些信息您应有所了解：

自定义模式 – 在将数据从 Amazon DynamoDB 写入 OpenSearch Service 时，您可以指定您的自定义数据模式以及 OpenSearch Ingestion 所使用的索引映射。这种体验已添加到 Amazon DynamoDB 里的控制台，因此您可以完全控制在 OpenSearch Service 上创建的索引格式。

定价 – 除了现有基础组件的成本外，使用此功能不会产生任何额外费用。请注意，Amazon OpenSearch Ingestion 会收取 OpenSearch Compute Units（OCU）的费用，而 OCU 将用于复制 Amazon DynamoDB 和 Amazon OpenSearch Service 之间的数据。此外，此功能将 Amazon DynamoDB streams 用于更改数据捕获（CDC），您将承担 Amazon DynamoDB Streams 的标准费用。