云消息队列 Kafka 版生态谈第一期：无代码转储能力介绍

news2025/4/19 11:49:15

作者：娜米

云消息队列 Kafka 版为什么需要做无代码转储

云消息队列 Kafka 版本身是一个分布式流处理平台，具有高吞吐量、低延迟和可扩展性等特性。它被广泛应用于实时数据处理和流式数据传输的场景。然而，为了将云消息队列 Kafka 版与其他数据源和数据目的地集成，需要额外的开发/组件来实现数据的传输和同步，客户需要大量的研发、运维等投入。

为了提升研发效率，云消息队列 Kafka 版联合阿里云产品支持到无代码、全托管、Serverless 化的功能特性，支持从云消息队列 Kafka 版到 OSS 的转储。该功能特性的优势有：

  • 简单
    • 敏捷开发，简单配置就可以支持该能力
    • 轻松转储不同应用程序的 OSS 数据
    • 无需复杂的软件和基础设施
  • 全托管
    • 提供 Serverless 计算能力
    • 免运维
    • 成熟功能
  • 低成本
    • 云消息队列 Kafka 版本身不额外收费，底层依赖函数计算按量收费
    • 函数计算为该场景做深度优化，结合架构实现低成本：引入 CDN 缓存机制，动态计算配合衍生副本存储成本
    • 产品集成链路一定的减免费用

云消息队列 Kafka 版+OSS 主要应用场景

  • 数据备份和归档

    OSS 提供了数据备份和归档的功能。客户可以选择将重要数据备份到 OSS 中，以提供数据灾难恢复的能力。OSS 提供了数据持久性和可靠性的保证，可以确保数据的安全性和可用性。同时，OSS 还提供了归档存储的功能，用于长期存储不经常访问的数据。客户可以将数据归档到 OSS 的归档存储类别中，以节省存储成本，并根据需要进行数据恢复。

  • 大数据分析

    阿里云的对象存储 OSS 可以作为大数据的存储平台。客户可以将各种类型的大数据文件（如日志文件、传感器数据、用户行为数据等）存储在 OSS 中，以便后续进行数据分析、数据挖掘和机器学习等任务。客户可以在阿里云上完成大数据的存储、处理和分析任务，实现弹性扩展和高性能的大数据处理。

  • FC 计算结果的缓存

    阿里云函数计算（Function Compute，简称 FC）是一种事件驱动的无服务器计算服务，用于帮助用户以更低的成本和更高的弹性运行代码。而阿里云对象存储 OSS 是一种云端数据存储服务，提供安全、稳定、高扩展性的云端存储能力。FC 是无状态的计算服务，不提供持久化的本地存储。因此，如果需要在函数执行期间存储和访问数据，可以通过与 OSS 结合使用，将数据存储在 OSS 中。这样可以实现数据的持久化存储，确保数据不会因为函数计算的瞬时性而丢失。

代码转储产品能力介绍

图片

1. 0 代码开发： 转储/Connector 提供了与各种数据源和数据目的地的集成功能。通过使用云消息队列 Kafka 版转储/Connector 能力，研发人员无需编写复杂的数据集成代码，只需配置相应的 Connector 即可实现数据的传输和同步，大大简化了数据集成的过程。

2. 配置化支持： 用户可以根据自己的需求和业务场景，灵活配置转发规则和存储策略。无论是按照时间、关键字、主题等维度进行转发，支持按照文件夹、文件名等维度进行存储，都可以通过简单的配置实现，满足的个性化需求。

3. 高可靠性和容错性： 转储/Connector 保证了数据的高可靠性和容错性。数据在传输过程中，Connector 会自动处理数据的冗余和故障恢复，确保数据不会丢失或损坏。这样，用户不需要关注数据传输的细节和异常处理，可以更加专注于业务逻辑的开发。

4. Serverless 化： 可以根据请求的负载自动扩展和缩减计算资源。与传统的预分配服务器相比，Serverless 化可以更灵活地适应实际需求，降低资源浪费和成本。组件负责管理和维护底层基础架构，客户无需关心服务器的配置和管理。

使用步骤说明

前提条件

1. 云消息队列 Kafka 版实例准备 [ 1]

  1. 依赖开放，请参见创建前提 [ 2]

步骤一：创建目标服务资源

在对象存储 OSS 控制台创建一个存储空间（Bucket）。详细步骤，请参见控制台创建存储空间 [ 3] 。

本文以 oss-sink-connector-bucket Bucket 为例。

步骤二：创建 OSS Sink Connector 并启动

登录云消息队列 Kafka 版控制台 [ 4] ，在概览页面的资源分布区域，选择地域。

在左侧导航栏，选择 Connector 生态集成 > 消息流出（Sink）。

在消息流出（Sink）页面，单击创建任务。

在消息流出创建面板，配置以下参数，单击确定。

在基础信息区域，设置任务名称，将流出类型选择为对象存储 OSS。

在资源配置区域，设置以下参数。

图片

图片

完成上述配置后，在消息流出（Sink）页面，找到刚创建的 OSS Sink Connector 任务，单击其右侧操作列的启动。当状态栏由启动中变为运行中时，Connector 创建成功。

步骤三：测试 OSS Sink Connector

在消息流出（Sink）页面，在 OSS Sink Connector 任务的事件源列单击源 Topic。

在 Topic 详情页面，单击体验发送消息。

在快速体验消息收发面板，按照下图配置消息内容，然后单击确定。

图片

在消息流出（Sink）页面，在 OSS Sink Connector 任务的事件目标列单击目标 Bucket。

在 Bucket 页面，选择左侧导航栏的文件管理 > 文件列表，然后进入 Bucket 的最深层路径。

图片

可以看到此路径中有如下两类 Object：

  • 系统 meta 文件： 格式为 .oss_meta_file_partition_{partitionID}，文件数量和上游 Topic 的 Partition 数量相同，用于记录攒批信息，您无需关注。
  • 数据文件： 格式为 partition_{partitionID}offset{offset}_{8位Random 字符串}，如果一个 Object 中聚合了一个 Partition 的多条消息，Object 名称中的 Offset 为这批消息中的最小 Offset 值。

在对应 Object 右侧操作列，选择图片 > 下载。

打开下载的文件，查看消息内容。

图片如图所示，多条消息之间通过换行分隔。

相关链接：

[1] 云消息队列 Kafka 版实例准备

https://help.aliyun.com/zh/apsaramq-for-kafka/getting-started/getting-started-overview

[2] 创建前提

https://help.aliyun.com/zh/apsaramq-for-kafka/user-guide/prerequisites#concept-2323967

[3] 控制台创建存储空间

https://help.aliyun.com/zh/oss/getting-started/console-quick-start#task-u3p-3n4-tdb

[4] 云消息队列 Kafka 版控制台

https://account.aliyun.com/login/login.htm?oauth_callback=https%3A%2F%2Fkafka.console.aliyun.com%2F%3Fspm%3Da2c4g.11186623.2.22.6bf72638IfKzDm&lang=zh

点击此处，云消息队列 Kafka 版 V3 公测正式开启！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1356118.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

C++第四天

C++第四天

定义一个Person类，私有成员int age，string &name，定义一个Stu类，包含私有成员double *score，写出两个类的构造函数、析构函数、拷贝构造和拷贝赋值函数，完成对Person的运算符重载(算术运算符、条件运算…
阅读更多...
使用Redis进行搜索

使用Redis进行搜索

文章目录 构建反向索引 构建反向索引 在Begin-End区域编写 tokenize(content) 函数，实现文本标记化的功能，具体参数与要求如下： 方法参数 content 为待标记化的文本； 文本标记的实现：使用正则表达式提取全小写化后的…
阅读更多...
特斯拉被比亚迪拉下神坛，马斯克难改命运岁月不如人

特斯拉被比亚迪拉下神坛，马斯克难改命运岁月不如人

当这个消息浮现在我面前时，我几乎不敢相信眼前所见。比亚迪这个我曾无数次在文章中提及的中国车企，终于在2023年完成了伟大的历史任务——以销量突破特斯拉，站上全球电动车王座的宝座！ 过去我们都习惯于从欧美日韩那里听说汽车的成…
阅读更多...
Go 编程必备：bufio 库的全面指南与实战技巧

Go 编程必备：bufio 库的全面指南与实战技巧

Go 编程必备：bufio 库的全面指南与实战技巧 引言bufio 库概览bufio.Readerbufio.Writerbufio.Scanner 深入 bufio.Readerbufio.Reader 的基本使用高级功能应用场景 探索 bufio.Writerbufio.Writer 的基本使用高级功能应用场景 运用 bufio.Scannerbufio.Scanner 的基…
阅读更多...
钉钉小程序生态7—企业机器人加互动卡片，改善用户体验的开始！

钉钉小程序生态7—企业机器人加互动卡片，改善用户体验的开始！

文章导航 钉钉小程序生态1—区分企业内部应用、第三方企业应用、第三方个人应用 钉钉小程序生态2—区分小程序和H5微应用 钉钉小程序生态3—钉钉扫码登录PC端网站 钉钉小程序生态4—钉钉小程序三方企业应用事件与回调 钉钉小程序生态5—钉钉群机器人消息通知和钉钉工作通知 钉…
阅读更多...
React Admin 前端脚手架之ant-design-pro

React Admin 前端脚手架之ant-design-pro

文章目录 一、React Admin 前端脚手架选型二、React Admin 前端脚手架之ant-design-pro三、ant-design-pro使用步骤四、常用总结（持续更新）EditableProTable组件 常用组件EditableProTable组件 编辑某行后，保存时候触发发送请求EditableProTa…
阅读更多...
Bayes贝叶斯识别Spam Email垃圾邮件

Bayes贝叶斯识别Spam Email垃圾邮件

目录 介绍： 一、Gaussian Naive Bayes(连续型变量) 1.1数据处理 1.2建模 1.3cross_val_score函数评估 1.4classification_report函数评估 1.5classification_report函数和cross_val_score函数的区别 二、 Multinomial Naive Bayes（离散型变量&…
阅读更多...
软件工程专业毕业设计题目怎么选？

软件工程专业毕业设计题目怎么选？

文章目录 0 简介1 如何选题2 最新软件工程毕设选题3 最后 0 简介 学长搜集分享最新的软件工程业专业毕设选题，难度适中，适合作为毕业设计，大家参考。 学长整理的题目标准： 相对容易工作量达标题目新颖 1 如何选题 最近非常多的…
阅读更多...
[嵌入式C][入门篇] 快速掌握基础（9个语句）

[嵌入式C][入门篇] 快速掌握基础（9个语句）

开发环境： 网页版：跳转本地开发(Vscode)：跳转 文章目录 一、基础语法（1）if (如果)示例1: 普通使用 if示例2: 带否则 else示例3: 否则如果 else if （2）switch case (选择)规则示例1: &#xff0…
阅读更多...
Arduino开发实例-EMG 肌肉信号传感器

Arduino开发实例-EMG 肌肉信号传感器

EMG 肌肉信号传感器 文章目录 EMG 肌肉信号传感器1、EMG 肌肉信号传感器介绍2、硬件准备及接线3、代码实现1、EMG 肌肉信号传感器介绍 在医学研究中，测量肌肉的活动、收缩和扩张非常重要。 EMG 肌肉传感器测量肌肉活动并产生信号以显示扩张和收缩量。 因此，输出取决于所选肌…
阅读更多...
k8s笔记1- 初步认识k8s

k8s笔记1- 初步认识k8s

k8s简介： kubernetes，俗称k8是，用于自动部署，扩缩和管理容器化应用程序的开源系统，它将组成应用程序的容器，组合成逻辑单元，便于管理和服务发现。 k8s的作用 自动化上线和回滚、存储编排…
阅读更多...
听GPT 讲Rust源代码--compiler(9)

听GPT 讲Rust源代码--compiler(9)

File: rust/compiler/rustc_trait_selection/src/traits/select/mod.rs 在Rust源代码中，rust/compiler/rustc_trait_selection/src/traits/select/mod.rs文件的作用是实现Rust编译器的trait选择器。 首先，让我们逐个介绍这些struct的作用： Se…
阅读更多...
Boost学习之深入理解asio库

Boost学习之深入理解asio库

Asio简介 Boost C 库 Asio，它是异步输入输出的核心。 名字本身就说明了一切：Asio 即异步输入/输出。该库可以让 C 异步地处理数据，且平台独立。 异步数据处理就是指，任务触发后不需要等待它们完成。 相反，Boost.Asio …
阅读更多...
调用百度地图 API 的步骤详解

调用百度地图 API 的步骤详解

百度地图 Web 服务 API 为开发者提供 http/https 接口，即开发者通过 http/https 形式发起检索请求，获取返回 json 或 xml 格式的检索数据。用户可以基于此开发 JavaScript、C#、C、Java 等语言的地图应用。百度地图 API 在线地址为：baidumap.…
阅读更多...
Gromacs make_ndx建组问题

Gromacs make_ndx建组问题

1. 选择特定分子或原子： gmx make_ndx -f input.gro -o output.ndx这将打开交互式界面，您可以在其中选择要包含在索引文件中的分子和原子。按照提示进行操作，选择适当的分组。 2. 手动创建索引文件： 您还可以手动创建一个文本文件…
阅读更多...
JavaWeb——后端之Mybatis

JavaWeb——后端之Mybatis

四、Mybatis 概念： Mybatis是一款持久层（Dao层）框架，用于简化JDBC（Sun操作数据库的规范，较繁琐）的开发 历史： Apache的一个开源项目iBatis，2010年由apache迁移到了goog…
阅读更多...
常见位运算总结

常见位运算总结

个人主页&#xff1a;Lei宝啊 愿所有美好如期而遇 目录 前言 1.基础位运算 &运算 |运算 ^运算 >>运算 <<运算 ~运算 2.给一个数n&#xff0c;确定他的二进制表示中的第x位&#xff0c;是0还是1 3.将一个数n的二进制表示的第x位修改成1 4.将一个数…
阅读更多...
QML 项目中使用 Qt Design Studio 生成的UI界面

QML 项目中使用 Qt Design Studio 生成的UI界面

作者&#xff1a;billy 版权声明&#xff1a;著作权归作者所有&#xff0c;商业转载请联系作者获得授权&#xff0c;非商业转载请注明出处 前言 今天来和大家聊一下 Qt Design Studio 这个软件。这个软件的主要功能是用来快速完成 UI 界面&#xff0c;就和 widget 中的 desig…
阅读更多...
Redis学习笔记（1）——感谢尚硅谷官方文档

Redis学习笔记（1）——感谢尚硅谷官方文档

Redis学习笔记&#xff08;1&#xff09;——感谢尚硅谷官方文档 1. NoSQL1.1 NoSQL数据库概述1.2 各种NoSQL数据库 2. Redis数据库安装2.1 安装条件2.2 Widows下如何安装Redis?2.3 Linux下如何安装Redis? 3. Redis介绍3.1 Redis 简介3.2 Redis 优势3.3 Redis与其他key-value…
阅读更多...
HttpClient库与代理IP在爬虫程序中的应用

HttpClient库与代理IP在爬虫程序中的应用

目录 前言 一、HttpClient库的基本使用方法 二、代理IP的使用方法 三、代理IP池的使用方法 四、总结 前言 在编写爬虫程序时&#xff0c;我们经常会使用HttpClient库来发送HTTP请求&#xff0c;获取网页内容。然而&#xff0c;有些网站可能会对频繁的请求进行限制&#x…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023