章文嵩等技术大咖共同探讨企业数据治理和降本增效策略运用!

news2024/9/24 23:24:26

3 月 16 日,AutoMQ 携手 OceanBase 开源社区、KubeBlocks 举行的《LLMs 时代下企业数据管理与降本增效之路》主题 meetup 顺利落幕。活动邀请了 AutoMQ 联合创始人 & CSO、Linux LVS 创始人 章文嵩,AutoMQ 联合创始人 & CTO、Apache RocketMQ 联合创始人 & PMC Member 周新宇,OceanBase 开源生态资深技术总监 封仲淹,云猿生数据创始人 & CEO 曹伟,共同分享在大数据时代下对数据基础设施管理的深入见解。

本次主题活动现场氛围热烈,吸引了众多技术爱好者积极参与,下面让我们一起回顾本次活动的精彩看点。

01 大模型时代云原生 Infra Service 的机会

AutoMQ 联合创始人 & CSO、Linux LVS 创始人 章文嵩 老师从行业的角度切入,带来了主题为《大模型时代云原生 Infra Services 的机会》,他主要表达了以下几个核心观点。

大模型并不会取代基础设施服务,而是需要其支撑

结合自身在基础设施软件领域的经验,章文嵩老师指出 ,尽管 AIGC 新范式催生了新的基础设施需求,但仍需要复用相关人才的经验和公共的硬件基础设施来提升工程效率。AI Infra Services 的兴起使得 AI 创业公司能够更专注于模型和数据处理,极大地提升了整个 AI 创业生态的运作效率。

云基础设施是应对实际需求演化出来,针对各种类型需求演化出多种类型的高性价比的计算与存储服务,大部分 IT 系统十年内都会上云

章文嵩老师解释了云的本质是资源聚合和复用,通过举例说明云服务实现超卖,为客户节省成本,同时也为云厂商创造价值;云厂商业务核心是提高资源复用率,通过不断提高复用率实现利润最大化。他举例进一步说明云服务的优势在于资金密集性和技术密集性,规模越大、资源复用效果越好,并通过对比国内云厂商数据与国外云厂商增长率及国内云渗透率比例,分析中国云市场的潜力巨大,预计未来云市场渗透率将持续增长。他也介绍了计算服务和存储服务的种类和优化,以及如何根据需求选择合适的存储类型。

重用云基础设施,发展云原生软件,这是最经济的

章文嵩老师以 Snowflake 为例。说明了云原生技术的成功应用,通过建立在云上的数据仓库实现了客户花费的持续增长。他认为云原生软件实现了重构机会,云原生架构通过存算分离,避免了传统分布式系统中的一些性能瓶颈和复杂性。许多涉及计算和存储的软件,包括数据库在内,都需要进行重构,以更好地利用云上的存储服务如对象存储和 EBS。并以 AutoMQ 举例,在云原生背景下,AutoMQ 通过将传统的消息队列如 Kafka 和 RocketMQ 的存储引擎替换为云原生存储引擎,成为首款真正意义上的云原生 MQ 引擎

AI Infrastructure Services 应该架设在云基础设施之上,尽可能使用云服务来构建

章文嵩老师认为AI技术在今日世界的广泛应用,得益于开源模型和工具降低了AI领域的门槛,使用户能够轻松地部署和使用AI模型。与此同时,云计算基础设施的重要性也愈发凸显。云计算提供了灵活性和性能优势,使得AI基础设施服务化成为可能,从而降低成本、提高效率,并实现弹性扩展。在云计算环境下,灵活利用云资源显得至关重要,可以通过及时释放闲置资源和根据负载情况调整资源,最大程度地降低成本。此外,通过对软件架构的重构和优化,能够提高软件的稳定性与多样性,实现更高效、更稳定的服务。

02 大数据降本利器:AutoMQ 基于云原生重新设计的 Kafka

AutoMQ 联合创始人 & CTO、Apache RocketMQ 联合创始人 & PMC Member 周新宇 老师先他首先表达了对云原生的定义,他认为云原生不仅仅是将应用程序迁移到云端,而是基于云环境重新设计应用程序,使其能够充分利用云的能力和优势。结合主题,他讲解了 Kafka 在大数据生态系统中的生态位和痛点,AutoMQ 基于云原生重新设计的 Kafka, 数据库与 Kafka 结合 CDC 应用场景等内容。

Kafka 在大数据生态系统中的生态位和痛点

Kafka 被认为是大数据领域的标准,在日志、监控、微服务等方面有广泛的应用,近期更被视为新一代数据湖的架构。但在云原生时代面临着一些挑战,比如云账单失控、扩缩容复杂度高、冷读抢占 IOPS 和网络带宽、多租户带来的“近邻干扰”等问题。随着云环境的发展,充分利用云的弹性和按需资源解决传统 Kafka 架构中存在的问题成为可能。云服务发展逐渐从 Cloud-Hosted 到  Multicloud-Native 即过去简单的云托管服务将被淘汰,取而代之的是更加原生化、多云适配的服务,以更好地满足不同业务的需求。云原生在席卷各个领域,所有的基础软件都值得基于云原生重新设计。

AutoMQ 基于云原生重新设计的 Kafka ,带来高达10倍的成本优势和百倍的弹性效率提升

周新宇老师讲解了 AutoMQ 的云原生架构设计理念:利用云的规模化和弹性优势,尽可能发挥弹性能力;将数据尽可能放置在成本最低的存储介质S3上,以降低存储成本;充分利用EBS的持久性和容灾能力,避免在应用层引入额外的复制成本和复杂度;设计存算分离的架构,实现计算节点的无状态化,使用 spot 实例以节约成本。

AutoMQ 整体设计架构首先通过 S3 Stream,将存储分离到云厂商,在保持整体架构不变的同时实现存储成本的降低。因为几乎无状态的云原生存储,计算节点可以充分利用 Serverless 技术按需使用计算资源,同时能撬动 Spot 实例带来的进一步降本。再利用S3存储的共享特性,设计更多的产品化能力。周新宇老师也详细介绍了 S3 Stream、Delta WAL 组件的技术原理。AutoMQ 创新的云原生架构具有存储成本10倍的成本优化,百倍的弹性效率提升,100%兼容性认证等优势,

AutoMQ 提供商业化版本,支持部署到主流云厂商,同时免运维且能够提供全托管的服务,保障用户的数据主权。

数据库与 Kafka 结合 CDC 应用场景

针对数据库等应用场景,通过实现 CDC(捕获数据变更)功能,可以将数据库的 binlog 订阅到 Kafka,支持更多的业务场景,例如数据同步、缓存、搜索等,拓展了应用领域。

03 LLMs 时代下 OceanBase 降本增效实践之路

*OceanBase 开源生态的资深技术总监 封仲淹 *老师以“未来的数据库应该是怎样?”这一问题为切入点,剖析了技术风潮如何深刻地改变我们对数据库的理解与期待。身处行业变革前沿,他表达了未来的数据库定义应当紧密呼应几个关键性的行业趋势。

开源已崛起为一股不可逆转的强大潮流,正如 Marc Andreessen 所洞察:“Software is eating the world, Open source is eating the software。”它不仅引领技术创新加速,更是未来数据库发展的基石,瓦解信息壁垒,推动共享与协作创新,促进数据库技术高速演进。

云原生理念正逐渐成为业界的新标准,其核心思想是系统与应用程序的设计必须优先考虑云环境的需求。随着技术边界的日益模糊,不同系统与应用之间的深度融合变得至关重要,这一趋势预示着未来的数据库将是以开源为基础,具备多维融合特性的云原生数据库。

云原生数据库作为先进云端技术,以高性价比、易用与快速迭代优势,在数字化时代扮演关键角色。其弹性架构确保灵活部署、高效运作并降低成本。资源优化和自动化运维是核心特性。未来数据库发展应紧跟技术潮流,深度融合云环境,利用云计算的扩展性和自动化能力,有效应对复杂业务挑战,展现卓越的数据处理效能。

OceanBase 数据库正是这一理念的典型代表。通过技术创新和管理策略优化,OceanBase 充分展示了其降低成本、提升效率的潜力。同时,OceanBase 推出了新一代 4.x 系列产品,预示着企业应用分布式数据库将步入“零门槛”的全新阶段。该系列产品的单机分布式一体化架构设计,使得强大复杂的数据库功能能够在小型设备上顺畅运行,体现了硬件兼容性与软件灵活性的前沿水平。

04 KubeBlocks:用可编程 API 将所有数据库运行在 K8s 上

云猿生数据创始人 & CEO 曹伟 老师基于过去在阿里云数据库十余年的经验,认为随着业务增长的需求,传统的数据基础设施控制面采用烟囱式架构,已经无法满足企业的要求。而且这种架构导致了体验不一致、系统预期行为不一致、引入新引擎的成本高等问题。在当前云原生和 K8s 成为主流趋势的背景下,企业纷纷选择云原生解决方案,以应对传统数据基础设施架构带来的问题。这也对云原生基础设施控制面提出了更高的要求,包括支持多云环境、K8s 原生、支持多种数据库引擎等。结合行业经验,曹伟提出可通过抽象和可编程 API 实现对多种数据库的统一管理。他结合 KubeBlocks 的设计,总结了云原生时代下数据库的解决方案:1. 观察各种分布式数据库的共性;2. 抽象:KubeBlocks API 对分布式数据库的拓扑进行抽象,将 KubeBlocks API 映射到数据库;3. 扩展:通过可编程 API 定义不同数据库的差异,使用低代码插件扩展新引擎;4. 分层:使用不同层次的 KubeBlocks API 定义不同的用途,如 Cluster、Component、Replicated State Machine、Instance;5. 自定义行为:通过 Actions API 定义 KubeBlocks 操作 Component 时的行为,更好地管理各类运维操作;6. 组装:像搭乐高积木一样标准与高效的在 K8s 上组装数据库基础设施,通过 Component 灵活组装数据库引擎的多种部署形态。

KubeBlocks 现已推出 Cloud 版本,为企业在 K8s 上搭建统一管理多种数据库的 DBPaaS。KubeBlocks 在为数据库运维提供丰富的 day-2 操作的同时,也支持多种数据库的高可用集群配置、备份恢复、可观测性、告警等功能。此外,KubeBlocks 还具有多引擎统一管理、可扩展性、标准化和易用性等优势。通过使用 KubeBlocks,企业可以在基础设施方面简化运维操作、降低开发成本并提高效率。

活动现场

资源分享

 活动直播录屏在B站和视频号发布,详情请点击查看

END

关于我们

我们来自 Apache RocketMQ 和 Linux LVS 项目的核心团队,曾经见证并应对过消息队列基础设施在大型互联网公司和云计算公司的挑战。现在我们基于对象存储优先、存算分离、多云原生等技术理念,重新设计并实现了 Apache Kafka 和 Apache RocketMQ,带来高达 10 倍的成本优势和百倍的弹性效率提升。

🌟 GitHub:https://github.com/AutoMQ/automq-for-kafka

💻 官网:https://www.automq.com

👀 B站:AutoMQ官方账号

🔍 视频号:AutoMQ

👉 扫二维码加入我们的社区群

关注我们,一起学习更多云原生技术干货!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1534056.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

一文秒懂什么是客服知识库

大家有没有遇到过这样的情况:打电话给客服,结果对方半天没明白你的问题,或者回答得牛头不对马嘴?这种时候,你是不是觉得特别郁闷,感觉自己的问题就像被丢进了黑洞,永远找不到答案?其…

利用pyvista库可视化点云

ShapeNet分割数据可视化对比 import os import glob import randomimport pyvista as pvresult_paths glob.glob(r./examples/shapenet/results/predict_err_ply/*/*) print(len(result_paths))case_id random.randint(0, len(result_paths) // 3) point_size 3 opacity 0.…

NX二次开发——选择对象控件(清空选择对象)

一、概述 选择对象控件在NX二次开发中经常使用,最近进行学习时发现一片博客中有清空选择对象控件中出现问题,我尝试着写了一下,应该可以解决博主中的问题,其实博主已经写的很详细了,几乎没怎么改,不知道是不…

又一个城市火了,媒介盒子盘点城市爆火原因

近日,“甘肃天水麻辣烫”在各大平台频频登上热搜榜,甘肃当地也及时接住了这泼天富贵,开通“麻辣烫专线”、机场高铁免费接、免费送门票等。这些措施似曾相识,因为在天水前,已经有淄博和哈尔滨这两个城市的案例可以供天…

Linux本地部署TeslaMate结合内网穿透实现公网访问内网车辆信息

文章目录 1. Docker部署TeslaMate2. 本地访问TeslaMate3. Linux安装Cpolar4. 配置TeslaMate公网地址5. 远程访问TeslaMate6. 固定TeslaMate公网地址7. 固定地址访问TeslaMate TeslaMate是一个开源软件,可以通过连接特斯拉账号,记录行驶历史,统…

【C++】输入流操作符 >> 的重载实现

scmd >> icmd 这一行代码的工作原理基于C的标准库对输入流操作符(istream extraction operator,即 >>)的重载实现。以下是详细的执行顺序和内部逻辑: 对象准备:在此场景中,scmd 是一个 istring…

成都数字产业园有哪些

成都,这座古老而又充满活力的城市,正逐渐成为数字经济的热土。在这座城市的各个角落,数字产业园如雨后春笋般崭露头角,它们为成都的数字化转型注入了强大的动力。首当其冲的便是国际数字影像产业园。 国际数字影像产业园区&#x…

AI写作如何使用,这些方法简单好学!

随着人工智能技术的不断发展,AI写作成为了一个热门话题。许多人都想知道如何使用AI写作来提高效率和质量。在本文中,我们将探讨一些简单而又易学的方法,帮助大家充分利用AI写作。 首先,我们需要了解什么是AI写作。AI写作是指利用人…

测试开发面试题总结(全)

🍅 视频学习:文末有免费的配套视频可观看 🍅 点击文末小卡片,免费获取软件测试全套资料,资料在手,涨薪更快 某基金管理公司线下测试开发面试题总结。 测开题目如下 可以尝试自己先写,写完之后…

用tp6写的简单的eml的登录和curd

项目地址&#xff1a; 企业管理eml: 这是一个简单的eml (gitee.com) 1.登录和主页显示 1.1 登录功能逻辑图 1.2 控制器 app/controller/index.php php think make:validate LoginValidate <?php namespace app\controller;use app\BaseController; use app\model\User; …

探索海外市场舆情:云手机助力企业赢得全球竞争

在全球化的趋势下&#xff0c;越来越多的企业将目光投向海外市场&#xff0c;迎接着无尽的商机与挑战。然而&#xff0c;随之而来的是境外市场舆情的复杂变化&#xff0c;对企业的声誉和发展带来了潜在风险。如何准确、及时地掌握境外市场的舆情动向&#xff0c;成为了企业必须…

异常 --java学习笔记

异常 异常就是代表程序出现的问题 当一个方法出现问题&#xff0c;这个方法内部就会把这个问题的信息封装成一个异常对象&#xff0c;然后把这个异常对象抛给jvm虚拟机&#xff0c;jvm收到之后会先把出问题的程序先停下来&#xff0c;然后再把这个异常对象打印出来&#xff0c…

libVLC 元数据

libVLC是一个开源的多媒体框架&#xff0c;主要用于处理和播放各种类型的媒体文件&#xff0c;如视频、音频等。 媒体元数据&#xff08;Metadata&#xff09;&#xff1a;包括媒体文件的基本信息&#xff0c;如标题、艺术家、专辑、持续时间、分辨率、比特率、编码格式等。 …

01mysql

登陆mysql 默认数据库 进入&#xff0c;展示&#xff0c;删除 &#xff0c;查看当前正使用的库 select version()查看版本 查看表结构desc 查询 not in不会忽略空 in会自动忽略 like模糊查询 %o%中间带o的 _A%第二个字母是A的 查名字是下划线的 %\_% 排序 order …

Power BI ----SVG(圆环图)

圆环图助力矩阵图 定义度量值放置视觉对象SVG是什么鬼,在现在的Web世界中越来越凸显这一标准的优势。关于SVG,我们只需要知道一点就好 ---- SVG 意为可缩放矢量图形(Scalable Vector Graphics)。它是使用 XML 格式定义的图像。 由此我们就可以知道SVG是可以通过文本来定义图…

web前端框架设计第三课-基础特性

web前端框架设计第三课-基础特性 一.预习笔记 1.Vue实例 每个Vue.js的应用都需要通过构造函数创建一个Vue的实例 语法格式&#xff1a;var 实例名new Vue({}) 特性1–挂载元素&#xff1a;Vue的实例需要具体的存放位置&#xff0c;而挂载元素el就是提供者 特性2–数据&…

数字乡村标准化白皮书 - 2024年版:数字乡村内涵、发展现状、标准化现状、标准需求

党的二十大报告指出“全面推进乡村振兴。全面建设社会主义现代化国家&#xff0c;最艰巨最繁重的任务仍然在农村。坚持农业农村优先发展&#xff0c;坚持城乡融合发展&#xff0c;畅通城乡要素流动。加快建设农业强国&#xff0c;扎实推动乡村产业、人才、文化、生态、组织振兴…

Day01-数据类型和运算符(MySQL服务器的安装,MySQL客户端,数据类型,运算符,MySQL的语法规范)

文章目录 Day01-数据类型和运算符学习目标1. 数据库介绍1.1 数据库的发展历史1.2 数据库分类1.2.1 关系型(SQL)数据库1.2.2 非关系型(NoSQL)数据库1.2.3 数据库排名 2. MySQL服务器的安装2.1 MySQL介绍2.2 下载2.3 安装2.4 启动服务器2.5 卸载 3. MySQL客户端3.1 使用命令行客户…

记录一次服务器内存使用率过高达到90%告警问题排查。

目录 一、前言二、问题排查处理三、 结尾 &#x1f469;&#x1f3fd;‍&#x1f4bb;个人主页&#xff1a;阿木木AEcru &#x1f525; 系列专栏&#xff1a;Docker容器化部署系列 &#x1f4b9;每一次技术突破&#xff0c;都是对自我能力的挑战和超越。 一、前言 一大早就有一…

Java设计模式 | 工厂方法模式

工厂方法模式 针对简单工厂模式案例中的缺点&#xff0c;使用工厂方法模式就可以完美的解决&#xff0c;完全遵循开闭原则。简单工厂模式只有一个工厂类&#xff0c;负责创建所有产品&#xff0c;如果要添加新的产品&#xff0c;就需要修改工厂类的代码。而工厂方法模式引入了…