多领域应用落地,火山引擎ByteHouse加速云数仓升级

news2024/10/6 16:21:12

更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群

近日,火山引擎数智平台VeDI直播活动「超话数据」在线举办,来自火山引擎的产品及解决方案专家分享了以ByteHouse为代表的云数仓产品在字节跳动的演进过程、关键技术以及最佳实践,并通过五个步骤拆解,带领开发者快速上手云数仓。

现如今,企业正加速走向数字化、智能化,对数据的应用也提出了全新要求,特别是在数据实时分析、实时部署方面的诉求更加强烈,而云数据仓库为用户实现云原生、智能运维、弹性资源等业务需求带来了很好支撑,成为今天企业数字化基础设施中的关键“底座”。

ByteHouse则是这样一款云原生数据仓库。ByteHouse起初是基于开源ClickHouse引擎进行技术架构重构和优化,在字节跳动内部大规模应用,其中部署规模超过1万8000台,单集群超过2400 台,现已通过火山引擎对外输出。

火山引擎ByteHouse

据ByteHouse产品专家介绍,面对企业级数据处理需求,相比起原生的ClickHouse,火山引擎ByteHouse基于独家自研的高可用引擎及查询优化器,可以为企业提供快速、稳定、安全的查询服务和数据写入性能。在云原生架构下,火山引擎ByteHouse提供了极致扩展的统一数据分析平台,具有出色的弹性伸缩和可扩展性,确保资源可以灵活地水平扩展;同时,ByteHouse支持多级资源隔离,为用户资源提供更安心的安全保障。

除了高可用的基础能力,火山引擎ByteHouse还从业务角度出发提供了完整的运维监控和排障能力,帮助企业实现业务云上托管,降低运维成本。

不仅仅具备强大的技术能力和易用的产品特性,火山引擎ByteHouse在广告、气象、行为分析等领域已经积累丰富的落地经验。在此次活动中,火山引擎解决方案专家通过广告、气象、行为分析3个领域案例,详细拆解云原生数据仓库如何能在业务场景中丝滑落地。

首先,在广告受众预估领域,为了帮助广告主确定目标人群,判断投放价值,广告平台需要为广告主提供受众筛选能力,即根据不同筛选条件、标签或人群包,确定每次营销活动覆盖的人员类型、人员规模。其难度在于,广告平台用户体量大、人群包数量大,导致单个查询中涉及多个人群包计算,使得查询复杂度高;另外,广告平台对数据实效性要求高,数据查询效率要达到秒级响应。

面对此类需求,ByteHouse支持BitMap数据格式,降低人群包数据内存占用,配合uid的数据分片方式,提升数据查询并发能力,实现高效的人群包交、并、补计算,满足QPS峰值查询需求,最终达到查询秒级响应的效果。

 火山引擎ByteHouse在广告受众预估领域落地

其次,在气象领域,ByteHouse帮助AI大模型与数字孪生公司大地量子实现对气象数据的精准预测。根据风向、湿度、温度、风力等历史气象数据,结合风场、云层等模型能力预测未来能源情况,是大地量子的主要应用场景。大地量子通过将现场采集及大模型生成的气象数据导入到ByteHouse中,由ByteHouse支撑GEO查询和空间计算能力,满足其对预测系统以及交互式查询需求。目前,大地量子的平均查询响应时长不仅在50毫秒以内,预测精准度也得到有效提升。

最后,在行为分析领域,极客邦科技则通过ByteHouse实现以用户为中心的精细化营销。作为致力于为数字人才提供全方位、高质量新闻资讯、课程内容、大会、指导等服务项目的企业,极客邦科技会根据用户画像、在端内的操作行为等数据为用户精准推送课程、活动,洞察用户全链路行为,以便提供更好服务。但随着用户数量变大且持续增长,数据查询需求愈加复杂,同时也面临快速响应的问题,在技术层面遇到很多挑战。

增长分析平台DataFinder与云原生数据仓库数据仓库ByteHouse的组合使用则帮助极客邦科技更好洞悉客户全链路营销旅途。ByteHouse的高可用引擎和查询优化器可以将用户表、事件表等数据高效去重、分析和计算,再通过DataFinder SDK实现事件分析、留存分析、转化分析等能力,实现用户精准洞察和营销能力升级。

不仅仅在广告、气象等领域落地,ByteHouse 还将持续通过创新的技术和功能,帮助更多行业构建高效、稳定和可扩展的实时数据分析平台,提供强大的数据处理和分析能力,助力企业更好实现数字化升级。

点击跳转火山引擎ByteHouse了解更多

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/723502.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【设计模式】第十一章:享元模式详解及应用案例

系列文章 【设计模式】七大设计原则 【设计模式】第一章:单例模式 【设计模式】第二章:工厂模式 【设计模式】第三章:建造者模式 【设计模式】第四章:原型模式 【设计模式】第五章:适配器模式 【设计模式】第六章&…

每周学点数学 3:概率论基础2

文章目录 1.独立性与相关性2.条件概率与边缘概率3.大数定律与中心极限定理4.随机过程5.概率论的应用 1.独立性与相关性 独立性与相关性是在数据分析中非常重要的两个概念,它们之间存在一定的联系,但也有明显的区别。 独立性(Independence&…

CSS(持续更新!~)

二: 进阶: 只打算起到装饰作用的图片就建议就背景图片 块级标签就是:独占一行的标签(比如div)并且可以加宽加高 行内元素:就是不会独占一行的标签(比如a,span等等,不可以…

软件测试为什么要学习数据库

目录 前言: 一、为什么要学习数据库 二、常见数据库 三、如何学习数据库 前言: 数据库是用于存储、组织和管理数据的系统,它在各个领域都得到广泛应用,包括企业、学术界、政府和互联网等。 一、为什么要学习数据库 能够反作…

PS 快速选择工具基本操作讲解 通过 选择并遮住 调整后续

我们先打开PS软件 然后打开一个项目 前面几篇文章我们讲了磁性套索工具 其实就已经比较智能了 但是 毕竟拿东西还得自己去描边,操作起来并不是特别轻松 那么 我们今天看的东西就会更智能一些 我们将鼠标在下图指向位置右键 然后在弹出的选项中选择快速选择工具 选…

Notepad++ 打开单独窗口

应用1、打开完全独立的新窗口 快捷键:AltF6 应用2、打开新视图

CSDN 周赛 61 期

CSDN 周赛 60 期 参赛体验判断题单选题填空题编程题1、题目名称:最近的回文数2、题目名称:风险投资小结参赛体验 嗯,今天的填空题又出了新的幺蛾子,直接所有人不给分?看到 bug 提交去好多人在议论这问题。 这个未阅卷是个啥情况?机器人下班了,要改人工了? 然后,C 站…

小说系统源码分享,打造完整小说生态系统

小说已经成为了现代人娱乐生活的重要组成部分,而现在的小说不仅仅是纸质的,越来越多的人开始阅读网络小说。在这个数字化的时代,打造一个完整的小说生态系统变得尤为重要。本篇文章将为大家分享小说系统源码,帮助大家打造完整的小…

D盘不见了?3个方法,教你找回丢失的d盘!

谁能帮帮我呀!电脑使用的好好得,d盘突然就不见了。我还有很多很重要的文件都保存在里面呢!还有找回这些文件的希望吗? D盘作为电脑的一个重要磁盘,我们可能会将很多很重要的文件都保存在里面。但不知道大家有没有遇到过…

哈希与位图的结合--布隆过滤器与哈希切分

上一章讲了位图,我们知道了在海量数据中查找一个数是否存在,可以用每一个比特位标识。 但是位图只能处理整数,要是字符串或者其它的呢,位图便无法处理了,这个时候便需要用到布隆过滤器了. 目录 布隆过滤器提出 布隆…

斯坦福发布最新LLM排行榜AlpacaEval,微软WizardLM登顶开源模型第一

斯坦福发布最新LLM排行榜AlpacaEval,微软WizardLM登顶开源模型第一 文章目录 Part 1. 众多LLM排行榜Part 2. AlpacaEval 技术细节2.1 AlpacaEval 评估效果2.2 如何使用AlpacaEval评估模型 Part 3. 微软 WizardLM 登顶开源模型第一3.1 关于 WizadLM 与 Evol-Instruc…

PostgreSQL使用localhost可以连接,使用IP无法连接

问题描述:PostgreSQL使用localhost可以连接,使用IP无法连接 默认情况下,刚安装完成的 postgresSQL12 无法使用 数据库连接工具(如postman)连接。需要为其修改配置,开放连接权限。 修改pg_hba.conf 增加…

【js小案例】视频倍数播放、计算机、待办事项管理

视频倍数播放示例图&#xff1a; 视频倍数播放代码&#xff1a; <!DOCTYPE html> <html> <head><meta charset"UTF-8"><title>控制视频播放速度</title> </head> <body><video id"myVideo" width&quo…

c语言内存

程序是保存在硬盘中的&#xff0c;要载入内存才能运行&#xff0c;CPU也被设计为只能从内存中读取数据和指令。 对于CPU来说&#xff0c;内存仅仅是一个存放指令和数据的地方&#xff0c;并不能在内存中完成计算功能&#xff0c; 如&#xff1a;计算abc,必须将a,b,c都读取到CPU…

解锁生成式AI万亿规模市场,亚马逊云科技有效降低AIGC门槛

ChatGPT一声惊雷&#xff0c;让全球见识到了生成式AI的威力。当前&#xff0c;生成式AI进入一个爆发时刻&#xff0c;并在许多领域中展现出它的无限潜力。那么&#xff0c;在这轮生成式AI大爆发中&#xff0c;企业应当如何抓住机遇&#xff0c;顺应这一波时代的潮水&#xff0c…

PHP:数据库中设置文本长度,通过js去限制前台文本长度。扩展:数据类型的限制

效果图 如上图&#xff1a;当测试111的长度超过数据库中限制的长度&#xff0c;进行提示&#xff0c;并且自动将多余部分截掉 HTML代码 <!-- 附加属性 --> <div class"text-nav-1 " id"append1"> <div >append1</div><input…

如何使经纬度标注在图框内部

在生成经纬网格之后&#xff0c;如果标注了经纬度&#xff0c;仔细查看图框边缘&#xff0c;可以看到标注的经纬度出现在了图框的外面&#xff0c;这样显得不是很美观&#xff0c;我们可以通过偏移的方法让其回到图框内部&#xff0c;这里为大家介绍一下具体的操作方法&#xf…

达梦数据库 SQL交互式查询工具打不开问题处理

目录 1、开始菜单找到 “SQL交互式查询工具”。 2、 右键进入 打开文件位置。 3、右键进入属性&#xff0c;找到目标位置 4、进入我的电脑&#xff0c;访问该地址&#xff0c;并授予此地址权限 1、开始菜单找到 “SQL交互式查询工具”。 2、 右键进入 打开文件位置。 3、右…

【ARM Coresight 及 DS-5 介绍 2 - ARM Coresight 介绍】

文章目录 1.1 ARM Coresight 介绍1.1.1 ARM Coresight 发展历史 1.2 ARM Coresight 框架介绍1.1.1 Trace 通路1.1.3 Debug 通路1.1.4 Trigger 通路 1.1 ARM Coresight 介绍 ARM Coresight是ARM公司提供的一种调试和跟踪技术&#xff0c;用于ARM处理器的调试和性能分析。它通过…

根据ABAP字符寻找程序

知识来之不易&#xff0c;还请多点赞&#xff01; SE38执行程序RPR_ABAP_SOURCE_SCAN