GIS、向量、文字检索... 火山引擎 ByteHouse 集成全场景分析能力

news2024/10/9 16:19:58

企业业务场景增多、规模扩大,对于底层数据架构来说,可能也会愈加复杂。

比如,某企业因自身业务发展,需要引入向量检索能力,但前期选型的技术架构并不能直接支持,只能重新引入向量数据库。这意味着,研发团队要维护多个组件,让底层架构非常复杂,不仅带来数据冗余,也给数据运维带来压力,造成整体成本增加。

而火山引擎推出的云原生数仓库 ByteHouse 不仅能满足海量数据下高性能分析需求,还通过 GIS 时空分析、全文检索、Vector 向量检索,为分析型数据库加持更多能力,让企业用户用一套架构满足多元化分析需求,节省企业资源人力成本,提升数据效能。

据介绍,ByteHouse 以 ClickHouse 技术路线为基础,为用户提供极速分析体验,支撑实时数据分析和海量数据离线分析,具备便捷的弹性扩缩容能力,极致分析性能和丰富的企业级特性。特别是随着数据量的爆炸性增长,企业对分析性能的要求水涨船高,ByteHouse 能更好以应对大规模数据处理需求。

ByteHouse 在 OLAP 引擎上实现了一系列增强,能支撑宽表、星型模型、雪花模型等更复杂的分析模型,且能实现基础模型的范式化建模,具备流批一体、优化器、增强型易聚合等技术特点,已经在实时数仓、用户圈选、行为分析、广告推荐等场景中落地。

基于全能型的 OLAP 引擎能力,ByteHouse 还集成了适用于不同场景的三大引擎,为用户提供更极致的分析服务。

首先,作为 OLAP 的 ByteHouse 在支持结构化数据检索方面具备先天优势,ByteHouse 全文检索引擎则补齐了对非结构化、半结构化等数据的快速检索能力,支持商品搜索、知识库搜索、日志分析等场景下对文本数据进行关键字检索,让用户可以构建一体化的数据管理、查询服务,降低运维成本和资源成本。

与行业常见的非结构化数据处理引擎,如 ElasticSearch 相比,ByteHouse 也具备明显优势。在性能层面,相关测试数据显示,当单服务器日志写入量在 50MB-200MB/s,每秒写入超过 30w 记录数的情况下,ByteHouse 是 ElasticSearch 性能的 5 倍以上。

在成本层面,ByteHouse 具备更高数据压缩比、消耗更少的 CPU 资源,在保障高效查询的基础上,还能进一步压缩服务器成本。在稳定性层面,ByteHouse 冷热分离机制、负载均衡策略,让数据稳定性更高。

其次,ByteHouse 还推出了 GIS 时空分析引擎,在功能层面,ByteHouse 兼容 OGC 标准,支持导入标准 GIS 文件格式,目前已支持超过 50 个主流的空间函数。

为了提供更极致的使用体验,ByteHouse 还在探索自研优化器适配 GIS 特性,以及 GPU 硬件层面优化二维空间函数。通过选取两个关键 GIS 函数ST_DistanceSphereST_Within,ByteHouse 在优化器、硬件等层面的优化,使其在测试函数的性能上显著超越其他产品。

最后,随着大模型的火热,ByteHouse 已支持多种向量检索算法,如 HNSW、Flat、IVFFlat、IVFPQ,并且基于 vector-centric 的思路,构建了高效的执行链路,可以支撑大规模向量检索场景,达到毫秒级的查询延迟。

通过开源软件 VectorDBBench 测试工具,在 cohere 1M 标准测试数据集上,recall 98 的情况下,ByteHouse QPS 性能已可以超过专用向量数据库。

“一元化数据、多元化引擎”是 ByteHouse 的产品理念,旨在通过构建统一的平台为用户提供更丰富的数据分析能力,实现数据效能最大化。

通过全文检索引擎、GIS 引擎、Vector 引擎,ByteHouse 让用户在享受 OLAP 极致性能的同时,无需引入其他架构,就能使用文字检索、地理空间分析、向量检索能力,进一步提升使用体验。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2199463.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

JavaWeb - 9 - MySQL

数据库:DataBase(DB),是存储和管理数据的仓库 数据库管理系统:DataBase Management System(DBMS),操纵和管理数据库的大型软件 SQL:Structured Query Language,操作关系型数据库的编程语言,定…

经纬恒润荣获2024中国汽车供应链大会创新成果奖

2024年9月24日-26日,2024中国汽车供应链大会暨第三届中国新能源智能网联汽车生态大会在武汉隆重举办。本届大会以“新挑战、新对策、新机遇——推动中国汽车供应链可持续发展”为主题,集聚政府主管领导、行业专家、汽车及零部件企业精英和主流媒体&#…

这个 JavaScript API 比你想象中更强大!

大家好,我是 ConardLi。 今天,我们来聊聊一个可能被你忽视,而且非常强大的标准 JavaScript API - AbortController 。 在过去,大家在提到 AbortController 的时候,一般会举请求中断的例子,就连 MDN 给到的…

重学SpringBoot3-集成Redis(三)之注解缓存策略设置

更多SpringBoot3内容请关注我的专栏:《SpringBoot3》 期待您的点赞👍收藏⭐评论✍ 重学SpringBoot3-集成Redis(三)之注解缓存策略设置 1. 引入 Redis 依赖2. 配置 RedisCacheManager 及自定义过期策略2.1 示例代码:自定…

重塑能源持续亏损近22亿:今年前五个月销量下滑,产能利用率骤降

《港湾商业观察》黄懿 9月2日,上海重塑能源集团股份有限公司(下称“重塑能源”)向港交所提交上市申请书,委任中国国际金融香港证券有限公司、招银国际融资有限公司及法国巴黎证券(亚洲)有限公司为整体协调…

Linux(不同版本系统包含Ubuntu)下安装mongodb详细教程

一、下载MongoDB 在MongoDB官网下载对应的MongoDB版本,可以点击以下链接快速跳转到下载页面: mongodb官网下载地址 注意选择和自己操作系统一致的platform,可以先查看自己的操作系统 查看操作系统详情 命令: uname -a 如图:操…

海洋大地测量基准与水下导航系列之二国外海底大地测量基准和海底观测网络发展现状(下)

2004年,英国、德国、法国等国家在欧洲“全球环境与安全监测’(Global Monitoring for Environment and Security,GMES)观测计划倡导下制定了“欧洲海底观测网络”(European Seafoor Observatory Network,ESONET)计划。ESONET是一个多学科的欧洲卓越网络(NoE &#x…

光路科技以技术创新为驱动,打造创新型企业新标杆

近日,深圳市光路在线科技有限公司(光路科技)凭借其出色的创新能力和市场表现,荣获深圳市中小企业服务局颁发的“创新型中小企业”称号。这一荣誉标志着光路科技在推动行业发展和技术进步方面取得了显著成就。 光路科技自2008年成立…

【含文档】基于Springboot+Android的在线招聘平台(含源码+数据库+lw)

1.开发环境 开发系统:Windows10/11 架构模式:MVC/前后端分离 JDK版本: Java JDK1.8 开发工具:IDEA 数据库版本: mysql5.7或8.0 数据库可视化工具: navicat 服务器: SpringBoot自带 apache tomcat 主要技术: Java,Springboot,mybatis,mysql,vue 2.视频演示地址 3.功能 系统定…

◇【code】PPO: Proximal Policy Optimization

整理的代码库:https://github.com/Gaoshu-root/Code-related-courses/tree/main/RL2024/PPO OpenAI 文档 —— PPO-Clip OpenAI 文档 界面链接 PPO: on-policy 算法、适用于 离散 或 连续动作空间。可能局部最优 PPO 的动机与 TRPO 一样:…

Scott Brinker:企业正在更换更多的Martech,专注集成和API,不断扩大技术栈

营销技术替代因素:集成和API排在第二位 MarTech.org组织了2024年Martech替代调查,它能够深入了解营销技术栈是如何演变的。在496名受访者中,有65%的人表示他们在过去一年中更换了他们技术栈中的一个或多个营销技术解决方案。这些是最常被替代…

Tableau|三 数据连接与管理

一 Tableau的数据架构 数据连接层(Connection)、数据模型层(DataModel)和数据可视化层(VizQL)。 1.数据连接层 决定了如何访问源数据和获取哪些数据。 数据连接层的数据连接信息包括数据库、数据表、数据视…

华为大咖说 | 新时代,智能电动车车联网有哪些发展趋势?(下篇)

本文作者:朱行健(华为专家)全文约4252字,阅读约需9分钟 近年来,汽车产业逐步向电动化、自动化、网联化、共享化发展,车联网开始成为新的竞争主体,汽车市场开始出现新的市场发展驱动力、形成新的…

E36.C语言模拟试卷1第一大题选题解析与提示(未完)

点我去下载C语言模拟试卷1的文件 备注:ZIP文件中的参考答案仅仅提供最终结果 目录 第3题 第5题 第7题 第9题 第14题 第16题 第19题 第20题 第22题 第24题 第26题 第27题 第28题 第3题 3.若有说明语句:char c ‘\64’ ; 则变量C包含: …

python19_加减乘除(二)

加减乘除 a hello b world c 2 d 4# 字符串加法 def str_add(A, B):result A Breturn result# 字符串乘法 def str_mul(A, B):result A * Breturn result# 字符串除法 def str_div(A, B):result B / Areturn result# 字符串减法 def str_sub(A, B):result B - Aretur…

A股牛市来袭,资本涌动:加密市场的出路与机遇

近期,随着A股的强劲反弹,不少加密市场的投资者,尤其是一些KOL(关键意见领袖),开始转移资金并公开建议进军A股。这种趋势反映出部分投资者对加密市场的信心动摇,尤其是在全球宏观经济不确定性加剧…

python兴农购物网站系统—计算机毕业设计源码38256

摘 要 助农工作是当前我国全面建成小康社会的重点工作,由于我国农村地域广大,贫困人口多,区域差异大,因此,不同区域的扶贫方法也是不一样的。近年来,随着网络的普及。许多农村地区物产丰富,但由…

【解决方案】基于数据库驱动的自定义 TypeHandler 处理器

前言 笔者在最近的项目开发中,频繁地遇到了 Java 类型与 JDBC 类型之间的2个转换问题: 数据库的 varchar 类型字段,需要存储 Java 实体中的 JSON 字符串 数据库的 int 类型字段,需要存储 Java 实体中的 Enum 枚举 其实要处理也不…

数据库软题6.2-关系模式-范式

一、判断部分函数依赖(1NF有部分函数依赖) 题型:给出函数依赖集和属性,判断该关系模式属于第几范式。 求出候选码 若是候选码为属性的组合,则可能有部分函数依赖;(存在部分函数依赖&#xff0…

苹果AI重磅升级!ChatGPT正式登陆iPhone,开启智能生活新时代

苹果AI重磅升级!ChatGPT正式登陆iPhone,开启智能生活新时代 在今年的全球开发者大会(WWDC 2024)上,苹果公司引爆了科技圈——通过与OpenAI合作,苹果宣布将人工智能技术与iPhone深度融合。通过这个合作&…