8月《中国数据库行业分析报告》已发布,聚焦数据仓库、首发【全球数据仓库产业图谱】

news2024/11/20 12:33:23

为了帮助大家及时了解中国数据库行业发展现状、梳理当前数据库市场环境和产品生态等情况,从2022年4月起,墨天轮社区行业分析研究团队出品将持续每月为大家推出最新《中国数据库行业分析报告》,持续传播数据技术知识、努力促进技术创新与行业生态发展,目前已更至第十六期,并发布了共计122页的2022年度分析报告。

墨天轮8月《中国数据库行业分析报告》已正式发布(点击即可跳转,欢迎大家下载查阅),本期报盘点了墨天轮“中国数据库流行度排行”、新品发布、投融资等业内资讯,以此展现当前数据库市场发展前沿动态。

本期报告重点聚焦数据仓库,详细介绍其架构演进、技术原理,并盘点总结五大技术特性与六大发展趋势,首发【全球数据仓库产业图谱】,最后精选国内外典型的数据仓库产品案例介绍其原理特性,以期带领大家更加全面、深入地掌握数仓技术相关知识点与应用实践。

一、数据库排行榜及前沿动态

 本章节目录

  • 8月中国数据库流行度排名分析

2023年8月的墨天轮中国数据库流行度排行榜共286个数据库参与排名,本月排行榜前十中,头部变动加剧。其中,OceanBase 连续九个月夺魁,TiDB 排名较上月上升一位至第二名,阿里云 PolarDB 连续两个月排名持续攀升本月已至第四名。

本月排行榜中一批有潜力的产品排名较上月有所上升,在第10-50名这一赛段不少数据库势不可挡冲进赛场。诸如百度自研并开源的 OLAP 数据库 Apache Doris 排名较上月上升一位至第16名;阿里云 Hologres 是8月新增参与排名的数据库,其排名直逼前二十来到第22名;星环科技打造的分布式关系型数据库 KunDB 本月排名上升3位至第28名;北京大学王选所数据管理实验室研发的面向 RDF 知识图谱的开源原生图数据库系统 gStore 本月排名上升至第31名;贝格迈思(Bigmath)自主设计研发采用C++开发的新型智能数据库 AiSQL 产品 BigInsights ,本月排名较上月迅速攀升63名,现位列第33名等。

  • 数据库行业发展动态

报告整理了近期业内较受关注的投融资、新品发布等资讯。其中,2023年8月,财政部会同工业和信息化部研究起草了关于数据库、操作系统、通用服务器、杀毒软件、中间件、便携式计算机、台式计算机、一体式计算机、工作站等政府采购需求标准,数据库政府采购需求标准分别包括分布式数据库和集中式数据库两类。此外,星环科技自主研发的企业级交互式数据检索统计分析平台 Transwarp Scope 2.5版本发布,报告对其特性功能进行了解读;数据库初创公司 Neon 获得 4600 万美元融资;Oracle 宣布全面推出 MySQL HeatWave Lakehouse,使客户能够像查询数据库内的数据一样快速地查询对象存储中的数据。此处因篇幅所限仅截取部分图片,具体内容可查阅报告。

二、数据仓库概述及技术演进

 本章节目录

  • 数据仓库基本概述

在没有数据仓库的时代,数据分析人员需要收集、清洗、整合来自多个数据源的数据,并为每个决策支持环境做部分数据复制,过程耗时长并且准确率低。且由于系统迭代更新快,数据源通常是已经下线的旧业务系统,这为数据分析工作增添了难度。在此发展背景下,数据仓库(Data Warehouse) 应运而生。

报告第二章具体介绍了数据仓库的起源、分层架构、基本特征以及架构的演变、发展历程。数据仓库是来自一个或多个不同来源的集成数据的中央存储库,将当前和历史数据存储在一个位置,用于为整个企业的员工创建分析报告,具有面向主题、集成性、非易失性、时变性等特性。

而从1990年 Inmon 提出数据仓库概念至今,数仓的架构也经历了多次演进,已由最初的传统数仓架构——离线数仓库——离线大数据架构、Lambda 架构、Kappa 架构以及 Flink 的火热带出的流批一体架构,不断方便用户能以最自然、最小的成本完成实时计算。

此外,报告还总结了数仓从萌芽探索到全企业集成时代、企业数据集成时代、混乱时代–“数据仓库之父”间的论战、理论模型确认时代以及数据仓库产品百家争鸣时代的发展历程坐标轴,望帮助读者纵向掌握其发展脉络,具体内容可查阅报告。

  • 数据仓库技术解析

报告通过架构图展示了数据仓库的核心组件:中央数据库、ETL(提取、转换、加载)工具、元数据和访问工具,并详细解析了数据仓库的五大关键技术:查询优化器、MPP架构、向量化、列式存储和数据压缩。

查询优化器的主要目标是选择最优的执行计划,以最小化查询的执行成本,从而提高查询性能;而MPP架构可以加速对来自多个源的数据进行预处理操作,以便将数据整理成适合分析的形式;向量化可以提高数据分析的效率,故被广泛应用于数据加载、转换、数据分析、复杂查询等操作中;列式存储相比行式存储压缩率更高、读写效率更快,且能处理质量更高的数据;在数据仓库中,通常采用行和列相结合的方式进行压缩,以提高存储效率。此处仅简单罗列并截图展示了部分特性,欲了解具体内容查阅报告。

数字化转型浪潮卷起各种概念席卷而来,为帮助大家梳理区分,本章最后也介绍了数据湖、湖仓一体、智能湖仓等一些与常常易与数据仓库混淆的相关术语的概念,感兴趣的朋友可以下载报告查阅。

三、数据仓库现状及未来趋势

 本章节目录

报告第三章则从发展层面对数据仓库的现状、发展趋势进行了分析。目前中国数据仓库市场仍然存在厂商发展历史较短、市场规模较少、上云进程较美国相对滞后等问题。但中国企业的数字化场景更加丰富,数字化的需求也更加迫切。整体来看,中国数据仓库市场的发展潜力十分巨大,在未来较长时间内将经历快速增长。IDC预测,到2027年,中国数据仓库软件市场规模将达到27.3亿美元,2022-2027的5年市场年复合增长率(CAGR)为25.7%。

面对新技术的层出不穷,数据仓库未来会朝着实时分析、云原生Serverless、湖仓一体、HTAP、数智融合以及流式数仓等方向发展,报告对这六类发展趋势均进行了具体解读,此处因篇幅所限并未作详尽截图展示,大家可下载报告查阅。

最后,报告整理发布了【全球数据仓库产业图谱】,以开源与商业、中国与国外两个维度对全球数仓产品进行区分,望帮助大家深入掌握数仓产业发展,下载报告可查看高清版。

四、数据库产品典型案例分析

报告最后一章选取了国内外较为典型的数据仓库产品作为案例,介绍其核心架构、功能特性与应用实践等

其中国外产品包含弹性数据仓库 Snowflake,具备完整的SQL支持和半结构化和schema-less数据模式支持,是一种多租户、事务性、安全、高度可扩展的弹性系统;数据仓库市场的奠基者 Teradata,主要适用于构建大规模数据仓库应用程序,其已于2023年正式宣布将逐步结束在中国的直接运营;谷歌的完全托管的企业数据仓库 BigQuery 可帮助用户通过机器学习、地理空间分析和商业智能等内置功能来管理和分析数据,利用云数据仓库助力数据驱动型创新。

国内产品包含面向实时分析的现代化数据仓库 Apache Doris,是一款基于 MPP 架构的高性能、实时的分析型数据库,不仅可以支持高并发的点查询场景,也能支持高吞吐的复杂分析场景;分布式逻辑数据仓库 GBase 8a,其主要市场是商业分析和商业智能市场,可应用于政府、党委、安全敏感部门、国防、统计等拥有海量业务数据的行业;华为云企业级云分布式数据仓库服务 GaussDB(DWS) 是一种基于云基础架构和平台的在线数据处理数据库,提供即开即用、可扩展且完全托管的服务;最后介绍了星环研发的助力企业构建一站式实时数仓 ArgoDB 以及阿里云研发的一站式实时数据仓库引擎 Hologres。此处仅展示本章节中部分内容,大家可以下载报告获取更多内容。

本文仅对8月《中国数据库行业分析报告》的部分内容进行了摘录、整理,更多完整、详细内容大家可以下载报告全文了解,也欢迎各位数据行业同道交流、讨论、建言献策,我们一同见证、共同助力中国数据库产业的发展壮大!

报告全文下载地址:https://www.modb.pro/doc/116039

往期报告下载

  • 2022年4月-2023年8月中国数据库行业分析报告合辑
  • 2022年中国数据库行业年度分析报告

更多精彩内容尽在墨天轮数据社区,围绕数据人的学习成长提供一站式的全面服务,持续促进数据领域的知识传播和技术创新。添加社区墨天轮小助手(VX:modb666)可获取更多技术干货。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/961660.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

多因素认证与身份验证:分析不同类型的多因素认证方法,介绍如何在访问控制中使用身份验证以增强安全性

随着数字化时代的到来,信息安全问题变得愈发重要。在网络世界中,用户的身份往往是保护敏感数据和系统免受未经授权访问的第一道防线。单一的密码已经不再足够,多因素认证(MFA)应运而生,成为提升身份验证安全…

老白菜U盘重装系统工具

我使用的版本: 老白菜u盘启动盘制作工具_u盘启动_u盘装系统下载尽在老白菜官网 使用智能模式制作U盘启动盘 系统盘制作成功后的样子,将该U盘插入到要升级系统的电脑上,开机即可进入U盘系统。

基于Cadence Allegro无盘设计操作流程

无盘设计 1.因为过孔具有电容效应,无盘设计能最大限度保证阻抗连续性,从而减小反射与插损; 2.减缓走线压力,降低产品成本与风险; SetupConstraintsModelSpacing Models勾选Hole to line SetupUnused Pads Su…

SQL Server如何新建作业

作业: 在 SQL Server 中,作业(Job)是一组可以在预定时间自动执行的任务。可以将作业看作是一个可以在后台运行的程序或脚本。作业由一系列步骤组成,每个步骤都是一个独立的任务,可以执行诸如执行 SQL 查询…

工具分享 | PDF文档解析工具PyMuPDF

1 需求描述 最近工作需要从PDF文档中按照章节解析出对应的文本和图片(后续可能还会有表格),经过调研,找到了一个功能强大的解析工具MuPDF,对应的Python包是PyMuPDF。本篇博客记录使用它来实现具体功能。 官方文档:https://pymupd…

OPENCV实现暴力特征匹配

# -*- coding:utf-8 -*- """ 作者:794919561 日期:2023/9/1 """ import cv2 import numpy as np# 读

基于Matlab实现多个图像增强案例(附上源码+数据集)

图像增强是数字图像处理中的一个重要步骤,它通过一系列的算法和技术,使图像在视觉上更加清晰、明亮、对比度更强等,以便更好地满足人们的需求。在本文中,我们将介绍如何使用Matlab实现图像增强。 文章目录 部分源码源码数据集下载…

使用gradio库的File模块实现文件上传和生成可下载文件

使用gradio库的File模块实现文件上传和生成可下载文件 文章目录 使用gradio库的File模块实现文件上传和生成可下载文件一、背景二、介绍1、gradio简介2、File模块简介3、tempfile 模块 三、文件上传demo实战1、具体代码2、运行样例 一、背景 在用Gradio设计改写效果审核AI的de…

我的创作纪念日 —— 一年之期

前言 大家好!我是荔枝嘿~看到官方私信才发现原来时间又过去了一年,荔枝也在CSDN中创作满一年啦,虽然中间因为种种原因并没有经常输出博文哈哈,但荔枝一直在坚持创作嘿嘿。记得去年的同一时间我也同样写了一篇总结文哈哈哈&#x…

基于孔雀算法优化的BP神经网络(预测应用) - 附代码

基于孔雀算法优化的BP神经网络(预测应用) - 附代码 文章目录 基于孔雀算法优化的BP神经网络(预测应用) - 附代码1.数据介绍2.孔雀优化BP神经网络2.1 BP神经网络参数设置2.2 孔雀算法应用 4.测试结果:5.Matlab代码 摘要…

VSCode之C++ CUDA极简环境配置

背景 想要了解CUDA并行计算原理,同时针对深度学习中出现一些“不支持算子”可能需要手写的需要,配置一个简单的CUDA编译环境,探索CUDA编程的范式【注:CUDA环境配置略】。结果展示 示例代码 #include "cuda_runtime.h" …

移动基站ip的工作原理

原理介绍 Basic Principle 先说一下概念,大家在不使用 WIFI 网络的时候,使用手机通过运营商提供的网络进行上网的时候,目前都是在用户端使用私有IP,然后对外做 NAT 转换,这样的情况就导致大家统一使用一些 IP 段进行访…

rrweb录制用户的操作过程,并上传服务端

1、客户端 准备工作,需要使用到的包有rrweb(录制) rrwebPlayer(播放) pako(压缩) 1.1、录制:1.2、pako 压缩工具的使用方式 import * as rrweb from rrweblet dispose null let rr…

SSH项目集成DM达梦数据库

接上一篇文章【Mysql数据库迁移到达梦DM】,迁移完成后,做出的调整 目录 1.需要改成DM的连接数据的方式 2.启动项目报错 3.在做插入数据操作时报错 1.需要改成DM的连接数据的方式 jdbc.usernameJDYXKSBM jdbc.passwordJDYXKSBM jdbc.urljdbc:dm://lo…

五、高并发内存池--Thread Cache

五、高并发内存池–Thread Cache 5.1 Thread Cache的工作原理 thread cache是哈希桶结构,每个桶是一个按桶位置映射大小的内存块对象的自由链表。每个线程都会有一个thread cache对象,这样每个线程在这里获取对象和释放对象时都是无锁的。 每一个线程…

YOLOv5算法改进(11)— 替换主干网络之EfficientNetv2

前言:Hello大家好,我是小哥谈。EfficientNetV2是一个网络模型,旨在提供更小的模型和更快的训练速度。它是EfficientNetV1的改进版本。EfficientNetV2通过使用更小的模型参数和采用一种称为Progressive Learning的渐进学习策略来实现这一目标。…

Img标签的src地址自动拼接本地域名(localhost:8080)导致图片不显示问题

摘要:做Vueelement ui项目的时候,发现使用element ui的upload上传图片时,不显示的问题。我项目的图片是上传到七牛云,长传成功后返回存储在七牛云中的地址。后面发现是因为返回的地址是外部地址,需要完整的URL&#xf…

LVS 实现四层负载均衡项目实战--NAT模式

一、原理 就是把客户端发来的数据包的IP头的目的地址,在负载均衡器上换成其中一台RS的IP地址,转发至此RS来处理,RS处理完成后把数据交给经过负载均衡器,负载均衡器再把数据包的源IP地址改为自己的VIP,将目的地址改为客户端IP地址即可&#x…

【Linux系列】vmware虚拟机网络配置详解

非原创 原文地址[1] 首发博客地址[2] 系列文章地址[3] vmware 为我们提供了三种网络工作模式,它们分别是:Bridged(桥接模式)、NAT(网络地址转换模式)、Host-Only(仅主机模式)。 打开…

Linux:tomcat (源码包安装)(官网下载-安装-启动-配置-等等等-----从入门到入土)

介绍 Apache Tomcat软件是一个开源实现 Jakarta Servlet、Jakarta Server Pages、Jakarta Expression Language、Jakarta WebSocket、Jakarta Annotations 和 Jakarta Authentication 规范。 这些规范是Jakarta EE平台的一部分。 Apache Tomcat软件是在开放和参与式中开发的。 …