大数据之LibrA数据库系统介绍

news2024/10/5 16:20:31
简介

LibrA是一个基于开源数据库Postgres-XC开发的分布式并行关系型数据库系统。

LibrA提供了以下功能:

  • 标准SQL支持

    支持标准的SQL92/SQL2003规范,支持GBK和UTF-8字符集,支持SQL标准函数与OLAP分析函数,支持存储过程。

  • 数据库存储管理功能

    支持表空间,支持在线扩容功能。

  • 提供组件管理和数据节点HA(High Availability)

    支持数据库事务ACID特性(即原子性Atomicity、一致性Consistency、隔离性Isolation和持久性Durability),支持单节点故障恢复,支持负载均衡等。

  • 应用程序接口

    支持标准JDBC 4.0的特性和ODBC 3.5特性。

  • 安全管理

    支持SSL安全网络连接、用户权限管理、密码管理、安全审计等功能,保证数据库在管理层、应用层、系统层和网络层的安全性。

结构

LibrA采用Share-nothing架构,由多个拥有独立且互不共享CPU、内存、存储等系统资源的节点组成。在这样的系统架构中,业务数据被分散存储在多个物理节点上,数据分析任务被推送到数据所在位置就近执行,通过控制模块的协调,并行地完成大规模的数据处理工作,实现对数据处理的快速响应。

Share-nothing又称为无共享架构,和其他架构的对比请参见图1。

Share-nothing架构具备如下优点:

  • 最易于扩展的架构
    • 为商业智能BI(Business Intelligence)和数据分析的高并发、大数据量计算提供按需扩展的能力
    • 自动化的并行处理机制
  • 内部自动并行处理,无需人工分区或优化
    • 数据加载与访问方式与一般数据库相同
    • 数据分布在所有的并行节点上
    • 每个节点只处理其中一部分数据
  • 最优化的I/O处理
    • 所有的节点同时进行并行处理
    • 节点之间完全无共享,无I/O冲突
  • 增加节点实现存储、查询及加载性能的线性扩展

LibrA由多个MPPDBServer组成,LibrA结构具体如图2所示。

原理

作为关系型数据库系统,LibrA主要业务为数据的查询与存储。LibrA进行数据查询的流程如图3所示。

具体查询流程如下:

  1. 用户通过应用程序发出查询本地数据的SQL请求到Coordinator。
  2. Coordinator接收用户的SQL请求,分配服务进程,向GTM请求分配全局事务信息。
  3. GTM接收到Coordinator的请求,返回全局事务信息给Coordinator。
  4. Coordinator根据数据分布信息以及系统元信息,解析SQL为查询计划树,从查询计划树中提取可以发送到Datanode的执行步骤,封装成SQL语句或者子执行计划树,发送到Datanode执行。
  5. Datanode接收到读取任务后,查询具体Storage上的本地数据块。
  6. Datanode任务执行后,将执行结果返回给Coordinator。
  7. Coordinator将查询结果通过应用程序返回给用户。

LibrA数据存储流程与数据查询流程相近,请参考数据查询流程,此处不再介绍。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1076821.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

JAVA代码实现十大经典排序算法

JAVA代码实现十大经典排序算法 0、排序算法说明 0.1 排序的定义 对一序列对象根据某个关键字进行排序。 0.2 术语说明 稳定:如果a原本在b前面,而ab,排序之后a仍然在b的前面;不稳定:如果a原本在b的前面&#xff0c…

游戏缺少dll文件用什么修复?教你多种dll文件修复方法搞定!

在玩游戏的时候,有时候会遇到一些dll文件缺失的问题,导致游戏无法正常运行。这对于广大游戏爱好者来说无疑是一种巨大的打击。但是不要担心,我们总会有方法来解决这个问题。本文将详细介绍几种解决方法,帮助你轻松修复游戏缺少dll…

C++医院影像科PACS源码:三维重建、检查预约、胶片打印、图像处理、测量分析等

PACS连接DICOM接口的医疗器械(如CT、MRI、CR、DR、DSA、各种窥镜成像系统设备等),实现图像无损传输,实现DICOM胶片打印机回传打印功能,支持各种图像处理,可以进行窗技术调节,与登记台管理系统共…

RabbitMQ开启消息发送确认和消费手动确认

开启RabbitMQ的生产者发送消息到RabbitMQ服务端的接收确认(ACK)和消费者通过手动确认或者丢弃消费的消息。 通过配置 publisher-confirm-type: correlated 和publisher-returns: true开启生产者确认消息。 server:port: 8014spring:rabbitmq:username: …

举个栗子~Tableau 技巧(258):使用参数高亮文本表中的行

经常有数据粉咨询:如何高亮文本表中的某一行,像 Excel 那样给数据行增加底色,达到突出显示的效果。 其实,可以通过参数来实现这个需求。如下示例,在参数中键入不同的行数,视图就高亮对应的数据行。 那么&…

idea部署Tomcat web项目报错

idea部署Tomcat web项目报错 facets,a. 新增web, b. 指定好web路径, c. 右下脚创建 Artifacts 必须添加src/webapp/WEB-INF/lib, jar包到SDKs中 新建lib包文件夹,添加依赖jar包进来

【Python 零基础入门 】安装 环境配置

【Python 零基础入门 】第一课 安装 & 环境配置 Python 零基础入门 第一课 安装 & 环境配置Python 的历史Python 的前景安装了解你的操作系统Python 安装环境配置 PyCharm 安装第一个程序 Python 零基础入门 第一课 安装 & 环境配置 在当今的技术时代, 编程语言正…

QECon大会亮相产品,更合适的企业级测试平台:RunnerGo

在当今这个数字化时代,应用程序的性能至关重要。一款可靠的性能测试工具,能够为企业带来无数的好处。最近,一款名为RunnerGo的开源性能测试工具备受瞩目。本文将详细介绍RunnerGo的特点、优势以及如何解决性能测试中的痛点。 RunnerGo产品介绍…

用go获取IPv4地址,WLAN的IPv4地址,本机公网IP地址,本机空闲端口详解

文章目录 获取IPv4地址获取WLAN的IPv4地址获取本机公网IP地址获取本机空闲端口 获取IPv4地址 下面的代码会打印出本机所有的IPv4地址。这个方法可能会返回多个IP地址,因为一台机器可能有多个网络接口,每个接口可能有一个或多个IP地址。 package mainim…

Graph RAG: 知识图谱结合 LLM 的检索增强

本文为大家揭示 NebulaGraph 率先提出的 Graph RAG 方法,这种结合知识图谱、图数据库作为大模型结合私有知识系统的最新技术栈,是 LLM 系列的第三篇,加上之前的图上下文学习、Text2Cypher 这两篇文章,目前 NebulaGraph LLM 相关的…

接口测试——接口协议抓包分析与mock_L3

目录: 弱网测试mock的价值与意义mock实战练习 Rewrite 原理Map Local 原理Map Remote 原理使用curl发送请求tcpdump与wireshark的使用 1.弱网测试 什么是弱网测试? 按照移动的特性,一般应用低于 3G、弱信号的 Wifi 可以划分为弱网弱网测试…

im即时通讯系统源码/如何搭建一个自己的im即时通讯呢?

​一,思路梳理 1,首先思考群聊的实现方式。 每当一个用户使用websocket建立连接时,都会存放一个连接对象(在connectMap集合存放,键为sessionId,值为该连接对象),每次当用户发送一条…

js Learn(异步JavaScript)

在这个模块中,我们来看看异步JavaScript,为什么它很重要,以及如何使用它来有效地处理潜在的阻塞操作,比如从服务器获取资源。 指南 异步JavaScript介绍 在本文中,我们将学习同步(synchronous&#xff09…

TLR4-IN-C34-C2-COO,一种结合了TLR4抑制剂TLR4-IN-C34的连接器

TLR4-IN-C34-C2-COO是一种结合了TLR4抑制剂TLR4-IN-C34的连接器,在免疫调节中发挥重要作用,它通过抑制TLR4信号通路的传导,从而达到降低炎症反应的目的。TLR4是Toll样受体家族中的一员,它主要识别来自细菌和病毒的保守模式&#x…

零碳联盟:改变世界,实现绿色能源的共同梦想

如今,全球气候变暖已然成为我们面对的头等大事。温室气体的排放不断升高,导致地球温度上升,带来了严重的极端气候、冰川消融和海平面上升等问题。这一切都源于人类活动,特别是大规模使用化石燃料,如煤炭发电、供暖以及…

AIGC | LLM 提示工程 -- 如何向ChatGPT提问

当前生成式人工智能已经成为革命性的驱动源,正在迅速地重塑世界,将会改变我们生活方式和思考模式。LLM像一个学会了全部人类知识的通才,但这不意味每个人可以轻松驾驭这个通才。我们只有通过学习面向LLM的提示工程,才可以更好的让…

2023中考满分多少 中考总分数展示

中考总分根据地区而不同,以下是各地区总分数展示: 大部分地区的中考总分为750分,包括语文150分、数学150分、英语150分(其中听力测试30分)、思想品德与历史合卷共150分,物理与化学合卷共150分。 安徽中考…

计算机视觉--距离变换算法

计算机视觉 文章目录 计算机视觉前言距离变换 总结 前言 计算机视觉CV是人工智能一个非常重要的领域。 在本次的距离变换任务中,我们将使用D4距离度量方法来对图像进行处理。通过这次实验,我们可以更好地理解距离度量在计算机视觉中的应用。希望大家对计…

flutter sdk提供完整页面的ui

1.完整ui页面 可以借鉴一些使用案例: return Placeholder();/// A widget that draws a box that represents where other widgets will one day /// be added. /// /// This widget is useful during development to indicate that the interface is /// not yet…

总结四:数据库(MySQL)面经

文章目录 一、SQL1、介绍一下数据库分页2、介绍一下SQL中的聚合函数3、表跟表是怎么关联的?4、说一说你对外连接的了解?5、说一说数据库的左连接和右连接?6、SQL中怎么将行转成列?7、谈谈你对SQL注入的理解?8、将一张表的部分数据…