数据库管理-第236期 数据库一体机的价值(20240829)

news2024/11/15 10:33:25

数据库管理236期 2024-08-29

  • 数据库管理-第236期 数据库一体机的价值(20240829)
    • 1 误区
    • 2 硬件
    • 3 操作系统
    • 4 数据库
    • 总结

数据库管理-第236期 数据库一体机的价值(20240829)

作者:胖头鱼的鱼缸(尹海文)
Oracle ACE Pro: Database(Oracle与MySQL)
PostgreSQL ACE Partner
10年数据库行业经验,现主要从事数据库服务工作
拥有OCM 11g/12c/19c、MySQL 8.0 OCP、Exadata、CDP等认证
墨天轮MVP、年度墨力之星,ITPUB认证专家、专家百人团成员,OCM讲师,PolarDB开源社区技术顾问,HaloDB外聘技术顾问,OceanBase观察团成员,青学会MOP技术社区(青年数据库学习互助会)技术顾问
圈内拥有“总监”、“保安”、“国产数据库最大敌人”等称号,非著名社恐(社交恐怖分子)
公众号:胖头鱼的鱼缸;CSDN:胖头鱼的鱼缸(尹海文);墨天轮:胖头鱼的鱼缸;ITPUB:yhw1809。
除授权转载并标明出处外,均为“非法”抄袭

演示文稿1_01.png

上周DTCC,有一位网友见面,提出了一个问题:现在是否有没有必要做数据库一体机。我觉得吧,数据库一体机还是很有意义的,但是也很难。

1 误区

很多人以为,数据库一体机,就是单纯的将一大堆强大的硬件塞进一个机柜(或者较小的体积)内,以提供强劲硬件性能和足够的资源。在很多场景下(如第203期中的),客户本身的硬件或者计划采购的硬件是不满足当下或未来的数据库需求的,那么针对数据库单独立项采购更适合的数据库一体机,确实能解决不少问题。
但是在我看来,数据库一体机不仅仅是一堆强大硬件的集合,它是一个硬件、操作系统与数据库的结合,全栈融合发力才是数据库一体机最重要的价值。

2 硬件

其实关于硬件,之前的N多期也讲过硬件相关的内容,这里先借用一下数据库圈著名历史学家『司马辽太杰』洪杰今天在朋友圈的一张图:
4057ec19fc77ef90587ad014e4a3e672.jpg
这里我也想cue一下吕海波吕大,吕大在北大的课程、公众号文章以及各个大会的演讲内容,多次提到硬件层面可以做的事情,可以做到更大更广的优化的。但是说真的,现在对于客户、DBA甚至是数据库研发人员来说,很少有人关注这些了,如何在硬件的每个层面去适配优化加速。因为对于大家来说,硬件不够加硬件即可,不需要考虑更多的东西,++甚至有人觉得消耗大量的资源才NB++(源自于首席)。
回到数据库一体机,给人的第一感觉其实是体积可控并且性能强劲,那么在一体机中的每个硬件组件都必须发挥出最大化的效能。那么首先得做到硬件的可控化选择,单项硬件需要针对数据库需求进行选择优化甚至是单独设计,这样也能减少软件对硬件适配的复杂度(有点类似于iPhone);其次,诸如CPU微码、BIOS、主板芯片组、SSD主控(包含驱动)、网卡等等硬件底层的代码都需要针对数据库进行优化调整或单独设计;最后,优良的硬件设计可以支撑操作系统和数据库实现更多强大的功能(比如节点降级)。

3 操作系统

操作系统作为硬件与数据库之间的桥梁,在整个数据库一体机中是发挥了巨大作用的,其内核层需要针对硬件与数据库进行适配调整优化;各种驱动即需要能使用配套硬件也需要充分发挥其性能,也需要与内核协同;同时还要支撑软硬结合的各项功能特性。

4 数据库

数据库一体机,归根结底还是提供数据库服务能力,那么数据库需要做的就是向下与操作系统和硬件进行对接并充分利用。
对于存算分离架构的数据库,那么针对存储层还可以针对数据库物理与逻辑存储的特性设计特定的软件,充分利用内存、非易失内存、SSD的特性加速IO操作、过滤数据,以提升IO能力(这也是Oracle Exadata/ODA强大的原因)。
如果是share nothing架构,就需要充分利用网络能力,增强其性能和稳定性,支撑多节点数据交互,减少网络对性能的影响。
另一方面,如果需要利用网络中类似于RDMA的硬件特性,除了操作系统支持以外,也需要数据库软件去适配(包括但不限于驱动调用、内存和SSD与网络的数据映射等)。
回到前面硬件那节的截图和说明,数据库对于硬件底层的适配优化也是需要的,甚至是必须的,特别是需要应对高负载的数据库,任何一小点提升都能带来整体巨大提升。另一方面,硬件也不是越多越好,比如多CPU核心/Socket的协调;组件/节点也是,网络压力与全局协调都可能出现问题。

总结

数据库一体机是硬件、操作系统和数据库之间的融合,利用更少的硬件实现小体积的高性能密度。
老规矩,知道写了些啥。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2084785.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

深入探索【Hadoop】生态系统:Hive、Pig、HBase及更多关键组件(上)

🐇明明跟你说过:个人主页 🏅个人专栏:《大数据前沿:技术与应用并进》🏅 🔖行路有良友,便是天堂🔖 目录 一、引言 1、Hadoop简介 2、Hadoop生态系统的构成概览 3、…

native 添加堆栈

第一种方法 montecarloh53b getVehicleModel:default error: frameworks/native/services/surfaceflinger/Android.bp:248:1: module "surfaceflinger" variant "android_arm64_armv8-a": depends on //system/unwinding/libbacktrace:libbacktrace which …

YarnClient发送和接收请求源码解析

YarnClient发送和接收请求流程 Yarn是通过RPC协议通信的,协议类型可以通过查看RpcKind类得知,总共有三种类型: RPC_BUILTIN ((short) 1), // Used for built in calls by tests RPC_WRITABLE ((short) 2), // Use WritableRp…

CentOS 7安装和配置 NFS

前言 NFS 是 Network File System 的缩写,即网络文件系统。功能是让客户端通过网络访问不同主机上磁盘里的数据,主要用在类 Unix 系统上实现文件共享的一种方法。本例演示 CentOS 7 下安装和配置 NFS 的基本步骤。 环境说明 CentOS 7(Mini…

Agent Q介绍:具有规划和自愈能力的下一代人工智能代理的研究突破

近年来,大型语言模型(LLM)的功能已经改变了自然语言处理和理解,取得了令人瞩目的里程碑式成就。尽管取得了这些进步,大型语言模型在交互环境中仍面临巨大挑战,尤其是在需要多步骤推理的任务中,如…

变电站智能巡检机器人:构建智能化电力运维新模式

随着现代电力系统规模的不断扩大,变电站作为电力输送和分配的关键节点,面临着越来越高的运维要求。传统的人工巡检方式存在效率低、劳动强度大、安全隐患多等问题,无法满足日益复杂的电力系统需求。在此背景下,变电站智能巡检机器…

偷偷用了这10款AI写作神器,再也没加过班!

前言 [ 自2022年Chat-GPT在全球掀起AI革命浪潮,AI开始在内容的生产方式进行颠覆性改变。 其中,AI写作工具的崛起,为内容创作者打开了一个全新创作世界,无论用户在办公写作、自媒体写作还是兴趣写作,在效率方面都得到…

【数据结构】优先级队列 — 堆

文章目录 前言1. 优先级队列1.1 概念1.2 特性 2. 堆2.1 概念2.2 存储方式 3. 堆的模拟实现3.1 堆的创建3.2 堆的插入3.3 堆的删除 4. PriorityQueue4.1 注意事项4.2 构造器介绍4.3 常用方法介绍 5. 经典题型6. 结语 前言 我们之前学习过队列,它是遵循先进先出原则的…

云上Oracle 数据库本地备份部署测试

1.说明 由于运行在云上的Oracle数据库暂无本地备份,为了保障租户业务系统的可持续性以及数据安全,特此进行数据库备份本地部署并进行测试。 2.备份策略 (1)数据库数据量 SQL> select sum(bytes)/1024/1024/1024 from dba_segme…

自建电商网站整合Refersion教程

前言:   先介绍一下Refersion有啥用,如果你有一个自己的跨境电商独立站点,想找一些网红帮忙推广销售自己的商品,然后按照转化订单比例给网红支付佣金,这件事情对双方来说透明性和实时性很重要,Refersion就…

《多模态大规模语言模型基准》综述

论文链接:https://arxiv.org/pdf/2408.08632 MLLM:Multimodal Large Language Models 评估多模态大型语言模型(MLLMs)的重要性体现在以下几个方面: 1. 理解模型能力:通过评估,研究人员和开发…

攀高行为检测识别摄像机

攀高行为检测识别摄像机 是一种结合了图像识别技术和智能算法的设备,旨在监测和识别人员在高空作业中的攀高行为,及时发现潜在的安全隐患并提供预警。这种摄像机可以有效提高工作场所的安全管理水平,减少高空作业事故的发生。 攀高行为检测识…

微软CEO谈AI平台范式转移、AI发展趋势及资本市场动态

为大家整理编辑了近期微软CEO萨提亚纳德拉 (Satya Nadella)著名科技KOLBen Thompson播客采访的精华内容。 在采访中,萨提亚纳德拉 (Satya Nadella)畅谈了人工智能平台范式转移、与Open AI等合作伙伴的关系、AI未来五年的发展方向、以及资本市场的趋势。 萨提亚纳德…

VUE3生命周期钩子

生命周期 vue2的生命周期钩子 beforeCreate:开始初始化事件和生命周期,但还没有data、methods、computed、watch属性,也就是vue实例的挂载元素$el和数据对象data都为undefined,还未初始化。 created:实完成数据挂载、…

PowerBi 柱形图,数据标签无法显示在端外

如图 即使设置了“数据标签”显示“端外“,仍然不作用。 原因其实是因为Y轴的数据范围设置不当,如图,当前Y轴范围是0到自动 只需要修改为最大和最小值都是自动即可,选中0 按backspace键删除,然后,鼠标在任意…

Parade Series - 3D Modeling

FBX FBX(Filmbox)文件格式是一种广泛使用的三维模型和动画文件格式,由Autodesk开发和维护。 FBX格式支持多种3D数据类型,包括几何、材质、纹理、动画、骨骼、灯光和摄像机等;OBJ MTL OBJ文件格式是一种用于表示三维几何形状的标…

OpenAI 神秘模型「草莓」预计今秋推出,ChatGPT 将迎重大升级|TodayAI

有外媒报道指出,OpenAI 内部代号为「Strawberry(草莓)」的 AI 模型即将在今年秋季面世。这一消息引发了业内广泛关注,被认为可能会为 ChatGPT 带来今年最重要的升级。 「草莓」模型的强大能力与应用潜力 据《The Information》报…

EPLAN中绘制黑盒的具体方法

EPLAN中绘制黑盒的具体方法 对于某些电气元件没有EDZ部件库时,可以自己绘制黑盒来解决,具体方法可参考以下内容: 如下图所示,打开EPLAN软件,在项目中新建一页多线原理图, 如下图所示,点击插入----盒子/连接点/安装板--------黑盒, 设置所需的参数和属性,然后放置在图框绘制…

算法入门-深度优先搜索1

第六部分:深度优先搜索 144.二叉树的前序遍历(简单) 题目:给你二叉树的根节点 root ,返回它节点值的 前序 遍历。 示例 1: 输入:root [1,null,2,3] 输出:[1,2,3] 第一种思路&am…

AtCoder Beginner Contest 366(D~E题解)

闲来无事去vp了一下之前放假没打的比赛,感觉需要总结的也就这两题吧,a,c都是水题,b只不过是实现有一点难,并不是很难写,d是一个需要自己推的三维前缀和,e也是一种前缀和,我当时没想到…