目前已经有80多万个数据库迁移到了亚马逊云科技上

news2024/11/24 17:59:34

Gartner是全球最具权威的IT研究公司,在IT研究领域可以说是无人不知、无人不晓。它每年都会发布各种IT产业评测报告,分析未来技术发展,帮助客户进行市场分析、技术选择、投资决策。最近看到Gartner发布的云数据库魔力象限报告,这也是业内最严苛的厂商综合能力评估。不出所料,亚马逊云科技又是一骑绝尘,这也是它连续八年当领导者了。

827975aaa76942a7a99bcdfc69b3e6bb.png

 

这其实是有迹可循的,因为亚马逊云科技的云数据库确实有很多领先行业的特性,例如实现极致弹性,随需而变的Serverless,都是亚马逊云科技率先提出来并实现的。值得注意的是,相比前几年的报告,亚马逊云科技的位置又“向上”,“向右”挪动了不少,也就是变得更有远见,执行力更强。

真正的极致高可用数据库

众所周知,云计算为了描述数据中心的位置,一般会分成区域(Region)和可用区(AZ,Availability Zone)。Region是为了方便用户就近接入,降低网络延迟,而Region内有多个AZ,AZ简单说就是一个/多个物理数据中心的集合,AZ之间一般相距100公里之内,有高速网络相连。

为了提高可用性,应用程序和数据库可以部署在一个Region的多个AZ中。这样一个AZ突然断电了,还有别的AZ可以工作,应用程序还能运行,这也体现了高可用性。

假如我的生意做大了,要跑到全球去做买卖,为了让全球用户都有良好的访问体验,也为了容灾(万一某个Region地震了……),应用程序和数据库也得部署到全球不同Region当中。现在问题来了,这些在不同Region中的数据库怎么保持一致呢?怎么实现一写多读呢?

亚马逊云科技很早就意识到了这个问题,在三四年前开发了一个Global Database的功能把它解决了。使用Global Database,只需要在控制台配置一下,就可以自动地在多个Region之间复制数据,保持数据几乎实时同步(延迟小于1秒)。

 

与底层硬件集成优化的数据库

现在数据库有个重要的发展方向就是和硬件紧密集成,比如TeraData的大数据一体机,在硬件,操作系统,存储等方面专门为数据分析做了优化,性能自然强大。这些专有硬件必须得单独购买才行,有没有一种方式把它变成云平台的服务,成为一种普遍的能力,让所有人都受益呢?

这里不得不提一下Amazon Nitro系统。魔法就是实现虚拟化的软件,例如VMWare,Xen,这些“大管家”软件可以把底层的硬件资源进行分割,让各个虚拟机使用。

但是既然“大管家”也是软件,那运行起来必然也有开销,也需要占用CPU、内存、硬盘,相当于自己占用了一部分物理资源,它占用得多了,各个虚拟机能分得就少了。并且虚拟机访问存储、访问网络的时候也得通过Xen这样的“大管家”中转,效率很低。

Amazon Nitro系统实现了一个非常非常轻量级的“大管家”软件,然后把其他的事情都用专有芯片给硬件化了,例如负责网络的VPC卡、远程存储EBS卡、本地存储卡、控制器卡和安全芯片等。这样一来,原来需要耗费资源的软件开销都被卸载到了硬件平台,用户可以获得全部底层物理机的资源。不仅如此,专用的Nitro卡可实现高速联网、高速EBS和I/O加速。

在云数据库中,计算节点和存储节点一般是分离的。在做数据分析的时候经常需要很复杂的查询,涉及的数据会有上千万条,还需要分组、计算、排序等,这时候MySQL就会形成临时对象,当临时对象大到一定程度,就需要形成临时的表空间,移到硬盘上来存储了。

现在通过软硬一体化,在Amazon RDS实例上挂载一张NVMe的SSD存储,它针对低延迟、高随机I/O性能和高顺序读取吞吐量进行了优化。在软件层面,让临时表空间转移到这个SSD存储卡中,计算节点直接访问本地存储,这速度立刻飞起。对于复杂查询,“优化读取”的加速效应非常明显,可以提升50%,查询越大越复杂,优化效果越好。

“优化写入”和“优化读取”需要RDS MySQL 8及以上的版本,这里正好提醒大家一下,MySQL 8已经发布快5年了,迭代了30多个版本,非常稳定,如果你还在用较低的版本,是时候做升级了!

MySQL 8性能强劲,全内存访问可以轻易跑到200万QPS,I/O极端高负载场景跑到16万QPS,此外还支持“DDL原子化”、“不可见索引”、“窗口函数”、“通用表表达式”等一系列新特性,对于新应用,直接上MySQL 8!

数据库和底层硬件紧密集成,这是云数据库发展的方向,是云服务厂商必须要修炼的内功。亚马逊云科技不仅看到了这一点,而且率先在它的云数据库中实现了软硬件的一体化,这就是它能在执行力和远见层面都排名第一的原因吧!

“优化写入”的功能是在2022年11月的亚马逊云科技re:Invent上正式发布的,仅仅3个月以后,就在中国区上线了,这是个非常快的速度,毕竟这是基于硬件层面的优化,再次展示了亚马逊云科技的执行力,相信“优化读取”和“跨Region的数据库集群”在中国区也会很快推出。

随着云计算的普及,数据库市场发生了根本改变,云原生数据库已经逐渐走向了舞台的正中央。Gartner的报告显示,2023年,整个数据库管理系统市场规模将达到1000亿美元,作为云数据库的领导者,目前已经有80多万个数据库迁移到了亚马逊云科技上,期待亚马逊云原生数据库继续创新,推出新功能,引领行业前进,更好地满足客户的需求。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/383936.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

安装包UI美化之路-nsNiuniuSkin安装包模板介绍

今天这篇文章,咱们不做功能讲解了,来介绍一下nsNiuniuSkin的几套安装包模板的UI效果和设计理念! 前言 经常有朋友会问,nsNiuniuSkin的几套模板都有些什么区别呀,我拿到模板后,如果要换成我们自己的UI方便…

Java on VS Code 2月更新|JUnit 5 并行测试与 Spring Boot 插件的过滤功能

作者:Nick Zhu - Senior Program Manager, Developer Division at Microsoft 排版:Alan Wang 大家好,欢迎来到我们的二月更新!在此博客中,我们将为您带来与 JUnit 5 并行测试相关的新功能以及用于 Spring Boot Dashboa…

【java基础】万字说明,一篇文章彻底搞懂java中的lambda表达式

文章目录lambda表达式是什么lambda表达式的语法函数式接口初次使用深入理解方法引用 :: 用法快速入门不同形式的::情况1 object::instanceMethod情况2 Class::instanceMethod情况3 Class::staticMethod对于 :: 的一些示例及其注意事项构造器引用变量作用域使用外部变量定义内部…

华为机试题:HJ96 表示数字(python)

文章目录(1)题目描述(2)Python3实现(3)知识点详解1、input():获取控制台(任意形式)的输入。输出均为字符串类型。1.1、input() 与 list(input()) 的区别、及其相互转换方…

软件成分安全分析(SCA)能力的建设与演进

**前言 ** 随着 DevSecOps 概念的逐渐推广和云原生安全概念的快速普及,研发安全和操作环境安全现在已经变成了近两年行业非常热的词汇。在研发安全和应急响应的日常工作中,每天都会收到大量的安全风险信息,由于目前在系统研发的过程中&#…

【反序列化漏洞-02】PHP反序列化漏洞实验详解

为什么要序列化百度百科上关于序列化的定义是,将对象的状态信息转换为可以存储或传输的形式(字符串)的过程。在序列化期间,对象将其当前状态写入到临时或持久性存储区(非关系型键值对形式的数据库Redis,与数组类似)。以后,可以通过…

2023新版PMP考试有哪些变化?

对于2022年很多事情也都在发生,疫情也都没有完全结束,基金会已经开始通知下一场考试了,很多人也会担心新的考纲会不会给自己带来难度,其实这次六月份的考试很多人都内心已经知道了结果,所以这里也详细说一下新考纲的改…

大数据之Apache Doris_亚秒级响应_大数据处理分析_介绍_概述---大数据之Apache Doris工作笔记0001

可以看到这个Doris的介绍 MPP是大规模并行处理 这里的clickhouse ,greenplumn也是mpp,大规模并行处理数据库 应用场景 然后我们看一下doris的架构,可以看到,这里,左侧是数据来源,可以看到这个数据来源有 OLTP数据库,比如mysql,oracle等等这种数据库,还有就是enterprise appli…

Supporting Clustering with Contrastive Learning笔记

这篇文章使用了对比学习进行了聚类,一种端到端的离线聚类模型。 主要流程 Feature model 比较主流的句向量编码器SBERT。本文主要使用两个损失函数去微调SBERT的参数。使得SBERT的生成的特征表示具有以下两个特点: 簇间距离拉大(inter-cl…

并发编程(2)—Java 对象内存布局及 synchornized 偏向锁、轻量级锁、重量级锁介绍

一、Java 对象内存布局 1、对象内存布局 一个对象在 Java 底层布局(右半部分是数组连续的地址空间),如下图示: 总共有三部分总成: 1. 对象头:储对象的元数据,如哈希码、GC 分代年龄、锁状态…

Android中的OpenGL

前面有关 Android 音视频的渲染都是使用MediaCodec进行渲染,MediaCodec也有自己的弊端比如无法进行视频的编辑处理,而视频可以 OpenGL ES来进行渲染,可以很好进行处理,比如添加滤镜等,这里介绍下 Android 中 OpenGL&am…

GrowingIO是什么?如何将GrowingIO数据导入其他系统

GrowingIO是什么?GrowingIO 是一站式数据增长引擎整体方案服务商,以数据智能分析为核心,通过构建客户数据平台,打造增长营销闭环,帮助企业提升数据驱动能力,赋能商业决策、实现业务增长。GrowingIO 专注于零…

MyBatis-Plus框架解析?

简单介绍:MyBatis-Plus(简称 MP)(由苞米豆公司开源)是一个 MyBatis 的增强工具,在 MyBatis 的基础上只做增强不做改变,为简化开发、提高效率而生。MP会内置集成部分SQL方法,可以直接…

【应用管理总结 Objective-C语言】

一、把应用管理这个案例,给大家总结一下: 1.今天,经过一天的努力,我们终于把这个九宫格应用管理案例的所有功能都实现了吧, 我们一起来,一边看效果,一边来总结, 2.大家先想一下,当我们实现这个效果,按照最终的那个版本来想一下,这个代码是什么样的一个思路, 1)…

QT打包的两种方式

QT打包的两种方式: 一个是QT5自带的windeployqt(不需要下载安装),它可以找到程序(exe)用到的所有库文件,并且都拷贝到exe程序的当前文件。此时打包的exe较小,需要和拷贝进来的文件放…

大话数据结构-图的深度优先遍历和广度优先遍历

4 图的遍历 图的遍历分为深度优先遍历和广度优先遍历两种。 4.1 深度优先遍历 深度优先遍历(Depth First Search),也称为深度优先搜索,简称DFS,深度优先遍历,是指从某一个顶点开始,按照一定的规…

抗锯齿和走样(笔记)

Artifacts(瑕疵): 比如人眼采样频率跟不上陀螺的旋转速度,这时就有可能看到陀螺在反方向旋转怎么做抗锯齿(滤波): 在采样之前先进行一个模糊操作,可以降低锯齿的明显程度 通过傅里叶…

七【SpringMVC参数绑定】

目录🚩一 . 视图传参到控制器🚩二 . SpringMVC跳转方式🚩三 SpringMVC处理json请求和响应🚩四 SpringMVC静态资源处理✅作者简介:Java-小白后端开发者 🥭公认外号:球场上的黑曼巴 🍎…

Flask自定义接口,实现mock应用

问题:后端接口已提供,前端需要依赖后端接口返回的数据进行前端页面的开发,如何配合前端? mock接口 flask自定义接口实现查询接口:查询全部、部分查询 具体看下面的代码: #导入包 from flask import Fla…

企业如何选择固定资产管理系统?

如何促进企业内部信息化的建设,实现企业的高效管理和运转,是企业管理员经常考虑的问题。尤其是企业资金占比较多的固定资产该如何高效管理,是大家经常你讨论的问题。我们都知道行政部门管理着百上千件物品,且还要定期进行盘点&…