云计算关键技术

news2024/11/15 0:17:51
        在云计算数据中心的构建过程中,离不开一些关键的技术,比如,虚拟化技术,分布式数据存储技术,云计算平台管理软件以及其它诸如HBase,Hadoop等相关技术。

目录

虚拟化技术 

计算虚拟化技术-KVM

分布式数据存储技术

分布式数据存储技术-HDFS

分布式数据存储-CFS

网络虚拟化技术-SDN

云计算管理平台-Openstack

云计算管理平台-VStation 

VStation与OpenStack对比

虚拟化技术 

 虚拟化分类
虚拟化技术根据虚拟对象可分成存储虚拟化、计算虚拟化、网络虚拟化等,计算虚拟化又分为系统级虚拟化、应用级虚拟化和桌面虚拟化目。在云计算实现中,计算系统虚拟化是一切建立在“云”上的服务与应用的基础。虚拟化技术目前主要应用在CPU、操作系统、服务器等多个方面,是提高服务效率的最佳解决方案。
 虚拟化优势
虚拟化是一项可将物理硬件与计算机操作系统分离的技术,能够帮助 IT 人员解决面临的诸多问题。
借助服务器虚拟化技术,我们可以获得更好的弹性与更低的成本,并可以更灵活地操作和部署应用及系统。

计算虚拟化技术-KVM

KVM虚拟化
     KVM是嵌入在Linux操作系统标准内核中的一个虚拟化模块,它能够将一个Linux标准内核转换成为一个VMM,嵌有KVM模块的Linux标准内核可以支持通过kvm tools来进行加载的GuestOS,KVM 用来模拟 CPU 的运行,但缺少了对 Network 和 I/O 的支持,而QEMU-KVM 是一个完整的模拟器,它基于 KVM 上,提供了完整的 Network 和 I/O 支持。
10 月 24 至 10 月 26 日,KVM Forum 2018 大会在英国召开。本次大会上,KVM 主要维护者 Paolo Bonzini ,介绍了 KVM 开源项目的当前进展,并统计了 2018 年全球企业对 KVM 的贡献。
其中,中国唯一入榜的腾讯云向 KVM 内核贡献了 40 个 patch,全球排名第七,其它上榜企业分别是 Linaro/ARM、IBM、Red Hat、Intel、Oracle、Google 与 AMD。
这是腾讯云第二次上榜,也标志着腾讯云连续两年成为国内贡献度最高的公有云厂商,值得注意的是,腾讯云的排名紧随 Google、名列 AMD 之前。

分布式数据存储技术

云计算的数据量往往是大于传统IT架构的,在存储层面上,传统的存储架构已经很难满足日益增长的数据存储需求。云计算架构中,通常采用分布式存储,实现更好的扩展性、更大的容量,以及更好的性能指标。
传统的数据存储
集中化存储数据
存储成为系统性能、可靠性的瓶颈
读写计算性能不足,扩展性差,冗余度低
数据规模大时无法满足需要
在数据量不大、数据扩展程度有限的场景下,传统存储设备凭借自身的冗余设计与高性能组件,基本可以满足业务需要。但并不适合云计算场景下的数据存储
分布式数据存储
运行在 多台 节点上,自动整合
整合集群内所有存储空间资源,虚拟化并对外提供文件访问服务  
更好的扩展性,更大的容量,更适合大规模数据的性能需求。因此经常出现在云计算架构中。

分布式数据存储技术-HDFS

HDFS分布式数据存储
HDFS是Hadoop的分布式文件系统
优势
保存多个副本,提供容错机制,副本丢失或宕机自动恢复,默认存3份。
可运行在廉价的机器上。
适合高吞吐率的场景,就是在某一时间内写入大量的数据。
劣势
低延时数据访问,比如毫秒级的数据存储,它是做不到的。
不适合小文件的存储 ,存放大量小文件的话,它会占用namenode的大量的内存在存储文件、
目录、块信息。而namenode的内存总是有限的。
一个文件只能一个线程写,不能多个线程同时写。
仅支持文件的追加(append),不支持文件的随机修改。

分布式数据存储-CFS

        CFS是腾讯自主研发的分布式数据存储系统
集成管理
        支持 NFS v3.0/v4.0 协议, 提供标准 POSIX 访问语义(例如强数据一致性和文件锁定),用户可以使用标准操作系统挂载命令来挂载文件系统。
自动拓展
        支持根据文件容量大小自动扩展文件系统存储容量,扩展过程不会中断请求和应用,确保独享所需的存储资源,同时减少管理的工作和麻烦。
安全可靠
        具有极高的可用性和持久性,每个存储在 CFS 实例中的文件都会在多个可用区中拥有 3 份冗余。
        CFS还可以通过 POSIX 权限严密控制对文件系统的访问,使用基础网络或 VPC网络搭配权限组来实现访问权限控制。
按需付费
        按实际用量付费且无最低消费或前期部署及后期运维费用,多个 CVM 可以通过 NFS 协议共享同一个存储空间,而无需重复购买其他的存储服务,也无需考虑缓存。
CFS优势点:
数据可靠性:提供8个9的数据可靠性,全年365天,数据宕机丢失可能的时间为0.3秒。
服务可用性:99.5% 服务等级协议的保障,无单点故障。
读写性能:水平扩展,与存储量线性相关。
扩容能力:弹性扩展,按需付费 。
集成化:支持标准的NFSv4 协议,实现无缝挂载 CVM。
成本低廉:按实际存储量付费,无最低消费和运维费用。
安全管理:支持 POSIX 权限、支持 在 VPC 或基础网络内挂载。

网络虚拟化技术-SDN

软件定义网络(Software Defined Network, SDN ) ,是Emulex网络一种新型网络创新架构,是网络虚拟化的一种实现方式,其核心技术OpenFlow通过将网络设备控制面与数据面分离开来,从而实现了网络流量的灵活控制,使网络作为管道变得更加智能。
传统IT架构中的网络,根据业务需求部署上线以后,如果业务需求发生变动,重新修改相应网络设备(路由器、交换机、防火墙)上的配置是一件非常繁琐的事情。在互联网/移动互联网瞬息万变的业务环境下,网络的高稳定与高性能还不足以满足业务需求,灵活性和敏捷性反而更为关键。 SDN所做的事是将网络设备上的控制权分离出来,由集中的控制器管理,无须依赖底层网络设备 (路由器、交换机、防火墙),屏蔽了来自底层网络设备的差异。而控制权是完全开放的,用户 可以自定义任何想实现的网络路由和传输规则策略,从而更加灵活和智能。
进行SDN改造后,无需对网络中每个节点的路由器反复进行配置,网络中的设备本身就是自动化连通的。只需要在使用时定义好简单的网络规则即可。如果你不喜欢路由器自身内置的协议,可以通过编程的方式对其进行修改,以实现更好的数据交换性能。
假如网络中有SIP、FTP、流媒体几种业务,网络的总带宽是一定的,那么如果某个时刻流媒体业务需要更多的带宽和流量,在传统网络中很难处理,在SDN改造后的网络中这很容易实现,SDN可以将流量整形、规整,临时让流媒体的“管道”更粗一些,让流媒体的带宽更大些,甚至关闭SIP和FTP的“管道”,待流媒体需求减少时再恢复原先的带宽占比。
正是因为这种业务逻辑的开放性,使得网络作为“管道”的发展空间变为无限可能。如果未来云
计算的业务应用模型可以简化为“ 云—管—端 ”,那么SDN就是 “管”这一环的重要技术支撑。

云计算管理平台-Openstack

在2010年以Apache许可证授权的自由软件和开放源代码项目,早期只有NASA贡献的Nova项目和Rackspace共享的Swift项目,到目前为止已经发展成为拥有上百个项目的综合项目计划,基础设施资源的管理平台。
Openstack平台定位是开源的用于企业部署私有云的云平台,openstack平台对外可以提供认证服务、网络服务、块存储服务、计算服务、镜像服务、对象存储服务、监控和计量服务、编排服务和面板服务等。
OpenStack的弱点:
可维护性差
配置项多
部署复杂
升级困难
容灾能力弱
        • 容灾并非第一设计目标
        • 需要借助于第三方工具实现高可用
追溯困难,无失败回滚
        • task flow支持不好
        • 模块之间的耦合仍然很高
        • 无法保证接口的事务性
性能较差
        • RPC临时创建MQ队列限制集群规模
        • DB表的设计难以支持大规模的数据

云计算管理平台-VStation 

VStation在2013年12月诞生,一个月后快速上线,后来快速生根发芽,现今大约14w行代码。
VStation架构原理:
dispatcher :一个对虚拟机任务互斥、任务入队的模块;
API :对外提供HTTP服务,负责对外接口以及任务步骤分解;整个框架通过MQ进行通信,其中API收到消息发送给MQ;
compute access :一个处于MQ和compute间的中转代理模块;
image access :一个处于MQ和image组件间的中转代理模块;
network :对虚拟机IP、MAC分配等网络管理模块;
Scheduler:在VStation平台中完成模块调度的功能;
resource :提供对虚拟机和母机的资源管理功能;
ERROR :主要负责处理任务异常模块,任务回滚等;
DEBUG :负责所有步骤,消息,参数等收集,可选择开启;
Dfw和volume:提供卷存储服务;

VStation与OpenStack对比

代码量:VStation大约数十万行,而OpenStack要数千万行;
支持集群规模:VStation支持数十万台服务器的集群规模,而OpenStack通常是数千台;
容灾:VStation支持任一模块跨机房部署容灾,而OpenStack往往需要其他开源组件支持;
运维:VStation支持消息可视化,可追溯消息扭转以及耗时等,而OpenStack需要自主开发;
人员投入:Vstation往往只需要数十人的人员投入,而OpenStack往往需要数百人;
性能:VStation可支持数万台虚拟机分钟级别的创建,而OpenStack一般支持不到100台的同
时创建。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/342123.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

基于 YAML 接口自动化测试框架设计

在设计自动化测试框架的时候,我们会经常将测试数据保存在外部的文件(如Excel、YAML、CSV),或者数据库中,实现脚本与数据解耦,方便后期维护。目前非常多的自动化测试框架采用通过Excel或者YAML文件直接编写测…

Allegro如何设置自动保存和自动保存的时间操作指导

Allegro如何设置自动保存和自动保存的时间操作指导 做PCB设计的时候,自动保存软件是一个必要的功能,Allegro同样支持设置自动保存,而且可以设置自动保存的时间。 如下图 具体操作如下 点击Setup点击User Preferences

都说高速信号过孔尽量少,高速先生却说有时候多点反而好?

作者:一博科技高速先生成员 黄刚过孔在高速领域可谓让硬件工程师,PCB设计工程师甚至仿真工程师都闻风丧胆,首先是因为它的阻抗没法像传输线一样,通过一些阻抗计算软件来得到,一般来说只能通过3D仿真来确定,…

二叉树的性质与推导及常见习题整理

目录 一、性质推导 二、常见的二叉树性质习题 1. 某二叉树共有 399 个结点,其中有 199 个度为 2 的结点,则该二叉树中的叶子结点数为()。 2.在具有 2n 个结点的完全二叉树中,叶子结点个数为(&#xff…

字母板上的路径[提取公共代码,提高复用率]

提取公共代码前言一、字母版上的路径二、贪心1、idea2、go3、代码不断拆分复用的过程总结参考文献前言 写代码,在提高效率的同时,要方便人看,这个人包括自己。大函数要拆分成一些小函数,让每个函数的宏观目的和步骤都显得清晰&am…

分享微信点餐小程序搭建步骤_微信点餐功能怎么做

线下餐饮实体店都开始摸索发展网上订餐服务。最多人选择的是入驻外卖平台,但抽成高,推广还要另买流量等问题,也让不少商家入不敷出。在这种情况下,建立自己的微信订餐小程序,做自己的私域流量是另一种捷径。那么&#…

分类模型评估:混淆矩阵、准确率、召回率、ROC

1. 混淆矩阵 在二分类问题中,混淆矩阵被用来度量模型的准确率。因为在二分类问题中单一样本的预测结果只有Yes or No,即:真或者假两种结果,所以全体样本的经二分类模型处理后,处理结果不外乎四种情况,每种…

反应-扩散方程(Reaction-diffusion system)

文章目录单组分反应-扩散方程双组分反应-扩散方程三组分和更多组分的反应-扩散方程Fishers equationKPP方程Belousov–Zhabotinsky reaction历史化学机理变体Noise-induced order数学背景Briggs–Rauscher reactionZFK equation行波解渐近解外部区域内部区域KPP-ZFK 转变Clavin…

13-PHP使用过的函数 121-130

121、bindColumn 将字段绑定到变量上 // while,foreach,list()进行结果数组的解构,解构到变量中; //!要在预处理对象上调用bindColumn函数 $stmt->bindColumn(id,$id); $stmt->bindColumn(name,$name); $stmt->bindColumn(sex,$sex); $stmt->bindColumn…

flink solt概念详解

ask是flink中的一个逻辑概念,一个任务由一个或者多个算子组合而成(多个算子构成一个任务是需要满足一定的条件才可以,有兴趣的老铁可以来了解一下 Operator Chain),为了提升任务执行的效率,可以对任务配置并行度,使任务在实际运行…

【服务器数据恢复】FreeNAS层UFS2文件系统数据恢复案例

服务器数据恢复环境: Dell存储服务器,采用esxi虚拟化系统,esxi虚拟化系统里有3台虚拟机;上层iSCSI使用FreeNAS构建,通过iSCSI方式实现FCSAN功能;FreeNAS层采用UFS2文件系统。 esxi虚拟化系统里有3台虚拟机中…

python中使用numpy包的向量矩阵相乘

一直对np的线性运算不太清晰,正好上课讲到了,做一个笔记整个理解一下 1.向量和矩阵 在numpy中,一重方括号表示的是向量vector,vector没有行列的概念。二重方括号表示矩阵matrix,有行列。 代码显示如下: …

VMware 复制已有的虚拟机并修改IP地址

第一步:关闭当前机器第二步:在VMware中右键要克隆的机器 选择管理-->克隆第三步:启动新克隆的虚拟机 修改主机名 如 hostname slave2第四步:修改克隆的虚拟机的ip地址和mac地址(注意:由于slave2是克隆出…

直流电机驱动模块开发,为电子设备提供动力之源

直流电机分为有刷直流电机和无刷直流电机两种,有刷直流电机连接上直流电就能转动,但是想要做到精准的转速和方向控制离不开电机驱动模块;无刷直流电机则必须要有驱动才能转动,直流电机驱动模块能够充分利用和有效发挥电源的能量功…

MQTT X 1.9.1 发布:资源消耗降低 80%,稳定性大幅提升

经过两个 Beta 版本迭代,近日,MQTT 5.0 客户端工具 MQTT X 正式发布了 1.9.1 稳定版本。 该版本通过大规模性能优化以及已知问题修复实现了稳定性的飞跃提升。特别是在性能方面,以接收大量消息场景为例,v1.9.1 相比于上一版本&am…

【数据结构与算法】单调队列 | 单调栈

🌠作者:阿亮joy. 🎆专栏:《数据结构与算法要啸着学》 🎇座右铭:每个优秀的人都有一段沉默的时光,那段时光是付出了很多努力却得不到结果的日子,我们把它叫做扎根 目录👉…

【Python入门第七天】Python 数字

Python 数字 Python 中有三种数字类型: intfloatcomplex 为变量赋值时,将创建数值类型的变量: 实例 x 10 # int y 6.3 # float z 2j # complex如需验证 Python 中任何对象的类型,请使用 type() 函数: 实…

计算机图形学:中点Bresenham算法画椭圆

作者:非妃是公主 专栏:《计算机图形学》 博客地址:https://blog.csdn.net/myf_666 个性签:顺境不惰,逆境不馁,以心制境,万事可成。——曾国藩 文章目录专栏推荐专栏系列文章序一、实现思路二、…

分布式-分布式事务和分布式锁

分布式事务有哪些解决方案 分布式事务 指事务的参与者、支持事务操作的服务器、存储等资源分别位于分布式系统的不同节点之上。 分布式事务就是一个业务操作,是由多个细分操作完成的,而这些细分操作又分布在不同的服务器上;事务&#xff0c…

数据库(第一天)

文档信息 文档类别正式文档文档编号数据库基础课 1.2-001版本1.2-001文档名称数据库基础课编写负责人/编写时间梁昭东/2023 年 1 月 30 日审核负责人/审核时间年 月 日批准人/批准时间年 月 日 变更记录 日期版本号变更内容修订者2023.01.30v1.2版根据实际情况增删了部分内容…