HHU云计算期末复习(下)Hadoop、虚拟化技术、openstack

news2024/11/19 0:36:20

文章目录

  • 第五章 Hadoop
    • 分布式文件系统HDFS
    • 分离元数据和数据:NameNode和DataNode
    • 流水线复制
  • 第七章 虚拟化技术
    • 7.1 虚拟化技术简介
    • 7.2 虚拟机迁移
    • 7.3 网络虚拟化
  • 第八章 openstack
    • 8.1 计算服务Nova
      • RabbitMQ
    • 8.2 Swift
  • 第九章 云计算数据中心
    • 9.1 云数据中心特征
    • 9.2 网络部署(FaTree重点)
    • 9.3 绿色节能技术
    • 9.4 自动化管理
    • 9.5 容灾备份
  • 第十章 云计算核心算法
  • 第十一章 中国云计算发展概况
    • 11.1 国内发展概况
    • 11.2 国内云存储技术
    • 11.3 国产大数据库
    • 11.4 云监控技术
    • 11.5 阿里巴巴阿里云服务

所有记概念的知识点,还是要跟着书过一遍,有小标题的要记住小标题

改半开卷了,懒得写的很细了

下半部分跟着考点看就行,上半部分需要看的更多(不止考点)

这个up的一些相关文章写的很有趣,用的教材一样但是考点不一样的,有空余时间可看:知乎

第五章 Hadoop

https://chu888chu888.gitbooks.io/hadoopstudy/content/

Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构。用户可以在 Hadoop 的基础上进行分布式计算的编程,主要应用于大数据的处理。

Hadoop云计算系统Google云计算系统
Hadoop HDFSGoogle GFS
Hadoop MapReduceGoogle MapReduce
HBaseGoogle BigTable
ZooKeeperGoogle Chubby
PigGoogle Sawzall

分布式文件系统HDFS

多台计算机联网协同工作(有时也称为一个集群)就像单台系统一样解决某种问题,这样的系统我们称之为分布式系统。 分布式文件系统是分布式系统的一个子集,它们解决的问题就是数据存储。换句话说,它们是横跨在多台计算机上的存储系统。存储在分布式文件系统上的数据自动分布在不同的节点上。

分离元数据和数据:NameNode和DataNode

Hadoop的一些基本概念

  • 存储到文件系统中的每个文件都有相关联的元数据。元数据包括了文件名、i节点(inode)数、数据块位置等,而数据则是文件的实际内容

  • 在传统的文件系统里,因为文件系统不会跨越多台机器,元数据和数据存储在同一台机器上。

  • 为了构建一个分布式文件系统,让客户端在这种系统中使用简单,并且不需要知道其他客户端的活动,那么元数据需要在客户端以外维护。HDFS的设计理念是拿出一台或多台机器来保存元数据,并让剩下的机器来保存文件的内容。

  • NameNode和DataNode是HDFS的两个主要组件。其中,元数据存储在NameNode上,而数据存储在DataNode的集群上。NameNode不仅要管理存储在HDFS上内容的元数据,而且要记录一些事情,比如哪些节点是集群的一部分,某个文件有几份副本等。它还要决定当集群的节点宕机或者数据副本丢失的时候系统需要做什么。

    • NameNode
      • NameNode是Hadoop守护进程中最重点的一个,Hadoop在分布式计算与分布式存储中都采用了主/从(Master/slave)结构.分布式存储系统被称为Hadoop文件系统,或简单称为HDFS.NameNode位于HDFS的主端,它指导DataNode执行底层的IO任务.
      • 运行NameNode消耗大量的内存与IO资源.因此,为了减轻机器的负载,驻留NameNode的服务器通常不会存储用户数据或者执行MapReduce程序的计算任务.这意味着NameNode服务器不会同时是DataNode或者TaskTracker.
      • 不过NameNode的重要性也带来一个负面影响-Hadoop集群的失效.
    • DataNode
      • 每一个集群上的从节点都会驻留一个DataNode守护进程,来执行分布式文件系统的繁重工作,将HDFS数据块读取或者写入到本地文件系统的实际文件中.当希望对HDFS文件进行读写时,文件被分割为多个块**,由NameNode告知客户端每个数据块驻留在那个DataNode**.客户端直接与DataNode守护进程通信,来处理与数据块相对应的本地文件.然而DataNode会与其他DataNode进行通信,复制这些数据块以实现冗余.
    • Secondary NameNode
      • SNN是一个监测HDFS集群状态的辅助守护进程,它通常独占一台服务器,该服务器不会运行其他DataNode或者TaskTracker守护进程.SNN与NameNode的不同在于它不接收或者记录HDFS的任何实时变化.相反它与NameNode通信,感觉集群所配置的时间间隔获取HDFS元数据的快照.
      • NameNode是Hadoop集群的单一故障点,而SNN的快照可以有助于减少停机的时间并降低数据丢失的风险.然而NameNode的失效处理需要人工的干预,即手动地重新配置集群,将SNN用作主要的NameNode.
  • 存储在HDFS上的每份数据片有多份副本(replica)保存在不同的服务器上。在本质上,NameNode是HDFS的Master(主服务器),DataNode是Slave(从服务器)。

  • 拓扑结构

  • 很形象的漫画:原理漫画

流水线复制

(DataNode会与其他DataNode进行通信,复制这些数据块以实现冗余)

在 Hadoop 分布式文件系统(HDFS)中,为了提高数据的可靠性,每个数据块(block)都会在多个 DataNode 上进行复制。在这个过程中,首先会选择一台 DataNode 进行复制,然后这个 DataNode 会将数据块传输给下一个 DataNode,这样形成一个复制的“流水线”。通过这种方式,数据块可以同时在多台 DataNode 上进行复制,大大提高了数据复制的速度,也减少了 NameNode 的负载。这就是 Hadoop 的流水线复制机制。

可以将这个流水线复制机制比作一个传送带上的工人,每个工人做完自己的工作后,就将物品传给下一个工人。在这个过程中,每个工人都可以同时工作,从而提高了工作效率。

第七章 虚拟化技术

7.1 虚拟化技术简介

  • 传统的数据中心vs虚拟数据中心

    • 传统的数据中心
      • 采用了多种技术
      • 业务之间孤立
      • 网络结构复杂
    • 虚拟数据中心
      • 高速
      • 扁平
      • 虚拟化
  • 虚拟化技术简介

  • 随着云计算的发展,传统的数据中心逐渐过渡到虚拟化数据中心,即采用虚拟化技术将原来数据中心的物理资源进行抽象整合。

    • 实现资源的动态分配和调度,提高现有资源的利用率和服务可靠性
    • 提供自动化的服务开通能力,降低运维成本
    • 具有有效的安全机制和可靠性机制,满足公众客户和企业客户的安全需求
    • 方便系统升级、迁移和改造

7.2 虚拟机迁移

一个主机包含不止一个虚拟机VM

  • 虚拟机迁移

    • 是将虚拟机实例从源宿主机迁移到目标宿主机,并且在目标宿主机上能够将虚拟机运行状态恢复到其在迁移之前相同的状态,以便能够继续完成应用程序的任务
  • 步骤

  • 虚拟机迁移主要分为三个阶段:Push阶段、Stop-and-Copy阶段和Pull阶段。

    1. Push阶段(1\2\3):在此阶段,源主机会预先传输虚拟机的内存页到目标主机,尤其是不经常修改的页,以减少实际停机时间。
    2. Stop-and-Copy阶段(4):在此阶段,源主机会暂停虚拟机,将剩余的内存页复制到目标主机,并将虚拟机的状态(包括处理器状态、设备状态等)发送给目标主机。
    3. Pull阶段(5\6):在此阶段,目标主机会从源主机拉取剩余的内存页。当这些页被拉取到后,目标主机便会启动迁移的虚拟机。

    内存的迁移是虚拟机迁移过程中最具挑战的部分,因为需要在保持数据一致性的同时,最小化虚拟机的停机时间。

    实际上,虚拟机迁移过程不必同时包含上述三个阶段。例如,根据实际情况和需求,可能只包含Push阶段和Stop-and-Copy阶段,或者只包含Stop-and-Copy阶段和Pull阶段,甚至只有单个阶段。具体策略的选择取决于虚拟机的运行状态、网络环境、应用需求等因素。

7.3 网络虚拟化

  • 要求

    • 核心层网络具备超大规模的数据交换能力
    • 足够的万兆接入能力
  • 核心层网络虚拟化的优势

    • 提供虚拟机箱技术
    • 简化设备管理
    • 提高资源利用率
    • 提高交换系统的灵活性和扩展性
    • 为资源的灵活调度和动态伸缩提供支撑

第八章 openstack

Google Cloud Platform (GCP)、Amazon Web Services (AWS)、Microsoft Azure,以及OpenStack都是云计算平台。这些平台提供了各种云服务,包括虚拟化的硬件资源(如计算、存储和网络)、以及高级服务(如数据库、机器学习、大数据分析等)。他们的主要目标是帮助用户在没有自己的物理硬件或数据中心的情况下,快速搭建和运行应用。

  1. 公有云提供商:Google Cloud Platform (GCP)、Amazon Web Services (AWS)、和Microsoft Azure等都是公有云提供商。他们提供各种云服务,包括基础设施即服务 (IaaS),平台即服务 (PaaS),和软件即服务 (SaaS)。公有云提供商通常会在全球的数据中心提供这些服务,用户可以按需支付,无需自己维护物理硬件。然而,使用公有云服务可能会导致用户在某种程度上失去对基础设施的控制,尤其是在安全性和合规性方面。
  2. OpenStack:OpenStack 是一种开源的云计算平台,主要提供 IaaS(基础设施即服务)解决方案。使用 OpenStack,用户可以在自己的数据中心或者私有云环境中搭建和管理云计算平台。因此,OpenStack用户可以对基础设施有完全的控制,包括数据的存储、计算资源的分配、网络结构的设计等。然而,使用 OpenStack 需要一定的技术能力和资源来安装、配置和维护。

OpenStack 是一种开源的云计算平台,它主要提供基础设施即服务(IaaS)。OpenStack 包含一系列的组件,每个组件负责处理云环境中的不同功能。

OpenStack有三个主要的服务成员:计算服务(Nova)、存储服务(Swift)、镜像服务(Glance)

8.1 计算服务Nova

Nova:Nova 是 OpenStack 的主要组件之一,负责计算服务。Nova 提供了虚拟机实例的创建、调度、管理等功能。它支持各种虚拟化技术,包括 KVM、Xen、VMware 等,同时也支持容器技术,如 Docker。

我将进一步解释OpenStack的Nova和Swift组件的主要组成部分。

  • Nova:Nova是OpenStack的计算组件,其主要任务是提供虚拟化服务,也就是运行和管理虚拟机。Nova的主要组件包括:
    1. API Server(Nova-Api):API Server对外提供一个与云基础设施交互的接口,也是外部可用于管理基础设施的唯一组件。负责处理API请求,比如启动、暂停和停止虚拟机等。
    2. Message Queue(Rabbit MQ Server):OpenStack节点之间通过消息队列(例如RabbitMQ)使用AMQP(Advanced Message Queue Protocol)完成通信。
    3. Compute Worker(Nova-Compute):Compute Worker管理实例生命周期,通过Message Queue接收实例生命周期管理的请求,并承担操作工作。这是运行在宿主机上的服务,用于启动和终止虚拟机实例。
    4. Network Controller(Nova-Network):Network Controller处理主机的网络配置,包括IP地址分配、为项目配置VLAN、实现安全组、配置计算节点网络。
    5. Volume Workers(Nova-Volume):Volume Workers用来管理基于LVM(Logical Volume Manager)的实例卷。Volume Workers有卷的相关功能,例如新建卷、删除卷、为实例附加卷、为实例分离卷。
    6. Scheduler(Nova-Scheduler):这个服务负责决定虚拟机实例运行在哪个宿主机上,即调度策略。

假设一个用户想要通过 OpenStack API 创建一个虚拟机实例:

  • 首先,用户的请求会被发送到 nova-apinova-api 是 OpenStack 对外的接口,负责接收和解析用户的请求。
  • nova-api 接收到创建虚拟机的请求后,会将请求放入 Message Queue 中。
  • nova-scheduler 会从 Message Queue 中获取请求,根据调度策略(例如负载均衡、资源优化等),选择一个最合适的宿主机来运行这个新的虚拟机实例。
  • 选择好宿主机后,nova-scheduler 会将请求和选定的宿主机信息一起放回到 Message Queue 中。
  • nova-compute 在相应的宿主机上运行,会从 Message Queue 中获取到请求,并在宿主机上启动虚拟机实例。
  • nova-conductor 负责在整个过程中处理与数据库相关的所有请求,包括更新虚拟机的状态、记录日志等。

RabbitMQ

**AMQP(Advanced Message Queuing Protocol)**是一个面向消息的中间件的开放标准应用层协议。RabbitMQ是AMQP协议的一个开源实现。AMQP的主要目标是提供可靠的信息传递,以确保在发送者和接收者之间的消息在传输过程中不会丢失。在AMQP中,有三个关键的组件:消息、队列和交换器。以下是对这些组件的详细介绍:

  1. 消息(Message):消息是在发送者和接收者之间传递的数据。每个消息都有一个头部和一个体。头部包含消息的属性和路由信息,体包含实际要发送的数据。

  2. 队列(Queue):队列是用于存储消息的缓冲区。每个队列都有一个名字,消费者应用程序可以通过名字来获取队列中的消息。队列可以是持久的、临时的或者自动删除的:

    • 持久队列:持久队列不会因为系统重启或者应用程序终止而消失。
    • 临时队列:临时队列存储在内存中,会随着系统的关闭而消失。
    • 自动删除队列:自动删除队列会在没有消费者连接到它时自动删除。
  3. 交换器(Exchange):交换器负责接收消息并且将消息转发给队列。交换器可以根据消息的路由信息,通过路由表将消息准确且安全地转发至相应的队列。每个交换器都有一个唯一的Exchange ID,交换器可以是持久的、临时的或者自动删除的:

    • 持久交换器:持久交换器不会因为系统重启或者应用程序终止而消失。
    • 临时交换器:临时交换器存储在内存中,会随着系统的关闭而消失。
    • 自动删除交换器:自动删除交换器会在没有绑定的队列时自动删除。

AMQP 定义了三种不同类型的交换器:

  • 广播式交换器(Fanout Exchange):将所有发送到此交换器的消息路由到所有与它绑定的队列。
  • 直接式交换器(Direct Exchange):将消息路由到 Binding Key 与 Routing Key 完全匹配的队列。
  • 主题式交换器(Topic Exchange):将消息路由到 Binding Key 与 Routing Key 符合某种模式匹配的队列。

另外,AMQP 中还有一个重要的概念是绑定(Binding)。绑定是交换器和队列之间的关系,通过 Binding Key,交换器知道应该把绑定(Binding) 的消息发给哪个队列。在创建绑定时,可以为它指定一个可选的 Binding Key。交换器根据这个 key 和自身的类型来决定如何路由消息。

8.2 Swift

Swift:Swift 是 OpenStack 的对象存储组件,负责存储和检索数据。Swift 使用分布式架构,数据可以在多个磁盘、主机甚至数据中心间进行复制,从而提供高可用性和容错性。Swift 特别适用于存储和分发大量的静态数据,如虚拟机映像、照片、电子邮件

Swift提供的服务与Amazon S3相同

Swift:Swift是OpenStack的对象存储组件,其主要任务是提供大规模的分布式存储服务。Swift的主要组件包括:

  • Proxy Server:接收来自用户的读写请求,并向其他Swift服务路由这些请求。

  • Storage Server:Storage Server提供了磁盘设备上的存储服务。

    • Account Server:管理用户账户的数据,记录用户存储的容器信息。
    • Container Server:管理容器,记录容器内对象的信息。
    • Object Server:管理实际存储的对象数据。
  • Ring:是Swift中用于数据定位和分布的机制,负责维护所有存储节点的状态,并决定数据的存放位置。

  • Consistency Servers:目的是查找并解决由数据损坏和硬件故障引起的错误。

假设用户想要在 OpenStack Swift 中存储一个文件:

  • 首先,用户的存储请求会发送到 Proxy ServerProxy Server 是用户和 Swift 系统之间的接口,负责接收用户的请求。
  • Proxy Server 收到请求后,会查阅 Ring 来确定应该将文件存储在哪些 Object Server 上。Ring 是 Swift 的数据定位和分布机制,负责维护所有存储节点的状态,并决定数据的存放位置。
  • 确定存储位置后,Proxy Server 会将文件传送给相应的 Object Server 进行存储。
  • 同时,Proxy Server 也会更新 Account ServerContainer Server 的信息。Account Server 管理用户账户的数据,记录用户存储的容器信息。Container Server 管理容器,记录容器内对象的信息。

这样,当用户下一次想要访问这个文件时,Proxy Server 就可以通过查询 RingAccount Server,和 Container Server 的信息来找到这个文件,并将其发送给用户。

  • 数据一致性模型(Consistency Model)
    • 在这个模型中,数据被复制到多个节点上以增加可用性和耐久性。当对数据进行读写操作时,可以调整读取(R)和写入(W)的副本数量,以达到不同级别的数据一致性。
    • N为数据的副本总数
    • W为写操作被确认接受的副本数量
    • R为读操作的副本数量
  • 强一致性
    • R+W >N,以保证对副本的读写操作会产生交集,因为至少有一个副本是同时参与了读和写操作的,所以可以保证读到的是最新版本的数据。
  • 弱一致性
    • R+W<=N,如果读写操作的副本集合不产生交集,就可能会读到脏数据

这意味着在某些情况下,你可能会在短时间内读取到旧的或者过期的数据。但是,随着时间的推移,所有的副本最终都会达到一致的状态。这种一致性模型为 Swift 提供了高可用性和容错性,因为即使在发生故障或者网络分区的情况下,Swift 依然可以提供读写服务。然而,这种一致性模型可能不适合需要强一致性的应用。

第九章 云计算数据中心

9.1 云数据中心特征

  • 高设备利用率
    • 采用虚拟化技术进行系统和数据中心整合,优化资源利用率、简化管理
  • 绿色节能
    • 通过先进的供电和散热技术,降低数据中心的能耗
  • 自动化管理
    • 云数据中心应是24x7小时无人值守并可远程管理的。
  • 高可用性
    • 当网络扩展或升级时,网络能够正常运行,对网络的性能影响不大。

9.2 网络部署(FaTree重点)

如果说云存储架构研究的是云存储系统内部,那么云存储的网络部署研究的则是系统外部——网络的体系结构,其中最主要的研究的就是交换机和交换机/服务器之间的线路问题。

改进树结构:这篇有胖树的讲解:云存储速学,看这两篇就够了(上)

  • 还有VL2架构:更类似于网状结构

  • 递归层次结构

    • 交换机与服务器都具有数据转发的功能
    • Dcell、FiConn、BCube
  • 光交换网络

  • 无线数据中心网络

  • 软件定义网络

9.3 绿色节能技术

  • 配电系统

    • a) 高压直流配电技术(转换级数比传统的少一级)
    • b) 市电直供配电技术(只经过两级电路转换)
  • 空调系统

    • 高温回风空调系统
    • 低能耗加湿系统
    • 自然冷空调系统
  • 集装箱节能技术主要特点与设计(重点)

    • 集装箱数据中心:将服务器、网络、空调、供电等设备高密度“挤”进集装箱,集装箱(作为一个模块)组成数据中心
    • 技术
      • a)缩短送风距离:因为“挤”,所以送风距离短
      • b)提高冷通道温度:冷水机组(一种制冷设备)不用把温度降得那么低,也就不那么耗电
      • c)冷/热通道完全隔离:类似上一点的原理
      • d)隔热保温材料:涂在集装箱上,冬天内部不结露,夏天外部热量进不来
      • e)Free Cooling功能:自然冷却代替冷却系统降
    • 特点
      • 非节能技术的特点)
      • a)高密度(指的是集装箱里面的设备)
      • b)模块化(指的是集装箱)
      • c)按需快速部署(指的是集装箱)
      • d)移动便捷(指的是集装箱)
  • 数据中心节能

    • DVFS节能技术
    • 基于虚拟化的节能技术
    • 基于主机关闭/开启的节能技术
  • 名词解释PUE

    • 数据中心能源利用率
    • PUE = 数据中心总能耗 / IT 装置能耗
    • 数据中心的全部能源都用于 IT 装置,这样 PUE 的值就会接近 1。但在实际情况中,数据中心还需要用能源来进行冷却、照明等操作,所以 PUE 的值通常会大于 1。
    • 越低越好

9.4 自动化管理

  • 自动化管理特征
    • 云自动化:按需分配和收回服务器、存储、网络、应用程序
    • 全面的可视性
    • 自动的控制执行
    • 多层次的无缝集成
    • 综合与实时的报告
    • 全生命周期支持

9.5 容灾备份

  • 对比
容灾能力做法区别服务特点
数据级容灾建立异地数据系统,实时复制应用数据,出现灾难时迅速接替业务出现灾难时会中断服务
应用级容灾建立异地数据系统,可与本地应用系统互为备份,共同工作出现灾难时不间断服务
  • 技术指标
指标解释
数据恢复点目标RPO业务系统所能容忍的数据丢失量
恢复时间目标RTO所能容忍的业务停止服务的最长时间
  • 关键技术
    • 远程镜像技术
    • 快照技术
    • 基于IP的SAN的远程数据容灾备份技术
    • 数据库复制技术

第十章 云计算核心算法

  1. Paxos:Paxos 是一种解决分布式系统中的共识问题的协议。共识问题是分布式系统中的关键问题之一,它涉及到如何在没有中心协调者的情况下,使得系统中的所有节点都能就某个值达成一致。Paxos 协议可以确保即使在系统中有节点发生故障的情况下,系统中的节点也能达成共识。

  2. DHT (分布式哈希表):DHT 是一种可以在没有中心协调者的情况下,实现高效的数据查找和存储的数据结构。在 DHT 中,数据项被分配到系统中的各个节点,每个节点负责一部分数据项。当需要查找某个数据项时,可以通过哈希函数直接定位到负责该数据项的节点。DHT 的主要优点是其查找效率高,且能够适应节点的加入和离开。

    1. https://zhuanlan.zhihu.com/p/166126098
  3. Gossip:Gossip(又称为流言协议或者传播协议)是一种信息传播的协议,常用于实现在大规模分布式系统中的信息传播和节点之间的一致性。Gossip 协议的工作方式类似于人类社会中的流言传播:每个节点会定期地与其他节点交换信息,通过多次交换,信息可以快速地在所有节点中传播开来。Gossip 协议的主要优点是其能够容忍节点的故障,并且当系统规模增大时,其通信开销不会显著增加。

第十一章 中国云计算发展概况

11.1 国内发展概况

四大趋势

  • 第一,随着云计算创新水平的不断提升,产业链上中下游整合趋势更加明显。
  • 第二,国内云计算应用市场进一步发展成熟,市场空间显著扩大。
  • 第三,云计算服务发展迅速,公共云服务和大型企业、机构内部的私有云建设与运维将成为重点。
  • 第四,云计算公共化程度将进一步提升。国内云计算应用市场进一步发展与成熟,市场空间显著扩大。

11.2 国内云存储技术

  • 淘宝分布式文件系统TFS

    • Taobao File System(TFS)是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统,主要针对海量的非结构化数据,它构建在普通的Linux机器集群上,可对外提供高可靠和高并发的存储访问。

    • 淘宝提供海量小文件存储

    • 采用了高容错架构和平滑扩容

      • 1)集群容错
        • TFS可以配置主辅集群,一般主辅集群会存放在两个不同的机房。
        • 主集群提供所有功能,辅集群只提供读。
      • 2)NameServer容错
        • Namserve负责维护Block列表和DataServer与Block之间的关系。
        • NameServer和DataServer之间也会有定时的heartbeat。
      • 3)DataServer容错
        • TFS采用Block存储多份的方式来实现DataServer的容错。
        • 对于每一个写入请求,必须在所有的Block写入成功时才算成功。
        • TFS对每一个文件会记录校验CRC
    • 扁平化的数据组织结构

  • A8000 的特性

    • A8000超低功耗云存储一体机

    • 优异性能、超低功耗、便捷管理、简单通用、超高密度、全面监控、高度可靠

    • 关键技术

      • A8000低功耗主板
      • 集中式直流供电
      • 集中式散热系统

11.3 国产大数据库

阿里巴巴OceanBase(有待补充

OceanBase主要是为了解决淘宝网的大规模数据而产生的,是一个支持海量数据的高性能分布式数据库系统,达到管理数千亿条记录的规模,支持在数百TB数据上跨行跨表事务并支持SQL操作。

  • 系统特点及优势
    • 主体数据在一段时间内保持相对稳定
    • 以内存保存增删改记录极大地提高了系统写事务的性能
    • 扩充UpdateServer内存即增加了内存中容纳的修改量
    • 动态数据服务器UpdateServer写commit log并采取双机(甚至多机)热备
    • OceanBase按主键的范围查询对应着连续的磁盘读

11.4 云监控技术

cVideo云视频监控系统

  • 云监控技术系统架构和关键技术

    • 架构
      • 前端设备
      • 处理服务器集群
      • 接入服务器
      • 存储服务器集群
      • 流媒体服务器
      • 中心服务器
      • 客户端
    • 关键技术
      • 基于分布式网络设计,支持多点超远距离实时高清视频监控
      • 支持大规模、多层级的监控系统
      • 支持海量视频数据备份
      • 采用先进的视频内容智能分析技术
  • 云监控技术应用(?)

    • 1.特定人物视频检索

    • 2.区域入侵检测

      • 运动目标检测的基础上延伸出来的一种检测报警应用功能,可以自动检测出监控视频中的预设防区内所出现的运动目标,如果检测到的运动目标及其行为符合预先设定的警戒条件,则自动进行抓拍、录像以及报警等关联性动作。
    • 3.车流量统计

      • 车流量统计是在视频智能分析技术——运动目标检测的基础上延伸出来的,采用“虚拟线圈”的方式自动检测出监控视频中所出现的车辆,并统计相应车道上的车辆进出数量。
      1. 火焰检测
      • 火焰检测功能可以自动对视频图像信息进行分析判断,及时发现监控区域内的火灾苗头,以最快、最佳的方式进行告警和提供有用信息,能有效地协助消防人员处理火灾危机。

11.5 阿里巴巴阿里云服务

  • 弹性计算服务(ECS)

    • 完全管理权限
    • API接口
    • 弹性内存
    • 快照备份与恢复
    • 自定义镜像
    • 在线迁移
  • 开放存储服务OSS

    • 弹性扩展
    • 大规模并发读写
    • 图片处理优化
  • 开放结构化数据服务OTS

    • 数据的海量存储
    • 简单易用的表管理
    • 数据的管理
  • 开放数据处理服务ODPS

    • 海量运算
    • 数据安全
    • 开箱即用
  • 关系型数据库RDS

    • 安全稳定,数据可靠
    • 自动备份,管理透明
    • 性能卓越,灵活扩容

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/705187.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Android firebase google登录配置流程和app内测发布流程

googlePlay使用OAuth2.0保护账号安全&#xff0c;且与firebase相关。如果配置错误&#xff0c;会出现error code比如&#xff1a; 10&#xff1a; auth&#xff0c;如clientId不对&#xff1b; 7: 网络或墙的问题&#xff1b; 12500&#xff1a;签名问题。 正确配置流程 Relea…

【Redis】不卡壳的 Redis 学习之路:事务

本文是Redis系列第三篇&#xff0c;前两篇欢迎移步 【Redis】不卡壳的 Redis 学习之路&#xff1a;从十大数据类型开始入手_AQin1012的博客-CSDN博客关于Redis的数据类型&#xff0c;各个文章总有些小不同&#xff0c;我们这里讨论的是Redis 7.0&#xff0c;为确保准确&#x…

2.Apache Hive

Apache Hive概述 Apache Hive是一款建立在Hadoop之上的开源数据仓库系统&#xff0c;可以将存储在Hadoop文件中的结构化、半结构化数据文件映射为一张数据库表&#xff0c;基于表提供了一种类似SQL的查询模型&#xff0c;称为Hivev查询语言&#xff08;HQL&#xff09;&#xf…

SpringBoot3之GraalVM之Windows详细安装及使用教程

配置Maven环境变量 我直接使用的是IDEA plugins文件夹下的maven 新建MAVEN_HOME环境变量 Path环境变量追加 %MAVEN_HOME%\bin安装Visual Studio Community 因为GraalVM需要调用操作系统的底层工具&#xff0c;而Windows底层工具是VisualStudio&#xff0c;所以我们要先下载…

2022年12月份青少年软件编程Python等级考试试卷六级真题(含答案)

一、单选题(共25题&#xff0c;共50分) 1.数据文件“abc.txt”中包含若干个英文单词&#xff0c;如图所示&#xff1a; 读取文件“abc.txt”中数据的Python程序段如下&#xff1a; file abc.txt word_b [] for word in open(file):if word[0:1] a and len(word)>4:wo…

Flink报错大全

1.flink版本由1.13.6提升到1.15.2 maven jar依赖问题 官方因为1.15.2弃用了2.11版本的scala,jar的命名也发生改变,部分默认的2.12版本的scala不用再特声明 1.15.2版本maven依赖 <repositories><repository><id>aliyunmaven</id><name>阿里云…

构建交互式颜色选择器:介绍Gradio的ColorPicker模块和方法

❤️觉得内容不错的话&#xff0c;欢迎点赞收藏加关注&#x1f60a;&#x1f60a;&#x1f60a;&#xff0c;后续会继续输入更多优质内容❤️ &#x1f449;有问题欢迎大家加关注私戳或者评论&#xff08;包括但不限于NLP算法相关&#xff0c;linux学习相关&#xff0c;读研读博…

环二肽试剂:Cyclo(-Hyp-Gly),环二肽含有一个六元环结构,结构稳定

编辑作者|陕西新研博美生物科技有限公司​ 英文名称&#xff1a;Cyclo(-Hyp-Gly) 规格标准&#xff1a;1g、5g、10g CAS&#xff1a;N/A 分子式&#xff1a;C7H10N2O3 分子量&#xff1a;170.17Cyclo(-Hyp-Gly)结构式&#xff1a; 反应机理&#xff1a; Cyclo(-Hyp-Gly)环二肽…

【vscode设置默认浏览器为google,配置默认浏览器没有google,VS Code 报Windows找不到文件‘chrome‘】

问题描述 VS Code 报Windows 找不到‘chrome’ 项目启动ctar鼠标左键快捷打开并没有使用默认浏览器 并且自己去浏览器配置并提供完整的选项 解决方案&#xff1a; 网上有很多其他的答案不过对我都没有 最后解决是在google里配置 不是默认浏览器会有个按钮 点一下就跳转到系统…

设计模式第19讲——命令模式(Command)

目录 一、什么是命令模式 二、角色组成 三、优缺点 四、应用场景 4.1 生活场景 4.2 java场景 五、代码实现 5.0 代码结构 5.1 抽象命令&#xff08;Command&#xff09;——Command 5.2 接收者&#xff08;Receiver&#xff09;——Chef 5.3 具体命令&#xff08;Co…

第十六章、Spring AOP开发中的一个坑

坑&#xff1a;在同⼀个业务类中&#xff0c;进⾏业务⽅法间的相互调⽤&#xff0c;只有最外层的⽅法,才是加⼊了额外 功能的(内部的⽅法&#xff0c;通过普通的⽅式调⽤&#xff0c;都调⽤的是原始⽅法)。如果想让内层的⽅法也 调⽤代理对象的⽅法&#xff0c;就要实现Appicat…

如何在SQL Server中实现Ungroup操作

概要 我们经常在SQL Server中使用group by语句配合聚合函数&#xff0c;对已有的数据进行分组统计。本文主要介绍一种分组的逆向操作&#xff0c;通过一个递归公式&#xff0c;实现ungroup操作。 代码和实现 我们看一个例子&#xff0c;输入数据如下&#xff0c;我们有一张产…

【需求实现】Tensorflow2的曲线拟合(二):进度条简化

文章目录 导读普通的输出方式上下求索TensorBoard是个不错的切入点与Callback参数对应的Callback方法官方的内置Callback官方进度条简单的猜测与简单的验证拼图凑齐了&#xff01; 导读 在训练模型的过程中往往会有日志一堆一堆的困扰。我并不想知道&#xff0c;因为最后我会在…

C# Excel表列名称

168 Excel表列名称 给你一个整数 columnNumber &#xff0c;返回它在 Excel 表中相对应的列名称。 例如&#xff1a; A -> 1 B -> 2 C -> 3 … Z -> 26 AA -> 27 AB -> 28 … 示例 1&#xff1a; 输入&#xff1a;columnNumber 1 输出&#xff1a;“A”…

Unity与Android交互(4)——接入SDK

【前言】 unity接入Android SDK有两种方式&#xff0c;一种是把Unity的工程导出google project的形式进行接入&#xff0c;另一种是通过把Android的工程做成Plugins的形式进行接入。我们接入SDK基本都是将SDK作为插件的形式接入的。 对我们接入SDK的人来说&#xff0c;SDK也是…

一文了解PoseiSwap的质押系统

PoseiSwap 正在向订单簿 DEX 领域深度的布局&#xff0c;并有望成为订单簿 DEX 领域的早期开创者。

jmeter发送请求的request body乱码问题解决

JMeter的Put请求&#xff0c;响应结果中文出现乱码的解决方法 原文地址&#xff1a; http://www.taodudu.cc/news/show-808374.html?actiononClick

【云原生丶Kubernetes】从应用部署的发展看Kubernetes的前世今生

在了解Kubernetes之前&#xff0c;我们十分有必要先了解一下应用程序部署的发展历程&#xff0c;下面让我们一起来看看&#xff01; 应用部署的发展历程 我们先来看看应用程序部署的3个阶段&#xff1a;从物理机部署到虚拟机部署&#xff0c;再到容器化部署&#xff0c;他们之…

Jenkins服务器连接JMeter分布式中的test-master

Jenkins想要连接test-master就要通过代理 将下载好的agent.jar传输到test-master机器上的/usr/local&#xff08;实际上任何目录都可以&#xff09;下 然后我们在/usr/local目录下输入&#xff1a; &#xff08;这个是在Jenkins页面自己生成的命令&#xff09; java -jar ag…

SQL频率低但笔试会遇到: 触发器、索引、外键约束

一. 前言 在SQL面笔试中&#xff0c;对于表的连接方式&#xff0c;过滤条件&#xff0c;窗口函数等肯定是考察的重中之重&#xff0c;但是有一些偶尔会出现&#xff0c;频率比较低但是至少几乎会遇见一两次的题目&#xff0c;就比如触发器&#xff0c;索引和外键约束&#xff0…