云数据库（林子雨慕课课程）

news2024/11/15 18:36:51

文章目录

    • 6.云数据库
      • 6.1 云数据库概述
      • 6.2 云数据库产品
      • 6.3 UMP系统
        • 6.3.1 UMP系统概述
        • 6.3.2 UMP系统架构
        • 6.3.3 UMP系统功能
      • 6.4 Amazon云数据库
        • 6.4.1 Amazon和云计算的渊源
        • 6.4.2 Amazon AWS
        • 6.4.3 AWS平台上的云数据库
        • 6.5 微软云数据库SQL Azure

6.云数据库

6.1 云数据库概述

  • 云计算概念：通过网络以服务的方式为用户提供非常廉价的IT资源

    image-20231009161523277

  • 云计算的八大优势

    • 按需服务

    • 随时服务

    • 通用性：满足各种不同类型的用户需求

    • 高可靠性：集群出现故障，通过备份机迅速提供服务

    • 极其廉价：只需要开通云计算服务，按照实际情况付费

    • 超大规模：云计算底层聚集大量的基础设施

    • 虚拟化技术：将底层资源统一放到资源池中去，进行统一调配和使用

      image-20231009161953122

    • 可扩展性强

  • 云数据库继承云计算相关特点

    • 非常廉价
    • 可扩展性、可靠性

  • 云数据库优点：

    • 动态可扩展
    • 高可用性：可以保证不间断服务
    • 较低的使用代价：
    • 易用性
    • 免维护特性
    • 高性能
    • 安全：有安全保障团队保障其安全性

  • 腾讯云数据库和自建数据库比较

    image-20231009162456902

  • 个性化存储需求

    • 通过云数据库满足大企业海量数据的存储需求

      image-20231009162729467

    • 通过云数据库的投入成本低，降低中小企业的数据库投入成本

      image-20231009162741557

    • 满足企业动态的存储需求

      image-20231009162801340

  • 云数据库和其他数据库的关系

    • 数据模型角度

      image-20231009162939793

    • 云数据库产品

      image-20231009163015827

    • 云数据库一部分采用SQL存储，一部分采用NoSQL存储

      image-20231009163126928

6.2 云数据库产品

服务：通过网络以服务的方式来获得

  • Amazon:提供了相关的云数据库服务

    • 亚马逊RDS:提供云上的关系型数据库
    • SimpleDB：在云中提供键值数据库
    • DynamoDB：在云中提供NoSQL数据库
    • Amazon ElastiCache:分布式内存缓存服务

  • Google:Google Cloud SQL

    image-20231009163633399

    • 谷歌还提供带JDBC和DB-API支持的传统MYSQL数据库环境

    • 谷歌Cloud SQL优势：和Google APP Engine集成的

      image-20231009163854473

  • 微软Microsoft-> Miscrosoft SQL Azure(基于关系型数据库)

    image-20231009163934715

6.3 UMP系统

6.3.1 UMP系统概述

  • UMP:Unified MYSQL Platform

    image-20231009164152746

  • UMP突出特性：

    • 低成本，高性能
    • 开源数据库

  • UMP在设计时要实现以下原则

    • 整个系统保持单一的对外访问入口

    • 消除单点故障，保持服务的高可用性（设置多个Controller）

    • 具有良好的可伸缩性，能够动态的增加、减少计算资源

    • 可以实现资源之间的相互隔离

      • 云数据库是多租户：一个服务部署在云端需要满足多个租户的需求

        image-20231009164616098

      • 多租户带来问题？

        • 可能会出现某个用户消耗的资源过多
        • 可能会影响其他用户相关的应用程序执行
6.3.2 UMP系统架构

  • UMP系统的整体架构

    image-20231009165425799

  • UMP系统中的各个角色和组件

    • Mnesia

      • 是一个分布式数据库管理系统

      • 支持事务，支持透明的数据分片，利用两阶段锁会实现分布式事务，可以线性扩展到至少50个节点

      • Mnesia的数据库模式（schema）可在运行时动态重配置

        image-20231009165845329

      • Mnesia系统的特性优良，因此阿里巴巴将其纳入UMP系统的开发框架中

    • RabbitMQ:工业级的消息队列产品

      • 通过消息队列实现各个组件之间的异步信息传递

        image-20231009165930711

      • 消息队列传递消息方式

        image-20231009170050879

    • Zookeeper:提供高效协调服务

      • 统一命名服务、状态同步服务、集群管理、分布式锁
      • 在UMP系统中Zookeeper主要发挥的三个作用
        • 作为全局的配置服务器，很多服务器需要相同的配置文件，一旦一个服务器配置文件修改，会被zookeeper监听到，并通知其他服务器修改
        • 提供分布式锁（选出一个集群的“总管”）：多个controller服务器中由zookeeper选出主管服务器
        • 监控所有MYSQL实例的正常运行：一旦监听到故障，zookeeper能够及时探测到，并启用其他备份

    • LVS Linux Virtual Server:Linux 虚拟服务器集群系统

      • UMP系统借助LVS实现集群内部的负载均衡
      • LVS集群采用IP负载均衡技术和基于内容的请求分发技术
      • 调度器是LVS集群系统的唯一入口点：调度器可以接受用户请求，并均匀分发到集群内部不同的服务器节点上去，实现负载均衡，且集群内部有服务器发生故障，其可以自动将其屏蔽
      • 整个服务器集群的结构对客户是透明的

    • Controller服务器：UMP集群的总管

      • 集群成员的管理

      • 元数据的存储

      • MYSQL实例管理

      • 故障恢复

      • 备份迁移扩容

      • Controller服务器上运行了一组Mnesia分布式数据库服务

        • 集群成员、用户的配置和状态信息、“路由表”

      • 为了避免单点故障

        image-20231009171638182

    • Web控制台：帮助用户提供系统关系界面

      image-20231009171828088

    • Proxy服务器：向用户提供访问Mysql数据库的服务

      • 使用MySQL数据库时下载客户端，连接MySQL服务器

        image-20231009172026256

    • Agent服务器：部署运行MySQL进程的机器上，用来管理每台物理机上的MySQL实例

      image-20231009172215971

    • 日志分析服务器：对整个日志进行分析

      • 分析一些较长查询的原因

        image-20231009172350149

    • 信息统计服务器：记录系统运营数据

      image-20231009172435545

    • 愚公系统：数据迁移

      • 系统允许在不停机的情况下，可以实现动态的扩容、缩容、迁移
6.3.3 UMP系统功能

  • 容灾：是云数据库必须要具备的基础功能

    • 主库和从库的状态由Zookeeper负责维护

    image-20231009172914879

    • 主库发生故障时，如何进行主从切换？

      image-20231009173138415

    • 如何进行主库的恢复

      image-20231009173347022

  • 读写分离：充分利用主从库实现用户读写操作的分离，实现负载均衡

    image-20231009173449897

  • 分库分表：UMP支持对用户透明的分库分表

    • 采用分库分表后，一个sql语句的表可能已经被分为多个子表，此时系统处理用户查询的过程如下：

      image-20231009173659515

  • 资源管理：采用资源池机制对所有资源进行管理

    image-20231009173727107

    • 具体MySQL实例的资源分配过程：

      image-20231009173959771

  • 资源调度：

    • UMP系统中有三种用户：数据量、流量都非常小；中等规模用户、数据量非常大需要进行分库分表

      image-20231009174124157

  • 资源隔离：UMP采用两种资源隔离方式

    image-20231009174215583

  • 数据安全：UMP系统中提供了非常多数据安全机制

    image-20231009174425457

6.4 Amazon云数据库

6.4.1 Amazon和云计算的渊源

  • 亚马逊和云计算的关系

    • 亚马逊开创了云计算的服务模式–把IT资源作为一种服务出租给美国中小企业

  • 亚马逊的云计算发展

    image-20231009174818903

6.4.2 Amazon AWS

  • Amazon AWS架构图

    image-20231009192308091

  • 架构图组成部分详细介绍

    • AES GLobal Insfrastructure(全球基础设施)：Amazon在全球构建多个数据中心，构成了云计算服务的基础，云计算所有应用都部署在这些基础设施之上

      • 其拓扑结构由大到小分为：Region(地区)、Availability Zone（可用区）、Edge Locations(边缘节点)

        image-20231009192724115

    • Networking

      • 提供直连服务
      • VPN方式去跟亚马逊进行连接
      • 可以在云平台专门划分一块区域作为私有云，面向某个企业提供服务
      • Route 53：提供高可用的云域名解析系统

    • Compute

      • EC2,弹性计算云，相当于虚拟机，可以在上面运行、安装应用
      • ELB,提供负载均衡器，负责申请的多个EC2服务器的负载均衡

    • Storage

      • S3:简单对象存储服务
      • EBS:弹性块存储服务，专门针对EC2虚拟机设置
      • Glacier:用于较少使用的文档存储和备份，价格便宜

    • Database:

      • SimpleDB:基于云的键值存储服务
      • DynamoDB:性能高，容错性强，支持分布式
      • MySQL,SQL Server和Oracle等数据库
      • Amazon ElastiCache:数据库缓存服务

    • App Services:

      • 企业搜索级服务
      • 队列服务
      • 工作流服务
      • 内容分发服务
      • 弹性MapReduce:将Hadoop平台部署到了亚马逊平台

    • Deloyment& Administration(部署和管理服务)

      • 自动化一键部署
      • 提供相关的访问和认证服务

  • Amazon AWS产品分类

    • 计算类服务：

      image-20231009194332382

    • 存储类

      image-20231009194412684

    • 其还提供相关的工具支持

      image-20231009194443998

  • Amazon EC2架构

    • 整体架构

      image-20231009194534018

    • EC2最大特性:允许用户根据需求动态调整运行的实例类型和数量，实现按需付费

    • EC2平台包含内容：

      • EC2实例（AMI）
      • 弹性块存储
      • 弹性负载均衡

    • 如何将平时相关的应用部署到EC2

      image-20231009194752508

    • EC2数据存储：

      image-20231009194837607

      • EC2本地存储是实例自带的磁盘空间，但它并不是持久的
        • 若本地磁盘的相关服务已停止使用或本地磁盘的服务发生故障，本地磁盘的数据会被清空掉
      • 为了解决本地存储不可靠问题，EC2推出了EBS
      • EBS通过卷来组织数据，每个EBS卷只能挂载一个EC2实例
      • EBS卷并不与实例绑定，而是与用户帐号绑定

    • Amazon S3和EBS的区别

      image-20231009195553960

    • EC2x虚拟机类型

      image-20231009195728314

    • Amazon AWS云管理平台运行过程

      • 启动服务
      • 监控相关需求
      • 服务无人用时停止
      • 清楚相关资源

      image-20231009195809007

    • Hadoop作业AWS操作流程

      image-20231009195912540

      • 消息平台向Lauch Controller发送命令，将启动信息放在SimpleDB中，分配EC2
      • 启动Hadoop操作，EC2中执行大数据分析
      • 执行过程中通过Monitor Controller对状态信息进行监控，将监控信息更新到SimpleDB中，监控过程中会动态的增加或减少系统资源
      • 所有计算结束后，通过shoutdown Controller关闭EC2虚拟机和hadoop服务
      • Billing Controller根据消耗的资源出账单
6.4.3 AWS平台上的云数据库

  • AWS平台上提供云数据服务包括

    • 关系型数据库RDS
    • 键值数据库SimpleDB
    • NoSQL数据库SimpleDB
    • 数据仓库Redshift
    • 分布式内存缓存ElastiCache

  • SimpleDB

    image-20231009200839341

  • DynamoDB

    • 避免如SimpleDB对多个键的索引

      image-20231009200950853

  • RDS

    image-20231009201011781

  • 允许建立3TB数据，带三万个DB实例

6.5 微软云数据库SQL Azure

  • SQL Azure特点：将这个应用锁涉及到的相关数据都放到一个表组里

  • 数据模型

    • 必须将一个行组里的数组存在一起例如Id=34的两行数据都会被分到一个分区中
    • 在实现事务时，针对一个分区的行组实现一个事务
    • 可以针对行组实现一个事务，但是它不支持跨分区事务

    image-20231009201301002

  • 提供数据冗余备份：一般一主二从

    image-20231009201837890

    • 例如有四台服务器，分别放置了A、B、C、D四个分区，每个分区都有一个主副本和两个从副本

      image-20231009202034913

  • SQL Azure四个组成部分

    image-20231009202117761

    image-20231009202302290

    • 全局分区管理器：维护分区映射表信息

    • 协议网关负责将用户的数据库连接请求转发到相应的主分区上

      image-20231009202546781

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1078713.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

小说推文和短剧推广真的赚钱吗以及授权渠道

小说推文和短剧推广真的赚钱吗以及授权渠道

先说授权渠道，可以通过”巨量推文“进行申请授权 小说推文和短剧推广大致分为cpa拉新 cps分成和cpm广告点击的收益 cpa拉新是通过你的引导进入后的新用户 cps分成是根据你的引导进入后并付费一定的比例分成给你 cpm广告点击是进入小程序后看了广告和点击了广告的…
阅读更多...
浅述安防视频可视化场景中TSINGSEE青犀AI智能化应用的分析

浅述安防视频可视化场景中TSINGSEE青犀AI智能化应用的分析

随着社会的不断发展和安防需求的不断提升，安防视频可视化场景已经成为人们关注的焦点。而随着人工智能、大数据等技术的不断发展，智能化应用在安防视频可视化场景中的应用也越来越多。本文将分析安防视频可视化场景中的智能化应用，主要包括以…
阅读更多...
【QT】Windows 编译并使用 QT 5.12.7源码

【QT】Windows 编译并使用 QT 5.12.7源码

1、下载 QT 源码 QT5.12.7源码下载地址: download | QT 5.12.7 选择任意一种下载即可，适用于 Windows 和 Linux 环境 ​ 这里选择下载 .zip 文件。 2、安装依赖 (1) 安装 perl perl 安装包下载地址: download | perl for windows 根据当前系统选择对应版本。…
阅读更多...
[硬件基础]-555定时器-单稳态多谐振荡器配置

[硬件基础]-555定时器-单稳态多谐振荡器配置

555定时器-单稳态多谐振荡器配置 文章目录 555定时器-单稳态多谐振荡器配置1、概述2、单稳态多谐振荡器的内部运行原理2.1 初始条件2.2 运行条件 在上一篇文章中，我们了解了555定时器的内部工作原理。 在本文中，我们将研究 555 定时器的单稳态操作模式。…
阅读更多...
STC89C51基础及项目第14天：循迹小车、跟随小车

STC89C51基础及项目第14天：循迹小车、跟随小车

1. 循迹小车基本原理和方案（269.114） 循迹模块使用 TCRT5000传感器的红外发射二极管不断发射红外线：当发射出的红外线 没有 被反射回来或被反射回来但强度不够大时，红外接收管一直处于关断状态，此时模块的输出端为 高…
阅读更多...
积分球测量作用

积分球测量作用

积分球在测量光通量上的使用可以追溯到1890年，并且现在已经成为一个多方面广泛使用的仪器。积分球是专门用于LED光色参数测量和光谱分析的仪器。LED光源以其体积小、能耗低、响应快、寿命长等诸多优点，在各个领域都得到广泛使用．积分球作为一…
阅读更多...
腾讯云学生用户专享活动汇总

腾讯云学生用户专享活动汇总

腾讯云一直致力于为广大用户提供更加优惠的云计算服务，其中也包括学生用户。为了让学生用户更好地享受腾讯云的优惠政策，腾讯云推出了多种学生用户专享的优惠活动。本文将为大家介绍腾讯云学生用户专享的优惠活动，帮助学生用户更好地了解腾讯…
阅读更多...
修炼k8s+flink+hdfs+dlink（四：k8s（二）组件）

修炼k8s+flink+hdfs+dlink（四：k8s（二）组件）

一：控制平面组件。 控制平面组件会为集群做出全局决策，比如资源的调度。 以及检测和响应集群事件，例如当不满足部署的 replicas 字段时， 要启动新的 pod）。 1. kube-apiserver。 该组件负责公开了 Kubernetes API&a…
阅读更多...
QECon大会亮相产品，全栈测试平台推荐：RunnerGo

QECon大会亮相产品，全栈测试平台推荐：RunnerGo

最近在gitee上看见一款获得GVP（最有价值开源项目）的测试平台RunnerGo，看他们官网介绍包含了接口测试、性能测试、自动化测试。知道他们有saas版可以试用，果断使用了一下，对其中场景管理和性能测试印象深刻，…
阅读更多...
智慧公厕技术解析 | 提高公厕管理效率的关键

智慧公厕技术解析 | 提高公厕管理效率的关键

智慧公厕，作为现代城市管理的重要一环，已经越来越受到各地、各行业、各单位的重视。通过引入先进的技术手段，智慧公厕不仅能够提升管理效率，还能够改善用户体验，成为城市发展、旅游景区、商业大厦等场所的亮丽名片。本…
阅读更多...
【项目】在线oj

【项目】在线oj

1. 创建项目 创建maven项目。 引入依赖&#xff08;mysql connector和servlet&#xff09;&#xff1a; <dependencies><!-- https://mvnrepository.com/artifact/mysql/mysql-connector-java --><dependency><groupId>mysql</groupId><ar…
阅读更多...
antd Form shouldUpdate 关联展示 form 数组赋值

antd Form shouldUpdate 关联展示 form 数组赋值

form 数组中嵌套数值更新 注意&#xff1a;数组是引用类型 项目需求&#xff0c;表单中包含多个产品信息&#xff0c;使用form.list 数组嵌套&#xff0c;提货方式如果是邮寄展示地址&#xff0c;如果是自提&#xff0c;需要在该条目中增加两项 代码如下&#xff1a;// An hi…
阅读更多...
提升企业管理效率！金蝶软件配置自定义域名，快速实现公网远程访问

提升企业管理效率！金蝶软件配置自定义域名，快速实现公网远程访问

文章目录 前言1. 保留自定义域名2. 域名解析3. 配置自定义域名4. 关于服务器选择以及域名备案的说明4.1 关于服务器地区的选择&#xff1a;4.2 关于自定义域名备案&#xff1a;4.3 关于域名过白名单&#xff1a; 前言 上篇文章我们讲过如何安装金蝶云星空&#xff0c;实现异地…
阅读更多...
深度学习DAY3:高斯噪声

深度学习DAY3:高斯噪声

噪声 1 噪声定义 噪声是电路或系统中不含信息量的电压或电流。在工业与自然界中&#xff0c;存在着各种干扰源&#xff08;噪声源&#xff09;&#xff0c;如大功率电力电子器件的接入、大功率用电设备的开启与断开、雷击闪电等都会使空间电场和磁场产生有序或无序的变化&…
阅读更多...
01 初识FPGA

01 初识FPGA

01 初识FPGA 一.FPGA是什么 FPGA&#xff08;Filed Programmable Gate Array&#xff09;&#xff0c;现场可编程门阵列&#xff0c;一种以数字电路为主的集成芯片&#xff0c;属于可编程逻辑器件PLD的一种。 1.1 两大巨头 Xilinx(赛灵思)Altera&#xff08;阿尔特拉&#…
阅读更多...
普通物理 A2 期末复习

普通物理 A2 期末复习

普通物理 A2 期末复习 本文首发于 2023-06-20 在 https://chenhaotian.top/study/general-physics-a2-final-review/ 总结 第十章 机械振动和电磁振荡 10-1 谐振动 弹簧振子的谐振动 位移 速度 加速度 特征量 旋转矢量法 单摆 能量 题&#xff1a;振动方程 题&#xff1a;振…
阅读更多...
XLSX.utils.sheet_to_json() 数字格式转为字符串格式

XLSX.utils.sheet_to_json() 数字格式转为字符串格式

raw 默认为true&#xff0c;设置为false就可以了 XLSX.utils.sheet_to_json(workbook.Sheets[sheet], {raw:false})
阅读更多...
B端产品需求分析的思路和方法 4大方面

B端产品需求分析的思路和方法 4大方面

需求分析对产品成功和客户满意度至关重要&#xff0c;它帮助团队深入了解用户需求&#xff0c;优化用户体验&#xff0c;减少开发中的需求变更&#xff0c;降低开发风险。如果缺乏产品分析&#xff0c;容易造成产品定位不准确&#xff0c;用户体验不佳&#xff0c;不能满足用户…
阅读更多...
canvas基础1

canvas基础1

直线 <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.0"><title>Document</title> </head> <b…
阅读更多...
(十五)VBA常用基础知识：正则表达式的使用

(十五)VBA常用基础知识：正则表达式的使用

vba正则表达式的说明 项目说明Pattern在这里写正则表达式&#xff0c;例&#xff1a;[\d]{2,4}IgnoreCase大小写区分&#xff0c;默认false&#xff1a;区分&#xff1b;true&#xff1a;不区分Globaltrue&#xff1a;全体检索&#xff1b;false&#xff1a;最小匹配Test类似p…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023