NUAA-云计算-考试

news2024/12/23 13:42:18

19级期末

问题

答案:  md格式 自己想办法看
 

# 随堂测验

#### 一、请简述GFS 的系统架构和特点。

**1. 系统架构**

- GFS将整个系统节点分为三类角色:
  - Client(客户端):Client是GFS提供给应用程序的访问接口,以库文件的形式提供。
  - Master(主服务器):Master是GFS的管理节点,在逻辑上只有一个,负责整个文件系统的管理。
  - Chunk Server (数据块服务器):Chunk Server负责具体的存储工作,数据以文件的形式储存。
- GFS的实现机制:
  - 客户端首先访问Master节点,获取交互的Chunk Server信息,然后访问 这些Chunk Server,完成数据存取工作。这种设计方法实现了控制流和 数据流的分离。
  - Client与Master之间只有控制流,而无数据流,极大地降低了Master的 负载。
  - Client与Chunk Server之间直接传输数据流,同时由于文件被分成多个 Chunk进行分布式存储,Client可以同时访问多个Chunk Server,从而 使得整个系统的I/O高度并行,系统整体性能得到提高。

**2. 特点**

- 采用中心服务器模式:
  - 可以方便的增加Chunk Server
  - Master掌握系统内所有Chunk Server的情况,方便进行负载均衡
  - 不存在元数据的一致性问题
- 不缓存数据:
  - 文件操作大部分是流式读写,不存在大量重复读写,使用Cache 对性能提高不大 
  - 由于GFS的数据在Chunk Server上以文件的形式存储,如果对某 块数据读取频繁,本地的文件系统自然会将其缓存 
  - Chunk Server上数据存取使用本地文件系统从可行性看,Cache 与实际数据的一致性维护也极其复杂 
  - 由于读取的数据量巨大,以当前的内存容量无法完全缓存
- 在用户态下实现
  - 利用POSIX编程接口存取数据降低了实现难度,提高通用性 
  - POSIX接口提供功能更丰富 
  - 用户态下有多种调试工具 
  - Master和Chunk Server都以进程方式运行,单个进程不影响整个操作系统 
  - GFS和操作系统运行在不同的空间,两者耦合性降低
- 只提供专用接口
  - 降低了实现的难度。通常与POSIX兼容的接口需要在OS内核一级 实现,而GFS是在应用层实现的
  - 可以根据应用的特点对应用提供一些特殊支持
  - 专用接口直接和Client、Master、Chunk Server交互,减少了 上下文的切换,降低了复杂度,提高了效率

#### 二、(1)   请简述 Yarn 的体系架构与组件。
        (2)   请简述 Yarn 的工作流程。

**1. Yarn的体系架构与组件**

- Yarn是master/slave架构,主进程Resource是整个集群资源仲裁中心,从进程NodeManager管理本机资源,ResourceManager和从属节点的进程NodeManager组成了Hadoop2.0的分布式数据计算框架。 

- 组件:

  - ResourceManager(RM)

    主要负责处理客户端请求对各NM上的资源进行统一调度和管理,给ApplicationMaster分配空闲的Container 运行并监控其运行状态。

  - NodeManager(NM)

    相当于ResourceManager在每台机器上的代理。定时向RM汇报本节点资源的使用情况和Container 的运行状态,它还会处理来自ApplicationMaster的Container 启动或停止请求。

  - ApplicationMaster(AM)

    YARN中每启动一个任务就会启动一个AM,它可以负责向RM申请资源,请求NM启动Container,并告诉Container做什么,,它还可以重启失败的任务。

  - Container
    container是YARN中资源的抽象,它封装了某个节点上的一定的资源(cpu、内存、磁盘、网络等),YARN中所有的应用都是在其上运行的,包括AM,Container是由AM向RM申请的,由RM中的scheduler分配给AM。

**2. Yarn的工作流程**

- (1)作业提交
- (2)任务分配
- (3)任务执行
- (4)进度和状态更新
- (5)任务完成

#### 三、请描述用 MapReduce 实现过程

**1. 实现过程**

- 第一个步骤

  对原始的数据进行分割,得到10个不同的数据分块。

- 第二个步骤

  对每一个数据分块都启动一个Map进行处理。采用桶排序的方法,每个Map中按照用户id排序分配到100个不同的桶中。

- 第三个步骤

  对于Map之后得到的中间结果,启动100个Reduce。按照用户id将Map中不同桶中的购物记录集合放置到行营的Reduce中进行处理。

**2. 相关结果**

- Mapper数量:10
- Reducer数量:100
- <key1,value1>:<第几个数据分块,对应块的购物记录>
- <key2,value2>:<用户id,对应购物记录>
- <key3,value3>:<用户id,对应购物记录>



#### 四、请写出数据对象在虚拟节点和物理节点上的分布情况

**1. 物理节点与虚拟节点对应关系**

| 物理节点 |  1   |   2   |    3     |
| :------: | :--: | :---: | :------: |
| 虚拟节点 |  V1  | V2,V4 | V3,V5,V6 |

**2.数据对象分布情况**

|  数据对象id  |  1   |  2   |  3   |  4   |  5   |  6   |  7   |  8   |  9   |  10  |  11  |  12  |
| :----------: | :--: | :--: | :--: | :--: | :--: | :--: | :--: | :--: | :--: | :--: | :--: | :--: |
| **虚拟节点** |  V1  |  V2  |  V2  |  V3  |  V1  |  V3  |  V4  |  V6  |  V5  |  V6  |  V5  |  V3  |
| **物理节点** |  1   |  2   |  2   |  3   |  1   |  3   |  2   |  3   |  3   |  3   |  3   |  3   |

#### 五、程序

**1. 程序**

```java
public static void main(String[] args) throws IOException{
    Configuration conf = new Configuration();
    Path inFile = new Path("/user/joe/mufile");
    FileSystem hdfs = FileSystem.get(conf);
    
    //写入内容
    FSDataOutputStream OutputStream = hdfs.create(inFile);
    outputStream.writeUTF("cloud computing is useful");
    outputSteram.flush();
    outputStream.close();
    
    //输出内容
    FSDataInputStream inputStream = hdfs.open(inFile);
    System.out.println("myfile:"+inputStream.readUTF());
    inputStream.close();
}
```

**2. 匹配**

|   术语    |                  具体描述                  |
| :-------: | :----------------------------------------: |
|    GAE    |       (c) 主要用于 PaaS 应用的公有云       |
|    CRM    |  (g) 在商业社会中最常使用的 SaaS 应用之一  |
|    AWS    |    (d) 用在可伸缩应用程序中的公有计算云    |
|    SLA    |   (a) 云计算中用户和提供商之间签署的协议   |
|   Azure   | (b) 必须从基于 Windows 的主机运行的公有云  |
|    EC2    |         (h) 主要用于 IaaS 的云服务         |
|    S3     |     (i) 用于分布式存储应用程序的存储云     |
| Force.com |      (e) SalesForce.com 构建的云平台       |
| vSphere/4 | (f) 将数据中心转换为云平台的商业云操作系统 |
|    XEN    |     (j) 剑桥大学开发的开源 hypervisor      |

#### 六、云计算数据中心空调系统节能技术

**1. 节能技术与原理**

- 高温回风空调系统

  根据不同水温度下的制冷和能耗,对应的出水温度(即空调回风温度)提高1°C,空调系统约节能3%。

- 低能耗加湿系统

  将纯净的水直接喷洒在多孔介质或者空气中,形成颗粒极小的水雾,由送风气流送出。整个加湿过程无需电能加热水,仅需水泵和风机能耗。

- 自然冷空调系统

  使用室外自然冷风直接带走机房的IT 设备的散热,减少了机械制冷系统中最大的压缩耗能环节,压缩机制冷系统的 EER 由 2~3.5 提高到 10~15 ,节能空间巨大。

**2. DVFS节能技术**

- 当CPU 未被完全利用时,通过降低 CPU 的供电电压和时钟频率主动降低 CPU 性能,这样可以带来立方数量级的动态能耗降低,并且不会对性能产生影响。
- DVFS节能方法能够利用因任务交互而导致的松弛时间以一个低电压、频率执行任务。

20级期中随堂测验(线下 带几张白纸):

 下一个题目

下一个题目:

 

然后还有就是  名词连线,,

20级期末: 线下 几张白纸:

凭借回忆:

简述 淘宝那个云的结构特点  就是 行列关键字+时间戳的那个    还有对应的架构.... (TFS的架构和存储机制)

MapReduce模型,简述工作原理

编程题和19级一样 

Spark  Streaming模型的特点

S3的基本概念和操作,是一个大题,给一个表:

第一个队列 a11  a12   占比百分30

第二个队列  a21  a22  a23 占比百分50

第三个队列  a31  a32  a33 占比百分40

第一小问: 是关于S3的知识问答   

第二小问: 给一个执行序列xxxx  xxx   xxxx   xxx   xxxx ,问你xx执行完以后会让谁执行,为什么?

 名词连线题

写在最后:

由于我大四跑去实习了,所以要求及格就行,所以题目不是记得很清楚, 欢迎其他小伙伴补充~

最后,姿持下互联网精神好不好啦~

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1333585.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Oracle 学习(1)

Oracle简介 Oracle是殷墟&#xff08;yīn Xu&#xff09;出土的甲骨文&#xff08;oracle bone inscriptions&#xff09;的英文翻译的第一个单词&#xff0c;在英语里是“神谕”的意思。Oracle公司成立于1977年&#xff0c;总部位于美国加州&#xff0c;是世界领先的信息管…

我在代码随想录|写代码Day-Day之总结篇

我是用笔手写的我觉得这样可以对个人记忆会更好,而且理解更深解释也更清楚 下面是手写笔记 总结部分----- 第一章 二分 二分模版 图片可能反了下不过没有关系 图形打印模版题 第二章 链表 链表基本操作和疑问 链表代码操作和解析----5大操作 删除部分 对结点的操作 反了反了…

LeetCode——1954. 收集足够苹果的最小花园周长

通过万岁&#xff01;&#xff01;&#xff01; 题目&#xff1a;这个题目比较复杂&#xff0c;就是给你一个坐标轴&#xff0c;然后让你以0,0为中心选择一个边长为整数的正方形&#xff0c;使得正方形中所有点坐标的绝对值之和要大于给定的neededApples。但是我们需要输出的是…

案例167:基于微信小程序的校园失物招领小程序

文末获取源码 开发语言&#xff1a;Java 框架&#xff1a;SSM JDK版本&#xff1a;JDK1.8 数据库&#xff1a;mysql 5.7 开发软件&#xff1a;eclipse/myeclipse/idea Maven包&#xff1a;Maven3.5.4 小程序框架&#xff1a;uniapp 小程序开发软件&#xff1a;HBuilder X 小程序…

Node.js教程-express框架

概述 Express是基于Node.js平台(建立在Node.js内置的http模块上)&#xff0c;快速、开放、极简的Web开发框架。 中文官网 http://www.expressjs.com.cn/。 Github地址&#xff1a;https://github.com/orgs/expressjs。 Express核心特性&#xff1a; 可设置中间件来响应 HTTP…

关于“Python”的核心知识点整理大全40

目录 alien_invasion.py game_functions.py 14.3.3 在外星人被消灭时更新得分 settings.py game_functions.py game_functions.py alien_invasion.py 14.3.4 将消灭的每个外星人的点数都计入得分 game_functions.py 14.3.5 提高点数 settings.py settings.py 注意…

【Java JVM】Java 实例对象的访问定位

Java 程序会通过栈上的 reference 数据来操作堆上的具体对象。 但是 reference 类型在《Java虚拟机规范》里面只规定了它是一个指向对象的引用, 并没有定义这个引用应该通过什么方式去定位, 访问到堆中对象的具体位置, 所以对象访问方式也是由虚拟机实现而定的&#xff0c;主流…

iApp最新版无服务器多功能软件库源码

无需服务器的多功能软件库源码分享&#xff0c;仅需添加一个后台应用和一个文档即可 使用教程如下&#xff1a; 在浏览器中打开理想后台地址&#xff1a;http://apps.xiaofei.run/user/ 如果没有账号&#xff0c;请注册一个免费账号。 登录账号后&#xff0c;添加一个后台应…

web架构师编辑器内容-HTML2Canvas 截图的原理

HTML2Canvas 截图的原理 目的&#xff1a;一个canvas元素&#xff0c;上面有绘制一系列的HTML节点 局限&#xff1a;canvas中没法添加具体的Html节点&#xff0c;它只是一张画布 通过canvas.getContext(‘2d’)可以拿到canvas提供的2D渲染上下文&#xff0c;然后在里面绘制形…

洛谷 P3397 地毯 刷题笔记 二维差分矩阵

P3397 地毯 - 洛谷 | 计算机科学教育新生态 (luogu.com.cn) 方法1 欺负数据小 暴力水过 #include<iostream> using namespace std; const int N1010; int a[N][N]; int main(){ int n,m; cin>>n>>m; for(int i0;i<m;i){ int x1,y1,…

基于STM32的DS1302实时时钟模块应用

DS1302是一款低功耗的实时时钟芯片&#xff0c;被广泛应用于各种电子产品中。它具有准确计时、多种时间格式表示、定时报警等功能&#xff0c;适用于记录时间、日期和闹钟。在本文中&#xff0c;我们将介绍如何在基于STM32的开发环境中使用DS1302实时时钟模块&#xff0c;并给出…

【重点!!!】【单调栈】84.柱状图中最大矩形

题目 法1&#xff1a;单调栈[原版] O(N)O(N) 必须掌握算法&#xff01;&#xff01;&#xff01; class Solution {public int largestRectangleArea(int[] heights) {int n heights.length, res 0;int[] leftMin new int[n], rightMin new int[n];Stack<Integer>…

开源项目解读 —— Self-Operating Computer Framework # 长期主义 # 价值

价值&#xff1a;生成主函数业务逻辑函数思维导图&#xff0c;帮助理解&#xff0c;PR到开源项目&#xff0c;希望帮助大家理解IPA工作原理&#xff0c;国内没有好的开源项目&#xff0c;我就来翻译分析解读&#xff0c;给大家抛砖引玉。思维导图用文心一言配合其思维导图插件实…

jar 运行清单文件MANIFEST.MF生成定义Main-Class Premain-Class IDEA maven-assembly-plugin

可运行jar文件中的启动清单文件 META-INF/MANIFEST.MF 内容自定义生成 清单文件中的 Main-Class: Premain-Class: Can-Retransform-Classes: 在maven-assembly-plugin插件中的生成配置如下, 注意命名 <archive> <manifest> <mainClass>c…

华为设备VRP系统管理

为了满足企业业务对网络的需求&#xff0c;网络设备中的系统文件需要不断进行升级。另外&#xff0c;网络设备中的配置文件也需要时常进行备份&#xff0c;以防设备故障或其他灾害给业务带来损害。在升级和备份系统文件或配置文件时&#xff0c;经常会使用FTP和TFTP来传输文件。…

浅谈Springboot默认logger函数的使用

目录 前言1. logger日志2. 补充 前言 原先写过一篇logger日志函数的总结&#xff0c;不同的引用来源&#xff1a;java常见log日志的使用方法详细解析 但是为了不引入依赖包&#xff0c;更好的直接使用&#xff0c;总结了如下博文 1. logger日志 Spring Boot使用Spring框架中…

基于阿里云服务网格流量泳道的全链路流量管理(二):宽松模式流量泳道

作者&#xff1a;尹航 在前文基于阿里云服务网格流量泳道的全链路流量管理&#xff08;一&#xff09;&#xff1a;严格模式流量泳道中&#xff0c;我们介绍了使用服务网格 ASM 的严格模式流量泳道进行全链路灰度管理的使用场景。该模式对于应用程序无任何要求&#xff0c;只需…

语法树的画法(根据文法求字符串)

目录 1.语法树的画法 2.语法树的短语 3.直接短语&#xff08;直接到根部&#xff09; 4.素短语 5.句柄 6.算符优先分析句型 1.语法树的画法 文法G[E]:E->EE | E*E | (E) | i ,字符串 ii*i 推导方式有两种最左推导和最右推导&#xff08;推导的技巧就是逐步靠近字符串…

数禾使用 Knative 加速 AI 模型服务部署丨KubeCon China 2023

作者&#xff1a;李鹏&#xff08;阿里云&#xff09;、魏文哲&#xff08;数禾科技&#xff09;&#xff0c; 此文基于 KubeCon China 2023 分享整理 摘要 AI 服务的数据、训练、推理等都需要消耗大量的计算资源以及运维成本&#xff0c;在数禾科技的金融业务场景下&#xf…

LaTex中参考文献引用

一、引用参考文献 这里我们使用的是BibTeX的引用格式&#xff0c;因此文件中应包括两个文件&#xff08;.bib-参考文献 和 .bst-文献格式&#xff09;。 有了这两个文件后&#xff0c;我们在bib文件中创建参考文献&#xff1a;&#xff08;注意&#xff0c;作者的名字是逗号前…