Hadoop权威指南-读书笔记-02-关于MapReduce

news2024/11/19 20:39:57

Hadoop权威指南-读书笔记

记录一下读这本书的时候觉得有意思或者重要的点~

在这里插入图片描述
还是老样子~挑重点记录哈😁有兴趣的小伙伴可以去看看原著😊

第二章 关于MapReduce

  • MapReduce是一种可用于数据处理的编程模型。

在这里插入图片描述

  • MapReduce程序本质上是并行运行的，因此可以将大规模的数据分析任务分发给任何一个拥有足够多机器的数据中心。

在这里插入图片描述

  • MapReduce的优势在于处理大规模数据集。

Tips：第二章序言里比较重要的点都在上面啦~🤣

2.1 使用Hadoop来分析气象数据集

气象数据集这一小节举了挖掘气象数据的例子，博主把这个例子的核心摘录了出来。

  • 为了充分利用Hadoop提供的并行处理优势，我们需要将查询表示成MapReduce作业。完成某种本地端的小规模测试之后，就可以把作业部署到在集群上运行。

map和reduce

MapReduce任务过程分为两个处理阶段:map阶段和reduce阶段。

每阶段都以键值对作为输入和输出，其类型由程序员来选择。程序员还需要写两个函数:map函数和reduce 函数。

在这里插入图片描述

map阶段的输入是NCDC原始数据。我们选择文本格式作为输入格式，将数据集的每一行作为文本输入。

键是某一行起始位置相对于文件起始位置的偏移量，不过我们不需要这个信息，所以将其忽略。

我们的map函数很简单。由于我们只对年份和气温属性感兴趣，所以只需要取出这两个字段数据。

在本例中，map函数只是一个数据准备阶段，通过这种方式来准备数据，使reduce函数能够继续对它进行处理:即找出每年的最高气温。

map函数还是一个比较适合去除已损记录的地方:此处，我们筛掉缺失的、可疑的或错误的气温数据。

map函数的功能仅限于提取年份和气温信息(以粗体显示)，并将它们作为输出(气温值已用整数表示):

在这里插入图片描述

map函数的输出经由MapReduce框架处理后，最后发送到reduce函数。

这个处理过程基于键来对键-值对进行排序和分组。因此，在这一示例中，reduce函数看到的是如下输入:

在这里插入图片描述

在这里插入图片描述

下面是这个例子所体现出的比较重要的MR处理的流程图：
在这里插入图片描述

2.2 Java MapReduce

Java实现MR程序需要三样东西：一个map函数、一个reduce函数和一些用来运行作业的代码。

  • map函数由Mapper类来表示，后者声明了一个抽象的map()方法。

在这里插入图片描述

  • 这个Mapper类是一个泛型类型，它有四个形参类型，分别指定map数的输入键、输入值、输出键和输出值的类型。
  • 就现在这个例子来说，输入键是一个长整数偏移量，输入值是一行文本，输出键是年份，输出值是气温(整数)。
  • Hadoop本身提供了一套可优化网络序列化传输的基本类型，而不直接使用Java内嵌的类型。

Tips：我的这篇文章讲了为啥不用Java内嵌的序列化—Hadoop序列化详解

  • 这些类型都在 org.apache.hadoop.io包中。这里使用 LongWritable 类型(相当于Java的Long类型)、Text类型(相当于Java中的String 类型)和IntWritable类型(相当于Java的Integer类型)。
  • map()方法的输入是一个键和一个值。我们首先将包含有一行输入的Text值转换成Java的String类型，之后用substring()方法提取我们感兴趣的列。

在这里插入图片描述

  • map()方法还提供Context实例用于输出内容的写入。在这种情况下，我们将年份数据按Text对象进行读/写(因为我们把年份当作键)，将气温值封装在Intwritable 类型中。
  • 只有气温数据不缺并且所对应质量代码显示为正确的气温读数时，这些数据才会被写入输出记录中。

在这里插入图片描述

  • 同样，reduce函数也有四个形式参数类型用于指定输入和输出类型。
  • reduce函数的输入类型必须匹配map 函数的输出类型:即Text类型和Intwritable 类型。
  • 在这种情况下，reduce函数的输出类型也必须是Text和IntWritable类型，分别输出年份及其最高气温。
    在这里插入图片描述

这个最高气温是通过循环比较每个气温与当前所知最高气温所得到的。

第三部分代码负责运行MR作业。

在这里插入图片描述

  • Job对象指定作业执行规范。
  • 我们可以用它来控制整个作业的运行。

在这里插入图片描述

  • 我们在Hadoop 集群上运行这个作业时，要把代码打包成一个JAR文件(Hadoop 在集群上发布这个文件)。

在这里插入图片描述

  • 不必明确指定JAR文件的名称，在Job对象的setJarByClass()方法中传递一个类即可，Hadoop利用这个类来查找包含它的JAR文件，进而找到相关的· JAR 文件。

  • 构造 Job对象之后，需要指定输入和输出数据的路径。

  • 调用FileInputFormat类的静态方法 addInputPath()来定义输入数据的路径，这个路径可以是单个的文件、一个目录(此时，将目录下所有文件当作输入)或符合特定文件模式的一系列文件。
    在这里插入图片描述

  • 由函数名可知，可以多次调用 addInputPath()来实现多路径的输入。

  • 调用 File0utputFormat 类中的静态方法 setOutputPath()来指定输出路径(只能有一个输出路径)。

  • 这个方法指定的是reduce函数输出文件的写入目录。
    在这里插入图片描述

  • 在运行作业前该目录是不应该存在的，否则Hadoop会报错并拒绝运行作业。这种预防措施的目的是防止数据丢失(长时间运行的作业如果结果被意外覆盖，肯定是非常恼人的)。

  • 接着，通过 setMapperClass()和setReducerclass()方法指定要用的 map 类型和reduce 类型。
    在这里插入图片描述

  • setOutputKeyClass()和setOutputValueClass()方法控制reduce 函数的输出类型，并且必须和Reduce类产生的相匹配。

在这里插入图片描述

  • map数的输出类型默认情况下和reduce 函数是相同的，因此如果mapper产生出和reducer相同的类型时(如同本例所示)，不需要单独设置。
  • 但是，如果不同，则必须通过setMap0utputKeyClass()和setMapOutputValueClass()方法来设置 map 函数的输出类型。
  • waitForCompletion()方法提交作业并等待执行完成。该方法唯一的参数是一个标识，指示是否已生成详细输出。

在这里插入图片描述

  • 当标识为true(成功)时，作业会把其进度信息写到控制台。
  • waitForcompletion()方法返回一个布尔值，表示执行的成(true)败(false)，这个布尔值被转换成程序的退出代码0或者1。

运行测试

写好MapReduce作业之后，通常要拿一个小型数据集进行测试以排除代码问题。

在这里插入图片描述

  • 5个map输入记录产生5个map输出记录(由于mapper为每个合法的输入记录产生一个输出记录)，随后，分为两组的5个reduce输入记录(一组对应一个唯一的键)产生两个reduce 输出记录。
  • 输出数据写人output目录，其中每个reducer都有一个输出文件。
  • 我们例子中的作业只有一个 reducer，所以只能找到一个名为part-r-00000的文件:

在这里插入图片描述

2.3 横向扩展

  • MapReduce作业(job)是客户端需要执行的一个工作单元:它包括输入数据、MapReduce程序和配置信息。
  • Hadoop将作业分成若干个任务(task)来执行，其中包括两类任务:map任务和reduce任务。
  • 这些任务运行在集群的节点上，并通过YARN进行调度。
  • 如果一个任务失败，它将在另一个不同的节点上自动重新调度运行。

❤❤❤❤❤ 分片重点：

  • Hadoop将 MapReduce 的输入数据划分成等长的小数据块，称为输入分片(input split)或简称“分片”。

在这里插入图片描述

  • Hadoop为每个分片构建一个map任务，并由该任务来运行用户自定义的map 函数从而处理分片中的每条记录。

  • 拥有许多分片，意味着处理每个分片所需要的时间少于处理整个输入数据所花的时间。

  • 因此，如果我们并行处理每个分片，且每个分片数据比较小，那么整个处理过程将获得更好的负载平衡，因为一台较快的计算机能够处理的数据分片比一台较慢的计算机更多，且成一定的比例。即使使用相同的机器，失败的进程或其他并发运行的作业能够实现满意的负载平衡，并且随着分片被切分得更细，负载平衡的质量会更高。

  • 另一方面，如果分片切分得太小，那么管理分片的总时间和构建map任务的总时间将决定作业的整个执行时间。

  • 对于大多数作业来说，一个合理的分片大小趋向于HDFS的一个块的大小，默认是128MB，不过可以针对集群调整这个默认值(对所有新建的文件)，或在每个文件创建时指定。

❤❤❤❤❤ 数据本地化重点：

在这里插入图片描述

  • Hadoop在存储有输入数据(HDFS中的数据)的节点上运行map任务，可以获得最佳性能，因为它无需使用宝贵的集群带宽资源。这就是所谓的“数据本地化优化”(data locality optimization)。

在这里插入图片描述

  • 但是，有时对于一个 map 任务的输入分片来说存储该分片的HDFS数据块复本的所有节点可能正在运行其他map任务，此时作业调度需要从某一数据块所在的机架中的一个节点上寻找一个空闲的 map 槽(slot)来运行该map任务分片。

在这里插入图片描述

  • 仅仅在非常偶然的情况下(该情况基本上不会发生)，会使用其他机架中的节点运行该map任务，这将导致机架与机架之间的网络传输。图2-2显示了这三种可能性。
  • 现在我们应该清楚为什么最佳分片的大小应该与块大小相同:因为它是确保可以存储在单个节点上的最大输入块的大小。
  • 如果分片跨越两个数据块，那么对于任何一个HDFS节点，基本上都不可能同时存储这两个数据块，因此分片中的部分数据需要通过网络传输到map任务运行的节点。与使用本地数据运行整个map任务相比，这种方法显然效率更低。
  • map任务将其输出写入本地硬盘，而非HDFS。这是为什么?
  • 因为map的输出是中间结果:该中间结果由reduce任务处理后才产生最终输出结果，而且一旦作业完成，map的输出结果就可以删除。
  • 因此，如果把它存储在HDFS中并实现备份，难免有些小题大做。
  • 如果运行map任务的节点在将map中间结果传送给reduce 任务之前失败，Hadoop将在另一个节点上重新运行这个map任务以再次构建 map 中间结果。

reduce任务并不具备数据本地化的优势，单个reduce任务的输入通常来自于所有mapper的输出。

在本例中，我们仅有一个reduce任务，其输入是所有map任务的输出。

因此，排过序的 map 输出需通过网络传输发送到运行reduce任务的节点。

数据在reduce端合并，然后由用户定义的reduce 函数处理。reduce 的输出通常存储在 HDFS中以实现可靠存储。

在这里插入图片描述

如第3章所述，对于reduce输出的每个HDFS块，第一个复本存储在本地节点上，其他复本出于可靠性考虑存储在其他机架的节点中。

因此，将reduce的输出写入 HDFS 确实需要占用网络带宽，但这与正常的 HDFS 管线写入的消耗一样。

❤❤❤❤❤ 数据分区重点：

  • reduce 任务的数量并非由输入数据的大小决定，相反是独立指定的。

  • 如果有好多个reduce任务，每个map任务就会针对输出进行分区(partition)，即为每个reduce任务建一个分区。

在这里插入图片描述

  • 每个分区有许多键(及其对应的值)，但每个键对应的键-值对记录都在同一分区中。
  • 分区可由用户定义的分区函数控制，但通常用默认的 partitioner 通过哈希函数来分区，很高效。

在这里插入图片描述
一般情况下，多个reduce任务的数据流如图2-4所示。

  • 该图清楚地表明了为什么map任务和reduce任务之间的数据流称为shuffle(混洗)，因为每个reduce 任务的输入都来自许多map任务。
  • shuffle一般比图中所示的更复杂，而且调整混洗参数对作业总执行时间的影响非常大，详情参见7.3节。
  • 最后，当数据处理可以完全并行(即无需混洗时)，可能会出现无reduce任务的情况(示例参见8.2.2节)。

在这里插入图片描述

  • 在这种情况下，唯一的非本地节点数据传输是map任务将结果写人HDFS(参见图2-5)。

❤❤❤❤❤ combiner函数重点：

集群上的可用带宽限制了MapReduce作业的数量，因此尽量避免map和reduce任务之间的数据传输是有利的。

Hadoop允许用户针对map任务的输出指定一个combiner(就像 mapper和reducer 一样)，combiner 函数的输出作为reduce 函数的输入。

由于combiner属于优化方案，所以Hadoop无法确定要对一个指定的map任务输出记录调用多少combiner(如果需要)。

换而言之，不管调用combiner 多少次，0次、1次或多次，reducer的输出结果都是一样的。

书里给了一个非常棒的示例，讲解了combiner函数是如何做到—尽量避免map和reduce任务之间的数据传输~

eg：
第一个map的输出：
在这里插入图片描述

第二个map的输出：

在这里插入图片描述

reduce被调用时，输入如下：
在这里插入图片描述
因为25为该列数据中最大的，所以它的输出如下：

在这里插入图片描述

但其实我们可以像使用reduce函数那样，使用combiner找出每个map任务输出结果中的最高气温。

如此一来，reduce函数调用时将被传入以下数据:

在这里插入图片描述
传输的数据量就会少很多~😂

reduce输出的结果和以前一样。

在这里插入图片描述

但并非所有场合都适用类似这种优化。

例如，如果我们计算平均气温，就不能用求平均函数mean作为我们的combiner函数，因为

在这里插入图片描述

这里的场景—combiner函数不能取代reduce函数。为什么呢?
我们仍然需要reduce 函数来处理不同map输出中具有相同键的记录。

但combiner函数能帮助减少mapper和reducer 之间的数据传输量，因此，单纯就这点而言，在MapReduce 作业中是否使用cobiner函数还是值得斟酌的。

仅供学习使用~

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1899799.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

bert-base-chinese模型离线使用案例

bert-base-chinese模型离线使用案例

import torch import torch.nn as nn from transformers import BertModel, BertTokenizer# 通过torch.hub(pytorch中专注于迁移学的工具)获得已经训练好的bert-base-chinese模型 # model torch.hub.load(huggingface/pytorch-transformers, model, bert-base-chinese) model…
阅读更多...
Vivado FFT IP核使用

Vivado FFT IP核使用

1. 今日摸鱼任务 学习Vivado FFT IP核的使用 Vivado_FFT IP核 使用详解_vivado fft ip核-CSDN博客 这篇写的很详细啦 简单做一点笔记进行记录 2. FFT IP核 xfft_0 ff (.aclk(aclk), // input wire aclk.aresetn(aresetn)…
阅读更多...
Oracle Database 23ai新特性：增加聚合函数对INTERVAL数据类型支持

Oracle Database 23ai新特性：增加聚合函数对INTERVAL数据类型支持

在Oracle早期的版本，聚合函数和分析函数MIN/MAX 就支持了INTERVAL 数据类型。但是，当我们使用SUM或AVG函数对INTERVAL 数据类型进行运算时，就会报错。 随着Oracle Database 23ai 的发布，增加了 AVG 以及 SUM 函数对INTERVAL 数据…
阅读更多...
SQL 汇总各个部门当前员工的title类型的分配数目

SQL 汇总各个部门当前员工的title类型的分配数目

系列文章目录 文章目录 系列文章目录前言 前言 前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站，这篇文章男女通用，看懂了就去分享给你的码吧。 描述 有一个部门表…
阅读更多...
Python实现ABC人工蜂群优化算法优化卷积神经网络分类模型(CNN分类算法)项目实战

Python实现ABC人工蜂群优化算法优化卷积神经网络分类模型(CNN分类算法)项目实战

说明：这是一个机器学习实战项目（附带数据代码文档视频讲解），如需数据代码文档视频讲解可以直接到文章最后获取。 1.项目背景 人工蜂群算法(Artificial Bee Colony, ABC)是由Karaboga于2005年提出的一种新颖的基于群智能的全局优化…
阅读更多...
每日一更 EFK日志分析系统

每日一更 EFK日志分析系统

需要docker和docker-compose环境 下面时docker-compose.yaml文件 [rootnode1 docker-EFK]# cat docker-compose.yaml version: 3.3services:elasticsearch:image: "docker.elastic.co/elasticsearch/elasticsearch:7.17.5"container_name: elasticsearchrestart: …
阅读更多...
【python】PyQt5可视化开发，如何设计鼠标显示的形状？

【python】PyQt5可视化开发，如何设计鼠标显示的形状？

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯，先赞后看哦~🎈🎈 🏆 作者简介：景天科技苑 🏆《头衔》：大厂架构师，华为云开发者社区专家博主，…
阅读更多...
Java 面向对象编程（OOP）的四大特征

Java 面向对象编程（OOP）的四大特征

Java 面向对象编程（OOP）的四大特征 1、抽象2、继承3、 封装4、多态性 💖The Begin💖点点关注，收藏不迷路💖 在Java编程中，面向对象编程（OOP）是一个核心概念。OOP的四大基…
阅读更多...
Cgi上传文件 注意事项

Cgi上传文件 注意事项

//核心代码 ofstream outfile("/opt/software/" file.getFilename(), ios::out | ios::binary); outfile << file.getData(); //错误方式&#xff1a;outfile << file.getData() <<endl; outfile.close(); 参考博客&#xff1a; https://blog.cs…
阅读更多...
设计模式探索：代理模式

设计模式探索：代理模式

1. 什么是代理模式 定义 代理模式是一种结构型设计模式&#xff0c;通过为其他对象提供一种代理以控制对这个对象的访问。代理对象在客户端和实际对象之间起到中介作用&#xff0c;可以在不改变真实对象的情况下增强或控制对真实对象的访问。 目的 代理模式的主要目的是隐…
阅读更多...
基于深度学习的软件漏洞检测模型在现实数据集上的表现

基于深度学习的软件漏洞检测模型在现实数据集上的表现

软件漏洞对日常软件系统的影响令人担忧。尽管已经提出了基于深度学习模型的漏洞检测方法&#xff0c;但这些模型的可靠性仍然是一个重大问题。先前的评估报告这些模型具有高达99%的召回率/F1分数&#xff0c;但研究发现&#xff0c;这些模型在实际应用场景下的表现并不佳&#…
阅读更多...
【Python系列】数字的bool值

【Python系列】数字的bool值

&#x1f49d;&#x1f49d;&#x1f49d;欢迎来到我的博客&#xff0c;很高兴能够在这里和您见面&#xff01;希望您在这里可以感受到一份轻松愉快的氛围&#xff0c;不仅可以获得有趣的内容和知识&#xff0c;也可以畅所欲言、分享您的想法和见解。 推荐:kwan 的首页,持续学…
阅读更多...
【Qwen2部署实战】Ollama上的Qwen2-7B：一键部署大型语言模型指南

【Qwen2部署实战】Ollama上的Qwen2-7B：一键部署大型语言模型指南

系列篇章&#x1f4a5; No.文章1【Qwen部署实战】探索Qwen-7B-Chat&#xff1a;阿里云大型语言模型的对话实践2【Qwen2部署实战】Qwen2初体验&#xff1a;用Transformers打造智能聊天机器人3【Qwen2部署实战】探索Qwen2-7B&#xff1a;通过FastApi框架实现API的部署与调用4【Q…
阅读更多...
Java | Leetcode Java题解之第218题天际线问题

Java | Leetcode Java题解之第218题天际线问题

题目&#xff1a; 题解&#xff1a; class Solution {public List<List<Integer>> getSkyline(int[][] buildings) {PriorityQueue<int[]> pq new PriorityQueue<int[]>((a, b) -> b[1] - a[1]);List<Integer> boundaries new ArrayList&l…
阅读更多...
FIND_IN_SET使用案例--[sql语句根据多ids筛选出对应数据]

FIND_IN_SET使用案例--[sql语句根据多ids筛选出对应数据]

一 FIND_IN_SET select id,system_ids from intellect_client_info where FIND_IN_SET(5, system_ids) > 0;
阅读更多...
做测试/爬虫 selenium 元素定位 谷歌浏览器 插件推荐,提高元素定位效率

做测试/爬虫 selenium 元素定位 谷歌浏览器 插件推荐,提高元素定位效率

注:插件均在谷歌应用商店 下载 1.XPath Helper 插件 作用&#xff1a;用于Html中对目标字段或者属性值进行匹配 快捷启动&#xff1a;ctrl shift x 示例图如下&#xff1a; 2. ChroPath 插件 作用&#xff1a; 提高元素定位效率 启动&#xff1a;谷歌浏览器 按 F12 -&g…
阅读更多...
NASA和IBM推出INDUS：高级科学研究的综合大模型

NASA和IBM推出INDUS：高级科学研究的综合大模型

在最近的一项研究中&#xff0c;来自美国宇航局和IBM的一组研究人员合作开发了一种模型&#xff0c;该模型可应用于地球科学&#xff0c;天文学&#xff0c;物理学&#xff0c;天体物理学&#xff0c;太阳物理学&#xff0c;行星科学和生物学以及其他多学科学科。当前的模型&am…
阅读更多...
SSM贫困生申请管理系统-计算机毕业设计源码84308

SSM贫困生申请管理系统-计算机毕业设计源码84308

摘要 随着教育信息化的不断推进&#xff0c;越来越多的高校开始借助信息技术手段提升贫困生申请管理的效率与准确性。为此&#xff0c;我们设计并实现了SSM贫困生申请管理系统&#xff0c;旨在通过信息化手段优化贫困生申请流程&#xff0c;提高管理效率&#xff0c;为贫困生提…
阅读更多...
【IT领域新生必看】Java编程中的神奇对比：深入理解`equals`与`==`的区别

【IT领域新生必看】Java编程中的神奇对比：深入理解`equals`与`==`的区别

文章目录 引言什么是操作符&#xff1f;基本数据类型的比较示例&#xff1a; 引用类型的比较示例&#xff1a; 什么是equals方法&#xff1f;equals方法的默认实现示例&#xff1a; 重写equals方法示例&#xff1a; equals与的区别比较内容不同示例&#xff1a; 使用场景不同示…
阅读更多...
LeetCode题练习与总结：排序链表--148

LeetCode题练习与总结：排序链表--148

一、题目描述 给你链表的头结点 head &#xff0c;请将其按 升序 排列并返回 排序后的链表 。 示例 1&#xff1a; 输入&#xff1a;head [4,2,1,3] 输出&#xff1a;[1,2,3,4]示例 2&#xff1a; 输入&#xff1a;head [-1,5,3,4,0] 输出&#xff1a;[-1,0,3,4,5]示例 3&am…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023