探索MapReduce

news2024/11/16 7:31:35

文章目录

  • 一，案例分析
    • （一）TopN分析法介绍
    • （二）案例需求
  • 二，案例实施
    • （一）准备数据文件
      • （1）启动hadoop服务
      • （2）在虚拟机上创建文本文件
      • （3）上传文件到HDFS指定目录
    • （二）Map阶段实现
      • （1）创建Maven项目：TopN
      • （2）添加相关依赖
      • （3）创建日志属性文件
      • （4）创建前N成绩映射器类：TopNMapper
    • （三）Reduce阶段实现
      • （1）创建前N归并器类：TopNReducer
    • （四）Driver程序主类实现
      • （1）创建前N驱动器类：TopNDriver
    • （五）运行前N驱动器类，查看结果
      • （1）运行TopNDriver类，查看结果
      • （2）下载结果文件并查看

一，案例分析

（一）TopN分析法介绍

TopN分析法是指从研究对象中按照某一个指标进行倒序或正序排列，取其中所需的N个数据，并对这N个数据进行重点分析的方法。

（二）案例需求

现假设有数据文件num.txt，现要求使用MapReduce技术提取上述文本中最大的5个数据，并最终将结果汇总到一个文件中。

先设置MapReduce分区为1，即ReduceTask个数一定只有一个。我们需要提取TopN，即全局的前N条数据，不管中间有几个Map、Reduce，最终只能有一个用来汇总数据。

在Map阶段，使用TreeMap数据结构保存TopN的数据，TreeMap默认会根据其键的自然顺序进行排序，也可根据创建映射时提供的 Comparator进行排序，其firstKey()方法用于返回当前集合最小值的键。

在Reduce阶段，将Map阶段输出数据进行汇总，选出其中的TopN数据，即可满足需求。这里需要注意的是，TreeMap默认采取正序排列，需求是提取5个最大的数据，因此要重写Comparator类的排序方法进行倒序排序。

二，案例实施

（一）准备数据文件

（1）启动hadoop服务

输入命令：start-all.sh
在这里插入图片描述

（2）在虚拟机上创建文本文件

1.expor目录下创建topn目录，输入命令：mkdir /export/topn
在这里插入图片描述
2.在topn目录下创建num.txt文件，输入命令：touch /export/topn/num.txt
在这里插入图片描述
3.向num.txt文件添加如下内容：

10 3 8 7 6 5 1 2 9 4
11 12 17 14 15 20 
19 18 13 16

输入命令：vim /export/topn/num.txt
在这里插入图片描述
在这里插入图片描述

（3）上传文件到HDFS指定目录

1.创建/topn/input目录，输入命令：hdfs dfs -mkdir -p /topn/input
在这里插入图片描述
2.将文本文件num.txt，上传到HDFS的/topn/input目录，输入命令：hdfs dfs -put /export/topn/num.txt /topn/input
在这里插入图片描述
3.在hadoop webui查看文件是否上传成功
在这里插入图片描述

（二）Map阶段实现

使用IntelliJ开发工具创建Maven项目TopN，并且新建net.hw.mr包，在该路径下编写自定义Mapper类TopNMapper，主要用于将文件中的每行数据进行切割提取，并把数据保存到TreeMap中，判断TreeMap是否大于5，如果大于5就需要移除最小的数据。TreeMap保存了当前文件最大5条数据后，再输出到Reduce阶段。

（1）创建Maven项目：TopN

1.配置好如下图，单击【Create】按钮
在这里插入图片描述2.创建成功
在这里插入图片描述3.删除【Main】主类：右击【Main】类，单击【Delete】
在这里插入图片描述

（2）添加相关依赖

1.在pom.xml文件里添加hadoop和junit依赖，添加内容如下：

<dependencies>                                        
    <!--hadoop客户端-->                                  
    <dependency>                                      
        <groupId>org.apache.hadoop</groupId>          
        <artifactId>hadoop-client</artifactId>        
        <version>3.3.4</version>                      
    </dependency>                                     
    <!--单元测试框架-->                                     
    <dependency>                                      
        <groupId>junit</groupId>                      
        <artifactId>junit</artifactId>                
        <version>4.13.2</version>                     
    </dependency>                                     
</dependencies>

在这里插入图片描述
2.刷新本地的maven仓库，如果没有下载，会自动下载依赖到本地：单击【Maven】，单击【刷新】按钮
在这里插入图片描述

（3）创建日志属性文件

1.在resources目录里创建log4j.properties文件，右击【resources】，选择【New】，单击【Resource Bundle】
在这里插入图片描述
2.在弹出的对话框中输入：log4j，按【OK】按钮，成功创建
在这里插入图片描述

3.向log4j.properties文件添加如下内容：

log4j.rootLogger=INFO, stdout, logfile
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/topnscore.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

在这里插入图片描述

（4）创建前N成绩映射器类：TopNMapper

1.右击【net.army.mr】，选择【New】，单击【Java Class】
在这里插入图片描述2.在弹出的对话框中输入：TopNMapper，按下回车键，成功创建
在这里插入图片描述

3.编写代码

package net.army.mr;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.util.TreeMap;

/**
 * 作者：梁辰兴
 * 日期：2022/12/14
 * 功能：前N映射器类
 */

public class TopNMapper extends Mapper<LongWritable, Text, NullWritable, IntWritable> {

    private TreeMap<Integer, String> repToRecordMap = new TreeMap<Integer, String>();

    // <0,10 3 8 7 6 5 1 2 9 4>
    // <xx,11 12 17 14 15 20>
    @Override
    public void map(LongWritable key, Text value, Context context) {
        String line = value.toString();
        String[] nums = line.split(" ");
        for (String num : nums) {
            repToRecordMap.put(Integer.parseInt(num), " ");
            if (repToRecordMap.size() > 5) {
                repToRecordMap.remove(repToRecordMap.firstKey());
            }
        }
    }

    @Override
    protected void cleanup(Context context) {
        for (Integer i : repToRecordMap.keySet()) {
            try {
                context.write(NullWritable.get(), new IntWritable(i));
            } catch (Exception e) {
                e.printStackTrace();
            }
        }
    }
}

（三）Reduce阶段实现

编写MapReduce程序运行主类TopNDriver，主要用于设置MapReduce工作任务的相关参数，对HDFS上/topn/input目录下的源文件求前N数据，并将结果输入到HDFS的/topn/output目录下。

（1）创建前N归并器类：TopNReducer

1.右击【net.army.mr】，选择【New】，单击【Java Class】
在这里插入图片描述2.在弹出的对话框中输入：TopNReducer，按下回车键，成功创建
在这里插入图片描述
3.编写代码

package net.army.mr;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;
import java.util.Comparator;
import java.util.TreeMap;

/**
 * 作者：梁辰兴
 * 日期：2022/12/14
 * 功能：前N归并器类
 */

public class TopNReducer extends Reducer<NullWritable, IntWritable, NullWritable, IntWritable> {

    private TreeMap<Integer, String> repToRecordMap = new TreeMap<Integer, String>(new Comparator<Integer>() {
        /**
         * 谁大排后面
         *
         * @param a
         * @param b
         * @return 一个整数
         */
        public int compare(Integer a, Integer b) {
            return b - a;
        }
    });

    public void reduce(NullWritable key, Iterable<IntWritable> values, Context context)
            throws IOException, InterruptedException {
        for (IntWritable value : values) {
            repToRecordMap.put(value.get(), " ");
            if (repToRecordMap.size() > 5) {
                repToRecordMap.remove(repToRecordMap.firstKey());
            }
        }

        for (Integer i : repToRecordMap.keySet()) {
            context.write(NullWritable.get(), new IntWritable(i));
        }
    }
}

（四）Driver程序主类实现

（1）创建前N驱动器类：TopNDriver

1.右击【net.army.mr】，选择【New】，单击【Java Class】
在这里插入图片描述2.在弹出的对话框中输入：TopNDriver，按下回车键，成功创建
在这里插入图片描述

3.编写代码

package net.army.mr;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.net.URI;

/**
 * 作者：梁辰兴
 * 日期：2022/12/14
 * 功能：前N驱动类
 */

public class TopNDriver {
    public static void main(String[] args) throws Exception {
        // 创建配置对象
        Configuration conf = new Configuration();
        // 设置数据节点主机名属性
        conf.set("dfs.client.use.datanode.hostname", "true");

        // 获取作业实例
        Job job = Job.getInstance(conf);

        // 设置作业启动类
        job.setJarByClass(TopNDriver.class);

        // 设置Mapper类
        job.setMapperClass(TopNMapper.class);
        // 设置map任务输出键类型
        job.setMapOutputKeyClass(NullWritable.class);
        // 设置map任务输出值类型
        job.setMapOutputValueClass(IntWritable.class);


        // 设置Reducer类
        job.setReducerClass(TopNReducer.class);
        // 设置reduce任务输出键类型
        job.setOutputKeyClass(NullWritable.class);
        // 设置reduce任务输出值类型
        job.setOutputValueClass(IntWritable.class);

        // 定义uri字符串
        String uri = "hdfs://master:9000";
        // 创建输入目录
        Path inputPath = new Path(uri + "/topn/input");
        // 创建输出目录
        Path outputPath = new Path(uri + "/topn/output");

        // 获取文件系统
        FileSystem fs = FileSystem.get(new URI(uri), conf);
        // 删除输出目录
        fs.delete(outputPath, true);

        // 给作业添加输入目录
        FileInputFormat.addInputPath(job, inputPath);
        // 给作业设置输出目录
        FileOutputFormat.setOutputPath(job, outputPath);

        // 等待作业完成
        job.waitForCompletion(true);

        // 输出统计结果
        System.out.println("======统计结果======");
        FileStatus[] fileStatuses = fs.listStatus(outputPath);
        for (int i = 1; i < fileStatuses.length; i++) {
            // 输出结果文件路径
            System.out.println(fileStatuses[i].getPath());
            // 获取文件输入流
            FSDataInputStream in = fs.open(fileStatuses[i].getPath());
            // 将结果文件显示在控制台
            IOUtils.copyBytes(in, System.out, 4096, false);
        }
    }
}

（五）运行前N驱动器类，查看结果

（1）运行TopNDriver类，查看结果

在这里插入图片描述

（2）下载结果文件并查看

1.下载结果文件
进入/export/topn目录，输入命令：cd /export/topn/
在这里插入图片描述

下载文件，输入命令：hdfs dfs -get /topn/output/part-r-00000
在这里插入图片描述
2.查看结果文件，输入命令：cat part-r-00000
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/98437.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

ArcGIS中的OBJECTID、FID 和 OID 的区别！不要傻傻分不清

ArcGIS中的OBJECTID、FID 和 OID 的区别！不要傻傻分不清

喜欢就关注我们吧 时常有很多我朋友分不清OBJECTID、FID 和 OID有什么区别&#xff0c;不懂得怎么应用和管理&#xff0c;今天我们来说个明白。 ArcGIS Desktop 产品要求独立表和属性表均具有 ObjectID字段&#xff0c;该字段包含唯一的长整型用于标识每个记录。 此 ID 由 Esri…
阅读更多...
第二证券|元宇宙发展规划出炉，3只元宇宙概念股估值创年内新低

第二证券|元宇宙发展规划出炉，3只元宇宙概念股估值创年内新低

本月以来&#xff0c;北上资金加仓23只元国际概念股。 12月15日晚间&#xff0c;浙江省发改委等5部门联合印发《浙江省元国际工业开展举动计划&#xff08;2023—2025年&#xff09;》&#xff08;以下简称《计划》&#xff09;。《计划》中说到&#xff0c;到2025年&#xff0…
阅读更多...
查找外文文献必备网站

查找外文文献必备网站

查找下载外文文献不仅先要找到文献数据库资源&#xff0c;并且还需要有数据库的文献下载权限&#xff0c;如果你没有文献数据库使用权限就用下面这个方法。 文献党下载器&#xff08;wxdown.org&#xff09;有资源有权限&#xff0c;覆盖全科。下面举几个例子&#xff0c;用文…
阅读更多...
脑电图分类任务中深度神经网络模型的数据增强:综述2021

脑电图分类任务中深度神经网络模型的数据增强:综述2021

Data Augmentation for Deep Neural Networks Model in EEG Classification Task: A Review 脑电图&#xff08;EEG&#xff09;的分类是测量神经活动节奏振荡的关键方法&#xff0c;是脑机接口系统&#xff08;BCI&#xff09;的核心技术之一。然而&#xff0c;从非线性和非平…
阅读更多...
RNA-seq 详细教程：似然比检验（13）

RNA-seq 详细教程：似然比检验（13）

学习内容 应用似然比检验 (LRT) 进行假设检验将 LRT 生成的结果与使用 Wald 检验获得的结果进行比较从 LRT 显著基因列表中识别共享表达谱似然比检验 在评估超过两个水平的表达变化时&#xff0c;DESeq2 还提供似然比检验作为替代方法。被确定为重要的基因是那些在不同因子水平…
阅读更多...
Vue基础6

Vue基础6

Vue基础6收集表单数据过滤器局部过滤器全局过滤器内置指令v-textv-html使用安全性cookie工作原理v-html不安全案例v-cloak指令v-once指令v-pre指令自定义指令函数式对象式自定义命名组合式全局自定义指令自定义指令总结&#xff1a;收集表单数据 <!DOCTYPE html> <ht…
阅读更多...
VMware、linux虚拟机设置网络实现虚拟机与主机网络互通

VMware、linux虚拟机设置网络实现虚拟机与主机网络互通

需要配置三个方面才可以&#xff0c;即&#xff1a;WMware网络配置、windows主机网络配置、虚拟机网络配置。 首先&#xff0c;确认VMware虚拟机设置中配置的网络连接方式为&#xff1a;NAT模式 可以在VMware上方的菜单中找到&#xff1a;虚拟机---->设置&#xff0c;然后…
阅读更多...
HC-SR04超声波测距模块介绍

HC-SR04超声波测距模块介绍

超声波简介 超声波是由机械振动产生的, 可在不同介质中以不同的速度传播, 具有定向性好、能量集中、传输过程中衰减较小、反射能力较强等优点。超声波传感器可广泛应用于非接触式检测方法,它不受光线、被测物颜色等影响, 对恶劣的工作环境具有一定的适应能力, 因此在水文液位测…
阅读更多...
毕业设计 - 基于JSP_Servlet校园二手交易平台设计于实现【源码+论文】

毕业设计 - 基于JSP_Servlet校园二手交易平台设计于实现【源码+论文】

文章目录前言一、项目设计1. 模块设计2. 实现效果二、部分源码项目源码前言 今天学长向大家分享一个 java web 设计项目: 基于JSP/Servlet校园二手交易平台设计于实现 一、项目设计 1. 模块设计 系统完成的主要功能有&#xff1a;用户设置功能、发布信息功能、信息管理功能…
阅读更多...
Android中AP和BP概念

Android中AP和BP概念

AP和BP 大多数的手机都含有两个处理器。操作系统、用户界面和应用程序都在Application Processor(AP)上执行&#xff0c;AP一般采用ARM芯片的CPU。而手机射频通讯控制软件&#xff0c;则运行在另一个分开的CPU上&#xff0c;这个CPU称为Baseband Processor(BP)。 把射频功能放…
阅读更多...
《API安全技术与实战》 读书笔记 API的前生今世和API安全的演进

《API安全技术与实战》 读书笔记 API的前生今世和API安全的演进

文章目录一、API的前生今世&#xff08;1&#xff09;4中API表现形式&#xff08;2&#xff09;基于技术形式的类型划分的API二、API安全的演进&#xff08;1&#xff09;什么是API安全&#xff08;2&#xff09;常见的API安全漏洞类型一、API的前生今世 &#xff08;1&#x…
阅读更多...
Nacos系列——Nacos概述（2.x版本）1-1

Nacos系列——Nacos概述（2.x版本）1-1

Nacos系列——Nacos概述&#xff08;2.x版本&#xff09;1-1前言Nacos概述&#xff08;2.x版本&#xff09;文档地址关键特性服务发现和服务健康监测动态配置服务动态 DNS 服务服务及其元数据管理Nacos地图核心概念地域可用区接入点命名空间配置配置管理配置项配置集配置集 ID配…
阅读更多...
[阶段4 企业开发进阶] 7. 微服务

[阶段4 企业开发进阶] 7. 微服务

文章目录1 微服务1.1 微服务概念1.2 SpringCloud1.3 工程搭建1.4 支付模块构建cloud-provider-payment-80011 微服务 1.1 微服务概念 概念 Microservice architectures are the ‘new normal’. Building small, self-contained, ready to run applications can bring great f…
阅读更多...
毕业设计 Stm32家庭气象仪 天气监控系统 - 物联网 单片机 嵌入式

毕业设计 Stm32家庭气象仪 天气监控系统 - 物联网 单片机 嵌入式

文章目录0 前言1 简介2 主要器件3 实现效果4 设计原理4.1 DHT11温湿度传感器4.2 MQ135空气质量传感器4.35 部分核心代码6 最后0 前言 &#x1f525; 这两年开始毕业设计和毕业答辩的要求和难度不断提升&#xff0c;传统的毕设题目缺少创新和亮点&#xff0c;往往达不到毕业答辩…
阅读更多...
安全分析模型自动化调优

安全分析模型自动化调优

安全分析模型自动化调优 MLOps&#xff08;Machine Learning Operations&#xff09;是一种人工智能 的工程实践&#xff0c;是面向机器学习项目的研发运营管理体系 。旨在实现 ML 管道的操作、ML 模型的部署和管理标准化&#xff0c;支持ML 模型的发布、激活、监控、性能跟踪…
阅读更多...
Stm32旧版库函数18——读传感器

Stm32旧版库函数18——读传感器

/******************************************************************************* // // 使用单片机STM32F100C8T6 // 晶振&#xff1a;8.00M // 编译环境 Keil uVision4 // 在3.3V的供电环境下&#xff0c;就能运行 // 波特率 19200 ************************************…
阅读更多...
SpringBoot请求参数传递与接收

SpringBoot请求参数传递与接收

一、GET请求和POST请求的区别是什么 GET和POST请求的区别主要有下面几点 GET没有请求体&#xff0c;POST有请求体GET传输比POST快GET只能携带少量数据&#xff08;因为其请求url有长度限制&#xff09;&#xff0c;POST可以携带的数据量较大POST因为将数据放在请求体中&#…
阅读更多...
使用IDEA工具通过Java API 访问HDFS

使用IDEA工具通过Java API 访问HDFS

文章目录一&#xff0c;了解 HDFS Java API&#xff08;一&#xff09;HDFS常见类与接口&#xff08;二&#xff09;FileSystem的常用方法二&#xff0c;编写Java程序访问HDFS01 创建Maven项目02 添加相关依赖03 创建日志属性文件&#xff08;1&#xff09;在resources目录里创…
阅读更多...
变电站火灾检测项目（tf2）

变电站火灾检测项目（tf2）

目录 1. 项目背景 2. 项目研究数据集介绍&#xff08;变电站火灾检测图像数据集&#xff09; 3. 目标检测模型介绍&#xff08;SE改进的YOLOv4-tiny模型&#xff09; 4. 模型训练及测试 1. 项目背景 我们的日常生活与电力息息相关&#xff0c;变电站作为输配电系统的关键环…
阅读更多...
【设计模式】责任链模式

【设计模式】责任链模式

【设计模式】责任链模式 文章目录【设计模式】责任链模式一&#xff1a;责任链模式概述二&#xff1a;责任链模式结构三&#xff1a;责任链模式案例实现四&#xff1a;优缺点五&#xff1a;责任链模式实战一&#xff1a;责任链模式概述 在现实生活中&#xff0c;常常会出现这样…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023