MR实战：实现数据去重

news2024/11/27 8:33:42

文章目录

  • 一、实战概述
  • 二、提出任务
  • 三、完成任务
    • （一）准备数据文件
      • 1、在虚拟机上创建文本文件
      • 2、上传文件到HDFS指定目录
    • （二）实现步骤
      • 1、Map阶段实现
        • （1）创建Maven项目
        • （2）添加相关依赖
        • （3）创建日志属性文件
        • （4）创建去重映射器类
      • 2、Reduce阶段实现
        • 创建去重归并器类
      • 3、Driver程序主类实现
        • 创建去重驱动器类
      • 4、运行去重驱动器类，查看结果
  • 四、拓展练习
    • （一）原始问题
    • （二）简单化处理

一、实战概述

  • 本次实战任务目标是使用Hadoop MapReduce技术对两个包含重复数据的文本文件file1.txt和file2.txt进行去重操作，并将结果汇总到一个文件。首先启动Hadoop服务，然后在虚拟机上创建这两个文本文件并上传到HDFS的/dedup/input目录。

  • 在Map阶段，我们创建自定义Mapper类DeduplicateMapper，将TextInputFormat默认组件解析的键值对修改为需要去重的数据作为key，value设为空。在Reduce阶段，我们创建自定义Reducer类DeduplicateReducer，直接复制输入的key作为输出的key，利用MapReduce默认机制对key（即文件中的每行内容）进行自动去重。

  • 我们还编写MapReduce程序运行主类DeduplicateDriver，设置工作任务的相关参数，对HDFS上/dedup/input目录下的源文件进行去重处理，并将结果输出到HDFS的/dedup/output目录。最后，运行DeduplicateDriver类，查看并下载结果文件，确认去重操作成功完成。此实战任务展示如何运用Hadoop MapReduce进行大数据处理和去重操作，提升我们对分布式计算的理解和应用能力。

二、提出任务

  • 文件file1.txt本身包含重复数据，并且与file2.txt同样出现重复数据，现要求使用Hadoop大数据相关技术对以上两个文件进行去重操作，并最终将结果汇总到一个文件中。
    在这里插入图片描述
    在这里插入图片描述

  • 编写MapReduce程序，在Map阶段采用Hadoop默认作业输入方式后，将key设置为需要去重的数据，而输出的value可以任意设置为空。

  • 在Reduce阶段，不需要考虑每一个key有多少个value，可以直接将输入的key复制为输出的key，而输出的value可以任意设置为空，这样就会使用MapReduce默认机制对key（也就是文件中的每行内容）自动去重。

三、完成任务

（一）准备数据文件

  • 启动hadoop服务
    在这里插入图片描述

1、在虚拟机上创建文本文件

  • 创建两个文本文件 - file1.txt、file2.txt
    在这里插入图片描述

2、上传文件到HDFS指定目录

  • 创建/dedup/input目录，执行命令：hdfs dfs -mkdir -p /dedup/input
    在这里插入图片描述

  • 将两个文本文件 file1.txt与file2.txt，上传到HDFS的/dedup/input目录
    在这里插入图片描述

（二）实现步骤

1、Map阶段实现

  • 使用IntelliJ开发工具创建Maven项目Deduplicate，并且新创建net.hw.mr包，在该路径下编写自定义Mapper类DeduplicateMapper，主要用于读取数据集文件将TextInputFormat默认组件解析的类似<0，2022-11-1 a >键值对修改为<2022-11-1 a，null>。
（1）创建Maven项目
  • Maven项目 - Deduplicate
    在这里插入图片描述
  • 单击【Finish】按钮
    在这里插入图片描述
（2）添加相关依赖
  • 在pom.xml文件里添加hadoop和junit依赖
    在这里插入图片描述
<dependencies>                                  
    <!--hadoop客户端-->                            
    <dependency>                                
        <groupId>org.apache.hadoop</groupId>    
        <artifactId>hadoop-client</artifactId>  
        <version>3.3.4</version>                
    </dependency>                               
    <!--单元测试框架-->                               
    <dependency>                                
        <groupId>junit</groupId>                
        <artifactId>junit</artifactId>          
        <version>4.13.2</version>               
    </dependency>                               
</dependencies>
（3）创建日志属性文件
  • 在resources目录里创建log4j.properties文件
    在这里插入图片描述
log4j.rootLogger=INFO, stdout, logfile
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/deduplicate.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n
（4）创建去重映射器类
  • 创建net.hw.mr包，在包里创建DeduplicateMapper类
    在这里插入图片描述
package net.hw.mr;

import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;

/**
 * 功能：去重映射器类
 * 作者：华卫
 * 日期：2022年11月30日
 */
public class DeduplicateMapper extends Mapper<LongWritable, Text, Text, NullWritable> {

    private static Text field = new Text();
    // <0,2022-11-3 c> --> <2022-11-3 c,null>
    @Override
    protected void map(LongWritable key, Text value, Context context) 
            throws IOException, InterruptedException {
        field = value;
        context.write(field, NullWritable.get());
    }
}

2、Reduce阶段实现

  • 根据Map阶段的输出结果形式，同样在net.hw.mr包下，自定义Reducer类DeduplicateReducer，主要用于接受Map阶段传递来的数据，根据Shuffle工作原理，键值key相同的数据就会被合并，因此输出数据就不会出现重复数据了。
创建去重归并器类
  • 在net.hw.mr包里创建DeduplicateReducer类
    在这里插入图片描述
package net.hw.mr;

import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;

/**
 * 功能：去重归并器类
 * 作者：华卫
 * 日期：2022年11月30日
 */
public class DeduplicateReducer extends Reducer<Text, NullWritable, Text, NullWritable> {
    // <2022-11-3 c,null> <2022-11-4 d,null><2022-11-4 d,null>
    @Override
    protected void reduce(Text key, Iterable<NullWritable> values, Context context)
            throws IOException, InterruptedException {
        context.write(key, NullWritable.get());
    }
}

3、Driver程序主类实现

  • 编写MapReduce程序运行主类DeduplicateDriver，主要用于设置MapReduce工作任务的相关参数，对HDFS上/dedup/input目录下的源文件实现去重，并将结果输入到HDFS的/dedup/output目录下。
创建去重驱动器类
  • 在net.hw.mr包里创建DeduplicateDriver类
    在这里插入图片描述
package net.hw.mr;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.net.URI;

/**
 * 功能：去重驱动器类
 * 作者：华卫
 * 日期：2022年11月30日
 */
public class DeduplicateDriver {
    public static void main(String[] args) throws Exception {
        // 创建配置对象
        Configuration conf = new Configuration();
        // 设置数据节点主机名属性
        conf.set("dfs.client.use.datanode.hostname", "true");

        // 获取作业实例
        Job job = Job.getInstance(conf);

        // 设置作业启动类
        job.setJarByClass(DeduplicateDriver.class);

        // 设置Mapper类
        job.setMapperClass(DeduplicateMapper.class);
        // 设置map任务输出键类型
        job.setMapOutputKeyClass(Text.class);
        // 设置map任务输出值类型
        job.setMapOutputValueClass(NullWritable.class);

        // 设置Reducer类
        job.setReducerClass(DeduplicateReducer.class);
        // 设置reduce任务输出键类型
        job.setOutputKeyClass(Text.class);
        // 设置reduce任务输出值类型
        job.setOutputValueClass(NullWritable.class);

        // 定义uri字符串
        String uri = "hdfs://master:9000";
        // 创建输入目录
        Path inputPath = new Path(uri + "/dedup/input");
        // 创建输出目录
        Path outputPath = new Path(uri + "/dedup/output");

        // 获取文件系统
        FileSystem fs = FileSystem.get(new URI(uri), conf);
        // 删除输出目录
        fs.delete(outputPath, true);

        // 给作业添加输入目录
        FileInputFormat.addInputPath(job, inputPath);
        // 给作业设置输出目录
        FileOutputFormat.setOutputPath(job, outputPath);

        // 等待作业完成
        job.waitForCompletion(true);

        // 输出统计结果
        System.out.println("======统计结果======");
        FileStatus[] fileStatuses = fs.listStatus(outputPath);
        for (int i = 1; i < fileStatuses.length; i++) {
            // 输出结果文件路径
            System.out.println(fileStatuses[i].getPath());
            // 获取文件输入流
            FSDataInputStream in = fs.open(fileStatuses[i].getPath());
            // 将结果文件显示在控制台
            IOUtils.copyBytes(in, System.out, 4096, false);
        }
    }
}

4、运行去重驱动器类，查看结果

  • 运行DeduplicateDriver类
    在这里插入图片描述
    在这里插入图片描述
  • 下载结果文件 - part-r-00000
    在这里插入图片描述
  • 查看结果文件 - part-r-00000
    在这里插入图片描述

四、拓展练习

  • 形式：单独完成
  • 题目：实现数据去重
  • 要求：让学生自己按照步骤实现数据去重的功能，以此来巩固本节的学习内容。写一篇CSDN博客，记录操作过程。

（一）原始问题

  • 某人今天访问很多不同的网站，移动或电信日志都会记录在案，有些网站访问次数多，有些网站访问次数少，此人，今天访问了多少个不同的网站？

（二）简单化处理

  • 假如有如下一些IP地址，分别保存在三个文件里，如何去掉重复地址？
  • ips01.txt
192.168.234.21
192.168.234.22
192.168.234.21
192.168.234.21
192.168.234.23
192.168.234.21
192.168.234.21
192.168.234.21
  • ips02.txt
192.168.234.25
192.168.234.21
192.168.234.21
192.168.234.26
192.168.234.21
192.168.234.27
192.168.234.21
192.168.234.27
192.168.234.21
  • ips03.txt
192.168.234.29
192.168.234.21
192.168.234.26
192.168.234.21
192.168.234.25
192.168.234.25
192.168.234.21
192.168.234.22
192.168.234.21

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1342492.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

红警1源代码下载，编译，单步调试操作步骤

红警1源代码下载，编译，单步调试操作步骤

注意视频无声音&#xff1a; 红警1代码单步调试操作步骤_哔哩哔哩_bilibili红警1&#xff0c;源代码下载&#xff0c;编译&#xff0c;单步调试操作步骤。1、下载代码&#xff1a;https://gitee.com/r77683962/CnC_Remastered_Collection/repository/archive/master.zip这里边…
阅读更多...
Jackson ImmunoResearch纳米二抗（Nano Secondary Antibodies）

Jackson ImmunoResearch纳米二抗（Nano Secondary Antibodies）

驼科&#xff0c;如羊驼和美洲驼&#xff0c;会产生一类独特的仅由重链组成的抗体。而抗原结合片段(Fab)&#xff0c;也称为仅可变重链片段抗体(Variable Heavy-Chain only fragment antibodies&#xff0c;VHH片段)&#xff0c;或纳米抗体&#xff0c;是一种新型抗体形式。凭借…
阅读更多...
【MCAL】TC397+EB-tresos之MCU配置实战 - 芯片时钟

【MCAL】TC397+EB-tresos之MCU配置实战 - 芯片时钟

本篇文章介绍了在TC397平台使用EB-treso对MCU驱动模块进行配置的实战过程&#xff0c;主要介绍了后续基本每个外设模块都要涉及的芯片时钟部分&#xff0c;帮助读者了解TC397芯片的时钟树结构&#xff0c;在后续计算配置不同外设模块诸如通信速率&#xff0c;定时器周期等&…
阅读更多...
rabbitmq使用总结

rabbitmq使用总结

1、进入rabbitmq的sbin目录&#xff0c;进入CMD 2、输入./rabbitmq-plugins enable rabbitmq_management启用管理服务。 3、输入./rabbitmqctl start_app启动服务。 查看是否启动成功 1、浏览器访问http://localhost:15672/ 下载erlang 地址如下&#xff1a; http://erla…
阅读更多...
三张表看懂POE POE+ POE++ 三个协议的相关参数

三张表看懂POE POE+ POE++ 三个协议的相关参数

Hqst华强盛&#xff08;盈盛电子&#xff09;导读&#xff1a;三张表看懂POE POE POE 三个协议的相关参数。 一 ̖ POE协议区分&#xff1a; 802.3af&#xff08;PoE) 百兆网络变压器H81621S 二 ̖ POE协议与受电设备&#xff08;PD&#xff09;工作功率分级 802.3at&#xf…
阅读更多...
使用MySQL进行数据库表的基本操作

使用MySQL进行数据库表的基本操作

参考文章 http://www.ksqn.cn/news/1325.html 1. 创建表 语法&#xff1a; CREATE TABLE table_name ( field1 datatype, field2 datatype, field3 datatype ) character set 字符集 collate 校验规则 engine 存储引擎;说明&#xff1a; field 表示列名datatype 表示列的类…
阅读更多...
图片水印怎么去除？推荐三个去水印的方法

图片水印怎么去除？推荐三个去水印的方法

在我们搜集和整理图片素材的过程中&#xff0c;总会遇到一个让人头疼的问题——水印。这些水印不仅破坏了图片的整体美感&#xff0c;还极大地限制了图片的使用范围。然而&#xff0c;好消息是&#xff0c;我们并非束手无策&#xff0c;有多种方法可以帮助我们去除这些水印&…
阅读更多...
Android 理解Context

Android 理解Context

文章目录 Android 理解ContextContext是什么Activity能直接new吗&#xff1f; Context结构和源码一个程序有几个ContextContext的作用Context作用域获取ContextgetApplication()和getApplicationContext()区别Context引起的内存泄露错误的单例模式View持有Activity应用正确使用…
阅读更多...
OpenCV-Python(29)：图像特征

OpenCV-Python(29)：图像特征

目录 目标 背景介绍 常用特征 应用场景 目标 理解什么是图像特征 为什么图像特征很重要 为什么角点很重要 背景介绍 相信大多数人都玩过拼图游戏吧。首先你们拿到一张图片的一堆碎片&#xff0c;你要做的就是把这些碎片以正确的方式排列起来从而重建这幅图像。问题是&…
阅读更多...
模拟电路基础知识笔记，你想知道的都有，建议收藏！

模拟电路基础知识笔记，你想知道的都有，建议收藏！

大家总说模电知识总是学不会&#xff0c;IC修真院为大家整理了模拟电子基础知识&#xff0c;看看你掌握了多少&#xff0c;文末可以获取全部哦。 文末可领全部文档 1、PN结是晶体二极管的基本结构&#xff0c;也是一般半导体器件的核心。 2、 射极输出器没有电压放大能力&am…
阅读更多...
SD NAND 异常上下电测试

SD NAND 异常上下电测试

SD NAND 异常上下电测试的作用 SD NAND 异常上下电测试是一项关键的测试步骤&#xff0c;对确保SD NAND在不同电源条件下的稳定性和可靠性至关重要。 通过模拟正常和异常电源情况&#xff0c;测试可以验证设备的电源管理功能、检测潜在错误和异常行为&#xff0c;并评估设备在…
阅读更多...
怎么快速去除图片水印？这些快速去除的工具赶紧码住

怎么快速去除图片水印？这些快速去除的工具赶紧码住

在数字时代的大潮中&#xff0c;图片与视频中的水印如同微小的瑕疵&#xff0c;虽然旨在维护原创者的权益&#xff0c;却往往损害了内容的观感&#xff0c;降低了他人的分享欲望。那些恼人的水印&#xff0c;常常让人们束手无策。但别担心&#xff0c;接下来我将为你揭秘几种快…
阅读更多...
数字化时代背景下服装表演创新研究

数字化时代背景下服装表演创新研究

服装表演是一门独具魅力的艺术,它既高于生活,又来源于生活。这一艺术形式通过舞台上的服装、音乐、舞蹈和表演艺术家的表现力,将时尚与创意融为一体,向观众传递着独特的美感和情感。然而,如今,我们生活在一个飞速发展的数字化时代,这为服装表演的教育带来了前所未有的机遇和挑战…
阅读更多...
英文建筑图纸翻译工程图纸翻译

英文建筑图纸翻译工程图纸翻译

建筑图纸是以图形和文字为语言&#xff0c;详细描绘了工程建筑、机械、设备等结构、形状、尺寸及其他要求。对于建筑图纸翻译&#xff0c;表达必须清楚准确。那么&#xff0c;如何确保英文建筑图纸翻译工程图纸翻译的准确性&#xff1f; 首先&#xff0c;我们需要深入了解建筑图…
阅读更多...
使用 pytest 相关特性重构 appium_helloworld

使用 pytest 相关特性重构 appium_helloworld

一、前置说明 在 pytest 基础讲解 章节，介绍了 pytest 的特性和基本用法，现在我们可以使用 pytest 的一些机制，来重构 appium_helloworld 。 appium_helloworld 链接: 编写第一个APP自动化脚本 appium_helloworld ，将脚本跑起来 代码目录结构： pytest.ini 设置： [pyt…
阅读更多...
【C语言】程序练习（三）

【C语言】程序练习（三）

大家好&#xff0c;这里是争做图书馆扫地僧的小白。非常感谢各位的支持&#xff0c;也期待着您的关注。 目前博主有着C语言、C、linux以及数据结构的专栏&#xff0c;内容正在逐步的更新。 希望对各位朋友有所帮助同时也期望可以得到各位的支持&#xff0c;有任何问题欢迎私信与…
阅读更多...
【Leetcode 39】组合总和 —— 回溯法

【Leetcode 39】组合总和 —— 回溯法

39. 组合总和 给你一个无重复元素的整数数组candidates和一个目标整数target &#xff0c;找出candidates中可以使数字和为目标数target的 所有不同组合&#xff0c;并以列表形式返回。你可以按**任意顺序 **返回这些组合。 candidates中的同一个数字可以 无限制重复被选取 。…
阅读更多...
畅捷通的 Serverless 探索实践之路

畅捷通的 Serverless 探索实践之路

作者&#xff1a;计缘&#xff0c;阿里云云原生架构师 畅捷通介绍 畅捷通是中国领先的小微企业财税及业务云服务提供商&#xff0c;成立于 2010 年。畅捷通在 2021 年中国小微企业云财税市场份额排名第一&#xff0c;在产品前瞻性及行业全覆盖方面领跑市场&#xff0c;位居中…
阅读更多...
百万数据集测试赛题秒级查询的MySQL方案

百万数据集测试赛题秒级查询的MySQL方案

目录 比赛题目 最佳解法 solution_row prime_encoded 相关知识 递归 CTE SUBSTRING_INDEX 引用资料 比赛题目 有一张表 cards&#xff0c;id 是自增字段的数字主键&#xff0c;另外有4个字段 c1,c2,c3,c4 &#xff0c;每个字段随机从 1~10 之间选择一个整数&#xff…
阅读更多...
十二：爬虫-Scrapy框架（上）

十二：爬虫-Scrapy框架（上）

一&#xff1a;Scrapy介绍 1.Scrapy是什么&#xff1f; Scrapy 是用 Python 实现的一个为了爬取网站数据、提取结构性数据而编写的应用框架(异步爬虫框架) 通常我们可以很简单的通过 Scrapy 框架实现一个爬虫&#xff0c;抓取指定网站的内容或图片 Scrapy使用了Twisted异步网…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023