Windows下IntelliJ IDEA远程连接服务器中Hadoop运行WordCount（详细版）

news2024/10/7 16:24:15

使用IDEA直接运行Hadoop项目，有两种方式，分别是本地式：本地安装Hadoop+IDEA；远程式：远程部署Hadoop，本地安装IDEA并连接， 本文介绍第二种。

一、安装配置Hadoop

(1)虚拟机伪分布式

见上才艺！CentOS7从0到1部署Apache Hadoop生态集群

(2)云服务器分布式

如果是云主机，需要注意hosts映射问题和安全组开放问题，见阿里云腾讯云等云服务器搭建hadoop集群服务器，内外网hosts配置文件问题

二、配置IDEA

1、安装配置Maven

IDEA自带了Maven，为了更方便和更好的管理，推荐自己安装Maven

Maven是什么？
Maven 是专门用于构建和管理Java相关项目的工具

使用Maven管理项目的3个好处:
1、使用Maven管理的Java 项目都有着相同的项目结构。 有一个pom.xml 用于维护当前项目都用了哪些jar包。所有的java代码都放在 src/main/java 下面； 所有的测试代码都放在src/test/java 下面 。
2、便于统一维护jar包。把所有的jar包都放在了本地"仓库“ 里，然后哪个项目需要用到这个jar包，只需要给出jar包的名称和版本号就行了，这样就实现了jar包共享，避免每一个项目都有自己的jar包带来的麻烦。
3、帮助开发人员将精力倾注在开发而不是在包的管理当中，开发人员无需关注包的冲突问题和管理问题。

  1. 下载解压（注意Maven版本需要和IDEA匹配，否则可能会报错）
    下载地址：apache-maven-3.6.3-bin.zip百度网盘链接
    提取码：hgdh
    我的IDEA是201903，运行实测无障碍。如果IDEA版本低，可以百度升级方法
  2. 配置环境变量
    (1)先解压到自己的目录当中(随意)
    配置环境变量
    (2)打开电脑环境变量，新建MAVEN_HOME为自己的解压目录，紧接着添加/bib目录到Path_
    查看版本
    (3)完成后使用mvn -v查看版本，如果出现如图则环境变量配置完成
  3. 配置仓库
    进入解压目录，备份修改setting.xml
<!-- 自建，maven自动下载的jar包，会存放到该目录下 -->
<localRepository>D:/server/maven/repository</localRepository>
  1. 配置镜像地址
    国内镜像速度更快，推荐修改
<mirrors>
	<mirror>
		<id>alimaven</id>
		<mirrorOf>central</mirrorOf>
		<name>aliyun maven</name>
		<url>http://maven.aliyun.com/nexus/content/repositories/central/</url>
	</mirror>

	<mirror>
		<id>alimaven</id>
		<name>aliyun maven</name>
		<url>http://maven.aliyun.com/nexus/content/groups/public/</url>
		<mirrorOf>central</mirrorOf>
		</mirror>

	<mirror>
		<id>central</id>
		<name>Maven Repository Switchboard</name>
		<url>http://repo1.maven.org/maven2/</url>
		<mirrorOf>central</mirrorOf>
	</mirror>

	<mirror>
		<id>repo2</id>
		<mirrorOf>central</mirrorOf>
		<name>Human Readable Name for this Mirror.</name>
		<url>http://repo2.maven.org/maven2/</url>
	</mirror>

	<mirror>
		<id>ibiblio</id>
		<mirrorOf>central</mirrorOf>
		<name>Human Readable Name for this Mirror.</name>
		<url>http://mirrors.ibiblio.org/pub/mirrors/maven2/</url>
	</mirror>

	<mirror>
		<id>jboss-public-repository-group</id>
		<mirrorOf>central</mirrorOf>
		<name>JBoss Public Repository Group</name>
		<url>http://repository.jboss.org/nexus/content/groups/public</url>
	</mirror>

	<mirror>
		<id>google-maven-central</id>
		<name>Google Maven Central</name>
		<url>https://maven-central.storage.googleapis.com
</url>
		<mirrorOf>central</mirrorOf>
	</mirror>
<!-- 中央仓库在中国的镜像 -->
	<mirror>
		<id>maven.net.cn</id>
		<name>oneof the central mirrors in china</name>
		<url>http://maven.net.cn/content/groups/public/</url>
		<mirrorOf>central</mirrorOf>
	</mirror>

	</mirrors>
  1. 在IDEA中配置Maven
    (1)关闭所有项目，防止配置只生效当前项目！
    (2)打开Settings,在输入框输入maven，这里要注意，选择了自定义的maven后， 一定要勾选Override(覆盖)。同时保证 Local repository 项填写的路径和你勾选的配置文件中配置的路径是一致的。
    IDEA配置Maven
    (3)设置镜像源(如果在setting中设置，可跳过！)
    IDEA Maven配置国内镜像
    (4)配置Intellij IDEA中自动下载jar包 :依次点击File -> Setting ->Maven ->Importing：选中Automatically download中的两个多选框Sources和Documentation
    自动安装Jar包
2、新建Maven项目

点击File–>New–>Project，选择Maven
选择下一步
创建Maven项目
新建后会出现如图所示界面：
默认界面
1：SRC，项目代码所属目录，放到Java文件中，正式
2：TEST，测试代码
3：POM.xml：包管理文件，需要的包以键值对的方式传入
4：导入包的方式，点击导入
5：也是导入包的方式，点击后本项目的包自动导入

三、设置连接Hadoop

新建完成后需要设置导入包，新建class

1、Linux中操作

(1)拷出hdfs-site.xml和core-site.xml文件
安装lrzsz后可以选择sz保存到Windows中，或者使用软件拷出也可以
(2)启动集群

$HADOOP_HOME/sbin/start-all.sh

(3)创建目录，上传文件到hdfs中

[root@master ~]# hdfs dfs -mkdir /data
[root@master ~]# hdfs dfs -mkdir /out
[root@master ~]# hdfs dfs -put ./word.txt /data/
[root@master ~]# hdfs dfs -ls /data/
Found 1 items
-rw-r--r--   3 root supergroup         22 2020-08-08 18:14 /data/word.txt
[root@master ~]# hdfs dfs -cat /data/word.txt
hello word
hello Java
[root@master ~]#
2、IDEA中操作

(1)导入hadoop配置文件到resources中
配置文件导入
(2)查看一下本项目的Maven是否配置生效了，如果没有则修改
项目Maven配置

(3)修改pom.xml文件，导入需要的包(无需更改内容)

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>org.example</groupId>
    <artifactId>JavaHadoopProJectS</artifactId>
    <version>1.0-SNAPSHOT</version>

<packaging>jar</packaging>

<dependencies>
  <dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-client</artifactId>
    <version>2.7.3</version>
  </dependency>
</dependencies>

<build>
  <plugins>
    <plugin>
      <groupId>org.apache.maven.plugins</groupId>
      <artifactId>maven-jar-plugin</artifactId>
      <version>2.4</version>
      <configuration>
        <archive>
          <manifest>
            <mainClass>org.hhrz.mapreduce.demo.JobMain</mainClass>
          </manifest>
        </archive>
      </configuration>
    </plugin>
  </plugins>
</build>

修改文件后点击右下角的自动导入包
(4)新建wordcount类(注意编程规范)
wordcount

package hadoop;
import java.io.IOException;
import java.util.StringTokenizer;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;
import org.apache.log4j.BasicConfigurator;

public class WordCount {
    public static class Map extends Mapper<Object,Text,Text,IntWritable>{
        private static IntWritable one = new IntWritable(1);
        private Text word = new Text();
        public void map(Object key,Text value,Context context) throws IOException,InterruptedException{
            StringTokenizer st = new StringTokenizer(value.toString());
            while(st.hasMoreTokens()){
                word.set(st.nextToken());
                context.write(word, one);
            }
        }
    }

    public static class Reduce extends Reducer<Text,IntWritable,Text,IntWritable>{
        private static IntWritable result = new IntWritable();
        public void reduce(Text key,Iterable<IntWritable> values,Context context) throws IOException,InterruptedException{
            int sum = 0;
            for(IntWritable val:values){
                sum += val.get();
            }
            result.set(sum);
            context.write(key, result);
        }
    }

    static {
        try {
            System.load("D:/JavaFile/bin/hadoop.dll");//建议采用绝对地址，bin目录下的hadoop.dll文件路径
        } catch (UnsatisfiedLinkError e) {
            System.err.println("Native code library failed to load.\n" + e);
            System.exit(1);
        }
    }

    public static void main(String[] args) throws Exception{
        BasicConfigurator.configure(); //自动快速地使用缺省Log4j环境。
        System.setProperty("HADOOP_USER_NAME", "root");
        Configuration conf = new Configuration();
        String[] otherArgs = new GenericOptionsParser(conf,args).getRemainingArgs();
        if(otherArgs.length != 2){
            System.err.println("Usage WordCount <int> <out>");
            System.exit(2);
        }
        Job job = new Job(conf,"word count");
        job.setJarByClass(WordCount.class);
        job.setMapperClass(Map.class);
        job.setCombinerClass(Reduce.class);
        job.setReducerClass(Reduce.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);
        FileInputFormat.addInputPath(job, new Path(otherArgs[0]));
        FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));
        System.exit(job.waitForCompletion(true) ? 0 : 1);
    }
}

(5)传入参数
设置
设置路径
第一个路径是输入路径，可以精确到某个文件，也可以模糊到文件夹，但是注意：输入参数是文件夹时，文件夹内不能再包含文件夹；第二个路径是输出路径，输出路径后不能存在，否则会报错。两个文件路径都是HDFS上
(6)运行
运行过程

四、可能出现的问题

1.org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0(Ljava/lang/String;I)V
原因：缺少hadoop.dll或winutils.exe等驱动，需要下载对应hadoop版本的hadoop.dll(相差较少版本据说也可以，如2.7.3版本Hadoop可以使用2.6的Hadoop.dll)。
解决方案：(1)将文件放置到$Hadoop/bin下；或者 (2)添加到代码当中 (建议放到main的上面)
链接：hadoop-common-2.7.3-bin百度网盘链接
提取码：qf5b

static {
        try {
            System.load("D:/JavaFile/bin/hadoop.dll");//建议采用绝对地址，bin目录下的hadoop.dll文件路径
        } catch (UnsatisfiedLinkError e) {
            System.err.println("Native code library failed to load.\n" + e);
            System.exit(1);
        }
    }

2.log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory).log4j:WARN Please initialize the log4j system properly.log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.

原因：log4j缺省问题
解决方法：(1)配置log4j.properties(不推荐，复杂)；或者 (2)添加代码

	public static void main(String[] args) throws Exception{
        BasicConfigurator.configure(); //自动快速地使用缺省Log4j环境。建议放到mian当中

以上两个问题的解决代码已经写入到WordCount中，无需额外复制粘贴

参考链接：IntelliJ IDEA运行WordCount（详细版）

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1509310.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

【C++】反向迭代器仿函数模板进阶

【C++】反向迭代器仿函数模板进阶

反向迭代器&仿函数&模板进阶 一&#xff0c;反向迭代器1. 什么是反向迭代器2. 模拟实现3. 如何使用 二&#xff0c;仿函数1. 仿函数的概念2. 仿函数的用法 三&#xff0c;模板1. 非类型模板参数2. 模板的特化2.1 特化概念2.2 函数模板特化2.3 类模板特化2.3.1 全特化2.…
阅读更多...
借助 Terraform 功能协调部署 CI/CD 流水线-Part2

借助 Terraform 功能协调部署 CI/CD 流水线-Part2

在第一部分的文章中&#xff0c;我们介绍了3个步骤&#xff0c;完成了教程的基础配置&#xff1a; 使用 Terraform 创建 AWS EKS Infra在 EKS 集群上部署 ArgoCD 及其依赖项设置 Bitbucket Pipeline并部署到 ECR Repo 本文将继续完成剩余的步骤&#xff0c;以实现 Terraform 编…
阅读更多...
【2024金三银四】

【2024金三银四】

💝💝💝欢迎来到我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。 推荐:kwan 的首页,持续学习,不断总结,共同进步,活到老学到老导航 檀越剑指大厂系列:全面总结 jav…
阅读更多...
搭建mysql主从复制(主主复制)

搭建mysql主从复制(主主复制)

1&#xff1a;设主库允许远程连接(注意&#xff1a;设置账号密码必须使用的插件是mysql_native_password&#xff0c;其他的会连接失败) #切换到mysql这个数据库&#xff0c;修改user表中的host&#xff0c;使其可以实现远程连接 mysql>use mysql; mysql>update user se…
阅读更多...
Vue3全家桶 - VueRouter - 【3】嵌套路由【children】

Vue3全家桶 - VueRouter - 【3】嵌套路由【children】

嵌套路由【children】 如果在路由视图中展示的组件包含自己的路由占位符&#xff08;路由出口&#xff09;&#xff0c;则此处会用到嵌套路由&#xff1b;如图所示&#xff1a;点击关于链接&#xff0c;则会展示About组件&#xff0c;在其组件中又包含了路由链接和路由占位符&…
阅读更多...
3、设计模式之工厂模式

3、设计模式之工厂模式

工厂模式是什么&#xff1f;     工厂模式是一种创建者模式&#xff0c;用于封装和管理对象的创建&#xff0c;屏蔽了大量的创建细节&#xff0c;根据抽象程度不同&#xff0c;主要分为简单工厂模式、工厂方法模式以及抽象工厂模式。 简单工厂模式 看一个具体的需求 看一个…
阅读更多...
Python绘图-14绘制3D图（上）

Python绘图-14绘制3D图（上）

14.1绘制3D散点图 14.1.1图像呈现 14.1.2绘图代码 import numpy as np # 导入numpy库&#xff0c;numpy是Python的一个强大的数值计算扩展程序库&#xff0c;支持大量的维度数组与矩阵运算&#xff0c;此外也针对数组运算提供大量的数学函数库。 import matplotlib.pyplot a…
阅读更多...
GPT与R 在生态环境领域数据统计分析

GPT与R 在生态环境领域数据统计分析

原文链接&#xff1a;GPT与R 在生态环境领域数据统计分析https://mp.weixin.qq.com/s?__bizMzUzNTczMDMxMg&mid2247597092&idx2&sn0a7ac5cf03d37c7b4659f870a7b71a77&chksmfa823dc3cdf5b4d5ee96a928a1b854a44aff222c82b2b7ebb7ca44b27a621edc4c824115babe&…
阅读更多...
Python（单词识别、汉诺塔、学生信息管理系统、生词本）

Python（单词识别、汉诺塔、学生信息管理系统、生词本）

一、单词识别 周一到周日的英文依次为&#xff1a;Monday、Tuesday、Wednesday、Thusday、Friday、Saturday和Sunday&#xff0c;这些单词的首字母基本都不相同&#xff0c;在这7个单词的范围之内&#xff0c;通过第一或前两个字母即可判断对应的是哪个单词。 本任务要求编写…
阅读更多...
案例分析篇04：数据库设计相关28个考点（1~8）（2024年软考高级系统架构设计师冲刺知识点总结系列文章）

案例分析篇04：数据库设计相关28个考点（1~8）（2024年软考高级系统架构设计师冲刺知识点总结系列文章）

专栏系列文章推荐： 2024高级系统架构设计师备考资料（高频考点&真题&经验）https://blog.csdn.net/seeker1994/category_12601310.html 【历年案例分析真题考点汇总】与【专栏文章案例分析高频考点目录】（2024年软考高级系统架构设计师冲刺知识点总结-案例分析篇-…
阅读更多...
Docker 容器化技术：构建高效、可移植的开发环境和部署流程｜Docker 的分层设计

Docker 容器化技术：构建高效、可移植的开发环境和部署流程｜Docker 的分层设计

容器技术是云原生的核心技术之一&#xff0c;利用容器化技术&#xff0c;可以将微服务以及它所需要的配置、依赖关系、环境变了等都可以便捷地部署到新的服务器节点上&#xff0c;而不用再次重新配置&#xff0c;这就使得微服务具备了强大的可移植性。 二、Docker 的分层设计 …
阅读更多...
研发效能DevOps: OpenEuler 部署 drone 持续集成平台

研发效能DevOps: OpenEuler 部署 drone 持续集成平台

目录 一、实验 1.环境 2.OpenEuler 部署 drone 持续集成平台 二、问题 1.drone登录失败 一、实验 1.环境 &#xff08;1&#xff09;主机 表1 主机 系统架构版本IP备注LinuxopenEuler22.03 LTS SP2 192.168.204.145&#xff08;动态&#xff09; 192.168.204.141&…
阅读更多...
github 中的java前后端项目整合到本地运行

github 中的java前后端项目整合到本地运行

前言: 本文章中所有内容仅供学习交流使用&#xff0c;不用于其他任何目的&#xff0c;不提供完整代码&#xff0c;抓包内容、敏感网址、数据接口等均已做脱敏处理&#xff0c;严禁用于商业用途和非法用途&#xff0c;否则由此产生的一切后果均与作者无关&#xff01; 本文章未…
阅读更多...
安卓多个listView拖动数据交换位置和拖动

安卓多个listView拖动数据交换位置和拖动

注意这里只是给出大概思路&#xff0c;具体可以参考修改自己想要的 public class MainActivity extends AppCompatActivity {private ListView listView1;private ListView listView2;private ArrayAdapter<String> adapter1;private ArrayAdapter<String> adapter…
阅读更多...
搭建交换机模拟环境及SSH连接，华为NSP软件入门使用教程

搭建交换机模拟环境及SSH连接，华为NSP软件入门使用教程

搭建交换机模拟环境及SSH连接&#xff0c;华为NSP软件入门使用教程 如果你是通过搜索搜到了这篇文章&#xff0c;那么一定是工作或者学习中需要用交换机&#xff0c;但是又没物理机测试学习&#xff0c;所以需要搭建本地的虚拟环境学习。 这篇文章是我进行交换机命令入门学习写…
阅读更多...
阅读欣赏推荐之（三）——纪录片《地平线系列：大数据时代》

阅读欣赏推荐之（三）——纪录片《地平线系列：大数据时代》

现今的我们正处于一个时代转型中&#xff0c;因为科技的发展与互联网的日益强大&#xff0c;数据将逐步取代旧事物&#xff0c;创造出新事物。当今社会以一种前所未有的方式&#xff0c;通过对海量数据进行分析&#xff0c;获得巨大价值的产品和服务&#xff0c;或深刻的洞见。…
阅读更多...
Jmeter+Ant+Git/SVN+Jenkins实现持续集成接口测试，一文精通（二）

Jmeter+Ant+Git/SVN+Jenkins实现持续集成接口测试，一文精通（二）

前言 上篇内容已经介绍接口测试流程以及了解如何用jmeter接口测试&#xff0c;本篇将介绍如何在实战中应用 一、Jmeter接口关联 1.使用正则表达式实现接口关联&#xff08;可以作用于任意值&#xff09; 如果说一个请求里面有多次请求服务器。 2.使用Jsonpath表达式实现接口关…
阅读更多...
【CV论文阅读】【计算机视觉中的Transformer应用综述】（1）

【CV论文阅读】【计算机视觉中的Transformer应用综述】（1）

0.论文摘要 摘要——自然语言任务的Transformer model模型的惊人结果引起了视觉社区的兴趣&#xff0c;以研究它们在计算机视觉问题中的应用。在它们的显著优点中&#xff0c;与递归网络例如长短期记忆&#xff08;LSTM&#xff09;相比&#xff0c;Transformer能够模拟输入序…
阅读更多...
Cocos2dx-lua ScrollView[二]进阶篇

Cocos2dx-lua ScrollView[二]进阶篇

一.概述 本文缩写说明：sv = ScrollView, item代表ScrollView的一个子节点 如果对sv熟系程度还不够，请阅读基础篇： Cocos2dx-lua ScrollView[一]基础篇-CSDN博客 本文介绍sv的一种封装类库，来实现快速创建sv，有如下几个优点： 1.item的位置通过参数控制，提高开发效率…
阅读更多...
【MySQL】1.在Centos 7上如何卸载/安装/配置MySQL(保姆级教程)

【MySQL】1.在Centos 7上如何卸载/安装/配置MySQL(保姆级教程)

MySQL 在 Centos 7环境安装 说明&#xff1a; • 安装与卸载中&#xff0c;用户全部切换成为root&#xff0c;⼀旦安装&#xff0c;普通用户能使用的 • 初期练习&#xff0c;mysql不进行用户管理&#xff0c;全部使用root进行&#xff0c;尽快适应mysql语句&#xff0c;后⾯学…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023