Hadoop部署本地模式

news2024/11/16 15:38:56

​ 本地模式,即运行在单台机器上。没有分布式的思想,使用的是本地文件系统。使用本地模式主要是用于对MapReduce的程序的逻辑进行调试,确保程序的正确性。由于在本地模式下测试和调试MapReduce程序较为方便,因此,这种模式适合用在开发阶段。

平台软件说明

平台&软件说明
宿主机操作系统Windows / MacOS
虚拟机操作系统CentOS 7
虚拟机软件Windows: VMWare
MacOS: Parallels Desktop
SSH工具Windows: MobaXterm / FinalShell
MacOS: FinalShell / iTerm2
软件包上传路径/root/softwares
软件安装路径/usr/local
JDKX64: jdk-8u321-linux-x64.tar.gz
ARM: jdk-8u321-linux-aarch64.tar.gz
HadoopX64: hadoop-3.3.1.tar.gz
ARM: hadoop-3.3.1-aarch64.tar.gz
用户root

安装JDK

  1. 卸载之前的JDK

    # 卸载之前的原因,主要是需要保证安装的JDK版本的正确性。
    [root@qianfeng01 ~]# rpm -qa | grep jdk     		# 如果有,请卸载
    [root@qianfeng01 ~]# rpm -e xxxxxxxx --nodeps      	# 将查询到的内置jdk强制卸载
    复制代码
  2. 上传JDK安装包到指定的路径

    使用MobaXterm或者FinalShell直接上传即可,上传到 /root/softwares 下
    复制代码
  3. 解压JDK到指定安装路径

    [root@qianfeng01 ~]# cd /root/softwares && tar -zxvf jdk-8u321-linux-x64.tar.gz -C /usr/local
    复制代码
  4. 配置环境变量

    [root@qianfeng01 local]# vim /etc/profile
    
    ...上述内容省略,在末尾添加即可...
    # Java Environment
    export JAVA_HOME=/usr/local/jdk1.8.0_321
    export PATH=$PATH:$JAVA_HOME/bin
    复制代码
  5. 重新引导,使得环境变量生效

    [root@qianfeng01 local]# source /etc/profile
    复制代码
  6. 验证JDK是否配置完成

    [root@qianfeng01 local]# java -version
    复制代码

安装Hadoop

  1. 上传Hadoop到指定的路径

    使用MobaXterm或者FinalShell上传到 /root/softwares 下即可
    复制代码
  2. 解压安装

    [root@qianfeng01 ~]# cd /root/softwares && tar -zxvf hadoop-3.3.1.tar.gz -C /usr/local
    复制代码
  3. 配置环境变量

    [root@qianfeng01 ~]# vim /etc/profile
    ...上述内容省略,在最下方添加即可...
    # Hadoop Environment
    export HADOOP_HOME=/usr/local/hadoop-3.3.1
    export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
    复制代码
  4. 重新引导,使得环境变量生效

    [root@qianfeng01 ~]# source /etc/profile
    复制代码
  5. 验证是否配置成功

    [root@qianfeng01 ~]# hadoop version
    复制代码

Hadoop的目录说明Hadoop的目录说明

iShot2022-01-28 12.22.58

案例演示 

  1. 新建一个目录,存放文本文件

    # 将若干个存储单词的文件放入这个目录下
    [root@qianfeng01 ~]# mkdir ~/input
    复制代码
  2. 执行wordcount

    [root@qianfeng01 ~]# hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar wordcount ~/input ~/output
    复制代码
  3. 查看结果

    [root@qianfeng01 ~]# cat ~/output/*
    复制代码

案例演示: pi 

直接计算pi的结果

[root@qianfeng01 ~]# hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar pi 10 10

也可以观看视频:

大数据简介-什么是大数据

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/563991.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

java实现大气质量插值图及六项污染物插值图图片导出

软件导出成果图效果 一、技术实现应用背景 大气污染是当今世界面临的一个严重问题。它不仅对人类健康造成了危害,还对环境和生态系统产生了负面影响。在许多地区,大气污染已经成为了日常生活中不可忽视的问题。 虽然大气污染的问题是复杂的,…

关于如何使用 python 下载CSV格式数据

本章节内容节自《python 编程从入门到实践》第十六章,我们将从网络上下载数据,并对数据进行可视化。就可以对其进行分析甚至观察其规律和关联。 学习目标 我们将访问并可视化以下两种常见格式存储的数据: CSV 使用 Python 模块 CSV 来处理以…

测试2年,26岁大龄程序员面试13家公司,拿下25K,差点被面试官KO了···

前言 我大概面试了13家公司,简历包装的是两年半测试经验,因为我的年纪已经是26岁,所以必须进行包装,这也并不是我想欺骗别人,而是现在无论干什么工作都需要有工作经验的,就连找个销售都要有工作经验的&…

Vue绑定class样式与style样式

1,回顾HTML的class属性 答:任何一个HTML标签都能够具有class属性,这个属性可能只有一个值,如class"happs",也有可能存在多个属性值,如class"happs good blue",js的原生DOM针…

STM32开发踩坑——芯片写保护解除

成立这个专栏的目的是,记录自己嵌入式开发遇到的问题,与成功的解决方法,方便自己回顾。 具体参考链接:STM32的Flash写了保护怎么办? 解决方法:在STLink连接目标板的情况下打开程序烧写软件ST-Link Utilit…

低代码开发迎来设备管理新时代:智能制造加速升级

随着智能制造时代的到来,制造业正在经历一场前所未有的变革。在这场变革中,设备管理平台和低代码开发已经成为了制造业的不二利器,帮助企业实现数字化转型,提高生产效率,降低成本,增强竞争力。 一、设备管…

OptaPlanner 中的hello world项目实战

实际操作步骤: 1.代码下载 下载下来的文件目录 2.使用编辑器打开hello-world项目 3.进行配置 配置JDK ,File——》Settings File——》Project Structure 配置maven 说明:不用下载新的maven,用工具自带的,需要将sett…

旋翼无人机常用仿真工具

四旋翼常用仿真工具 rviz: 简单的质点(也可以加上动力学姿态),用urdf模型在rviz中显示无人机和飞行轨迹、地图等。配合ROS代码使用,轻量化适合多机。典型的比如浙大ego-planner的仿真: https://github.c…

screen 的介绍及用法

screen 是什么 screen 是一种类似于终端模拟器的程序,允许你在一个终端窗口中创建和使用多个会话。这对于同时运行多个命令或任务非常有用,这样你就可以轻松地在它们之间切换,而不必依赖于多个终端窗口。此外,如果在ssh会话中运行…

HDMI之带宽计算

基本概念 像素时钟 英文 A pixel clock, also known as a dot clock, is a term commonly used in computer graphics and video display systems. It refers to the frequency at which pixels are displayed on a screen or monitor. The pixel clock determines the speed…

VMware是什么?VMware虚拟机最新安装教程

VMware Workstation是一款虚拟机软件,允许用户将Linux、Windows等多个操作系统作为虚拟机在单台PC上运行; 用户可以在虚拟机上重现服务器、桌面和平板电脑环境,无需重新启动即可跨不同操作系统同时运行应用。 通过对个人笔记本(PC)硬件资源的虚拟&#…

【zmq】REQ REP 模式

[c代码(https://github.com/dongyusheng/csdn-code/tree/master/ZeroMQ)zguide 官方有c++发布订阅:可以使用信封 发布订阅可以让消息一直流动请求应答是双向的,但是必须请求 应答 请求 应答 循环。简单的请求应答 requester 作为客户端以tcp连接到 reponderrequester zmq_sen…

自动化测试用例怎么写?最全自动化测试用例设计编写指南...

目录:导读 前言一、Python编程入门到精通二、接口自动化项目实战三、Web自动化项目实战四、App自动化项目实战五、一线大厂简历六、测试开发DevOps体系七、常用自动化测试工具八、JMeter性能测试九、总结(尾部小惊喜) 前言 Python自动化测试&…

算法系列题目

文章目录 一. 下一个更大元素1. 下一个更大元素 Ⅰ2. 下一个较大元素II 二. 区间问题1. 贪心策略最少射箭问题无重叠区间合并区间划分字母区间 2. 差分数组 三. 设计类题目1. LRU(最近最少使用)缓存2. LFU(最不经常使用)缓存 一. 下一个更大元素 1. 下一个更大元素 Ⅰ 添加链…

磐维数据库panweidb单节点服务器在centos7.9安装(研发环境)

一、系统环境优化 1.1 关闭SELINUX # 修改配置文件 cat /etc/selinux/config | grep -i SELINUX SELINUXdisabled# 关闭SELINUX setenforce 0 1.2 内核参数优化 vi /etc/sysctl.conf 添加# panweidb net.ipv4.tcp_max_tw_buckets 10000 net.ipv4.tcp_tw_reuse 1 net.ipv4.t…

CAS是什么?它的底层原理是什么?

目录 一、CAS概述 二、底层原理 三、总结 一、CAS概述 CAS(Compare and Swap)比较和交换:是一种并发算法,也是一种乐观锁,从JDK5开始,jdk提供了java.util.concurrent.*,此包下面的类在高并发场景下经常使用…

CTF密码学总结

0x01 目录 常见编码: ASCII编码Base64/32/16编码shellcode编码Quoted-printable编码XXencode编码UUencode编码URL编码Unicode编码Escape/Unescape编码HTML实体编码敲击码(Tap code)莫尔斯电码(Morse Code)编码的故事 各种文本加密 换位加密: 栅栏密码(Rail-fence Cipher)曲路密…

第13届蓝桥杯Scratch选拔赛真题集锦

第13届蓝桥杯Scratch选拔赛真题集锦 编程题 第 1 题问答题 跳舞机游戏 题目说明 编程实现 跳舞机游戏。 具体要求: 1).点击绿旗,舞台左上角显示得分0代表玩家分数,在得分右侧倒计时10代表游戏时长(10s) 2).游戏开始倒数计时,在舞台上随…

目标检测的通用实例提取

论文:General Instance Distillation for Object Detection 论文地址:https://arxiv.org/pdf/2103.02340.pdfhttps://arxiv.org/pdf/2103.02340.pdf 摘要 In recent years, knowledge distillation has been proved to be an effective solution for m…

vulnhub靶场之bassamctf

1.信息收集 探测存活主机,输入:netdiscover -r 192.168.239.0/24 ,发现192.168.239.177存活。 对目标主机192.168.239.176进行端口扫描,发现存活22(SSH)、80端口。 在浏览器上输入:http://192.168.239.177&#xff…