在Windows 10上安装单机版的hadoop-3.3.5

news2024/11/22 23:38:48

1、Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以不需要了解分布式底层细节的情况下,开发分布式程序。充分利用集群进行高速运算和存储。

2、下载Hadoop,我们在清华大学的镜像站下载

Index of /apache/hadoop/core/hadoop-3.3.6 (tsinghua.edu.cn)

3、下载之后解压缩

​4、安装相应的环境

4.1、jdk1.8或者jdk11,

4.2、配置hadoop环境

5、修改hadoop配置

5.1、修改start-all.cmd中的配置

@rem start hdfs daemons if hdfs is present
if exist %HADOOP_HDFS_HOME%\sbin\start-dfs.cmd (
  call %HADOOP_HDFS_HOME%\sbin\start-dfs.cmd --config %HADOOP_CONF_DIR%
)

@rem start yarn daemons if yarn is present
if exist %HADOOP_YARN_HOME%\sbin\start-yarn.cmd (
  call %HADOOP_YARN_HOME%\sbin\start-yarn.cmd --config %HADOOP_CONF_DIR%
)

5.2、修改yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
 <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>localhost</value>
    </property>
</configuration>

5.3、mapred-site.xml

<configuration>
 <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>
</configuration>

5.4、hdfs-site.xml

<configuration>
	<property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/D:/bigdata/hadoop/data/namenode</value> //注意前面部分路径修改为自己的
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/D:/bigdata/hadoop/data/datanode</value> //注意前面部分路径修改为自己的
    </property>
	<property>
	   <name>dfs.permissions.enabled</name>
	   <value>false</value>
	</property>
</configuration>

5.5、core-site.xml

<configuration>
	<property>
        <name>hadoop.tmp.dir</name>
        <value>/D:/bigdata/hadoop/data/tmp</value> //注意前面部分路径修改为自己的
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
	<property>
        <name>hadoop.http.authentication.simple.anonymous.allowed</name>
        <value>true</value>
    </property>
</configuration>

5.6、需要拷贝winutils下的winutils.exe,hadoop.dll到hadoop的bin下面

在/ect/hadoop/hadoop-env.cmd中设置set JAVA_HOME=D:/Java/jdk1.8.0_311,jdk的环境地址

5.7、输入hdfs namenode -format格式化

hdfs namenode -format

5.8、进入hadoop/sbin目录执行start-all.cmd

D:\bigdata\hadoop\sbin>start-all.cmd
This script is Deprecated. Instead use start-dfs.cmd and start-yarn.cmd
starting yarn daemons

5.9、jps查看

D:\bigdata\hadoop\sbin>jps
8448 Jps
28360 NameNode
29592 ResourceManager
18108 NodeManager
20940 DataNode

5.10、启动成功后界面

http://localhost:8088/cluster

http://localhost:9870/

单机版的hadoop就启动成功

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1187518.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

4、FFmpeg命令行操作1

一、环境搭建 1. 到ffmpeg官方下载已经编译好的Windows shared库&#xff1b; 2. 将执行文件ffmpeg.exe ffplay.exe ffprobe.exe拷贝到C:\Windows目录; 3. 将相应的动态库拷贝到C:\Windows\SysWOW64目录&#xff1b; 注&#xff1a;WOW64 (Windows-on-Windows 64-bit) 4.…

win10添加回环网卡步骤

打开命令行输入hdwwiz 添加新硬件向导 结果

C语言--分段函数--switch语句

如何用switch语句写分段函数呢&#xff1f;⭐️ 首先介绍一下switch语句的语法规则⭐️ switch(整形表达式) {case 常量表达式1&#xff1b; //标签必须唯一语句块1;break;case 常量表达式2&#xff1b; //if(a0),而case中时系统自动加语句块2&#xff1b;break&#xff1b;c…

关于国内SRRC-无线电设备认证流程与认证标准介绍

随着无线通信技术的迅猛发展&#xff0c;无线设备在我们的日常生活中扮演着越来越重要的角色。在中国&#xff0c;为了确保无线设备的合规性和可靠性&#xff0c;针对对应进行合规认证是必不可少的。本文将介绍国内无线电产品SRRC认证&#xff0c;探讨其背景、认证流程和标准要…

Java 最常见的面试题:常用的 jvm 调优的参数都有哪些?

Java 最常见的面试题&#xff1a;常用的 jvm 调优的参数都有哪些? 常用的Java虚拟机&#xff08;JVM&#xff09;调优参数有很多&#xff0c;以下是一些重要的参数&#xff1a; -Xms 和 -Xmx&#xff1a;这两个参数分别设置了JVM启动内存的最小值和最大值&#xff0c;单位通…

任正非说:华为以前还出现过可笑的工号文化,看官大官小的指令

你好&#xff01;这是华研荟【任正非说】系列的第33篇文章&#xff0c;让我们聆听任正非先生的真知灼见&#xff0c;学习华为的管理思想和管理理念。 一、要把可以规范化的管理都变成扳铁路道岔&#xff0c;使岗位操作标准化、制度化。 来源于任正非先生2003年的讲话《在理性与…

瞅瞅 Opencv:扫描图像

扫描图像查询表 一、概述二、图像矩阵如何存储在内存中?三、高效的方式四、迭代器(安全)方法五、带引用返回的动态地址计算六、核心功能七、性能差异 一、概述 让我们考虑一种简单的色彩还原方法。通过使用unsigned char C和c类型进行矩阵项存储&#xff0c;一个像素通道可以…

IMX6ULL —— ASCII 字符和中文字符的点阵显示

前言&#xff1a; 使用的开发板为韦东山老师的 IMX6ULL 目录 ASCII 字符的点阵显示 1.获取点阵 2.描点 3.main 函数 4.编译 c 文件 show_ascii.c 中文字符的点阵显示 1.指定编码格式 2.编码格式实验 默认编码 GB2312 转为 UTF-8 UTF-8 转为 GB2312 汉字区位码 ​…

16 _ 二分查找(下):如何快速定位IP对应的省份地址?

通过IP地址来查找IP归属地的功能,不知道你有没有用过?没用过也没关系,你现在可以打开百度,在搜索框里随便输一个IP地址,就会看到它的归属地。 这个功能并不复杂,它是通过维护一个很大的IP地址库来实现的。地址库中包括IP地址范围和归属地的对应关系。 当我们想要查询202…

上海亚商投顾:沪指震荡调整 短剧概念股持续爆发

上海亚商投顾前言&#xff1a;无惧大盘涨跌&#xff0c;解密龙虎榜资金&#xff0c;跟踪一线游资和机构资金动向&#xff0c;识别短期热点和强势个股。 一.市场情绪 三大指数早间低开高走&#xff0c;午后又集体跳水翻绿&#xff0c;临近尾盘有所回升。短剧概念股持续大涨&…

汇编-EQU伪指令(数值替换)

EQU伪指令将一个符号名称与一个整数表达式或一个任意文本相关联&#xff0c; 它有3种格式 在第一种格式中&#xff0c; expression必须是一个有效的整数表达式。在第二种格式中&#xff0c; symbol是一个已存在的符号名称&#xff0c; 已经用或EQU定义过。在第三种格式中&…

Rust语言代码示例

安装Rust语言&#xff0c;然后创建一个新的Rust项目。接下来&#xff0c;你需要安装一个名为"requests"的Rust包&#xff0c;这个包可以帮助你发送请求。然后&#xff0c;你需要安装一个名为"rust-crawler"的Rust包&#xff0c;这个包可以帮助你编写爬虫程…

AI:67-基于深度学习的脱机手写汉字识别

🚀 本文选自专栏:AI领域专栏 从基础到实践,深入了解算法、案例和最新趋势。无论你是初学者还是经验丰富的数据科学家,通过案例和项目实践,掌握核心概念和实用技能。每篇案例都包含代码实例,详细讲解供大家学习。 📌📌📌在这个漫长的过程,中途遇到了不少问题,但是…

用 Transformer 替换 diffusion 的U-Net:可伸缩的 diffusion 模型

论文标题&#xff1a; Scalable diffusion models with transformers 论文链接&#xff1a;https://openaccess.thecvf.com/content/ICCV2023/html/Peebles_Scalable_Diffusion_Models_with_Transformers_ICCV_2023_paper.html 代码&#xff1a;https://github.com/facebookres…

【EI会议征稿】第四届计算机网络安全与软件工程国际学术会议(CNSSE 2024)

第四届计算机网络安全与软件工程国际学术会议&#xff08;CNSSE 2024&#xff09; 2024 4th International Conference on Computer Network Security and Software Engineering 第四届计算机网络安全与软件工程国际学术会议&#xff08;CNSSE 2024&#xff09;将于2024年2月…

FPBJXDN224、FPBJXDV224插头式电比例节流阀放大器

FPBJXDN224、FPBJXDV224此阀是一款先导控制&#xff0c;常开&#xff0c;电比例节流阀&#xff0c;带反向单向阀。比例电磁铁得电可以在先导级产生作用力&#xff0c;从而比例地关闭主级的阀芯。液流方向为2口流向1口。无论电比例开启还是关闭反向单向阀都允许油液从1口自由流向…

影视小程序源码 付费短剧小程序源码 支持会员模式 多平台支付方式

这是一款功能强大的全开源付费短剧小程序源码&#xff0c;支持多种展现形式&#xff0c;包括付费、免费、任务等方式解锁自由配置。此外&#xff0c;还有用户运营、营销推广、付费观看和成熟代理机制等多种功能。 该小程序源码支持无限滑动、高性能滑动、预加载和视频预览等功能…

天猫店铺所有商品数据接口(Tmall.item_search_shop)

天猫平台店铺所有商品数据接口是开放平台提供的一种API接口&#xff0c;通过调用该接口&#xff0c;开发者可以获取天猫整店的商品的标题、价格、库存、月销量、总销量、库存、详情描述、图片、价格信息等详细信息。 要使用天猫店铺所有商品数据接口&#xff0c;您需要先登录天…

I/O软件层次介绍

一、I/O系统 1.设备独立性软件 2.设备驱动程序 3.中断处理程序 总览 二、输入、输出管理 1.应用程序接口 网络通信方式过程 2.设备驱动程序接口

应用在便携式多媒体播放器中的音频Codec芯片

便携式多媒体播放器(PMP&#xff0c;Portable Media Player)&#xff0c;也就是通常人们所说的MP4。PMP的主要优点是&#xff1a;携带方便&#xff0c;能够直接播放高品质音/视频文件&#xff1b;也可以浏览图片&#xff0c;以及作为移动硬盘使用&#xff1b;此外&#xff0c;P…