1
dfs.secondary.http.address
hadoop-node01:50090
首先需要将文件名称修改了。原文件名称为mapred-site.xml.template。指定MapReduce的资源调度方式为yarn。
mapreduce.framework.name
yarn
指定ResourceManager(yarn的老大)的地址和reduce获取数据的方式shuffle。
yarn.resourcemanager.hostname
hadoop-node01
yarn.nodemanager.aux-services
mapreduce_shuffle
指定DataNode的地址。
====================================================================
在hadoop-node01节点配置完成后,我们可以一次性将hadoop文件夹分发给其他几个节点。
scp -r hadoop hadoop-node02:/root/apps/
scp -r hadoop hadoop-node03:/root/apps/
scp -r hadoop hadoop-node04:/root/apps/
======================================================================
配置hadoop的环境变量,便于操作。
export HADOOP_HOME=/root/apps/hadoop
export PATH= P A T H : PATH: PATH:HADOOP_HOME/bin:$HADOOP_HOME/sbin
其他几个节点分发或者配置下
source /etc/profile
=======================================================================
只需要在NameNode的节点上面格式化一次就可以了
hadoop namenode -format
注意只需要格式一次,在nameNode上格式化。
======================================================================
在hadoop-node01上执行
start-dfs.sh
其他节点jps查看启动情况
测试:http://192.168.88.61:50070
最后如何让自己一步步成为技术专家
说句实话,如果一个打工人不想提升自己,那便没有工作的意义,毕竟大家也没有到养老的年龄。
当你的技术在一步步贴近阿里p7水平的时候,毫无疑问你的薪资肯定会涨,同时你能学到更多更深的技术,交结到更厉害的大牛。
推荐一份Java架构之路必备的学习笔记,内容相当全面!!!
成年人的世界没有容易二字,前段时间刷抖音看到一个程序员连着加班两星期到半夜2点的视频。在这个行业若想要拿高薪除了提高硬实力别无他法。
你知道吗?现在有的应届生实习薪资都已经赶超开发5年的程序员了,实习薪资26K,30K,你没有紧迫感吗?做了这么多年还不如一个应届生,真的非常尴尬!
进了这个行业就不要把没时间学习当借口,这个行业就是要不断学习,不然就只能被裁员。所以,抓紧时间投资自己,多学点技术,眼前困难,往后轻松!
【关注】+【转发】+【点赞】支持我!创作不易!
07642)]
成年人的世界没有容易二字,前段时间刷抖音看到一个程序员连着加班两星期到半夜2点的视频。在这个行业若想要拿高薪除了提高硬实力别无他法。
你知道吗?现在有的应届生实习薪资都已经赶超开发5年的程序员了,实习薪资26K,30K,你没有紧迫感吗?做了这么多年还不如一个应届生,真的非常尴尬!
进了这个行业就不要把没时间学习当借口,这个行业就是要不断学习,不然就只能被裁员。所以,抓紧时间投资自己,多学点技术,眼前困难,往后轻松!
【关注】+【转发】+【点赞】支持我!创作不易!