大数据服务之linux中安装hadoop

news2024/11/24 13:27:12

安装hadoop之前,必须要先有jdk。所以jdk

在linux环境中配置java全局变量

第一步,下载

下载地址:
Index of /dist/hadoop/common/hadoop-3.1.3

第二步,解压

tar -zxvf  hadoop-3.1.3.tar.gz

第三步,获取文件路径

pwd

结果如下:/mnt/soft/hadoop-3.1.3

第四步,配置/etc/profile文件

vim /etc/profile
#set hadoop environment
export HADOOP_HOME=/mnt/soft/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

第五步,让修改后的文件生效

source /etc/profile

第六步,测试是否安装成功

hadoop version

这只能说安装好了,但是不能用,接下来需要启动hadoop

第七步:修改配置文件

在hadoop目录下的etc/hadoop中修改配置文件

 cd /mnt/soft/hadoop-3.1.3/etc/hadoop/

首先:修改hadoop-env.sh

vim  hadoop-env.sh

设置java路径

export JAVA_HOME=/mnt/soft/jdk1.8.0_91

其次:修改 core-site.xml 文件

vim core-site.xml
<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://hadoop1:9000</value>
        </property>
        
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/mnt/soft/hadoop-3.1.3/tmp</value>
        </property>
</configuration>

其中hadoop1就是你本地的ip地址

接着:修改 hdfs-site.xml 文件

vim hdfs-site.xml
<configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
</configuration>

第八步:初始化文件系统

初始化名称节点名称

hdfs namenode -format

如果出现下图,说明初始化成功。

 在sbin目录下,启动hdfs

start-dfs.sh

这个时候可能会出现错误。

 这个原因是启动时需要设置启动账号。

vim start-dfs.sh

在start-dfs.sh最上面添加如下代码

HDFS_DATANODE_USER=root
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

意思是,需要启动账号,当然,如果stop-dfs.sh也要加上。

这样也不能启动。还会出现如下错误。

 报错原因是:

  • 本机未设置ssh免密码登录本机(也就是说,ssh localhost的时候需要密码)此时会报错

  当我们输入ssh localhost 是需要输入密码的

解决方法是:

  • 设置本机登录本机免密码即可(教程参照网上资料,大概逻辑为:服务端生成私钥和公钥,服务器端持有私钥,公钥交由客户端,此后客户端可免密码登录服务器端)
  • 具体代码实施如下(在 ~/.ssh目录下进行如下操作):
ssh-keygen -t rsa
# 在之后跳出的文字交互界面一路回车+yes即可
cat id_rsa.pub >> authorized_keys
# 将公钥追加到authorized_keys文件中去
chmod 600 authorized_keys
# 将authorized_keys文件权限更改为600
# 至此设置免密操作完毕

  当我们输入ssh localhost 是不需要输入密码的

这样再次启动,就成功了。

我们可以通过jsp语言来查看是否启动了。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/540304.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

站的更高一点看分布式系统中的复制

复制意味着在通过网络连接的多台机器上保留相同数据的副本。 我们希望能复制数据&#xff0c;可能出于各种各样的原因&#xff1a; 使得数据与用户在地理上接近&#xff08;从而减少延迟&#xff09;即使系统的一部分出现故障&#xff0c;系统也能继续工作&#xff08;从而提…

网络带宽管理

网络某一部分的带宽使用过多&#xff0c;可能会影响整个网络的性能&#xff0c;带宽问题甚至会影响业务关键型服务并导致网络停机。在企业中保持稳定的网络性能可能具有挑战性&#xff0c;因为采用数字化的网络可扩展性和敏捷性应该与组织的发展同步。随着基础设施的扩展、新应…

flask+p5.js 网页开发 pycharm mac环境

flask 学习参考视频&#xff1a; 2023版-零基础玩转Python Flask框架-学完可就业 一、安装 需要安装的&#xff1a; python、flask、pycharm mysql、Navicat&#xff08;这两个不用数据库可以不用安装&#xff09; 1、python3.0以上安装 下载地址 下载以后终端输入python3 …

Vue入门学习笔记(1)

这里写目录标题 一、安装工具二、前置设置2.1 淘宝加速2.2、华为云加速 三、安装vue工具3.1 安装vue/cli3.2 安装vite 四、创建项目4.1 使用vue/cli创建4.2 使用vite创建 一、安装工具 首先须安装以下工具&#xff1a; vscode&#xff08;如果下载慢的话建议使用360安装&…

select

1. select模型 2. select()函数 int select(int nfds, fd_set *readfds, fd_set *writefds,fd_set *exceptfds, struct timeval *timeout);fd_set类型 readfds和writefds, exceptfds的类型都是fd_set,那么fd_set类型是什么呢&#xff1f; fd_set类型本质是一个位图&#xff0…

Word怎么生成目录?4个方法快速生成目录!

案例&#xff1a;Word怎么生成目录 【想问下大家在使用Word时是怎么生成目录的呀&#xff1f;正在写毕业论文的我真的很急&#xff01;感谢&#xff01;】 Word作为我们常用的办公软件&#xff0c;为我们的提供了很多便利。生成目录是在Word文档中创建一个方便导航的索引。 …

Go语言基于Viper封装实现

基于Viper的封装 Viper是什么 Viper是一个用于Go语言应用程序的配置管理库。它提供了一种简单而灵活的方式来处理应用程序的配置&#xff0c;支持多种格式的配置文件&#xff0c;并提供了一组API来读取和使用这些配置。 Viper支持多种配置文件格式&#xff0c;包括JSON、TOML、…

C learning_14 指针篇之破解版

目录 1. 指针是什么 指针变量 2. 指针和指针类型 那指针类型的意义是什么&#xff1f; 3. 野指针 规避野指针 4. 指针运算 指针-整数 指针-指针 指针的关系运算(比较指针的大小) 5. 指针和数组 6. 二级指针 7. 指针数组 1. 指针是什么 指针是C语言中一种非常重要的…

2023年美国大学生数学建模竞赛E题光污染解题全过程文档及程序

2023年美国大学生数学建模竞赛 E题 光污染 原题再现&#xff1a; 背景   光污染被用来描述任何过度或不良地使用人造光。我们所说的一些光污染现象包括光侵入、过度照明和光杂波。在大城市&#xff0c;这些现象最容易被观测到的是太阳落山后天空中的一道辉光; 然而&#xf…

网课录屏怎么录?分享3个录制网课方法!

案例&#xff1a;怎样才能录制清晰流畅的网课视频&#xff1f; 【我最近在网上购买了一个配音的课程&#xff0c;每天晚上8点老师会进行讲课&#xff0c;但是课程没有回放。我想通过录屏的方式将课程内容录制下来&#xff0c;那怎样才能录制清晰流畅的网课视频呢&#xff1f;】…

初识Mybatis -- Mybatis入门保姆级教程(一)

文章目录 前言一、认识mybatis1.mybatis是什么2.jdbc缺点3.mybatis优点4.MyBatis框架解决JDBC劣势 二、mybatis入门案例1.需求分析与操作步骤2.创建表tb_user、实体类和Mapper接口3.创建maven模块re_mb_demon4.在pom.xml配置文件中导入相关依赖5. 配置相关文件6.创建并编写模拟…

百汇BCR:十个外汇交易常见问题解析

外汇交易是一种受到市场欢迎的投资方式&#xff0c;参与交易很容易&#xff0c;但想要盈利却很难。特别是一些细节问题容易被忽略&#xff0c;百汇BCR小编整理了十个外汇交易常见问题供有需要的投资者借鉴学习。 问题一、外汇开户需要哪些资料&#xff1f; 个人相关信息资料、…

重新理解RocketMQ Commit Log存储协议

最近突然感觉&#xff1a;很多软件、硬件在设计上是有root reason的&#xff0c;不是by desgin如此&#xff0c;而是解决了那时、那个场景的那个需求。一旦了解后&#xff0c;就会感觉在和设计者对话&#xff0c;了解他们的思路&#xff0c;学习他们的方法&#xff0c;思维同屏…

JSON格式化工具

格式化JSON有多种方式&#xff0c;选两种。 1.在线JSON格式化 我喜欢用这个网站&#xff1a;在线JSON工具 2.Notepad插件 需要插件 - JSON Viewer。 安装方式&#xff1a; 2.1 点击工具栏“插件”-选择“插件管理…”,弹出插件管理窗口&#xff0c;在“可用”tab页&#xf…

一般人不会告诉你的FP独立站低成本运营内幕

不少朋友听说FP独立站盈利比较高之后就兴致勃勃地跟着别人建站、装修、选品……但在此之前有没有仔细想过&#xff0c;一个成功的F牌独立站到底要怎么运营&#xff1f;而且是&#xff0c;怎么低成本运营&#xff1f;现在我就跟大家分享一下&#xff0c;希望有想法入局F牌独立站…

CorelDRAW2023最新v24.4.0.623中文稳定版

图形设计软件CorelDRAW2023最新版下载矢量图形制作工具,CorelDRAW&#xff08;简称CDR&#xff09;是一款专业的图形设计软件。该软件是Corel公司开发的一款功能强大的专业平面设计软件、矢量设计软件、矢量绘图软件。这款矢量图形制作工具软件广泛应用于商标设计、标志制作、封…

史上最全类和对象 ,只要你认真看完C++类和对象,分分钟钟都吊打面试官【 C++】

文章目录 基础篇面向过程和面向对象类的引入类的定义类的访问限定符类的封装类的作用域类的实例化类对象模型如何计算类对象的大小类对象的存储方式猜测对象中包含类的各个成员代码只保存一份&#xff0c;在对象中保存存放代码的地址只保存成员变量&#xff0c;成员函数存放在公…

10.计算机基础-操作系统面试题—计算机系统概述、进程管理

本文目录如下&#xff1a; 计算机基础-操作系统 面试题一、计算机系统概述CPU 内核态 和 用户态 的区别&#xff1f;从 用户态 切换到 内核态 的常见方法&#xff1a; 二、进程管理线程 和 进程 的区别&#xff1f;协程 (goroutine) 和 线程的区别?进程有哪些状态&#xff1f;…

如果一定要在C++和JAVA中选择,是C++还是java?

前言 C和Java都是广泛应用于软件开发领域的高级编程语言。它们都有着各自的优势和适用场景&#xff0c;因此在进行选择时需要考虑到具体的需求和使用情况。 首先&#xff0c;C是一种面向对象的编程语言&#xff0c;它允许程序员直接控制计算机硬件&#xff0c;而且拥有较低的…

【分享】免费并集多个人工智能于一体的在线使用网站

哈喽&#xff0c;大家好&#xff0c;我是木易巷~ 今天来给大家分享一个集ChatGPT、GPT4、Claude等人工智能于一体的在线使用网站——Poe。 地址&#xff1a;https://poe.com 以下是一个汇集了目前热门人工智能工具的网站&#xff0c;只需使用一个神奇的工具&#xff0c;通过邮…