Kali Linux 安装搭建 hadoop 平台详细教程

news2024/11/15 21:44:52

1）前期环境准备：（虚拟机、jdk、ssh）

在这里插入图片描述

2）SSH相关配置

安装SSH Server服务器：apt-get install openssh-server
在这里插入图片描述

更改默认的SSH密钥
cd /etc/ssh
mkdir ssh_key_backup
mv ssh_host_* ssh_key_backup
在这里插入图片描述

创建新密钥：dpkg-reconfigure openssh-server
在这里插入图片描述

允许 SSH Root 访问，修改SSH 配置文件 /etc/ssh/sshd_config ：vim /etc/ssh/sshd_config
在这里插入图片描述

重启SSH：service ssh restart
查看是否安装成功：ssh -V
在这里插入图片描述

SSH登录本机：ssh localhost
若是登陆失败提示权限不足：
sudo passwd root #注意此处的root为当前登录本机所在的用户名，不一定是root
sudo service ssh restart
ssh localhost
在这里插入图片描述

SSH无密登录：
退出刚才的ssh localhost：exit
cd ~/.ssh/
ssh-keygen -t rsa #这里一直回车就行
cat ~/.ssh/id_rsa.pub >> ./authorized_keys
在这里插入图片描述

最后，SSH授权完成，再次ssh localhost 则不再需要密码了，也不再影响伪分布hadoop启动。
在这里插入图片描述

3）安装Hadoop

首先在官网上下载压缩包（版本3.2.2）。然后将压缩包拖进自己喜欢的目录（个人是/home/jay17）。
1、之后创建一个空的文件夹，用来解压hadoop
mkdir /home/Hadoop
2、解压，-C 指定解压路径到创建的文件夹路径。
tar zxvf hadoop-3.2.2.tar.gz -C /home/jay17/Hadoop/
在这里插入图片描述

3、授权，使文件夹具有读写文件的权利，否则直接影响其他相关操作，必须要执行！！
chown -R root /home/jay17/Hadoop/hadoop-3.2.2/
4、检测Hadoop是否解压安装正确：
cd /home/jay17/Hadoop/hadoop-3.2.2/
./bin/hadoop version
遇到报错说java环境变量不存在。
在这里插入图片描述

5、解决方法如下：
切换目录： cd etc/hadoop
执行：vim hadoop-env.sh
修改java_home路径和hadoop_conf_dir路径为具体的安装路径，例如：
export JAVA_HOME=/usr/local/jdk1.8.0_212
export HADOOP_CONF_DIR=/home/jay17/Hadoop/hadoop-3.2.2/etc/hadoop
在这里插入图片描述

重新加载使修改生效：source hadoop-env.sh
6、回去检测Hadoop，已经解压安装！
cd /home/jay17/Hadoop/hadoop-3.2.2/
./bin/hadoop version
在这里插入图片描述

4）配置Hadoop环境变量

与java环境变量的配置类似，用编辑器打开.bashrc文件（vim /root/.bashrc），保存修改后，执行source /root/.bashrc命令使其生效：
export HADOOP_HOME=/home/jay17/Hadoop/hadoop-3.2.2
export CLASSPATH=$CLASSPATH:$HADOOP_HOME/lib
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
在这里插入图片描述