视频课程地址：https://www.bilibili.com/video/BV1WY4y197g7
课程资料链接：https://pan.baidu.com/s/15KpnWeKpvExpKmOC8xjmtQ?pwd=5ay8

Hadoop入门学习笔记（汇总）

一、VMware准备Linux虚拟机

1.1. VMware安装Linux虚拟机

VMware虚拟机安装程序下载地址（需要自己想办法激活）：https://download3.vmware.com/software/WKST-1750-WIN/VMware-workstation-full-17.5.0-22583795.exe
CentOS操作系统镜像下载地址：https://vault.centos.org/7.6.1810/isos/x86_64/CentOS-7-x86_64-DVD-1810.iso

1.1.1. 修改虚拟机子网IP和网关

下载后，先安装VMware虚拟机，安装成功后，需改虚拟机网络配置。
1、在“编辑”-“虚拟网络编辑器”中修改NAT8网卡的子网IP地址；

2、进入编辑器后，选择“VMnet8”网卡，然后点击右下角的“更改设置”按钮；

3、获取管理员权限后，选择“VMnet8”网卡，将其子网IP修改为“192.168.88.0”；

4、点击“NAT设置”按钮，在NAT设置界面，将网关IP修改为“192.168.88.2”，并保存上述设置。

1.1.2. 安装Linux虚拟机

1、通过VMware菜单中的“文件”-“新建虚拟机”创建一个新的虚拟机；

2、选择前面下载的CentOS操作系统镜像；

3、输入Linux系统用户名和密码（该密码也是root的密码）；

4、填写虚拟机名称和虚拟机的存放位置；

5、之后一直下一步、完成，然后虚拟机开始自己安装，直至安装完成，此过程视个人电脑和网络情况可能需要半小时左右，中间不用任何操作，待系统安装完毕后，虚拟机会自动重启，看到如下界面，代表安装成功。

1.2. VMware克隆三台Linux虚拟机

1、将前面安装好的虚拟机关机，然后在VMware左侧的菜单中，鼠标右键刚才安装好的虚拟机，选择“管理”-“克隆”；

2、然后点击下一页按钮，直到“克隆方法”界面；


3、在克隆方法界面选择“创建完整克隆”，然后继续下一页；

4、重命名虚拟机名称为node1，选择克隆出来的虚拟机存放的路径，然后点击“完成”按钮，VMware就会克隆出一个一摸一样的虚拟机，此过程很快，一般3~5秒的样子；

5、依照上述方法，再克隆出node2和node3，总共3台虚拟机出来；
6、此时先别启动这3台虚拟机，先对3台虚拟机的内存大小进行调整，分别将node1调整到4GB，node2和node3调整成2GB；

7、内存调整完毕后，分别将node1、2、3开机，在开机时，VMware会弹窗提示“无法连接虚拟设备 ide1:0…”，直接点“否”即可，至此，虚拟机克隆完毕，后续我们使用的也是这3台虚拟机。

1.3. 为三台虚拟机配置固定IP

1、三台虚拟机分别启动后，在虚拟机中打开命令行，修改主机名，输入如下命令：

# 切换成root用户
[itheima@locahost ~]$ su -
# 修改当前虚拟机的主机名，这里只演示node1，node2和node3命令相同，只是最后的参数需要修改成node2和node3
[root@locahost ~]# hostnamectl set-hostname node1

2、上述命令执行完毕后，关闭命令行，并重新打开命令行，此时可以看到命令行内的主机名已经变成了node1、node2和node3

3、在命令行里切换到root用户，并执行如下命令：

vim /etc/sysconfig/network-scripts/ifcfg-ens33

4、打开ifcfg-ens33文件后，将其中BOOTPROTO配置项的值修改为static，然后再在文件末尾追加如下内容：

IPADDR="192.168.88.101"
NETMASK="255.255.255.0"
GATEWAY="192.168.88.2"
DNS1="192.168.88.2"

其中，在node1虚拟机中，IPADDR的值为192.168.88.101，node2虚拟机的IPADDR的值为192.168.88.102，node3虚拟机的IPADDR的值为192.168.88.103；

5、修改网网卡配置后，在命令行中重启网卡，执行如下命令：

systemctl restart network

然后可以使用ifconfig命令查看及其的IP地址，查看上述修改是否成功。

1.4. 配置免密登录

1、修改Windows系统（本机，非虚拟机）的hosts文件（目录为C:\Windows\System32\drivers\etc\），将如下内容追加在hosts文件末尾并保存

192.168.88.101	node1
192.168.88.102	node2
192.168.88.103	node3

2、使用本机的ssh工具连接三台虚拟机（node1、node2、node3），后续所有的命令通过ssh工具操作；
3、分别修改三台虚拟机的hosts文件，此处以node1为例，在命令行中输入

vim /etc/hosts

在hosts文件中追加如下内容：

192.168.88.101  node1
192.168.88.102  node2
192.168.88.103  node3

保存并退出，然后同样的步骤修改node2和node3的hosts文件。
4、在三台虚拟机上分别执行ssh-keygen -t rsa -b 4096命令，然后一路回车到底，给三台虚拟机分别生成好自己的密钥；
5、在三台虚拟机上都执行如下命令，完成免密登录的授权操作：

ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3

执行命令过程中，有配置项需要确认输入yes，然后，还需要输入root密码；
6、可以在node1虚拟机通过命令ssh node2查看是否已经配置好了node1到node2的免密登录，同理，可以在node2验证到另两台服务器的免密登录；
7、至此，我们配置好了三台虚拟机root用户之间的免密登录，接下来，我们还需要配置三台虚拟机之间hadoop用户的免密登录；
8、使用useradd hadoop和passwd hadoop命令分别在三台虚拟机上创建hadoop用户；
9、在三台虚拟机上使用su - hadoop命令切换成hadoop用户，然后使用签名用过的ssh-keygen -t rsa -b 4096命令生成hadoop用户的ssh密钥；
10、然后再在三台虚拟机上执行如下命令，实现hadoop用户之间的免密登录：

ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3

具体操作和上面配置root用户的免密登录时一样。至此，免密登录配置完成。

1.5. JDK环境部署

1、目前还是使用jdk 1.8版本，下载页面：https://www.oracle.com/cn/java/technologies/downloads/，打开页面一直往下划，划到JDK 1.8的部分，下载x64 Compressed Archive版本；

2、下载后，在虚拟机里面切换成root用户，然后将刚才下载好的jdk压缩包上传到root目录下，执行如下命令：

 mkdir -p /export/server
# 解压刚才上传的jdk压缩包到/export/server目录
tar -zxvf jdk-8u391-linux-x64.tar.gz -C /export/server/
# 创建软连接
ln -s /export/server/jdk1.8.0_391/ /export/server/jdk

3、配置环境变量，使用命令vim /etc/profile打开环境变量配置文件，然后在文件末尾追加如下内容：

export JAVA_HOME=/export/server/jdk
export PATH=$PATH:$JAVA_HOME/bin

然后使用source /etc/profile命令使环境变量生效；
4、将操作系统自带的jdk替换成我们刚才安装的jdk：

# 删除系统自带的java程序
rm -f /usr/bin/java
# 软连接我们自己安装的java程序
ln -s /export/server/jdk/bin/java /usr/bin/java

此时，jdk配置完成，可以使用java -version和javac -version命令校验系统所使用的java是否已经是我们自己安装的JDK。
5、使用scp命令，将已解压的jdk文件夹复制到node2和node3

# 复制到node2
scp -r /export/server/jdk1.8.0_391/ node2:`pwd`/
# 复制到node3
scp -r /export/server/jdk1.8.0_391/ node3:`pwd`/

6、然后参考上面的流程，创建软连接、配置环境变量、移除系统自带的java，完成node2和node3的配置。

1.6. 防火墙、SELinux、时间同步配置

1.6.1. 关闭防火墙

在三台虚拟机上分别执行如下命令：

# 关闭防火墙
systemctl stop firewalld.service
# 关闭防火墙的开机自启
systemctl disable firewalld.service

1.6.2. 关闭SELinux

使用vim /etc/sysconfig/selinux打开selinux的配置文件，将其中的SELINUX=enforcing修改为SELINUX=disabled，然后保存退出，并重启虚拟机（可通过reboot命令）即可。

1.6.3. 配置时间同步

在三台虚拟机上分别依次执行以下步骤
1、安装ntp软件

yum install -y ntp

2、更新时区

# 删除系统的默认时区信息
rm -f /etc/localtime
# 设置虚拟机的时区为中国上海时区
ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

3、同步时间

# 使用阿里云的ntp服务校准本机时间
ntpdate -u ntp.aliyun.com

4、开启ntp服务并设置开机自启

# 启动NTP服务
systemctl start ntpd.service
# 设置NTP服务开机自启动
systemctl enable ntpd.service

1.7. 使用VMware快照功能保存当前已配置好的初始环境

1、将三台虚拟机全部关机；
2、在VMware中，在左侧虚拟机上右键，选择“快照”-“拍摄快照”，填写快照名称和备注，创建虚拟机快照；

node2和node3重复上述步骤，完成快照拍摄