目录
一、集群规划
二、更改主机名
三、建立主机名和ip的映射
四、关闭防火墙（master，slave1，slave2）
五、配置ssh免密码登录
六、安装JDK
七、hadoop之hdfs安装与配置
1）解压Hadoop
2）修改hadoop-env.sh
3）修改 core-site.xml
4)修改hdfs-site.xml
5) 修改slave
八、配置hadoop环境变量
九、将hadoop拷贝到其他主机、
十、格式化元数据目录
十一、下载安装spark
十二、配置文件修改
1）复制模板文件
2）配置spark-env.sh(增加环境变量)
3) 配置slaves
4) 将master配置好的spark 拷贝到slave1,slave2
5) 配置环境变量
6）启动与验证
7）提交jar 包并观察验证
一、集群规划
| 主机名 |
操作系统 |
地址 |
角色 |
硬件配置 |
| master |
Centos |
10.1.0.248 |
namenode |
2g 1核 |
| slaver1 |
Centos |
10.1.0.94 |
datanode |
1g 1核 |
| slaver2 |
Centos |
10.1.0.31 |
datanode |
1g 1核 |
二、更改主机名
分别修改主机名文件（重启永久生效）
sudo vi /etc/sysconfig/network
三、建立主机名和ip的映射
sudo vi /etc/hosts
拷贝到slave1和slave2中
四、关闭防火墙（master，slave1，slave2）
关闭防火墙：sudo service iptables stop
关闭防火墙自启：sudo chkconfig iptables off
五、配置ssh免密码登录
ssh-keygen -t rsa
ssh-copy-id mast
