说明

已 上篇 创建模型虚拟机为基础构建hadoop集群

分享

• 大数据博客列表
• 开发记录汇总
• 个人java工具库 项目https://gitee.com/wangzonghui/object-tool
  • 包含json、string、集合、excel、zip压缩、pdf、bytes、http等多种工具，欢迎使用。

集群构建

集群规划

• vmware克隆模型服务器，克隆步骤参照 vmware虚拟机克隆 ，创建3台子服务器，主机名分别命名为：hadoop102、hadoop103、hadoop104，ip为：192.168.10.102、192.168.10.103、192.168.10.104，服务器角色规划如下

角色划分

组件\节点	hadoop102	hadoop103	hadoop104
HDFS	NameNode、DataNode	DataNode	SecondaryNameNode、DataNode
Yarn	Nodemanager	ResourceManager NodeManager	NodeManager

配置主机名、ip和主机名映射

• 需要分别配置三台服务器，这里已hadoop102为例。

  • 修改ip，登录hadoop102编辑文件：vi /etc/sysconfig/network-scripts/ifcfg-ens33，更改属性 IPADDR ip值为 192.168.10.102
  • 修改主机名 vi /etc/hostname ,填入新主机名：hadoop102

• 用以上方式分别设置三台虚拟机，通过控制台命令 hostname 和 ifconfig 确认主机名和ip

• 增加主机名映射，这样ssh其他服务器不用输入ip地址，通过主机名直接登陆，编辑文件 vi /etc/hosts，新增如下内容：

192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104

ssh免密

• 设置 用户wang 在三台服务间登录免密，先配置hadoop102，目标hadoop102 ssh免密登录hadoop102、hadoop103、hadoop104

  • wang 用户登录hadoop102创建密匙，执行命令：ssh-keygen -t rsa
    

  • 目录 ~/.ssh/ 下可看到生成的公私和私匙
    

  • 复制公钥到hadoop102、hadoop103、hadoop104服务器，复制时需要输入密码，执行如下命令

  #复制公匙到hadoop102
  ssh-copy-id hadoop102
  #复制公匙到hadoop103
  ssh-copy-id hadoop103
  #复制公匙到hadoop104
  ssh-copy-id hadoop104
  

• 验证免密，分别 ssh hadoop102、hadoop103、hadoop104确认是否需要密码

• hadoop102 免密完成后，已 同样方式 完成hadoop103、hadoop104登录免密。

总结

• 必须确保完成三台虚拟机的网络配置、主机名、ssh免密，不能有遗漏，否则后面会出问题。