本地虚拟机的搭建

一、准备网段

在VMware的虚拟网络编辑器中将VMnet8虚拟网卡的

• 网段设置为：192.168.88.0
• 网关设置为：192.168.88.2

二、下载CentOS操作系统文件，并安装

三、克隆多台虚拟机

依照同样的方法，克隆出node2,node3，共三台虚拟机

四、对每台虚拟机设置相关硬件内存

五、虚拟机系统设置

①、主机名\ip\SSH免密登录

Ⅰ、node1，192.168.88.131

进入命令终端首先要切换到root权限 su -root 或者 su -

# 修改主机名
hostnamectl set-hostname node1

# 修改IP
vim /etc/sysconfig/network-scripts/ifcfg-ens33
IPADDR="192.168.88.131" # 文件内容添加,如下截图所示，子网掩码、网关、DNS相同

# 重启网卡
systemctl stop network
systemctl start network

#或者直接
systemctl restart network

node2，192.168.88.132
node3，192.168.88.133

Ⅱ、配置主机名映射

Ⅲ、配置三台服务器root用户之间免密互通

Ⅳ、为了避免root用户权限造成的安全问题，为三台虚拟机创建一个hadoop用户并配置免密登录

通过在node3，输入命令ssh node1或者ssh node2都可以通，然后exit退出

②、JDK环境部署

官网中下载jdk8以上的linux安装包.tar.gz

③、防火墙、SELinux、时间同步

集群化软件之间需要通过端口互相通讯，为了避免出现网络不通的问题，可以在集群内部关闭防火墙，并且关闭开启自启功能
systemctl status firewalld 查看防火墙状态

Linux有一个安全模块，SELinux用以限制用户和程序相关权限，确保系统的安全稳定
需要关闭SELinux功能，避免导致后面的软件运行出现问题（通过init 6命令，或者init 0进行重启）

修改时期并配置自动时间同步

步骤2实操：

六、为上述设置保存一个快照，以备后续恢复

三台虚拟机关机之后，右键->快照

==================================================

云平台

阿里云

购买阿里云服务器

一、配置VPC和子网

VPC云上专属的私有局域网（virtual private cloud），可提供/16级别的子网掩码（65535个IP）
并支持创建多个子网（交换机）

注册阿里云账号，进入控制台，找到专有网络VPC
创建专有网络

创建专有网络
子网是在VPC内部创建的局域网络，可以在一个VPC内创建多个子网
子网支持/17至/29的子网掩码，可以支持约8到65535个IP地址


VPC相当于拉了一个家庭带宽，属于个人的私有网络
一个子网就相当于放了一个路由器，3个子网就相当于放了3个路由器。

二、创建安全组

云上的虚拟流量防火墙称为安全组
被安全组绑定的资源（比如服务器），其网络流量的进出都是被安全组所控制。

• 资源的流量可以去往什么地方（出站控制）
• 外部哪些访问可以连接到资源（入站控制）
  

搭建大数据集群，需要一个安全组来控制服务器和外部的交互，通过安全组来控制网络流量


入方向需要删除默认规则，创建自己的规则
出方向：允许云服务器随意访问外部

创建自定义的入站规则：即允许自己的公网IP，访问安全组的全部端口
①、查询自己的公网IP（以下两种方法）

②、只允许自己ip访问

三、创建云服务器ECS


任意选择适合自己的各种模式和地区

根据自己的要求cpu和内存选择，筛选最便宜的

选择适合自己的系统和存储

网络、公网IP设置、安全组（前面设置好的）

选择采用密钥对的方式，通过创建密钥对生成



全部创建完成

按照以上步骤，创建node2,node3，（密钥对相同）

通过公网和私钥，进行登录操作

阿里云服务器系统设置

相较于本地虚拟机的配置，云平台只需要以下三项配置：

①、主机名映射

三台node节点上，vim /etc/hosts

②、SSH免密登录

cd .ssh/，上传配置服务器时的密钥到三台node节点服务器，并且更改名称，然后400授权

通过ssh node2，进行测试。exit退出

③、创建hadoop用户的免密登录


不同与root用户（服务器已经创建好，直接上传即可）
hadoop用户，需要通过ssh-copy-id 进行。

需要在三台节点都执行以下操作：

ssh-copy-id node1
#设置密码：123456
ssh-copy-id node2
#设置密码：123456
ssh-copy-id node3
#设置密码：123456

④、为三台服务器上传jdk安装包

mkdir -p /export/server
将JDK安装包解压到上面的目录中：tar -zxvf jdkxxx.tar.gz -C /export/server

配置软链接：ln -s /export/server/jdk1.8.0 jdk

vim /etc/profile
配置环境变量：

---

UCloud云购买虚拟机

一、配置UVPC

二、配置安全组

三、创建服务器

同样的方式创建node2和node3
然后通过fialshell工具进行连接

UCloud云服务器设置

一、设置主机名以及主机名映射

hostnamectl set-hostname node1(node2,node3)

vim /etc/hosts # 三台服务器的内网地址

二、SSH免密

①、进入：cd .ssh/
上传：密钥文件并改名 mv bigdata-key-cloud.pem id_rsa
修改权限：chmod 400 id_rsa

通过 ssh node1 ssh node2 ssh node3进行测试，exit退出

②、创建hadoop用户的免密登录

三台服务器都执行如下：

三台服务器都执行：

ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3

三、JDK环境

mkdir -p /export/server

上传jdk安装包，并解压
然后配置环境变量

然后在node1中将文件复制到node2、node3中