深度挖掘｜如何高效实现Cloudera 安装之基础环境搭建

Cloudera Manager是CDH市场领先的管理平台。它以其强大的数据管理和分析能力，帮助企业能够轻松驾驭海量数据，实现数据的实时分析与洞察。

作为业界第一的端到端 Apache Hadoop 的管理应用，Cloudera Manager对CDH的每个部件都提供了细粒度的可视化和控制，从而设立了企业部署的标准。通过Cloudera Manger，运维人员得以提高集群的性能，提升服务质量，提高合规性并降低管理成本。

今天，我们将带你深入探索Cloudera的安装规划与系统环境搭建部署，为你的企业数据之旅铺设坚实的基石。

但在此之前，我们需要精心规划、细致部署。接下来，我们将一步步引导你完成Cloudera的安装规划与系统环境搭建，为企业数据中心的管理变得简单直观。

系统环境准备、安装基础环境

1.选择三台已安装 Centos6 Liunx 系统的节点，分配资源

安装CDH节点推荐内存为64G，大部分内存被 Cloudera Management Service占用，因为做了大量的数据分析和整合。这里，划分三台节点如下:

针对目前学习来说:

如果实际的物理机器内存为 32G，推荐 cm Server 内存为 16G，cm Agent 内存分别为 4G。
如果实际的物理机器内存为 16G，推荐 cm Server 内存为 10G，cm Agent 内存分别为 2G。
如果实际的物理机器内存为 12G，推荐 cm Server 内存为 8G，cm Agent 内存分别为 2G。
如果实际的物理机器内存为 8G，推荐 cm Server 内存为 6G，cm Agent 内存分别为 2G。

注意:后两种情况，实际机器内存不足，需要在 VM 虚拟机中设置允许交换内存。设置方式如下:

在 VMware 中点击“编辑”->“首选项”，找到内存，预留内存是给当前真实物理机预留的内存量。在额外内存中，如果实际物理机内存不足 10G 就设置“允许交换大部分虚拟机内存”，设置这个的意思是当虚拟机内存不足时，可以允许内存与磁盘交换数据，从而获取更多的内存执行当前运行的程序。

截止到这里，以上只是准备好的三台划分好内存和核心的空节点。

注意: 实际物理机器安装Vmware 的磁盘至少还要预留 50G 磁盘空间。

2.配置IP

在每台节点上配置ip，打开 /etc/sysconfig/network-scripts/ifcfg-eth0编辑内容如下:

1. DEVICE=eth0
2. TYPE=Ethernet
3. ONBOOT=yes
4. NM_CONTROLLED=yes
5. BOOTPROTO=static
6. IPADDR=192.168.179.201 
7. NETMASK=255.255.255.0 
8. GATEWAY=192.168.179.2 
9. DNS1=192.168.179.2
10. DNS2=8.8.8.8

重启网络服务使 ip 生效:

1. service network restart

三台节点配置的ip分别为:

192.168.179.201
192.168.179.202
192.168.179.203

注意:每台节点克隆后需要删除每台节点/etc/udev/rules.d/70-persistent-net.rules文件，清除mac地址。重启每台节点即可。

3.配置每台节点的hostname

修改每台节点/etc/sysconfig/network中的HOSTNAME，分别为:cm1,cm2,cm3。设置好每台节点的hostname之后重启每台节点即可生效。

4.配置节点ip、hostname映射

在每台节点/etc/hosts文件后追加如下内容，配置ip与hostname之间的映射。

1. 192.168.179.201 cm1
2. 192.168.179.202 cm2
3. 192.168.179.203 cm3

5.关闭防火墙

在每台节点上执行如下命令，关闭防火墙，并设置开机不启动:

1. [root@cm3 ~]# service iptables stop
2. [root@cm3 ~]# chkconfig iptables off
3. [root@cm3 ~]# chkconfig iptables --list
4. iptables 0:off 1:off 2:off 3:off 4:off 5:off 6:off

6.关闭SELinux

SELinux就是Security-Enhanced Linux的简称，安全加强的 linux。传统的linux权限是对文件和目录的 owner, group和 other 的 rwx 进行控制，而 SELinux 采用的是委任式访问控制，也就是控制一个进程对具体文件系统上面的文件和目录的访问，SELinux 规定了很多的规则，来决定哪个进程可以访问哪些文件和目录。虽然 SELinux 很好用，但是在多数情况我们还是将其关闭，因为在不了解其机制的情况下使用 SELinux 会导致软件安装或者应用部署失败。

在每台节点/etc/selinux/config中将SELINUX=enforcing改成SELINUX=disabled 即可。

7.配置yum源

这里我们选择使用本地 yum源。需要在 VM中设置下连接光驱，步骤如下图：

在 cm1,cm2,cm3 节点上配置本地 yum源: 每台节点创建/mnt/cdrom 目录:

1. mkdir -p /mnt/cdrom

每台节点执行如下命令，将光盘设备/dev/sr0 挂载到/mnt/cdrom 目录:

1. [root@cm1 ~]# mount /dev/sr0 /mnt/cdrom/
2. mount: block device /dev/sr0 is write-protected, mounting read-only

每台节点执行命令:df -h 查看是否挂载成功:

1. df -h

上面的 mount 命令挂载后在机器重启后会失效，为了可以实现开机自动挂载，可以在每台节点的/etc/fstab 文件的最后面加入下面语句:

1. /dev/sr0 /mnt/cdrom iso9660 defaults 0 0

下面可以创建本地 yum 源，在每台节点的/etc/yum.repos.d 目录下创建 local.repo 文件，内容如下:

1. [local]
2. name=local repo
3. baseurl=file:///mnt/cdrom 4. enable=1
5. gpgcheck=1
6. gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-6

以上内容中baseurl是指 Yum源的地址，该路径下有个 repodata目录，就是yum安装源目录。file://表示 yum源为文件。

如果只想让 local.repo 生效，可以在每台节点的/etc/yum.repos.d 目录下创建一个backup目录，将其他的以“.repo”结尾的文件都移动到backup目录中。

1. mkdir -p /etc/yum.repos.d/backup
2. mv /etc/yum.repos.d/CentOS-* /etc/yum.repos.d/backup/

在每台节点上执行以下命令，更新 yum 源:

1. yum clean all
2. yum makecache

8.配置ssh免密钥登陆

在 CDH 中需要任意两个节点之间都可以免秘钥登录。节点两两免秘钥的根本原理如下:假设 A 节点需要免秘钥登录 B 节点，只要 B 节点上有 A 节点的公钥，那么 A节点就可以免密登录当前 B 节点。

第一、需要在每台节点上安装 ssh 客户端，否则，不能使用 ssh 命令(最小化安装 Liunx，默认没有安装 ssh 客户端):

1. yum -y install openssh-clients

第二、在每台节点执行如下命令，在每台节点的“~”目录下，创建.ssh 目录，注意：不要手动创建这个目录，因为有权限问题。

1. cd ~
2. ssh localhost
3. #这里会需要输入节点密码# 4. exit

第三、在每台节点上执行如下命令，给当前节点创建公钥和私钥：

1. ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

第四、将cm1,cm2,cm3的公钥copy到cm1 上，这样，cm1,cm2,cm3 节点都能登录cm1节点。命令如下:

1. 在cm1上执行如下命令，需要输入密码:
2. [root@cm1 .ssh]# ssh-copy-id cm1 #会在当前~/.ssh 目录下生成 authorized_keys 文件，文件中存放当前 cm1 的公钥#
3. 在cm2上执行如下命令，需要输入密码: 5. 在cm3上执行如下命令，需要输入密码:

5. 在cm3上执行如下命令，需要输入密码:
6. [root@cm3~]#ssh-copy-idcm1#会将cm3的公钥追加到cm1节点的authorized_keys 文件中#

最后、将cm1 节点上~/.ssh/authorized_keys 拷贝到cm2和cm3节点的 ~/.ssh/目录下，执行如下命令:

经过以上步骤，节点两两免密完成。

9.节点同步时间

在 cm1,cm2,cm3 每台节点上执行如下命令，安装 ntp 服务及配置定时任务:‍

1. yum-yinstallntp#安装ntp服务#
2. rm -rf /etc/localtime #删除现有时区#
3. ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime #修改上海时区# 
4. /usr/sbin/ntpdate -u pool.ntp.org #同步时间#
5. date #查看时间#
6. #crontab -e 写入如下定时内容:#
7. */10 * * * * /usr/sbin/ntpdate -u pool.ntp.org >/dev/null 2>&1 #同步时
间定时任务#
8. service crond restart #重启定时任务#
9. crontab -l #查看定时任务#
10.
11. chkconfigntpdon#设置ntpd开机启动，不然后期安装CDH时会有警告。 
12. servicentpdstart#启动ntpd服务

10.安装JDK

给每台节点安装jdk，这里我们安装的CDH版本为5.4，在官网https://www.cloudera.com/documentation/enterprise/release-n otes/topics/rn_consolidated_pcm.html 下有介绍版本对应的jdk 版本，可以使用 jdk7，也可使用 jdk8，但是对应的 jdk 小版本有要求，具体如下:

这里我们选择 jdk8版本中的 1.8u181版本安装。在每台节点安装 jdk，在每台节点中创建/software目录，将 jdk8安装包通过ftp工具上传到/software 目录下，每台节点执行如下命令安装 jdk:

1. [root@cm1 ~]# mkdir -p /software
2. [root@cm1 ~]# rpm -ivh /software/jdk-8u181-linux-x64.rpm

以上命令执行完成之后，会在每台节点的/usr/java 下安装 jdk。在每台节点配置 jdk的环境变量:

1. vim /etc/profile
2. #在每台节点中配置profile文件，在最后追加内容如下:#
3. export JAVA_HOME=/usr/java/jdk1.8.0_181-amd64
4. export PATH=$JAVA_HOME/bin:$PATH
5. export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

执行完成以上命令之后，在每台节点上执行 “source /etc/profile”使配置生效。

11.安装mysql数据库

在 cm1 中安装 mysql 数据库，执行命令:yum install –y mysql-server执行完成之后，启动 mysql:service mysql start。登录 mysql 执行如下语句:

1. [root@cm1 java]# mysql
2. mysql> use mysql;
3. mysql> select user,password from user;
4. mysql> delete from user;
5. mysql>GRANTALLPRIVILEGESON*.*TO'root'@'%'IDENTIFIEDBY'123456'WITH
       GRANT OPTION;
6. mysql> flush privileges;

执行完成以上命令之后，在每台节点上执行 “source /etc/profile”使配置生效。

1. [root@cm1 ~]# chkconfig --add mysqld
2. [root@cm1 ~]# chkconfig --level 345 mysqld on 
3. [root@cm1 ~]# chkconfig --list

12.安装第三方依赖包

在每台几点上安装第三方依赖包，每台节点执行如下命令:‍

1. yum install -y chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb

至此，安装Cloudera Manager的基础环境准备完成。

以上就是今天分享的全部内容。

如果你想了解更多关于：Cloudera系统环境准备、基础环境安装、集群部署以及应用组件安装等全方位的技术的问题，可以联系我

感谢你的阅读，如果喜欢我的文字，可以持续关注我，会陆续为你更新更多干货小知识。