📢📢📢📣📣📣
哈喽!大家好,我是【IT邦德】,江湖人称jeames007,10余年DBA及大数据工作经验
一位上进心十足的【大数据领域博主】!😜😜😜
中国DBA联盟(ACDU)成员,目前服务于工业互联网
擅长主流Oracle、MySQL、PG、高斯及Greenplum运维开发,备份恢复,安装迁移,性能优化、故障应急处理等。
✨ 如果有对【数据库】感兴趣的【小可爱】,欢迎关注【IT邦德】💞💞💞
❤️❤️❤️感谢各位大可爱小可爱!❤️❤️❤️
文章目录
- 前言
- 📣 1.整体运行状态
- 📣 2.添加服务
- 📣 3.用户管理页面操作记录
- 📣 4.CDH集群新增agent节点
- ✨ 4.1 节点host设置
- ✨ 4.2 密钥分发
- ✨ 4.3 hosts解析新增节点
- ✨ 4.4 新节点关闭防火墙
- ✨ 4.5 新节点关闭SELINUX
- ✨ 4.6 新节点配置时间同步
- ✨ 4.7 新节点swappiness参数
- ✨ 4.8 新节点关闭透明大页面
- ✨ 4.9 确认节点上已安装python
- ✨ 4.10 新节点java安装
- ✨ 4.11 拷贝 JDBC 驱动包
- ✨ 4.12 安装Clouder Manager Agent
- ✨ 4.13 启动新agent服务
- ✨ 4.14 CM添加节点
前言
本文祥细说明了Clouder Manager日常的运维及管理。📣 1.整体运行状态
进入主页后,可以看到详细的内容,例如如下报错提示
主机 agent01 上的内存被调拨过度。总内存分配额是 3.7 GiB 个字节,
但是 RAM 只有 3.7 GiB 个字节(其中的 755.0 MiB 个字节是保留给系统使用的)。
如需获得分配详细信息,请访问“主机”页面上的“资源”选项卡。
重新配置主机上的角色以降低总内存分配额。请注意:Java 最大堆大小乘以 1.3 等于近似的 JVM 开销。
📣 2.添加服务
例如新增flume服务,勾选flume,然后选择角色分配部署节点,继续
启动新增的服务,等待启动步骤完成
以上步骤完成后,flume服务添加完成了
📣 3.用户管理页面操作记录
选择菜单,点击审核既可以看到用户管理界面操作的一些记录。
📣 4.CDH集群新增agent节点
✨ 4.1 节点host设置
192.168.6.8 # hostnamectl set-hostname agent03
✨ 4.2 密钥分发
# cm-server
[root@cm-server ~]# ssh-copy-id 192.168.6.8
# agent03
[root@agent03 ~]# ssh-copy-id 192.168.6.5
✨ 4.3 hosts解析新增节点
# cm-server
[root@cm-server ~]# vim /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
# CDH
192.168.6.5 cm-server
192.168.6.6 agent01
192.168.6.7 agent02
192.168.6.8 agent03
# 分发hosts给其他节点
[root@cm-server ~]# for i in agent01 agent02 agent03;do scp /etc/hosts $i:/etc/hosts;done
✨ 4.4 新节点关闭防火墙
[root@agent03 ~]# systemctl disable firewalld
[root@agent03 ~]# systemctl stop firewalld
✨ 4.5 新节点关闭SELINUX
[root@agent03 ~]# setenforce 0
setenforce: SELinux is disabled
[root@agent03 ~]# vi /etc/selinux/config
#将SELINUX置为disabled
SELINUX=disabled
注意:设置之后记得重启即可
✨ 4.6 新节点配置时间同步
# cm-server
[root@cm-server ~]# scp /etc/chrony.conf agent03:/etc/chrony.conf
# agent03
[root@agent03 ~]# systemctl restart chronyd && systemctl enable chronyd
[root@agent03 ~]# chronyc sources
210 Number of sources = 1
MS Name/IP address Stratum Poll Reach LastRx Last sample
===============================================================================
^* cm-server 11 6 17 21 +690ns[ -614ns] +/- 91ms
✨ 4.7 新节点swappiness参数
echo “vm.swappiness = 0” >> /etc/sysctl.conf
sysctl -p
✨ 4.8 新节点关闭透明大页面
# 各服务器节点均执行
[root@agent03 ~]# echo never > /sys/kernel/mm/transparent_hugepage/defrag
[root@agent03 ~]# echo never > /sys/kernel/mm/transparent_hugepage/enabled
cat >> /etc/rc.local <<EOF
if test -f /sys/kernel/mm/transparent_hugepage/enabled; then
echo never > /sys/kernel/mm/transparent_hugepage/enabled
fi
if test -f /sys/kernel/mm/transparent_hugepage/defrag; then
echo never > /sys/kernel/mm/transparent_hugepage/defrag
EOF
chmod +x /etc/rc.d/rc.local
grep Huge /proc/meminfo
HugePages_Total:显示0 表示设置成功
✨ 4.9 确认节点上已安装python
[root@agent03 ~]# python -V
Python 2.7.5
✨ 4.10 新节点java安装
# 创建java文件目录
[root@agent03 ~]# mkdir -p /usr/java
# cm-server 直接从server端拷贝
[root@cm-server ~]# scp -r /usr/java/default agent03:/usr/java/
# 环境变量profile
[root@agent03 ~]# vi /etc/profile
# JAVA_HOME
export JAVA_HOME=/usr/java/default
export CLASSPATH=./:$JAVA_HOME/lib
export PATH=$JAVA_HOME/bin:$PATH
# 引用生效
[root@agent03 ~]# source /etc/profile
✨ 4.11 拷贝 JDBC 驱动包
#cm-server
[root@cm-server ~]# scp /opt/software/mysql-connector-java-8.0.20.jar agent03:/usr/share/java/mysql-connector-java.jar
✨ 4.12 安装Clouder Manager Agent
# 将安装包从cm-server分发过去
[root@cm-server ~]# cd /software/
[root@cm-server software]# scp cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm agent03:~/
[root@cm-server software]# scp cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm agent03:~/
# 在agent03上执行安装
[root@agent03 ~]# yum localinstall -y cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
[root@agent03 ~]# yum localinstall -y cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm
# 在agent03上更改agent配置文件
[root@agent03 ~]# vim /etc/cloudera-scm-agent/config.ini
# 将server_host的配置改为server的主机名
server_host=cm-server
✨ 4.13 启动新agent服务
[root@agent03 ~]# systemctl start cloudera-scm-agent
[root@agent03 ~]# systemctl enable cloudera-scm-agent
✨ 4.14 CM添加节点
页面进行后续添加,找到Add Hosts
选择添加到哪个集群并继续
选择当前管理的主机,会将还未加入到集群的新节点罗列出来
Install Parcels和检查主机正确性操作与之前相同
选择主机模板,如果长期使用的集群,一般都会有模板的,主要是节点的角色,创建好直接有哪些服务的node等等;没有则可以直接选择无,代表加入集群后,手动添加服务实例。
等待部署客户端基本配置和环境点击完成
将服务实例部署至新agent
至此,添加一个新集群节点,并设置新服务实例全部完成