Clouder Manager日常管理及使用

news2024/11/16 23:31:07

📢📢📢📣📣📣
哈喽!大家好,我是【IT邦德】,江湖人称jeames007,10余年DBA及大数据工作经验
一位上进心十足的【大数据领域博主】!😜😜😜
中国DBA联盟(ACDU)成员,目前服务于工业互联网
擅长主流Oracle、MySQL、PG、高斯及Greenplum运维开发,备份恢复,安装迁移,性能优化、故障应急处理等。
✨ 如果有对【数据库】感兴趣的【小可爱】,欢迎关注【IT邦德】💞💞💞
❤️❤️❤️感谢各位大可爱小可爱!❤️❤️❤️

文章目录

  • 前言
    • 📣 1.整体运行状态
    • 📣 2.添加服务
    • 📣 3.用户管理页面操作记录
    • 📣 4.CDH集群新增agent节点
      • ✨ 4.1 节点host设置
      • ✨ 4.2 密钥分发
      • ✨ 4.3 hosts解析新增节点
      • ✨ 4.4 新节点关闭防火墙
      • ✨ 4.5 新节点关闭SELINUX
      • ✨ 4.6 新节点配置时间同步
      • ✨ 4.7 新节点swappiness参数
      • ✨ 4.8 新节点关闭透明大页面
      • ✨ 4.9 确认节点上已安装python
      • ✨ 4.10 新节点java安装
      • ✨ 4.11 拷贝 JDBC 驱动包
      • ✨ 4.12 安装Clouder Manager Agent
      • ✨ 4.13 启动新agent服务
      • ✨ 4.14 CM添加节点

前言

本文祥细说明了Clouder Manager日常的运维及管理。

📣 1.整体运行状态

进入主页后,可以看到详细的内容,例如如下报错提示

主机 agent01 上的内存被调拨过度。总内存分配额是 3.7 GiB 个字节,
但是 RAM 只有 3.7 GiB 个字节(其中的 755.0 MiB 个字节是保留给系统使用的)。
如需获得分配详细信息,请访问“主机”页面上的“资源”选项卡。
重新配置主机上的角色以降低总内存分配额。请注意:Java 最大堆大小乘以 1.3 等于近似的 JVM 开销。

在这里插入图片描述

📣 2.添加服务

例如新增flume服务,勾选flume,然后选择角色分配部署节点,继续

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
启动新增的服务,等待启动步骤完成

在这里插入图片描述以上步骤完成后,flume服务添加完成了

📣 3.用户管理页面操作记录

选择菜单,点击审核既可以看到用户管理界面操作的一些记录。
在这里插入图片描述

📣 4.CDH集群新增agent节点

✨ 4.1 节点host设置

192.168.6.8 # hostnamectl set-hostname agent03

✨ 4.2 密钥分发

# cm-server
[root@cm-server ~]# ssh-copy-id 192.168.6.8

# agent03
[root@agent03 ~]# ssh-copy-id 192.168.6.5

✨ 4.3 hosts解析新增节点

# cm-server
[root@cm-server ~]# vim /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

# CDH
192.168.6.5   cm-server
192.168.6.6   agent01
192.168.6.7   agent02
192.168.6.8   agent03

# 分发hosts给其他节点
[root@cm-server ~]# for i in agent01 agent02 agent03;do scp /etc/hosts $i:/etc/hosts;done

✨ 4.4 新节点关闭防火墙

[root@agent03 ~]# systemctl disable firewalld
[root@agent03 ~]# systemctl stop firewalld

✨ 4.5 新节点关闭SELINUX

[root@agent03 ~]# setenforce 0
setenforce: SELinux is disabled
[root@agent03 ~]# vi /etc/selinux/config
#将SELINUX置为disabled
SELINUX=disabled
注意:设置之后记得重启即可

✨ 4.6 新节点配置时间同步

# cm-server
[root@cm-server ~]# scp /etc/chrony.conf agent03:/etc/chrony.conf
# agent03
[root@agent03 ~]# systemctl restart chronyd && systemctl enable chronyd
[root@agent03 ~]# chronyc sources
210 Number of sources = 1
MS Name/IP address         Stratum Poll Reach LastRx Last sample               
===============================================================================
^* cm-server                    11   6    17    21   +690ns[ -614ns] +/-   91ms

✨ 4.7 新节点swappiness参数

echo “vm.swappiness = 0” >> /etc/sysctl.conf
sysctl -p

✨ 4.8 新节点关闭透明大页面

# 各服务器节点均执行
[root@agent03 ~]# echo never > /sys/kernel/mm/transparent_hugepage/defrag
[root@agent03 ~]# echo never > /sys/kernel/mm/transparent_hugepage/enabled

cat >> /etc/rc.local  <<EOF
if test -f /sys/kernel/mm/transparent_hugepage/enabled; then
echo never > /sys/kernel/mm/transparent_hugepage/enabled
fi
if test -f /sys/kernel/mm/transparent_hugepage/defrag; then
echo never > /sys/kernel/mm/transparent_hugepage/defrag
EOF

chmod +x /etc/rc.d/rc.local

grep Huge /proc/meminfo
HugePages_Total:显示0 表示设置成功

✨ 4.9 确认节点上已安装python

[root@agent03 ~]# python -V
Python 2.7.5

✨ 4.10 新节点java安装

# 创建java文件目录
[root@agent03 ~]# mkdir -p /usr/java
# cm-server 直接从server端拷贝
[root@cm-server ~]# scp -r /usr/java/default agent03:/usr/java/
# 环境变量profile
[root@agent03 ~]# vi /etc/profile
# JAVA_HOME
export JAVA_HOME=/usr/java/default
export CLASSPATH=./:$JAVA_HOME/lib
export PATH=$JAVA_HOME/bin:$PATH
# 引用生效
[root@agent03 ~]# source /etc/profile

✨ 4.11 拷贝 JDBC 驱动包

#cm-server
[root@cm-server ~]# scp /opt/software/mysql-connector-java-8.0.20.jar agent03:/usr/share/java/mysql-connector-java.jar

✨ 4.12 安装Clouder Manager Agent

# 将安装包从cm-server分发过去
[root@cm-server ~]# cd /software/
[root@cm-server software]# scp cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm agent03:~/
[root@cm-server software]# scp cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm agent03:~/
# 在agent03上执行安装
[root@agent03 ~]# yum localinstall -y cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
[root@agent03 ~]# yum localinstall -y cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm

# 在agent03上更改agent配置文件
[root@agent03 ~]# vim /etc/cloudera-scm-agent/config.ini
# 将server_host的配置改为server的主机名
server_host=cm-server

✨ 4.13 启动新agent服务

[root@agent03 ~]# systemctl start cloudera-scm-agent
[root@agent03 ~]# systemctl enable cloudera-scm-agent

✨ 4.14 CM添加节点

页面进行后续添加,找到Add Hosts

选择添加到哪个集群并继续

选择当前管理的主机,会将还未加入到集群的新节点罗列出来

Install Parcels和检查主机正确性操作与之前相同

选择主机模板,如果长期使用的集群,一般都会有模板的,主要是节点的角色,创建好直接有哪些服务的node等等;没有则可以直接选择无,代表加入集群后,手动添加服务实例。

在这里插入图片描述

等待部署客户端基本配置和环境点击完成

将服务实例部署至新agent

至此,添加一个新集群节点,并设置新服务实例全部完成

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/711045.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

低代码:解放生产力的利器还是一场空洞的炒作?

低代码有人说是毒瘤&#xff0c;也有人说是银弹。到底应该怎么看呢&#xff1f;存在即合理。 “存在”包括两个角度&#xff1a; 银弹论毒瘤论 无论从哪个角度看&#xff0c;既然存在这样的论调&#xff0c;就有它们的合理性。 先把关注点移到低代码本身&#xff0c;低代码…

关联查询和子查询

关联查询和子查询&#xff1a; 二、关联查询&#xff1a; 1、全连接&#xff1a;两个表作笛卡尔积 2、内连接&#xff1a;找到两个表中的关联数据 3、外连接&#xff1a; 左外连接&#xff1a;grade中12无学生&#xff0c;但是还是会显示出来&#xff08;以左边的表为基准&am…

javascript 触发事件

在 JavaScript 中&#xff0c;原始方法 initEvent() 用于创建新事件。 最新更新添加了用于构建自定义事件的新关键字。 此外&#xff0c;在为 JavaScript 构建的清单中还有大量事件。 以下部分将预览预定义事件之一的示例及其触发方式。 还有一个定制的事件&#xff0c;将细节…

Redis 高可用【主从复制 哨兵 集群】

主从复制&#xff1a;主从复制是高可用Redis的基础&#xff0c;哨兵和集群都是在主从复制基础上实现高可用的。主从复制主要实现了数据的多机备份&#xff0c;以及对于读操作的负载均衡和简单的故障恢复。缺陷&#xff1a;故障恢复无法自动化&#xff1b;写操作无法负载均衡&am…

使用JMX管理Spring Bean

1.使用JMX管理Spring Bean 2.spring通过annotation注解注册MBean到JMX实现监控java运行状态 3.Spring与JMX集成

LangChain大型语言模型(LLM)应用开发(三):Chains

LangChain是一个基于大语言模型&#xff08;如ChatGPT&#xff09;用于构建端到端语言模型应用的 Python 框架。它提供了一套工具、组件和接口&#xff0c;可简化创建由大型语言模型 (LLM) 和聊天模型提供支持的应用程序的过程。LangChain 可以轻松管理与语言模型的交互&#x…

系列一、RocketMQ入门

一、MQ概述 1.1、MQ简介 MQ&#xff0c;Message Queue&#xff0c;是一种提供消息队列服务的中间件&#xff0c;也称为消息中间件&#xff0c;是一套提供了消息生产、存储、消费全过程的API软件系统。消息&#xff1a;消息即数据&#xff0c;一般消息的体量不会很大。 1.2、M…

redis主从同步对象模型学习笔记

目录 1 淘汰策略1.1 配置1.2 哪些数据将会被淘汰呢&#xff1f;1.2.1 过期key中的1.2.2 所有的key1.2.3 禁止淘汰 2 持久化2.1 背景2.1.1 概念2.1.2 fork进程写时复制机制2.1.3 大key 2.2 redis持久化的方式2.2.1 aof2.2.2 aof-rewrite2.2.3 rdb 2.3 redis持久方案的优缺点2.4 …

Redis跳表

简介 Redis 中的有序集合(Sorted Set)是用跳表&#xff08;Skip list&#xff09;来实现的。这里就需要了解一下跳表的概念。 链表&#xff1a;链表插入&#xff0c;删除某一个节点的时间复杂度是O(1)&#xff0c;但是查询的时间复杂度是O(n)。 跳表就是解决链表在有序节点场…

Jmeter:使用代理录制脚本

目录 前言&#xff1a; 介绍下各设置项&#xff1a; 前言&#xff1a; JMeter 是一个功能强大的性能测试工具&#xff0c;可以用于模拟多种场景下的负载测试和性能测试。其中一个常用的功能是使用代理服务器录制脚本&#xff0c;以便在后续的测试中模拟真实的用户行为。 下…

数据库优化---索引

这里写目录标题 索引简介结构&#xff08;Btree&#xff09;操作总结 索引 简介 优缺点 利远远大于弊 结构&#xff08;Btree&#xff09; 所有的数据都存在叶子节点 操作 具体代码 注意&#xff0c;主键以及唯一约束&#xff0c;都会自动创建一个索引&#xff0c;主键索…

git常用命令之Pull

7. Pull 命令作用延展阅读git pull 1. git fetch2. git merge FETCH_HEAD1. fetch origin的所有分支2. merge 当前分支参考git pull origin master1. git fetch origin master2. git merge FETCH_HEAD 拓展&#xff1a;Git常用命令汇总

时间触发嵌入式系统:各种系统的概念

1.1 引言 一说到软件系统&#xff0c;脑子里面就会闪现很多名词&#xff1a; 信息系统 桌面应用系统 实时系统 嵌入式系统 事件触发系统 时间触发系统 这些名字搞得脑子很乱&#xff0c;感觉都熟悉&#xff0c;又有些陌生&#xff0c;还是需要简单的介绍一下。 1.2 信息系统…

MySQL高可用 MMM

MySQL高可用 MMM 一、MMM1.1 MMM介绍1.2 关于 MMM 高可用架构的说明 二、搭建 MySQL MMM2.1 环境准备2.2 搭建 MySQL 多主多从模式2.3 安装配置 MySQL-MMM 一、MMM 1.1 MMM介绍 Master-Master replication manager for MvSQL&#xff0c;MySQL 主主复制管理器。 1、是一套支持…

vue3如何使用vant中IndexBar索引栏?

目录 1、为什么要使用IndexBar索引栏&#xff1f;2、引入3、基础使用4、处理后端返回的数据5、渲染页面 1、为什么要使用IndexBar索引栏&#xff1f; 在我们开发移动端的时候&#xff0c;有时候会遇到制作通讯录或者城市索引栏&#xff0c;这种时候我们就可以使用vant中快捷方…

warp框架教程2-log模块,addr模块和header模块

log , addr 和 header 从本文开始&#xff0c;我们将介绍 warp 中 Filter 的核心模块。在文档中有 filter 相关模块的介绍&#xff0c; 本文来介绍其中的 addr&#xff0c;header 和 log addr 模块 addr 模块非常简单&#xff0c;它是用来获取远程客户端的地址的。使用起来…

高性能计算学习教程,从入门到精通

学习高性能计算需要一定的计算机科学和数学基础。以下是一个详细的学习路线&#xff0c;从入门到精通高性能计算的步骤&#xff1a; 阶段一&#xff1a;基础知识学习 计算机科学基础&#xff1a;了解计算机体系结构、操作系统、数据结构和算法。学习编程语言如C/C、Python等。 …

苹果手机没法访问Fildder代理服务怎么办

浏览器输入http://ip:port进入可下载证书页面 异常情况&#xff1a; 浏览器访问http://ip:port后无响应&#xff0c;白屏&#xff0c;或有“无法使用跳转网络”的提示 解决方法&#xff1a; 1. PC重新下载fiddle证书并重启 Fildder4--Tools--Options--HTTPS--Actions--"…

【2022吴恩达机器学习课程视频翻译笔记】2.5无监督学习-part-2

2.5无监督学习-part-2 In the last video, you saw what is unsupervised learning, and one type of unsupervised learning called clustering. Let’s give a slightly more formal definition of unsupervised learning and take a quick look at some other types of uns…

ruoyi-vue版本(三十)Spring Security 安全框架中token的生成与解析

目录 1 使用2 写工具类3 使用工具类 1 使用 1 项目里面添加依赖 <!-- Token生成与解析--><dependency><groupId>io.jsonwebtoken</groupId><artifactId>jjwt</artifactId></dependency>2 写工具类 package com.ruoyi.framework.we…