Shell常用脚本:hadoop集群启动、停止、重启脚本

news2024/11/26 4:26:37

脚本内容以我搭建的hadoop集群为例,你们自用的时候自行根据你们的情况进行修改即可


hadoop-cluster-manager.sh

#!/bin/bash
# 1. 调用此脚本前,请使用ssh-keygen -t rsa、ssh-copy-id -f 目标机器这两个命令使得目标机器是免密登录的
# 2. ssh远程执行的命令,不会加载/etc/profile里面的全局变量,故需要手动执行


if [ $# -lt 1 ]; then

echo "入参为空 == 请输入参数:start/stop/restart中的一个";
exit 1;
fi


case $1 in


"start")

echo "集群启动中....."

ssh root@hadoop107 'source /etc/profile && bash /opt/module/hadoop-3.3.6/sbin/start-dfs.sh'
echo "由【hadoop107】启动dfs集群组件"
ssh root@hadoop108 'source /etc/profile && bash /opt/module/hadoop-3.3.6/sbin/start-yarn.sh'
echo "由【hadoop108】启动yarn集群组件"
ssh root@hadoop107 'source /etc/profile && /opt/module/hadoop-3.3.6/bin/mapred --daemon start historyserver'
echo "由【hadoop108】启动日志聚集组件"

echo "集群启动完成"

;;


"stop")


echo "集群停止中....."

ssh root@hadoop107 'source /etc/profile && bash /opt/module/hadoop-3.3.6/sbin/stop-dfs.sh'
echo "由【hadoop107】关闭dfs集群组件"
ssh root@hadoop108 'source /etc/profile && bash /opt/module/hadoop-3.3.6/sbin/stop-yarn.sh'
echo "由【hadoop108】关闭yarn集群组件"
ssh root@hadoop107 'source /etc/profile && /opt/module/hadoop-3.3.6/bin/mapred --daemon stop historyserver'
echo "由【hadoop108】关闭日志聚集组件"

echo "集群停止完成"

;;



"restart")

echo "集群重启中....."

ssh root@hadoop107 'source /etc/profile && bash /opt/module/hadoop-3.3.6/sbin/stop-dfs.sh'
echo "由【hadoop107】关闭dfs集群组件"
ssh root@hadoop108 'source /etc/profile && bash /opt/module/hadoop-3.3.6/sbin/stop-yarn.sh'
echo "由【hadoop108】关闭yarn集群组件"
ssh root@hadoop107 'source /etc/profile && /opt/module/hadoop-3.3.6/bin/mapred --daemon stop historyserver'
echo "由【hadoop108】关闭日志聚集组件"



ssh root@hadoop107 'source /etc/profile && bash /opt/module/hadoop-3.3.6/sbin/start-dfs.sh'
echo "由【hadoop107】启动dfs集群组件"
ssh root@hadoop108 'source /etc/profile && bash /opt/module/hadoop-3.3.6/sbin/start-yarn.sh'
echo "由【hadoop108】启动yarn集群组件"
ssh root@hadoop107 'source /etc/profile && /opt/module/hadoop-3.3.6/bin/mapred --daemon start historyserver'
echo "由【hadoop108】启动日志聚集组件"



echo "集群重启完成"

;;


*)

echo "无效参数 == 请输入参数:start/stop/restart中的一个";

;;

esac

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1511802.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

在 Rust 中使用 Serde 处理json

在 Rust 中使用 Serde 处理json 在本文中,我们将讨论 Serde、如何在 Rust 应用程序中使用它以及一些更高级的提示和技巧。 什么是serde? Rust中的serde crate用于高效地序列化和反序列化多种格式的数据。它通过提供两个可以使用的traits来实现这一点&a…

【机器学习300问】33、决策树是如何进行特征选择的?

还记得我在【机器学习300问】的第28问里谈到的,看决策树的定义不就是if-else语句吗怎么被称为机器学习模型?其中最重要的两点就是决策树算法要能够自己回答下面两问题: 该选哪些特征 特征选择该选哪个阈值 阈值确定 今天这篇文章承接上文&…

因为manifest.json文件引起的 android-chrome-192x192.png 404 (Not Found)

H5项目打包之后,总是有这个报错,有时候还有别的icon也找不见 一通调查之后,发现是因为引入了一个vue插件 这个插件引入之后,webpack打包的时候就会自动在dist文件夹中产生一个manifest.json文件这个文件里面主要就是一些icon地址的…

Hadoop学习3:问题解决

文章目录 问题解决1. ERROR: but there is no HDFS_NAMENODE_USER defined2. JAVA_HOME is not set and could not be found.3. Hadoop-DFS页面访问不了4. namenode格式化失败,或者dfs页面打开失败5. ERROR: but there is no YARN_RESOURCEMANAGER_USER defined. Ab…

【数据挖掘】实验1:R入门(内含详细R和RStudio安装教程)

实验1:R入门 一:实验目的与要求 1:根据上课PPT内容,掌握课堂知识并进行代码练习操作,提供练习过程和结果。 2:可COPY代码运行结果直接提交,如涉及到输出图等可截图。 二:实验内容 …

3D Gaussian Splatting for Real-Time Radiance Field Rendering(慢慢啃,还是挺复杂的)

三个关键要素 从相机配准的过程中得到的稀疏点云开始,使用3D Gaussian表示场景; 3D Gaussian: 是连续体积辐射场能够防止不必要的空空间优化。对 3D Gaussion进行交叉优化和密度控制: 优化各向异性血方差对场景精确表示。使用快速可视感知渲染算法来进行快速的训练…

InnoDB和MyISAM存储引擎

InnoDB mysql默认存储引擎 支持事务,行级锁(并发量大),外键约束,容量大,支持缓存,支撑主键自增, 全文检索,不存储表的总行数,需要sql逐行统计 MyISAM 不…

鸿蒙Harmony应用开发—ArkTS声明式开发(基础手势:RemoteWindow)

远程控制窗口组件,可以通过此组件控制应用窗口,提供启动退出过程中控件动画和应用窗口联动动画的能力。 说明: 该组件从API Version 9开始支持。后续版本如有新增内容,则采用上角标单独标记该内容的起始版本。 该组件为系统接口。…

k8s+zabbix

一,环境: 1),k8s部署,master和node节点都部署成功 二,部署: 1),安装python3(资源中有) wget https://www.python.org/ftp/python/3.7.4/Python-…

【Mysql】事务与索引

目录 MySQL事务 事务的特性 并发事务的问题? 事务隔离级别? MySQL索引 数据结构 索引类型 聚簇索引与非聚簇索引 聚集索引的优点 聚集索引的缺点 非聚集索引的优点 非聚集索引的缺点 非聚集索引一定回表查询吗(覆盖索引)? 覆盖索引 联合索…

传输层协议介绍(tcp,udp),可靠性和不可靠性

目录 传输层协议 介绍 tcp协议 介绍 面向连接 可靠性 面向字节流 udp协议 介绍 无连接 不可靠 面向数据报 可靠和不可靠 可靠 不可靠 传输层协议 介绍 传输层是计算机网络体系结构中的第四层,它负责在网络中的不同主机之间提供端到端的数据传输 传输…

Web 常用的 扩展开发框架

当谈到提升浏览器功能和用户体验时,浏览器扩展成了一股强大的力量,备受用户青睐。在众多的Web扩展开发框架中,WXT和Plasmo凭借其丰富的工具和特性,以及简化的开发流程,成为开发者们的首选。在本文中,我们将…

基于 Jenkins 搭建一套 CI/CD 系统

一、CI/CD环境介绍 本次要实现如下效果,开发人员完成功能开发并提交代码到gitlab仓库,jenkins自动完成拉取代码、编译构建、代码扫描(sonarqube)、打包,再自动化完成部署到Tomcat服务器提供访问。 环境准备三台Centos…

jupyter 修改文件保存位置 步骤

一、找到配置文件位置 打开Anaconda Prompt,输入: jupyter notebook --generate-config 根据得到的路径,以记事本方式打开配置文件 二、修改路径 在文件中输入: c.NotebookApp.notebook_dir E:\\deepLearning\\Jupyter_files…

离线下载的pytorch/torchvision/torchaudio

链接:https://download.pytorch.org/whl/torch_stable.html 下载pytorch-torchvision-torchaudio等一系列一定要版本匹配,并且如果是在gpu上跑的话,一定要都是cu版本 参考链接:https://blog.csdn.net/AiTanXiing/article/detail…

基于YOLOv8/YOLOv7/YOLOv6/YOLOv5的输电线路设备检测系统(深度学习+UI界面+Python代码+训练数据集)

摘要:本篇博客详细介绍了如何运用深度学习构建一个先进的输电线路设备检测系统,并附上了完整的实现代码。该系统利用了最新的YOLOv8算法作为其核心,同时也对之前版本的YOLOv7、YOLOv6、YOLOv5进行了性能比较,包括但不限于mAP&…

如何解决由触发器导致 MySQL 内存溢出?

由触发器导致得 OOM 案例分析过程和解决方式。 作者:龚唐杰,爱可生 DBA 团队成员,主要负责 MySQL 技术支持,擅长 MySQL、PG、国产数据库。 爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编…

为什么要有包装类?

1、典型回答 在 Java 中,所有的基本类型都会对应一个包装类,如下所示: 之所以要有包装类型的主要原因有以下几个: 面向对象要求:Java 是一门面向对象的编程语言,要求所有的数据都应该是对象。但是&#x…

【递归搜索回溯专栏】专题二:二叉树中的深搜----二叉搜索树中第K小的元素

本专栏内容为:递归,搜索与回溯算法专栏。 通过本专栏的深入学习,你可以了解并掌握算法。 💓博主csdn个人主页:小小unicorn ⏩专栏分类:递归搜索回溯专栏 🚚代码仓库:小小unicorn的代…

数据库三大范式设计原则

数据库三大范式 第一范式(确保每列保持原子性) 第一范式是最基本的范式。如果数据库表中的所有字段值都是不可分解的原子值,就说明该数据库表满足了第一范式。 第二范式(确保表中的每列都和主键相关) 第二范式在第一范式的基础之上更进一层。第二范式需要确保数据…