「大数据-2.1」HDFS集群启停命令

news2024/11/23 17:00:44

目录

一、HDFS集群一键启停脚本

1. HDFS集群的一键启动脚本

2. HDFS集群的一键关闭脚本

二、单进程启停

1. hadoop-daemon.sh脚本

2. hdfs脚本

三、总结

1. 一键启停脚本

2. 独立进程启停


一、HDFS集群一键启停脚本

        Hadoop HDFS组件内置了HDFS集群的一键启停脚本。

1. HDFS集群的一键启动脚本

一键启动HDFS集群:
$HADOOP_HOME/sbin/start-dfs.sh

如果配置好了环境变量可以直接使用:
start-dfs.sh

执行原理: 
在执行此脚本的机器上,启动SecondaryNameNode
读取core-site.xml文件中的fs.defaultFS项,确认NameNode所在机器,启动NameNode
读取workers内容,确认DataNode所在机器,启动全部DataNode

2. HDFS集群的一键关闭脚本

一键关闭HDFS集群:
$HADOOP_HOME/sbin/stop-dfs.sh

如果配置好了环境变量可以直接使用:
stop-dfs.sh

执行原理: 
在执行此脚本的机器上,关闭SecondaryNameNode
读取core-site.xml文件的fs.defaultFS项,确认NameNode所在机器,关闭NameNode
​​​​​​​读取workers内容,确认DataNode所在机器,关闭全部NameNode


二、单进程启停

        除了一键启停外,Hadoop HDFS组件也内置了可以单独控制进程的启停的脚本,也就是单独控制集群中某个节点的开启和关闭。

1. hadoop-daemon.sh脚本

        $HADOOP_HOME/sbin/hadoop-daemon.sh,此脚本可以单独控制脚本所在机器的进程的启停,配置好环境变量后,可直接使用hadoop-daemon.sh来控制脚本所在机器的进程的启停。


用法:

使用脚本参数来控制进程启停:
$HADOOP_HOME/sbin/hadoop-daemon.sh (start|status|stop) (namenode|secondarynamenode|datanode)

如果已经配置好环境变量,可使用:
hadoop-daemon.sh (start|status|stop) (namenode|secondarynamenode|datanode)

启动namenode:
hadoop-daemon.sh start namenode
关闭namenode:
hadoop-daemon.sh stop namenode

2. hdfs脚本

        $HADOOP_HOME/bin/hdfs,此程序也可以用以单独控制脚本所在机器的进程的启停。


用法:

使用脚本参数来控制进程启停:
$HADOOP_HOME/bin/hdfs (start|status|stop) (namenode|secondarynamenode|datanode)

如果已经配置好环境变量,可使用:
hdfs --daemon (start|status|stop) (namenode|secondarynamenode|datanode)

启动namenode:
hdfs --daemon start namenode
关闭namenode:
hdfs --daemon stop namenode


三、总结

        打开虚拟机后先切换到安装了Hadoop的用户,再使用Hadoop HDFS组件内置的脚本启动HDFS集群。

1. 一键启停脚本

  • $HADOOP_HOME/sbin/start-dfs.sh
  • $HADOOP_HOME/sbin/stop-dfs.sh

如果配置好了环境变量可直接使用:

  • start-dfs.sh
  • stop-dfs.sh

2. 独立进程启停

  • $HADOOP_HOME/sbin/hadoop-daemon.sh (start|status|stop) (namenode|secondarynamenode|datanode)
  • $HADOOP_HOME/bin/hdfs --daemon (start|status|stop) (namenode|secondarynamenode|datanode)

如果配置好了环境变量可直接使用:

  • hadoop-daemon.sh (start|status|stop) (namenode|secondarynamenode|datanode)
  • hdfs --daemon (start|status|stop) (namenode|secondarynamenode|datanode)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1041632.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

JavaScript 期约 Promise 总结

同步与异步的概念 JavaScript 是一门单线程的语言,这意味着它在任何给定的时间只能执行一个任务。 然而,JavaScript 通过异步编程技术来处理并发操作,以避免阻塞主线程的情况。 在上图中,同步行为的进程 A 因为等待进程 B 执行完…

深入浅出Java的多线程编程——第一篇

目录 1. 认识线程(Thread) 1.1 概念 1.1.1 线程是什么 1.1.2 为啥需要线程 1.1.3 进程和线程的区别 1.1.4 Java的线程和操作系统线程的关系 1.2 第一个多线程程序 1.3 创建线程的方式(5种) 1.3.1 继承Thread类 1.3.2 实现…

电脑开机慢问题的简单处理

电脑用久了,开机时间要10-20分钟特别慢,一下介绍两种简单有效处理方式,这两种方式经测试不会影响原系统软件的使用: 方式一:禁用非必要启动项【效果不是很明显】 利用360里面的优化加速禁用启动项【禁用启动项还有其…

红色模板和黑色模板的区别

红色建筑模板和黑色建筑模板是常见的建筑支模材料,它们在颜色、材料、性能和适用范围等方面存在显著的区别。下面将详细介绍这两种建筑模板的区别。 首先,红色建筑模板通常由胶合板或其他木材制成,外观呈红色,而黑色建筑模板则采用…

MySQL数据库入门到精通6--进阶篇(锁)

5. 锁 5.1 概述 锁是计算机协调多个进程或线程并发访问某一资源的机制。在数据库中,除传统的计算资源(CPU、RAM、I/O)的争用以外,数据也是一种供许多用户共享的资源。如何保证数据并发访问的一致性、有效性是所有数据库必须解决…

沐风老师3DMAX刀剑轨迹拖尾插件SwordTrails使用方法详解

3DMAX刀剑轨迹拖尾插件SwordTrails使用教程 SwordTrail刀剑轨迹拖尾插件,是一款简单的运动轨迹特效工具。 【适用版本】 3dmax2011-2023(不仅于此范围) 【安装方法】 该插件无需安装,使用时直接拖动插件脚本文件到3dmax视口中打…

联机手写汉字识别系统技术要求与测试规程

声明 本文是学习GB-T 18790-2010 联机手写汉字识别系统技术要求与测试规程. 而整理的学习笔记,分享出来希望更多人受益,如果存在侵权请及时联系我们 1 范围 本标准规定了联机手写汉字识别系统的技术要求和测试规程。 本标准适用于微型计算机、手持式信息处理设备等数字化设…

功能定义-后方碰撞预警

功能概述 后方碰撞预警(Rear Collision Warning),简称RCW,其功能表现为实时监测车辆后方环境,并在可能受到后方碰撞危险时发出警告信息 报警区域 其中: L:表示后方盲区,受布置及传感器FOV影响 W&#xff1…

Java实现byte数组与Hex互转

十六进制字符的输出大写字符:0123456789ABCDEF 十六进制字符的输出小写字符:0123456789abcdef下面使用十六进制大写字符。 1、方式1 public class HexStringUtils {private static final char[] HEX_CHAR_TABLE {0, 1, 2, 3, 4, 5, 6, 7, 8, 9, A, B,…

00-MySQL数据库的使用-上

一 数据库基础知识 先谈发音 MySQL如何发音?在国内MySQL发音有很多种,Oracle官方文档说 他们念作 My sequal[si:kwəl]。 数据库基本概念 数据 数据(Data)是指对客观事物进行描述并可以鉴别的符号,这 些符号是可识别…

一篇文章全面解析Modbus协议中的消息帧

在 Modbus网络通信的两种传输模式中( ASCII或RTU),传输设备以将Modbus消息转为有起点和终点的帧,这就允许接收的设备在消息起始处开始工作,读地址分配信息,判断哪一个设备被选中(广播方式则传给…

MySQL 基础

本系列文章为【狂神说 Java 】视频的课堂笔记,若有需要可配套视频学习。 1. 简介 数据库(DB,Database)是安装在操作系统上的存储数据的软件。 关系型数据库(RDB)以行列形式存储数据。 非关系型数据库&am…

如何访问TDH中Inceptor 底层的元数据库TxSQL

如何访问TDH中Inceptor 底层的元数据库TxSQL 1 Inceptor概述 在大数据生态系统中,HIVE是离线数据仓库事实上的标准,绝大多数的大数据分析型系统或数据仓库系统,都是基于HIVE来构建的。 在星环的大数据平台TDH中,在功能上对应开…

PWN环境搭建

虚拟机Ubuntu安装 工具:Vmware 16 以及 Ubuntu 18或20 来源:清华大学开源软件镜像站 | Tsinghua Open Source Mirror 虚拟机安装流程 安装很简单,按照提示一步步来即可 处理器可以多给一些,我给了8个,内核数量不…

CCS介绍

CCS介绍 设置主体颜色 修改字体的颜色和大小 安装一些插件 CCS中的App中心 切换工作空间 导入工程

CarbonData详细解析

一、CarbonData简介 CarbonData是一种新型的Apache Hadoop本地文件格式,使用先进的列式存储、索引、压缩和编码技术,以提高计算效率,有助于加速超过PB数量级的数据查询,可用于更快的交互查询。同时,CarbonData也是一种…

AnyDesk多ID集中控制台V2.0

网盘下载 AnyDesk多ID集中控制台V2.0 软件介绍: 首先大家要知道AnyDesk软件是干嘛的?国外的远程协助工具,和TeamViewer同一个软件,TeamViewer确定需要登录,使用限制5分钟等等缺点,所以自己就用易语言开发An…

uni-app:实现页面效果1

效果 代码 <template><view><view class"add"><image :src"add_icon" mode""></image></view><view class"container_position"><view class"container_info"><view c…

69.渲染函数如何提高Vue应用程序的效率

通过使用虚拟 DOM&#xff0c;Vue 可以比直接操作真实 DOM 更高效地更新和渲染用户界面。渲染函数可用于在服务器上预渲染组件&#xff0c;从而提高应用程序的初始加载性能。渲染函数可让我们完全控制组件的结构和内容&#xff0c;从而构建自定义的复杂用户界面。 h() 函数&…

Java笔记:手写spring之aop

手写spring之aop 仓库地址: Raray-chuan/mini-spring 博文列表: 导读手写spring之ioc手写spring之aop手写spring之简单实现springboot 1.什么是AOP AOP(Aspect-oriented Programming), AOP翻译过来叫面向切面编程, 核心就是这个切面. 切面表示从业务逻辑中分离出来的横切…