一、三种shell命令方式

HDFS有三种shell命令方式

hadoop fs：适用于任何不同的文件系统，比如本地文件系统和HDFS文件系统

hadoop dfs：只能适用于HDFS文件系统

hdfs dfs：跟hadoop dfs的命令作用一样，也只能适用于HDFS文件系统

二、常见Shell操作命令

参考：

【大数据入门核心技术-Hadoop】（七）Hadoop基本Shell命令行_forest_long的博客-CSDN博客

三、dfs管理命令行

1、当前haoop环境变量

hdfs envvars

2、当前集群节点信息

 #namenodes
 hdfs getconf -namenodes
 
 #secondaryNameNodes
 hdfs getconf -secondaryNameNodes
 
 #backupNodes
 hdfs getconf -backupNodes
 
 #journalNodes
 hdfs getconf -journalNodes
 
 #includeFile
 hdfs getconf -includeFile
 
 #excludeFile
 hdfs getconf -excludeFile
 
 #namenode对应监听端口(比较有用)
 hdfs getconf -nnRpcAddresses
 
 hdfs haadmin -getAllServiceState
 也可以查找出集群各namenode监控端口和active情况

3、运行HTTPFS服务器

hdfs httpfs

4、高可用节点管理

#获取当前高可用节点的服务状态
hdfs haadmin -getAllServiceState

#获取某节点服务状态
hdfs haadmin -getServiceState <serviceId>

#将节点切换为avtive
hdfs haadmin -transitionToActive <serviceId> [--forceactive]

#将节点切换为standby
hdfs haadmin -transitionToStandby <serviceId>

#将节点切换为Observe
hdfs haadmin -transitionToObserver <serviceId>

#将节点切换状态
hdfs haadmin -failover [--forcefence] [--forceactive] <serviceId> <serviceId>

#对某节点健康检查
hdfs haadmin -checkHealth <serviceId>

#haadmin help
hdfs haadmin -help <command>

5、单独启动某个节点服务

#单独启动某个节点的namenode
hadoop-daemon.sh start namenode

#单独启动某个节点的datanode
hadoop-daemon.sh start datanode

#单独启动某个节点的journalnode
hadoop-daemon.sh start journalnode

#单独启动某个节点的secondarynamenode
hadoop-daemon.sh start secondarynamenode

#单独启动某个节点的zkfc
hadoop-daemon.sh start zkfc

#单独启动某个节点的httpfs
hadoop-daemon.sh start httpfs

停止将start换为stop即可！

附所有全面的节点启动命令

sbin/start-all.sh 启动所有的Hadoop守护进程。
包括NameNode、 Secondary NameNode、DataNode、ResourceManager、NodeManager

sbin/stop-all.sh 停止所有的Hadoop守护进程。
包括NameNode、 Secondary NameNode、DataNode、ResourceManager、NodeManager

sbin/start-dfs.sh 启动Hadoop HDFS守护进程NameNode、SecondaryNameNode、DataNode

sbin/stop-dfs.sh 停止Hadoop HDFS守护进程NameNode、SecondaryNameNode和DataNode

sbin/hadoop-daemons.sh start namenode 单独启动NameNode守护进程

sbin/hadoop-daemons.sh stop namenode 单独停止NameNode守护进程

sbin/hadoop-daemons.sh start datanode 单独启动DataNode守护进程

sbin/hadoop-daemons.sh stop datanode 单独停止DataNode守护进程

sbin/hadoop-daemons.sh start secondarynamenode 单独启动SecondaryNameNode守护进程

sbin/hadoop-daemons.sh stop secondarynamenode 单独停止SecondaryNameNode守护进程

sbin/start-yarn.sh 启动ResourceManager、NodeManager

sbin/stop-yarn.sh 停止ResourceManager、NodeManager

sbin/yarn-daemon.sh start resourcemanager 单独启动ResourceManager

sbin/yarn-daemons.sh start nodemanager 单独启动NodeManager

sbin/yarn-daemon.sh stop resourcemanager 单独停止ResourceManager

sbin/yarn-daemons.sh stopnodemanager 单独停止NodeManager

sbin/mr-jobhistory-daemon.sh start historyserver 手动启动jobhistory

sbin/mr-jobhistory-daemon.sh stop historyserver 手动停止jobhistory