hadoop第3课(hdfs shell常用命令)

news2025/3/10 9:41:02

一、Hadoop FS 基础操作命令

1. 查看帮助
hadoop fs -help [命令名]  # 查看具体命令的帮助文档
# 示例:
hadoop fs -help mkdir
2. 目录操作
hadoop fs -mkdir /path          # 创建目录
hadoop fs -mkdir -p /path/a/b   # 递归创建多级目录
hadoop fs -rmdir /path          # 删除空目录
3. 文件操作
hadoop fs -put local_file /hdfs_path   # 上传本地文件到HDFS
hadoop fs -get /hdfs_file local_path   # 下载HDFS文件到本地
hadoop fs -cat /hdfs_file              # 查看文件内容
hadoop fs -tail /hdfs_file             # 查看文件尾部内容
hadoop fs -text /hdfs_file             # 查看文件内容(自动解压)
hadoop fs -cp /src /dest               # 复制文件/目录
hadoop fs -mv /src /dest               # 移动文件/目录
hadoop fs -rm /file                    # 删除文件
hadoop fs -rm -r /directory            # 递归删除目录
4. 查看目录/文件信息
hadoop fs -ls /path          # 列出目录内容
hadoop fs -ls -h /path       # 友好格式显示文件大小(KB/MB/GB)
hadoop fs -ls -R /path       # 递归列出子目录
hadoop fs -du -h /path       # 查看目录/文件占用空间
hadoop fs -stat /file        # 查看文件详细信息

二、权限管理

hadoop fs -chmod 755 /path        # 修改权限(八进制模式)
hadoop fs -chmod -R a+rwx /path   # 递归修改权限(符号模式)
hadoop fs -chown user:group /path # 修改文件所属用户和组
hadoop fs -chgrp group /path      # 修改文件所属组

三、集群管理与状态查询

hadoop fs -df -h          # 查看HDFS存储空间使用情况
hadoop fs -du -h /path    # 统计目录占用空间
hadoop fs -count /path    # 查看目录下的文件/目录数量
hadoop fsadmin -safemode enter  # 进入安全模式(管理员)
hadoop fsadmin -safemode leave  # 退出安全模式(管理员)

四、高级功能

1. 回收站操作(需开启回收站功能)
hadoop fs -rm -skipTrash /file   # 直接删除(不进入回收站)
# 默认删除操作会移动到回收站(路径:/user/${username}/.Trash)
2. 文件归档(HAR)
hadoop fs -archive -archiveName myhar.har -p /src /dest  # 创建归档文件
hadoop fs -ls har:///myhar.har   # 查看归档内容
3. 设置副本数
hadoop fs -setrep -w 2 /file   # 修改副本数为2(-w表示等待完成)

五、注意事项

  1. hadoop fs 是通用命令,兼容HDFS和其他Hadoop支持的文件系统。
  2. 删除目录时需谨慎使用 -rm -r,建议先确认路径。
  3. 安全模式操作需管理员权限。

结语

掌握这些 hadoop fs 命令是Hadoop开发与运维的基础,建议结合实践场景多操作演练。后续可深入学习HDFS架构与API开发技巧!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2312622.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

快速生成viso流程图图片形式

我们在写详细设计文档的过程中总会不可避免的涉及到时序图或者流程图的绘制,viso这个软件大部分技术人员都会使用,但是想要画的好看,画的科学还是比较难的,现在我总结一套比较好的方法可以生成好看科学的viso图(图片格式)。主要思…

【极光 Orbit•STC8A-8H】03. 小刀初试:点亮你的LED灯

【极光 Orbit•STC8H】03. 小刀初试:点亮你的 LED 灯 七律 点灯初探 单片方寸藏乾坤,LED明灭见真章。 端口配置定方向,寄存器值细推敲。 高低电平随心控,循环闪烁展锋芒。 嵌入式门初开启,从此代码手中扬。 摘要 …

OSPF报文分析

OSPF报文分析 组播地址 224.0.0.0~224.0.0.255为预留的组播地址(永久组地址),地址224.0.0.0保留不做分配,其它地址供路由协议使用; 224.0.1.0~238.255.255.255为用户可用的组播地址(…

MySql性能(9)- mysql的order by的工作原理

全字段排序rowid排序全字段排序和rowid排序 3.1 联合索引优化 3.2 覆盖索引优化优先队列算法优化建议 5.1 修改系统参数 5.2 优化sql 1. 全字段排序 CREATE TABLE t ( id int(11) NOT NULL,city varchar(16) NOT NULL, name varchar(16) NOT NULL, age int(11) NOT NULL,addr v…

爬虫案例七Python协程爬取视频

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录 前言一、Python协程爬取视频 前言 提示:这里可以添加本文要记录的大概内容: 爬虫案例七协程爬取视频 提示:以下是本篇文章正文…

智慧城市智慧社区项目建设方案

一、项目背景 在全球化进程加速的今天,城市化问题日益凸显,传统的城市管理模式已难以满足现代社会对高效、智能化管理的需求。智慧城市和智慧社区的概念应运而生,其核心目标是通过信息技术手段,提升城市资源的利用效率&#xff0…

RabbitMQ高级特性--消息确认机制

目录 一、消息确认 1.消息确认机制 2.手动确认方法 二、代码示例 1. AcknowledgeMode.NONE 1.1 配置文件 1.2 生产者 1.3 消费者 1.4 运行程序 2.AcknowledgeMode.AUTO 3.AcknowledgeMode.MANUAL 一、消息确认 1.消息确认机制 生产者发送消息之后,到达消…

Java EE 进阶:Spring IoCDI

IOC的简单介绍 什么是Spring?Spring是一个开源的框架,让我们的开发更加的简单,我们可以用一句更加具体的话来概括Spring,就是Spring是一个包含众多工具方法的IOC容器。 简单介绍一下IOC,我们之前说过通过ReqestContr…

Java数据结构第二十期:解构排序算法的艺术与科学(二)

专栏:Java数据结构秘籍 个人主页:手握风云 目录 一、常见排序算法的实现 1.1. 直接选择排序 1.2. 堆排序 1.3. 冒泡排序 1.4. 快速排序 一、常见排序算法的实现 1.1. 直接选择排序 每⼀次从待排序的数据元素中选出最小的⼀个元素,存放在…

【算法day5】最长回文子串——马拉车算法

最长回文子串 给你一个字符串 s,找到 s 中最长的 回文 子串。 https://leetcode.cn/problems/longest-palindromic-substring/description/ 算法思路: class Solution { public:string longestPalindrome(string s) {int s_len s.size();string tmp …

《如何排查Linux系统平均负载过高》

【系统平均负载导读】何为系统平均负载?假设一台云服务主机,突然之间响应用户请求的时间变长了,那么这个时候应该如何去排查?带着这个问题,我们对“平均负载”展开深入的探讨和研究。 何为Linux系统的平均负载&#xf…

基于DeepSeek实现PDF嵌入SVG图片无损放大

1. PDF中效果图 2. 询问Deepseek进行代码书写,不断优化后结果 /*** SVG工具类,用于生成价格趋势的SVG图表*/ public class SvgUtils {// SVG画布尺寸private static final int WIDTH 800;private static final int HEIGHT 500;private static final i…

整型的不同类型和溢出

一、整数的不同类型 不同编程语言中的整数类型主要通过以下两个维度区分: 1. 存储大小 字节数:决定整数能表示的范围(如 1字节8位)。 常见类型: byte(1字节)、short(2字节&#x…

使用express创建服务器保存数据到mysql

创建数据库和表结构 CREATE DATABASE collect;USE collect;CREATE TABLE info (id int(11) NOT NULL AUTO_INCREMENT,create_date bigint(20) DEFAULT NULL COMMENT 时间,type varchar(20) DEFAULT NULL COMMENT 数据分类,text_value text COMMENT 内容,PRIMARY KEY (id) ) EN…

小程序 wxml 语法 —— 41列表渲染 - 进阶用法

这一节讲解列表渲染的两个进阶用法: 如果需要对默认的变量名和下标进行修改,可以使用 wx:for-item 和 wx:for-item: 使用 wx:for-item 可以指定数组当前元素的变量名使用 wx:for-index 可以指定数组当前下标的变量名 将 wx:for 用在 标签上&…

python语言总结(持续更新)

本文主要是总结各函数,简单的函数不会给予示例,如果在平日遇到一些新类型将会添加 基础知识 输入与输出 print([要输出的内容])输出函数 input([提示内容]如果输入提示内容会在交互界面显示,用以提示用户)输入函数 注释 # 单行注释符&…

FPGA学习篇——Verilog学习5(reg,wire区分及模块例化)

1 何时用reg,何时用wire? 这个我找了一些网上的各种资料,大概说一下自己的理解,可能还不太到位... wire相当于一根线,是实时传输的那种,而reg是一个寄存器,是可以存储数据的,需要立…

Redis 数据持久化之AOF

AOF(Append Only File) 以日志的形式来记录每个写操作,将Redis执行过的所有写指令记录下来(读操作不记录),只许追加文件但不可以改写文件,redis启动之初会读取该文件重新构建数据,换…

【芯片验证】verificationguide上的74道SystemVerilog面试题

诧异啊,像我这种没事在网上各处捡东西吃的人为什么之前一直没有用过verificationguide这个网站呢?总不能是大家都已经看过就留下我不知道吧。前几天在论坛上和朋友谈论验证面试题时才搜到这个网站的,感觉挺有意思: .: Verification Guide :.​verificationguide.com/https…

Java后端高频面经——计算机网络

TCP/IP四层模型?输入一个网址后发生了什么,以百度为例?(美团) (1)四层模型 应用层:支持 HTTP、SMTP 等最终用户进程传输层:处理主机到主机的通信(TCP、UDP&am…