Hadoop学习总结(Shell操作)

news2024/11/26 9:37:53
HDFS Shell 参数
命令参数功能描述
-ls查看指定路径的目录结构
-du统计目录下所有文件大小
-mv移动文件
-cp复制文件
-rm删除文件 / 空白文件夹
-put上传文件
-cat查看内容文件
-text将源文件输出文本格式
-mkdir创建空白文件夹
-help帮助

一、ls 命令

      ls 命令用于查看指定路径的当前目录结构,语法格式如下

hadoop fs -ls [-d] [-h] [-R]<args>  //<args>表示命令的可选参数
  • -d:将目录显示为普通文件。
  • -h:使用便于操作人员读取的单位信息格式。
  • -R:递归显示所有子目录的信息。

示例:查看根路径下的所有文件

hadoop fs -ls /

二、mkdir 命令

      mkdir 命令用于指定路径下创建子目录,其中创建的路径可以采用 URL 格式进行指定,语法格式如下

hadoop fs -mkdir [-p] <paths>

     其中 -p 参数表示创建子目录来先检查路径是否存在,如果不存在,则创建相应的各级目录。

示例:在根目录下创建 /test 目录 和 /exp/demo 目录

hadoop fs -mkdir /test
hadoop fs -mkdir -p /exp/demo

刷新 HDFS 集群状态,就能看到创建的目录

三、put 命令

      put 命令用于将本地系统文件或文件夹复制到 HDFS 上,语法格式如下

hadoop fs -put [-f] [-p] <locationsrc> <det>
  • -f:覆盖目标文件。
  • -p:保留访问和修改时间、权限。

示例:上传一个 data.txt 到 /exp/demo 目录

touch data.txt  或者   vi data.txt
hadoop fs -put data.txt /exp/demo

四、mv 命令

示例:把 /exp/demo/data.txt 移动到 /test 目录下

hadoop fs -mv /exp/demo/data.txt /test

刷新 HDFS 集群状态

五、cp 命令

示例:把 /test/data.txt 复制到根路径下

hadoop fs -cp /test/data.txt /

刷新 HDFS 集群状态

六、rm 命令

1、示例:把 /test/data.txt 文件删除

hadoop fs -rm /test/data.txt

刷新 HDFS 集群状态

2、示例:把 /exp/demo/ 目录删掉

hadoop fs -rm -r /exp/demo/

刷新 HDFS 集群状态

七、cat 命令

示例:查看 /data.txt 文件的内容

hadoop fs -cat /data.txt

八、get 命令

示例:把 /data.txt 文件下载到 /export/data目录下

 hadoop fs -get /data.txt /export/data

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1170710.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

稳定性测试—fastboot和monkey区别

一、什么是稳定性测试 稳定性测试是指检验程序在一定时间内能否稳定地运行&#xff0c;在不同的场景下能否正常地工作的过程。主要目的是检测崩溃、内存泄漏、堆栈错误等缺陷。 二、Monkey 1.什么是Monkey 是一个命令行工具&#xff0c;通常在adb安卓调试运行&#xff0c;模…

智能化审批:低代码平台助力招聘管理进程

都说流程很重要&#xff0c;确实如此。 企业运营中的内部流程是否高效&#xff0c;很大程度上决定了业务能否获得成功。不过&#xff0c;在各项流程中&#xff0c;还有一个重要“角色”不容忽略——审批&#xff0c;它就像是企业版的“开关按钮”&#xff0c;无论是报销、请假…

spss chi-square test

实验卡方检验_chi-square independence-CSDN博客 VAR01类别

前端难学还是后端难学?系统安全,web安全,网络安全是什么区别?

系统安全&#xff0c;web安全&#xff0c;网络安全是什么区别&#xff1f;三无纬度安全问题 系统安全&#xff0c;可以说是电脑软件的安全问题&#xff0c;比如windows经常提示修复漏洞&#xff0c;是一个安全问题 网页安全&#xff0c;网站安全&#xff0c;比如&#xff0c;…

你知道Python、Pycharm、Anaconda 三者之间的关系吗?

哈喽~大家好呀 Python作为深度学习和人工智能学习的热门语言&#xff0c;你知道Python、Pycharm、Anaconda 三者之间的关系吗&#xff1f;学习一门语言&#xff0c;除了学会其简单的语法之外还需要对其进行运行和实现&#xff0c;才能实现和发挥其功能和作用。下面来介绍运行P…

antv/g6元素之combo

介绍 在 G6 中&#xff0c;“Combo” 是一种特殊的元素&#xff0c;用于组合和展示多个节点元素的一种方式。它通常用于表示一个组或子图&#xff0c;将多个相关节点组织在一起&#xff0c;并在图形中以单一的形状显示。 属性 type&#xff1a;Combo 的类型&#xff0c;通常是…

地理信息系统原理-空间数据结构(7)

​四叉树编码 1.四叉树编码定义 四叉树数据结构是一种对栅格数据的压缩编码方法&#xff0c;其基本思想是将一幅栅格数据层或图像等分为四部分&#xff0c;逐块检查其格网属性值&#xff08;或灰度&#xff09;&#xff1b;如果某个子区的所有格网值都具有相同的值&#xff0…

SOLIDWORKS 2024新功能--SOLIDWORKS Electrical篇

SOLIDWORKS Electrical 对齐零部件 在设计 3D 机柜布局时使用对齐零部件时&#xff0c;可以在图形区域中预览更改。这大大减少了在 3D 机柜布局中对齐 SOLIDWORKS 零部件所需的工作量。对齐零部件 PropertyManager 简化并改进了工作流程。 SOLIDWORKS Electrical 更改多个导…

Java 基础知识:面试官必问的问题

本文重点关注Java编程语言的基础知识&#xff0c;并针对求职面试中常见的问题进行了总结。希望帮助读者准备面试&#xff0c;了解常见的Java基础问题 数据类型 基本类型 byte/8char/16short/16int/32float/32long/64double/64boolean/~ boolean 只有两个值&#xff1a;true、…

海外媒体发稿:如何利用8种出口贸易媒体发稿实现销售突破-华媒舍

出口贸易是许多企业追求业务增长的重要途径。在全球市场上突出自己并吸引潜在客户并非易事。幸运的是&#xff0c;利用出口贸易媒体发稿的机会可以成为推动销售突破的有效策略。本文将介绍8种出口贸易媒体以及如何利用它们发稿推广&#xff0c;从而实现销售突破。 1. 行业媒体…

魔术《4 Kings 折纸》的三重境界(三)——群论描述

早点关注我&#xff0c;精彩不错过&#xff01; 前面两篇讲完了基于奇偶性和集合论基础解释《4 Kings 折纸》的方法&#xff0c;详情请戳&#xff1a; 魔术《4 Kings 折纸》的三重境界&#xff08;二&#xff09;——集合语言和数理逻辑 魔术《4 Kings 折纸》的三重境界&#x…

overleaf里插入中文语句

作业要求是需要插入中文 我直接插入中文生成pdf会报错&#xff1a; 解决办法&#xff1a; overleaf官网里提供了教程&#xff1a;https://www.overleaf.com/learn/latex/Chinese 使用XeLaTeX或者LuaLaTeX进行编译是支持UTF-8编码。所以改变编译器的步骤如下&#xff1a; 点击…

Java web(五):会话技术

文章目录 一、会话跟踪技术二、Cookie三、Session四、Cookie和Session的区别五、项目实战 一、会话跟踪技术 二、Cookie 在JSP页面如何获取Cookie&#xff1f; 方式&#xff1a;${cookie.key.value} //key指存在cookie的键的名称 三、Session Session是基于Cookie实现的&…

安装docker可视化工具:Portainer

文章目录 前言一、安装Portainer&#xff08;docker可视化工具&#xff09;1.拉镜像2. 启动容器3.查看4.访问 总结 前言 一、安装Portainer&#xff08;docker可视化工具&#xff09; 1.拉镜像 docker pull portainer/portainer2. 启动容器 docker run -d -p 8100:8000 -p 9…

第九周实验记录

1、安装Nerfstudio 环境配置 首先需要创建环境python3.8&#xff0c;接着需要安装cuda11.7或11.3 这里安装cuda11.7 pip uninstall torch torchvision functorchpip install torch1.13.1 torchvision functorch --extra-index-url https://download.pytorch.org/whl/cu117安…

AI:55-基于深度学习的人流量检测

🚀 本文选自专栏:AI领域专栏 从基础到实践,深入了解算法、案例和最新趋势。无论你是初学者还是经验丰富的数据科学家,通过案例和项目实践,掌握核心概念和实用技能。每篇案例都包含代码实例,详细讲解供大家学习。 📌📌📌在这个漫长的过程,中途遇到了不少问题,但是…

ubuntu22.04安装公司安全VPN的方案

公司为了安全设置VPN,但是liunxVPN工具不好用&#xff0c;今天找了一个好用的VPN工具 https://www.leagsoft.com/doc/article/103107.html 有各种版本&#xff0c;支持IOS和android等系统。 安装步骤 1/下载安装程序 https://www.leagsoft.com/doc/article/103107.html 2 …

EntherNet IP通讯学习

# 哎 最近接触ENIP通讯&#xff0c;但是觉得这玩意真的挺复杂的&#xff0c;主要是资料太少了。 好像大家都在保密一样。 1、学习这个通讯一定是因为实际工作中有用到&#xff0c;所以这个时候你一定有一个PLC做了从站。 OK&#xff0c;那下面继续学习吧&#xff01; 首先先上…

hivesql,sql 函数总结:

1、NVL函数与Coalesce差异 -- select nvl(null,8); -- 结果是 8 -- select nvl(,7); -- 结果是"" -- select coalesce(null,null,9); -- 结果是 9 -- select coalesce("",null,9); -- 结果是 "" 1.2、 NVL函数与Coalesce差异 …

揭秘:为何GPT-4的多格式回应能力是开发者的“潜在宝藏”?

在科技的浩瀚海洋中&#xff0c;真正能让人惊叹的创新并不多见。今天&#xff0c;我们来谈谈令人瞩目的技术奇迹——GPT-4。更具体地说&#xff0c;我们要深入探讨的&#xff0c;是这个AI巨头能够以JSON和XML这两种格式回应内容的神秘力量。对开发者来说&#xff0c;这不仅仅是…