【大数据开发技术】实验02-Hadoop常用命令

news2024/12/24 8:47:11

文章目录

  • Hadoop常用命令
    • 1、实验描述
    • 2、实验环境
    • 3、相关技能
    • 4、知识点
    • 5、实验步骤
    • 6、总结
  • 练习提高

Hadoop常用命令

1、实验描述

熟悉HDFS的命令行接口

2、实验环境

虚拟机数量:3

系统版本:Centos 7.5

Hadoop版本:Apache Hadoop 2.7.3

3、相关技能

熟悉Linux操作系统,Hadoop原理

HDFS命令行接口

4、知识点

HDFS命令行接口

5、实验步骤

5.1 进入虚拟机并启动Hadoop集群

5.1.1 在master启动Hadoop集群

[zkpk@master ~]$ start-all.sh

1

5.1.2 在master,slave01和slave02分别运行jps,确认NameNode, SecondaryNameNode, ResourceManager进程启动

2

5.2 练习hdfs命令行接口

5.2.1 列出目录及文件命令

【注】hadoop fs –ls为固定的命令,-ls用来指定咱们要列出文件,path参数指定需要列出列表的父路径。path取值如果在前边加上/的话是从HDFS的根目录下开始列,否则从HDFS上的用户目录/user/username/开始列。

[zkpk@master ~]$ hadoop fs -ls <path>

3

5.2.2 递归列出目录及文件

【注】hadoop fs –ls -R为固定的命令,-ls -R用来指定咱们要递归查看的文件,path参数指定需要列出列表的父路径 。

[zkpk@master ~]$ hadoop fs -ls  -R <path>

4

5.2.3 创建目录

【注】hadoop fs –mkdir为固定的命令,–mkdir用来指定创建的文件目录命令,path参数指定创建目录路径,注意,不能创建级联目录。

[zkpk@master ~]$ hadoop fs -mkdir  <path>

5

5.2.4 上传文件,有两种方式

【注】hadoop fs -put/-copyFromLocal 为固定的命令,src参数指定上传文件及其本地路径,des参数指定文件上传到HDFS的路径

[zkpk@master ~]$ hadoop  fs -put <src> <des>
[zkpk@master ~]$ hadoop  fs -copyFromLocal <src> <des>

7

5.2.5 从hdfs上传下载文件

【注】hadoop fs -get/-copyToLocal ;des为HDFS上的文件的绝对路径,src为本地要把下载的文件存放的位置

[zkpk@master ~]$ hadoop fs -get  <des>  <src>
[zkpk@master ~]$ hadoop fs -copyToLocal   <des>  <src> 

8

5.2.6 删除HDFS上的文件

【注】hadoop fs –rm \ ;rm命令后边必须跟要查看的文件的路径,路径必须存在,否则报错。如果需要递归删除某个文件夹下所有的文件夹和目录,使用rmr命令就可以了。

[zkpk@master ~]$ hadoop fs -rm <path>
[zkpk@master ~]$ hadoop fs -rmr <path>

9

6、总结

HDFS虽然是Hadoop的一个组件,但同时HDFS本身也是独立的,并不依赖与MapReduce运行环境,可以作为一个独立的分布式文件系统来使用。我们可以同过HDFS的命令行接口进一步认识HDFS。

练习提高

(1) 列出某个目录下的文件

hadoop fs -ls /

(2) 递归列出某目录及文件

hadoop fs -ls -R /

(3) 创建目录,目录名自拟,查看创建的目录及文件

hadoop fs -mkdir /wjw
hadoop fs -ls -R /

(4) 创建级联目录,递归查看

hadoop fs -mkdir -p /wjw01/wjw02
hadoop fs -ls -R /wjw01

(5) 在本地新建一个文件,文件名和文件内容自拟,然后分别使用-put命令和-copyFromLocal 命令将该文件上传到HDFS

mkdir wjw03
hadoop fs -put wjw03 /
mkdir wjw04
hadoop fs -copyFromLocal wjw04 /
hadoop fs -ls /

(6) 分别使用命令-get和-copyToLocal从HDFS上传下载某个文件,

hadoop fs -get /wjw03 /home/zkpk
hadoop fs -copyToLoacl /wjw04 /home/zkpk
ls /home/zkpk

(7) 删除HDFS上某个文件

hadoop fs -rmr /wjw04
hadoop fs -ls /

(8) 递归删除某个文件夹下所有文件和目录

hadoop fs -rmr /wjw01
hadoop fs -ls /

(9) 查看HDFS上某个文件内容

vim write.txt
hadoop fs -put write.txt /
hadoop fs -cat /write.txt

(10) 统计HDFS上某个文件的大小

hadoop fs -du /write.txt

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1031282.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

JMeter 常见函数讲解

当使用JMeter进行性能测试或负载测试时&#xff0c;函数是一个非常有用的工具&#xff0c;可以帮助生成动态的测试数据或处理测试结果。 下面是一些常用的JMeter函数的详细讲解和并列示例&#xff1a; 1、__threadNum&#xff1a; 返回当前线程的编号。可以在测试过程中用于…

爬虫获取静态网页数据

自动爬取网页数据 正常情况下是我们使用浏览器输入指定url&#xff0c;对服务器发送访问请求&#xff0c;服务器返回请求信息&#xff0c;浏览器进行解析为我们看到的界面&#xff0c;爬虫就是使用python脚本取代正常的浏览器&#xff0c;获取相应服务器的返回请求信息&#x…

广告牌安全监测系统,用科技护航大型广告牌安全

城市的街头巷尾&#xff0c;处处可见高耸的广告牌&#xff0c;它们以各种形式和颜色吸引着行人的目光。然而&#xff0c;作为城市景观的一部分&#xff0c;广告牌的安全性常常被我们所忽视。广告牌量大面大&#xff0c;由于设计、材料、施工方法的缺陷&#xff0c;加上后期的检…

报错解决: 未能解析此远程名称: ‘raw.githubusercontent.com‘

如果出现类似报错 添加 199.232.68.133 raw.githubusercontent.com 到 C:\Windows\System32\drivers\etc\hosts 的末尾 再尝试执行

【RocketMQ】消息中间件学习笔记

【RocketMQ】消息中间件学习笔记 【一】RocketMQ概述【1】MQ简介【2】MQ永用途&#xff08;1&#xff09;限流削峰&#xff08;2&#xff09;异步解耦&#xff08;3&#xff09;数据收集 【3】RocketMQ 介绍&#xff08;1&#xff09;RocketMQ 特点&#xff08;2&#xff09;Ro…

如何提升LED显示屏显示效果?

影响LED显示屏显示效果的因素有很多&#xff0c;以下是一些主要的因素&#xff1a; LED灯珠的质量和性能&#xff1a;LED灯珠是LED显示屏的核心组件&#xff0c;其质量和性能会直接影响到整个LED显示屏的显示效果。 显示屏的亮度&#xff1a;LED显示屏的亮度是影响显示效果的一…

Solid框架节点级响应性

前言 随着组件化、响应式、虚拟DOM等技术思想引领着前端开发的潮流&#xff0c;相关的技术框架大行其道&#xff0c;就以目前主流的Vue、React框架来说&#xff0c;它们都基于组件化、响应式、虚拟DOM等技术思想的实现&#xff0c;但是具有不同开发使用方式以及实现原理&#…

霍夫曼编码,计算霍夫曼编码树(数字图像处理大题复习 P7)

文章目录 计算出 x1~x6 的树计算 x1~x6 的编码得出霍夫曼编码 w1~w6 计算出 x1~x6 的树 我们先对 x1~x6 进行排序把最底下的加起来&#xff0c;上面写0 下面写1 然后一层一层加上去&#xff0c;注意加上去以后要 重新排序 计算 x1~x6 的编码 举例&#xff0c;从 x5 出发&…

计算机竞赛 深度学习LSTM新冠数据预测

文章目录 0 前言1 课题简介2 预测算法2.1 Logistic回归模型2.2 基于动力学SEIR模型改进的SEITR模型2.3 LSTM神经网络模型 3 预测效果3.1 Logistic回归模型3.2 SEITR模型3.3 LSTM神经网络模型 4 结论5 最后 0 前言 &#x1f525; 优质竞赛项目系列&#xff0c;今天要分享的是 …

「UG/NX」Block UI 从列表选择部件SelectPartFromList

✨博客主页何曾参静谧的博客📌文章专栏「UG/NX」BlockUI集合📚全部专栏「UG/NX」NX二次开发「UG/NX」BlockUI集合「VS」Visual Studio「QT」QT5程序设计「C/C+&#

硬实力+软实力!2023功能测试进阶之路!

作为一名游戏功能测试&#xff0c;偶尔和朋友聊起工作&#xff0c;他们会说&#xff1a;“你这个工作好呀&#xff0c;平时玩玩游戏&#xff0c;一边玩一边就把工作做了”&#xff1b;有时为了避免别人这样理解&#xff0c;我干脆说自己是搞游戏开发的&#xff0c;这个时候又有…

微软推出统一 Copilot AI 助手;谷歌拟自主研发 AI 芯片;苹果拟在国内引进新的 OLED 供应商丨RTE开发者日报 Vol.55

开发者朋友们大家好&#xff1a; 这里是「RTE 开发者日报」&#xff0c;每天和大家一起看新闻、聊八卦。我们的社区编辑团队会整理分享 RTE &#xff08;Real Time Engagement&#xff09; 领域内「有话题的新闻」、「有态度的观点」、「有意思的数据」、「有思考的文章」、「…

「聊设计模式」之 设计模式的前世今生

&#x1f3c6;本文收录于《聊设计模式》专栏&#xff0c;专门攻坚指数级提升&#xff0c;助你一臂之力&#xff0c;带你早日登顶&#x1f680;&#xff0c;欢迎持续关注&&收藏&&订阅&#xff01; 目录&#xff1a; 一、什么是设计模式设计模式的定义设计模式的…

Caddy Web服务器深度解析与对比:Caddy vs. Nginx vs. Apache

&#x1f337;&#x1f341; 博主猫头虎 带您 Go to New World.✨&#x1f341; &#x1f984; 博客首页——猫头虎的博客&#x1f390; &#x1f433;《面试题大全专栏》 文章图文并茂&#x1f995;生动形象&#x1f996;简单易学&#xff01;欢迎大家来踩踩~&#x1f33a; &a…

QT---day2---9.18

完善登录框 点击登录按钮后&#xff0c;判断账号&#xff08;admin&#xff09;和密码&#xff08;123456&#xff09;是否一致&#xff0c;如果匹配失败&#xff0c;则弹出错误对话框&#xff0c;文本内容“账号密码不匹配&#xff0c;是否重新登录”&#xff0c;给定两个按钮…

vue antv g6 编辑器

第一&#xff1a;官方推荐代码 &#xff08;下载后最好删除eslint&#xff08;可以用第二个&#xff09;&#xff0c;再进行install&#xff09; https://github.com/claudewowo/welabx-g6https://download.csdn.net/download/qq_30940855/88343559?spm1001.2014.3001.5501 …

RK3568驱动指南|第五篇 中断-第42章 软中断实验

瑞芯微RK3568芯片是一款定位中高端的通用型SOC&#xff0c;采用22nm制程工艺&#xff0c;搭载一颗四核Cortex-A55处理器和Mali G52 2EE 图形处理器。RK3568 支持4K 解码和 1080P 编码&#xff0c;支持SATA/PCIE/USB3.0 外围接口。RK3568内置独立NPU&#xff0c;可用于轻量级人工…

MySQL数据库的explain关键字之type字段详解

这篇文章主要介绍一下mysql数据库常用的sql优化时使用的explain/desc关键字中&#xff0c;执行结果的type字段的取值。 目录 数据准备 const eq_ref ref range index all type字段的值主要有以下7种&#xff1a;其中system的性能最高&#xff0c;但是很难遇到&#xff0…

Spring实例化源码解析之ConfigurationClassParser(三)

前言 上一章我们分析了ConfigurationClassPostProcessor的postProcessBeanDefinitionRegistry方法的源码逻辑&#xff0c;其中核心逻辑do while中调用parser.parse(candidates)方法&#xff0c;解析candidates中的候选配置类。然后本章我们主要分析ConfigurationClassParser的…

linux服务器部署项目

1.linux安装配置JDK 以Java1.8为例&#xff0c;下载安装包 将安装包提交到服务器中并解压 tar -zxvf your_file.gz 修改/etc/profile文件 vi /etc/profile 文件中添加两条 export JAVA_HOME/path/to/your/java export PATH$JAVA_HOME/bin:$PATH 输入指令刷新文件 source /etc…