Hadoop原理与技术——hdfs命令行基本操作

news2024/11/25 11:01:30

在这里插入图片描述

一、实验目的
熟悉hdfs命令行基本操作
二、实验环境
Windows 10
VMware Workstation Pro虚拟机
Hadoop环境
Jdk1.8
三、实验内容
1:hdfs常见命令:
(1)查看帮助:hdfs dfs -help

(2)查看当前目录信息:hdfs dfs -ls /

(3)创建文件夹:hdfs dfs -mkdir /文件夹名

(4)上传文件:hdfs dfs -put /本地路径 /hdfs路径

(5)下载文件到本地:hdfs dfs -get /hdfs路径 /本地路径

(6)移动hdfs文件:hdfs dfs -mv /hdfs路径 /hdfs路径

(7)复制hdfs文件:hdfs dfs -cp /hdfs路径 /hdfs路径

(8)删除hdfs文件:hdfs dfs -rm /文件名

(9)删除hdfs文件夹:hdfs dfs -rm -r /文件夹名

(10)查看hdfs中的文件:hdfs dfs -cat /文件名

(11)查看文件夹中有多少个文件:hdfs dfs -count /文件夹名

(12)统计目录下的对象数:hdfs dfs -count /文件夹名

(13)统计目录下的对象大小:hdfs dfs -du [-s] [-h] /文件夹名

(14)显示hdfs的容量、数据块和数据节点的信息:hdfs dfsadmin -report

安全模式是hadoop的一种保护机制,用于保证集群中的数据块的安全性。当hdfs进入安全模式时不允许客户端进行任何修改文件的操作,包括上传文件,删除文件,重命名,创建文件夹等操作。

(15)查看安全模式状态:hdfs dfsadmin -safemode get

(16)强制进入安全模式:hdfs dfsadmin -safemode enter

(17)强制离开安全模式:hdfs dfsadmin -safemode leave

hdfs常见命令运行:

(1)查看帮助:hdfs dfs -help

在这里插入图片描述

(2)查看当前目录信息:hdfs dfs -ls /

在这里插入图片描述

(3)创建文件夹hdfsTest:hdfs dfs -mkdir /hdfsTest

在这里插入图片描述

(4)把本地路径为/home/hadoop/rg34/input.txt的文件上传到hdfs文件系统路径为/hdfsTest/hdfsFile1的目录下:hdfs dfs -put /home/hadoop/rg3 4/input.txt /hdfsTest/hdfsFile1

在这里插入图片描述

(5)下载路径为/hdfsTest/hdfsFile1/input.txt的hdfs文件到本地/home/hadoop/linusTest目录下:hdfs dfs -get /hdfsTest/hdfsFile1/ input.txt /home/hadoop/linusTest

在这里插入图片描述

(6)把路径为/hdfsTest/hdfsFile1/input.txt的hdfs文件移动到/hdfsTest/hdfsFile2下:hdfs dfs -mv /hdfsTest/hdfsFile1/input.txt /hdfsTest/hdfsFile2

在这里插入图片描述

(7)复制一份路径为/hdfsTest/hdfsFile2/input.txt的hdfs文件到路径为/hdfsTest/hdfsFile1目录下:hdfs dfs -cp /hdfsTest/hdfsFile2/input. Txt /hdfsTest/hdfsFile1

在这里插入图片描述

(8)删除路径为/hdfsTest/hdfsFile1/input.txt的hdfs文件:hdfs dfs -rm /hdfsTest/hdfsFile1/input.txt

在这里插入图片描述

(9)删除路径为/hdfsTest/hdfsFile1的hdfs文件夹:hdfs dfs -rm -r /hdfsTest/hdfsFile1

在这里插入图片描述

(10)查看路径为/hdfsTest/hdfsFile2/input.txt的hdfs文件:hdfs dfs -cat /hdfsTest/hdfsFile2/input.txt
在这里插入图片描述

(11)查看hdfsTest文件夹中有多少个文件:hdfs dfs -count /hdfsTest

在这里插入图片描述(数字2表示有两个文件夹,数据1表示有1个文件)

(12)统计某目录下的对象数:hdfs dfs -count /

在这里插入图片描述

(13)统计某目录下的对象大小:hdfs dfs -du [-s] [-h] /

在这里插入图片描述

(14)显示hdfs的容量、数据块和数据节点的信息: hdfs dfsadmin -report

在这里插入图片描述安全模式是hadoop的一种保护机制,用于保证集群中的数据块的安全性。当hdfs进入安全模式时不允许客户端进行任何修改文件的操作,包括上传文件,删除文件,重命名,创建文件夹等操作。

(15)查看安全模式状态:hdfs dfsadmin -safemode get

在这里插入图片描述

(16)强制进入安全模式:hdfs dfsadmin -safemode enter

在这里插入图片描述

(17)强制离开安全模式:hdfs dfsadmin -safemode leave

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/53067.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

OpenCV图像处理——目标追踪

总目录 图像处理总目录←点击这里 二十四、目标追踪 24.1、多目标(手动检测)追踪 24.1.1、原理 目标检测:运行之后按下s,通过鼠标对某个目标进行检测,然后点击空格或者回车 目标追踪:opencv的八种追踪…

【JavaEE】JavaScript(基础语法)1

努力经营当下,直至未来明朗! 文章目录前言一、JavaScript初识(简单了解就行,没时间跳过)二、【JS的代码相关】【注释】【输入输出】三、语法1. 变量2. 【基本数据类型】THINK前言 一个人最大的痛苦就是对自己无能的愤…

信贷风控NCL净损失率的指标实现与应用

在金融信贷业务的风险控制过程中,有一项财务指标发挥着比较重要的信息参考价值,可以有效衡量某个月份放款金额在形成呆账后的资金损失情况,其中呆账指的是信贷逾期180天以上,这个指标便是NCL(Net Credit Loss&#xff…

大家都在用的福昕阅读器 foxit 你还不知道吗? 祛除水印PDF转换全功能解锁…

趣味拓展 什么字大家看了都说没用? (答案在文末) 引言 福昕阅读器是一款高级PDF编辑器,查看目录、去除水印、编辑文本、转换格式等都是可以用到的~ 小编第一次使用的时候是用来查看pdf文档目录的,当时未使用破解版,后来循序渐进…

基于PHP+MySQL中小学生科学实验展示网站的设计与实现

中小学生科学实验展示网站能够通过互联网得到广泛的、全面的宣传,让尽可能多的人积极的参加到科学实验行列中来,不仅为需要的人提供了服务,而且锻炼了自己,同时能够让中小学生对科学实验的兴趣有很大的提高 PHP中小学生科学实验展示网站是一个科普类型的网站,系统通过PHp&#…

[附源码]Python计算机毕业设计SSM客户信息管理(程序+LW)

项目运行 环境配置: Jdk1.8 Tomcat7.0 Mysql HBuilderX(Webstorm也行) Eclispe(IntelliJ IDEA,Eclispe,MyEclispe,Sts都支持)。 项目技术: SSM mybatis Maven Vue 等等组成,B/S模式 M…

模拟电子技术(四)放大电路的频率响应

(四)放大电路的频率响应电路理论基础知识复习频率响应基本概念两个无源频率响应的单元电路波特图(幅频、相频)高、低同电路对比晶体管的高频等效模型单管放大电路的频率响应研究信号频率的变化对放大电路性能的影响也就是电路对输…

Linux零基础入门(二)Linux基础命令

Linux零基础入门(二)Linux基础命令前言Linux基础命令一 Linux的目录结构1 Linux路径的描述方式二 Linux命令入门1 Linux命令基础格式2 ls命令3 HOME目录和工作目录4 ls命令的参数ls 命令的 -a选项ls命令的 -l选项ls命令选项的组合使用ls选项和参数的组合…

基于人工势场法的二维平面内无人机的路径规划的matlab仿真,并通过对势场法改进避免了无人机陷入极值的问题

目录 1.算法描述 2.matlab算法仿真效果 3.MATLAB核心程序 4.完整MATLAB 1.算法描述 人工势场法原理是:首先构建一个人工虚拟势场,该势场由两部分组成,一部分是目标点对移动机器人产生的引力场,方向由机器人指向目标点&#xf…

C语言——malloc开辟矩阵

目录 用动态内存开辟矩阵 矩阵初始化 用动态内存开辟矩阵 动态内存更多的知识在这篇博客,本文将介绍用malloc开辟矩阵。 malloc是C语言中用来动态开辟内存的,通过malloc函数可以向计算机申请一串连续的内存空间。 因为malloc开辟的内存在堆上&#…

数据链路层-封装成帧

封装成帧 数据链路层给上层交付的协议数据单元添加上帧头和帧尾使之成为帧帧头和帧尾包含有重要的控制信息帧头和帧尾的作用之一就是帧定界 透明传输 数据链路层对上层的交付的传输数据没有任何的限制,就好像数据链路层不存在一样面向字节的物理链路使用字节填充(字…

manjaro (gnome) 记录 2 常用配置与快捷键介绍

manjaro (gnome) 记录 2 常用配置与快捷键介绍 初manjaro 记录 2 常用配置与快捷键介绍安装 vim 文本编辑器配置中文输入法安装谷歌拼音配置输入法添加快捷键:gnome 终端通过命令:gnome-terminal 可以打开 gnome 终端窗口设置快捷…

学习Hadoop(一)——搭建hadoop集群

最近开始学习大数据的相关知识,要学习大数据就不得不提到Hadoop。 一般来说学习一门新的知识,很多都是先理论再实践 我则不然,先实践,再了解理论 目录一、VM网络设置二、安装Centos72.1 网络配置2.2 设置主机名2.3 hosts设置2.4…

【在SpringBoot项目中使用Validation框架检查数据格式】

目录 1. 添加依赖 2. 检查POJO类型的请求参数 3. 关于响应的消息文本 4. 快速失败 5. 检查未封装的请求参数 1. 添加依赖 在pom.xml中添加spring-boot-starter-validation依赖项&#xff1a; <!-- Spring Boot Validation框架&#xff0c;用于检查数据格式 --> &…

ctfshow 月饼杯

寒假打算认真学习一下&#xff0c;就先从半个月的刷题开始。 文章目录web1_此夜圆web2_故人心web3_莫负婵娟web1_此夜圆 题目给的有附件&#xff0c;一看就是php反序列化字符串逃逸(应该是签到题)。 源码&#xff1a; <?php error_reporting(0);class a {public $uname;…

负载均衡组件Ribbon核心-@LoadBalanced-下

引言 书接上篇 负载均衡组件Ribbon核心-LoadBalanced-上 我们讲完了理解LoadBalanced注解的知识准备&#xff0c;接下来就是LoadBalanced注解详解。 LoadBalancerAutoConfiguration 激活 LoadBalanced 注解功能起点来至LoadBalancerAutoConfiguration自动配置类&#xff0c;S…

uni-app 超详细教程(三)(从菜鸟到大佬)

本文中内容为&#xff1a; 1. 支付功能&#xff08;微信支付&#xff0c;支付宝支付&#xff09; 2. 项目打包&#xff1a;&#xff08;APP打包&#xff0c;H5打包&#xff0c;微信小程序打包&#xff09; 一&#xff0c;uni - app 的支付功能 一、微信支付 1、登录微信开…

如何在Ubuntu20.04上安装RDP远程

计算机最有意思的事情&#xff0c;就是你可以用任何方式去实现跨设备连接。例如google通过webrtc实现远程桌面&#xff0c;Linux则是常用ssh等。在远程桌面上一般分为windows的RDP和Unix/Linux的VNC。 常规在windows上winr输入mstsc,我们通过微软的RDP技术去远程计算机。RDP和…

C#Lambda让代码变得更加简洁而优雅

Using a lambda expression&#xff0c;we can make the code more compact and elegant。   在使用lambda表达式时&#xff0c;可以使代码更加简洁和优雅。 Lambda&#xff0c;希腊字母λ&#xff0c;在C#编程语言中&#xff0c;被引入为Lambda表达式&#xff0c;表示为匿名…

使用[阿里问题定位神器]Arthas入门

目录 注意 安装 在线安装 离线安装 目前我接触到的实用命令 dashboard heapdump thread jad stack trace 注意 arthas本身有一定的性能消耗&#xff0c;所以生产环境小心使用 arthas本身有一定的性能消耗&#xff0c;所以生产环境小心使用 arthas本身有一定的性能…