熟悉HDFS常用操作

news2024/12/25 6:19:35

1. 利用Hadoop提供的Shell命令完成下列任务

  • (1)向HDFS中上传任意文本文件,如果指定的文件在HDFS中已经存在,由用户指定是追加到原有文件末尾还是覆盖原有的文件。

#检查文件是否存在
./bin/hdfs dfs -test -e text.txt
echo $? #结果是1 代表已存在

#根据结果判断出文件已存在,则追加到cwn.txt文件末尾
./bin/hdfs dfs -appendToFile cwn.txt text.txt

  • (2)从HDFS中下载指定文件,如果本地文件与要下载的文件名称相同,则自动对下载的文件重命名

if $(hdfs dfs -test -e file:///home/hadoop/text.txt);
then $(hdfs dfs -copyToLocal text.txt ./text.txt);
else $(hdfs dfs -copyToLocal text.txt ./evil.txt);
fi

  • (3)将HDFS中指定文件的内容输出到终端中。

hdfs dfs -cat text.txt

  • (4)显示HDFS中指定的文件的读写权限、大小、创建时间、路径等信息;执行下列命令。

hdfs dfs -ls -h text.txt

  • (5)给定HDFS中某一个目录,输出该目录下的所有文件的读写权限、大小、创建时间、路径等信息,如果该文件是目录,则递归输出该目录下所有文件相关信息。

./bin/hdfs dfs -ls -R -h /user/hadoop

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1368703.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

OpenHarmony自定义Launcher

前言 OpenHarmony源码版本:4.0release 开发板:DAYU / rk3568 DevEco Studio版本:4.0.0.600 自定义效果: 一、Launcher源码下载 Launcher源码地址:https://gitee.com/openharmony/applications_launcher 切换分支为OpenHarmony-4.0-Release,并下载源码 二、Launcher源…

[AutoSar]基础部分 RTE 08 runnable mapping

目录 关键词平台说明一、runnable mapping的必要性二、runnable mapping 通用规则三、Task type四、可以不用mapping的runnbale 关键词 嵌入式、C语言、autosar、runnable 平台说明 项目ValueOSautosar OSautosar厂商vector芯片厂商TI编程语言C,C编译器HighTec (…

动能芯片|DP1332E多协议高度集成非接触式读写芯片

DP1332E是一个高度集成的非接触读写芯片,它包含80C51微控制器内核,集成了13.56MHz下的各种主动/被动式非接触通信方法和协议。DP1332E有丰富的通讯接口和多协议集成优势,支持ISO/IEC18092,可以极大减少研发成本,高效、灵活的推动项…

铁威马使用小贴士,让NAS实现存储的旷野

结束2024年的第一个假期,我们忙着做年终总结,对来年许下希冀。 2023毋庸置疑是近年来过得较为丰富多彩的一年。 “看了好多场演唱会” “实现了一场说走就走的旅行” “蹦一场无拘无束的音乐节” “去见了很多很多好朋友” “去探索属于我人生的旷…

TS 36.213 V12.0.0-PUSCH相关过程(5)-UE PUSCH hopping过程

​本文的内容主要涉及TS 36.213,版本是C00,也就是V12.0.0。

国际版WPS Office18.6.0

​【应用名称】:WPS Office 【适用平台】:Android 【软件标签】:WPS 【应用版本】:18.5.4 → 18.6.0 【应用大小】:160MB 【软件说明】:WPS Office是使用人数最多的移动办公软件。它具有独有手机阅读…

Docker查看镜像的Dockerfile

前言 在使用Docker构建应用程序时,我们可以通过Dockerfile定义应用程序的环境,并将其打包成一个镜像。有时,我们可能需要查看一个已经构建好的镜像的Dockerfile,以了解镜像是如何构建的,或者进行后续的修改和调整。本…

【开源商城-MIT-PHP软件推荐】ShopXO企业级免费开源商城系统

ShopXO: ShopXO企业级免费开源商城系统,可视化DIY拖拽装修、包含PC、H5、多端小程序(微信支付宝百度头条&抖音QQ快手)、APP、多仓库、多商户、多门店、IM客服,进销存遵循MIT开源协议发布、基于ThinkPHP6框架研发 产品有社区版本和商业版 项目介绍 …

步入式汽车零件阳光模拟试验箱

汽车零件阳光模拟试验箱辐照光源采用金属卤素灯管,该产品按照其技术性能规定保证了光谱分布,非常适合运用在 汽车零件阳光模拟系统中。灯具的反光罩使用对称抛物面反射,以保证其高平行光束反射率。灯组由带有实际功率调节功能的电子电源&am…

C++11新特性(也称c++2.0)

目录 1.输出C版本&#xff1a;cout << __cplusplus << endl; 2.Uniform Initialization(一致性初始化) 3.initializer_list&#xff08;形参&#xff09; 4.explicit 5.for循环的新用法 6.default和delete 1.输出C版本&#xff1a;cout << __cplusplus…

Python selenium find_element()示例详解

selenium有以下定位方式&#xff1a; 1 2 3 4 5 6 7 8 driver.find_element_by_id(‘id) driver.find_element_by_xpath(xpath) driver.find_element_by_link_text(link_text) driver.find_element_by_partial_link_text(partial_link_text) driver.find_element_by_name(name…

Java中SpringBoot组件集成接入【Knife4j接口文档(swagger增强)】

Java中SpringBoot组件集成接入【Knife4j接口文档】 1.Knife4j介绍2.maven依赖3.配置类4.常用注解使用1.实体类及属性(@ApiModel和@ApiModelProperty)2.控制类及方法(@Api、@ApiOperation、@ApiImplicitParam、 @ApiResponses)3.@ApiOperationSupport注解未生效的解决方法5.…

联盛德-安全物联网芯片w800

联盛德-安全物联网芯片w800 前言一、w800简介&#xff1f;芯片外观 总结 前言 本文介绍w800的基本信息&#xff0c;详细规格&#xff0c;后续有时间会介绍如何适配openharmony的过程。 一、w800简介&#xff1f; W800 芯片是一款安全 IoT Wi-Fi/蓝牙 双模 SoC 芯片。支持 2.…

Tracert 与 Ping 程序设计与实现(2024)

1.题目描述 了解 Tracert 程序的实现原理&#xff0c;并调试通过。然后参考 Tracert 程序和计算机网络教材 4.4.2 节&#xff0c; 计算机网络 课程设计指导书 2 编写一个 Ping 程序&#xff0c;并能测试本局域网的所有机器是否在线&#xff0c;运行界面如下图所示的 QuickPing …

Three.js 纹理贴图的实现

在线工具推荐&#xff1a; 3D数字孪生场景编辑器 - GLTF/GLB材质纹理编辑器 - 3D模型在线转换 - Three.js AI自动纹理开发包 - YOLO 虚幻合成数据生成器 - 三维模型预览图生成器 - 3D模型语义搜索引擎 纹理贴图简介 当我们创建一个网格时&#xff0c;比如我们不起眼的立…

跨境电商进化论:从B2C到C2M的创新商业模式

跨境电商在过去几年中经历了巨大的变革&#xff0c;从传统的B2C模式逐渐演变为创新的C2M模式&#xff0c;为全球商业带来了新的商业范式。本文将探讨跨境电商的发展历程&#xff0c;着重分析C2M模式的涌现&#xff0c;以及它如何重新定义了消费者和制造商之间的关系&#xff0c…

字节8年经验之谈!一文从0到1带你入门接口测试【建议收藏】

扫盲内容&#xff1a; 1.为什么要做接口测试&#xff1f; 2.怎样做接口测试&#xff1f; 3.接口测测试点是什么&#xff1f; 4.接口测试都要掌握哪些知识&#xff1f; 5.其他相关知识&#xff1f; 一.为什么要做接口测试&#xff1f; ①.越底层发现bug&#xff0c;它的修复…

香港证监会最新公告:投资虚拟资产的基金应遵守哪些规定?

撰文&#xff1a;Sean&#xff0c;Techub News 点击查看TechubNews原文链接 12 月 22 日&#xff0c;香港证监会发布了「关于香港证监会授权基金投资虚拟资产的通函」和「有关中介人的虚拟资产相关活动的联合通函」&#xff0c;在「关于香港证监会授权基金投资虚拟资产的通函…

求求你,别再乱用@Transactional了

求求你&#xff0c;别再乱用Transactional了 文章目录 &#x1f50a;先看个问题&#x1f4d5;情况1情况1结果 &#x1f5a5;️情况2情况2结果 &#x1f4dc; 情况三情况3结果 &#x1f4d8;情况4情况4结果 &#x1f516;先说结论情况1结果情况2结果情况3结果情况4结果&#x1f…

春晖团队开展“爱心陪伴.读书会”主题 活动在蟠龙社区

在共青团桐梓县委的指导下&#xff0c;桐梓县春晖行动志愿者协会“伙伴计划”项目团队连续2天和青少年小朋友一起在燎原镇蟠龙社区的乡村复兴少年宫组织开展“爱心陪伴.读书会”主题活动。 1月6日&#xff0c;志愿者们提前到活动场地&#xff0c;将团中央发放的报刊书籍、益智玩…