章节内容
上一节完成:
- HDFS的简介内容
- HDFS基础原理
- HDFS读文件流程
- HDFS写文件流程
背景介绍
这里是三台公网云服务器,每台 2C4G,搭建一个Hadoop的学习环境,供我学习。
之前已经在 VM 虚拟机上搭建过一次,但是没留下笔记,这次趁着前几天薅羊毛的3台机器,赶紧尝试在公网上搭建体验一下。
注意,如果你和我一样,打算用公网部署,那一定要做好防火墙策略,避免不必要的麻烦!!!
请大家都以学习为目的,也请不要对我的服务进行嗅探或者攻击!!!
但是有一台公网服务器我还运行着别的服务,比如前几天发的:autodl-keeper 自己写的小工具,防止AutoDL机器过期的。还跑着别的Web服务,所以只能挤出一台 2C2G 的机器。那我的配置如下了:
- 2C4G 编号 h121
- 2C4G 编号 h122
- 2C2G 编号 h123
基础语法
hadoop fs
启动集群
start-dfs.sh
start-yarn.sh
查看目录
hadoop fs -ls /
创建目录
hadoop fs -mkdir -p /wzk/test
上传文件
hadoop fs -moveFromLocal ./1.txt /wzk/test
hadoop fs -ls /
hadoop fs -ls /wzk/test
下载文件
hadoop fs -copyToLocal /wzk/test/1.txt ./
查看文件
hadoop fs -cat /wzk/test/1.txt
CP操作
hadoop fs -cp /wzk/test/1.txt /1.txt
MV操作
hadoop fs -mv /1.txt /wzk/test/
GET操作
hadoop fs -get /wzk/test/1.txt ./
PUT操作
hadoop fs -put ./1.txt /wzk/test
删除文件
hadoop fs -rm /wzk/test
删除空目录
hadoop fs -mkdir /wzk01
hadoop fs -rmdir /wzk01