大数据:HDFS的Shell操作,进程启动管理,文件系统操作命令,创建文件文件夹,下载上传,复制移动,删除,展示,追加内容

news2024/9/22 11:37:39

大数据:HDFS的Shell操作,进程启动管理,文件系统操作命令,创建文件文件夹,下载上传,复制移动,删除,展示

2022找工作是学历、能力和运气的超强结合体,遇到寒冬,大厂不招人,可能很多算法学生都得去找开发,测开
测开的话,你就得学数据库,sql,oracle,尤其sql要学,当然,像很多金融企业、安全机构啥的,他们必须要用oracle数据库
这oracle比sql安全,强大多了,所以你需要学习,最重要的,你要是考网络警察公务员,这玩意你不会就别去报名了,耽误时间!
与此同时,既然要考网警之数据分析应用岗,那必然要考数据挖掘基础知识,今天开始咱们就对数据挖掘方面的东西好生讲讲 最最最重要的就是大数据,什么行测和面试都是小问题,最难最最重要的就是大数据技术相关的知识笔试


文章目录

  • 大数据:HDFS的Shell操作,进程启动管理,文件系统操作命令,创建文件文件夹,下载上传,复制移动,删除,展示
    • @[TOC](文章目录)
  • 大数据进程启动管理
  • HDFS文件系统操作命令
  • 命令权限不足咋搞
  • 总结

大数据进程启动管理

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
两个横线,给参数,给对象
hdfs命令也行

在这里插入图片描述
还是hdfs更好哦
daemon
jps看看状态
在这里插入图片描述

HDFS文件系统操作命令

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
通过协议来区分
操作不同的系统,就可以搞定了
有协议头
真的使用过程中,我们省略即可
它根据hdfs命令自动识别

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
hadoop创建文件夹
在这里插入图片描述
新老版本差不多
-mkdir本来就是Linux的命令
相当于hadoop都是建立在Linux上的命令

在这里插入图片描述
在这里插入图片描述
协议头加上就是不同的地方
查看hadoop文件
那就是用Linux来组装命令
在这里插入图片描述
没有协议头,默认走hadoop系统哦
在这里插入图片描述
在这里插入图片描述
hadoop组装Linux命令
很骚
在这里插入图片描述
-R是根和子目录全部打印
在这里插入图片描述
复制src到dst
在这里插入图片描述
在这里插入图片描述
协议头写不写都行
反正hdfs命令自动加
在这里插入图片描述在这里插入图片描述
这-f就是强制覆盖
如果你想让内存大小变得直观
用ls -h
ls -lh
在这里插入图片描述
这样就是K的标准格式

在这里插入图片描述
src仅仅一个那就是给打印台打印
如果有dst那就是往另一个文件中打印
加内容
在这里插入图片描述
正常看
在这里插入图片描述
贼多内容
大数据的话,可能顶不住啊
那最好是别打印这么多
部分打印即可
用管道服务,more,翻页
在这里插入图片描述
hadoop fs+Linux命令
hdfs dfs+Linux命令
在这里插入图片描述
按空格翻页即可
方便美滋滋

在这里插入图片描述
下载反着来
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
复制,当然只能是hdfs系统哦
在这里插入图片描述
cp是copy
美滋滋
在这里插入图片描述

可以改名可以不改
还有移动命令
追加
在这里插入图片描述
hdfs只能追加,或者删除
不能修改,跟vim不同哦

查test简单
-cat
三行,本地构造append文件
写追加内容
在这里插入图片描述
在这里插入图片描述
反正只能追加或者删除,就是不能修改

在这里插入图片描述
mv
在这里插入图片描述
可以改名字哦
在这里插入图片描述
在这里插入图片描述
删除
hone文件夹,删除-r
文件rm
在这里插入图片描述
在这里插入图片描述
强制删除
回收站也被删除了
如果不想删除回收站
就配置回收站,
在这里插入图片描述
保存时间1440限制之内,保留,1440分钟,一天保留,之后删除
120是检查间隔120分钟

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
回收站可以不用的

直接查阅官方文档即可
在这里插入图片描述
完全可以通过可视化工具,查看文件系统
通过案件搞定就行了
不建议给页面提供权限

在这里插入图片描述
在这里插入图片描述

命令权限不足咋搞

在这里插入图片描述
跟Linux本地的文件类似的
它都需要权限控制

在这里插入图片描述
root没有权限
hdfs得hadoop启动了namenode的人才有权限哦
在这里插入图片描述
chown和chmod
在这里插入图片描述
其他用户的权限x
没写
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
开头新老写法都一样
在这里插入图片描述
在这里插入图片描述


总结

提示:重要经验:

1)
2)学好oracle,即使经济寒冬,整个测开offer绝对不是问题!同时也是你考公网络警察的必经之路。
3)笔试求AC,可以不考虑空间复杂度,但是面试既要考虑时间复杂度最优,也要考虑空间复杂度最优。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/594107.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

vue-admin-templae源码分析

1.源码结构: build下index.js为工程发布dist工具 mock为接口数据模拟服务器 node_modules为npm install 安装的nodejs依赖模块 public为静态资源 src不工程源码目录 tests为单元测试目录 开发与生产环境文件 vue.config.js为工程配置文件 登陆页面,登陆按钮点击事件调用完整流…

【P45】JMeter 开关控制器(Switch Controller)

文章目录 一、开关控制器(Switch Controller)参数说明二、测试计划设计2.1、下标值2.2、变量 一、开关控制器(Switch Controller)参数说明 Switch 控制器的作用类似于 Interleave 控制器,因为它在每次迭代时运行其中一…

php内置类小结

文章目录 php内置类小结Error、Exception进行xss、绕过hash比较Error类Exception类使用Error、Exception内置类绕过md5、sha1等哈希比较Error类详解Exception类详解例题:[2020 极客大挑战]Greatphp 使用DirectaryIterator、Filesystemlterator、Globlterator内置类读…

ADManager Plus:简化员工管理,助力组织高效运营

在现代组织中,高效的员工管理是成功的关键之一。然而,随着员工数量的增加和组织结构的复杂化,手动处理员工管理任务变得繁琐而耗时。在这种情况下,ADManager Plus作为一款出色的员工管理解决方案,通过其卓越的功能和自…

那些在学习GPT的过程中学到的

1、大模型是什么 GPT横空出世之后,大模型火了,什么是大模型呐? 大模型通常指的是具有大规模参数和复杂结构的深度学习模型。它们的设计和结构可以因任务而异,但以下是一些常见的大模型结构: Transformer&#xff1a…

交换求和顺序的条件

交换求和顺序 文章目录 交换求和顺序应用场景可以交换求和的条件(部分内容来源ChatGPT)不能交换的情况其他可以参考的资料 应用场景 在多重求和中,交换求和顺序的最常见情况是需要改变计算某个表达式(通常是连乘或连加&#xff0…

【软件】无联网情况下安装Win11 / 华为电脑更换Win11系统后触摸屏、声卡失效物理解决方案

一、提前备份好电脑驱动(华为电脑更换Win11系统后触摸屏、声卡失效物理解决方案) 1.电脑驱动备份方法: 1)通过管理员身份打开命令提示符。 2)输入命令:dism /online /export-driver /destination:"D…

极氪汽车 APP 系统云原生架构转型实践

作者:极氪汽车 前言 新能源汽车已经成为我国汽车市场再次崛起的关键支柱,随着新能源汽车市场的快速发展,不同类型的品牌造车厂商呈现出百花齐放的态势。极氪汽车是吉利控股集团旗下高端纯电汽车新品牌,2021 年 4 月极氪发布首款…

踩坑笔记 ---- 使用LocalDateTime开通会员到期时间与自动续费业务某天用户突然为0

写在前面 使用LocalDateTime的同学需要注意下,这东西的plusMonth可能会有点点超出你的认知,如果不慎掉坑里,希望这篇笔记可以给你提供思路 业务背景 此业务场景非常简单,自动续费业务,需要在用户会员到期前24小时执…

Linux 防火墙开启端口

文章目录 查看防火墙状态开启指定端口重启防火墙重新加载防火墙查看已开启的端口关闭指定端口临时关闭防火墙永久关闭防火墙(必须先临时关闭防火墙,再执行该命令,进行永久关闭)结语 以下是一些常用的 firewalld 命令: …

C++11中条件标量和互斥锁应用出现死锁思考

条件变量和互斥锁在多线程同步过程中经常被使用&#xff0c;以下测试程序测试其使用。 目录 1.测试程序1 2.测试程序2 3.运行结果思考 1.测试程序1 #include <mutex> #include <deque> #include <iostream> #include <thread> #include <condi…

5-网络初识——封装和分用

目录 1.数据封装的过程 2.数据分用的过程 PS&#xff1a;网络数据传输的基本流程&#xff08;以QQ为例&#xff0c;A给B发送一个hello&#xff09;&#xff1a; 一、发送方&#xff1a; 二、接收方&#xff1a; 不同的协议层对数据包有不同的称谓&#xff0c;在传输层叫做…

Linux:忘记root密码解决办法

如果你是虚拟机只要将光盘镜像连接到虚拟机上&#xff0c;以光盘iso镜像启动 如果你是真机或服务器那将实体u盘或实体光盘连接至设备并且以连接的设备启动 开机时候打断开机 使用 &#xff08;u盘|光盘&#xff09;引导启动 troubleshooting rescue a centos system 输入 1…

前后端分离式项目架构流程(爆肝两万字)

文章目录 &#x1f412;个人主页&#x1f3c5;JavaEE系列专栏&#x1f4d6;前言&#xff1a; 【&#x1f387;前端】先创建Vue-cli项目&#xff0c;请选择此项目【&#x1f380;创建路由】打开命令行工具&#xff0c;进入你的项目目录&#xff0c;输入下面命令。1.创建 router …

SimpleCG绘图函数(4)--绘制圆

在前一篇教程我们利用绘制矩形功能绘制了一个城市,接下来我们讲解另外一个同样重要且基础的图形----圆形。并一起看看该图形能绘制哪些应用呢。 绘制圆形相关函数如下&#xff1a; //圆心坐标(nXCenter,nYCenter),半径为nRatio//绘无填充制圆 void circle( int nXCenter, int …

KG-BERT: BERT for Knowledge Graph Completion 2019ACL

把BERT用在知识图谱补全上 提出KG-BERT模型&#xff0c;在预训练好的BERT基础上继续fine-tuning。 1.传统KGC方法 传统的KGC方法一般依赖于KGE&#xff0c;而KGE往往通过将KG中的三元组关系投影到某个表示空间中&#xff0c;然后使用打分函数对三元组的合理性进行评估&#x…

OA系统流程传出文档

泛微OA如何与第三方接口交互 注意: 1.对于泛微OA中不能作为节点后的自定义编码代码,可能有以下几种原因: 代码存在语法错误:节点后的自定义编码代码应该是正确的Java代码,如果代码中存在语法错误,如缺少分号或者括号不匹配等,将不能正常编译执行。 缺少必要的依赖:节点…

C++ 内存分区模型

C程序在执行时&#xff0c;将内存大方向划分为4个区域 代码区&#xff1a;存放函数体的二进制代码&#xff0c;由操作系统进行管理的 全局区&#xff1a;存放全局变量和静态变量以及常量 栈区&#xff1a;由编译器自动分配释放 , 存放函数的参数值 , 局部变量等 堆区&…

CS5366芯片方案|单芯片type-C转HMID+PD+U3拓展坞方案|CS5366设计电路原理图

CS5366是一款高性能USB Type-c/DisplayPort TM&#xff08;DP&#xff09;到HDMI2.0转换器&#xff0c;设计用于USB Type-c源到HDMI2.0sink。CS5366集成了符合DP1.4标准的接收器和符合hdmi2.0标准的发射器。还包括两个CC控制器用于CC通信&#xff0c;以实现DP Alt Mode和功率传…

目标检测中,DETR方法为何class设置为91+1,DINO中为91

基于DEtection TRansformer的DETR框架https://github.com/facebookresearch/detr因为end-to-end&#xff0c;无需后处理等优点&#xff0c;逐渐得到青睐。DINO方法https://github.com/IDEA-Research/DINO更是取得了在COCO2017的SOTA结果。 其中&#xff0c;在DETR方法中&#…