大数据Hadoop教程-01大数据导论与Linux基础

news2024/10/6 1:37:56

目录

01、大数据导论

02、Linux操作系统概述

P007

P008

P009

P010

P011

P012

P013

P014

P015

P016

P017


01、大数据导论

企业数据分析方向

  1. 现状分析(分析当下的数据):现阶段的整体情况,各个部分的构成占比、发展、变动;
  2. 原因分析(分析过去的数据):某一现状为什么发生,确定原因,做出调整优化;
  3. 预测分析(结合数据预测未来):结合已有数据预测未来发展趋势。 

03总结:一切围绕着数据,数据从数据源来到应用的地方去。

05:全球一台服务器的话,用户访问量太大,服务器肯定受不了;多台服务器,北京天津上海分别一台服务器,多个省多台服务器都来提供搜索支持。

我来打个比方,分布式就像钢铁侠的铠甲,各个组件是可以各自独立开的,但又是合在一起发挥功能。集群就像核弹基地,一个国家分布在各地的核弹头组成了核武器集群。

02、Linux操作系统概述

搭建局域网环境

VMware

Workstation是一款虚拟机软件,允许用户将Linux、Windows等多个操作系统作为虚拟机在单台PC上 运行;用户可以在虚拟机上重现服务器、桌面和平板电脑环境,无需重新启动即可跨不同操作系统同时运行应用。

P007

P008

Centos操作系统的虚拟机导入

蓝屏因为版本不兼容,换个软件。

蓝屏的可以安装一个最新版的vm,亲试可以:VMware17。

ifconfig

ping www.baidu.com

P009

挂起:挂起虚拟机,下次打开VMware后虚拟机状态为挂起时的状态。

快照:把某一时间的状态记录下来,备份。

快照使用

  1. VMware虚拟机软件提供了非常便捷的快照功能,用于记录某一时间点的状态,用于备份恢复;
  2. 拍好快照之后,可以在任何时间恢复到指定的快照时间点;
  3. 本课程中提供的虚拟机,制作了3个不同时间点的快照,可供大家选择使用。


可以选择任意快照,跳转到指定快照的时间点。

注意:如果需要快照跳转恢复,3台虚拟机必须都要同时进行恢复,避免彼此之间时间状态不同步。

P010

SSH工具 SSH客户端

终端使用帮助   相关快捷键

终端:
alt 命令历史
双击ctrl 切换到命令输入框

命令输入框:
alt 命令历史
tab 补全 
双击ctrl 切换到终端

列表窗口:
backspace 上一级目录
alt/tab/esc 关闭窗口
上下箭头 选择行

C:\Windows\System32\drivers\etc

192.168.88.151 node1 node1.itcast.cn(ip地址、别名短名、全名)

192.168.88.152 node2 node2.itcast.cn

192.168.88.153 node3 node3.itcast.cn

 

 

P011

Linux 命令大全 | 菜鸟教程

P012

  1. ctrl+L:清屏。
  2. Linux ls(英文全拼: list directory contents)命令:用于显示指定工作目录下之内容(列出目前工作目录所含之文件及子目录)。
  3. ll命令:ll并不是linux下一个基本的命令,它实际上是ls -l的别名,可以罗列出当前文件或目录的详细信息,含有时间、读写权限、大小、时间等信息,像windows显示的详细信息。
  1. ls(list files)命令:用于显示指定工作目录下之内容(列出目前工作目录所含之文件及子目录)。
  2. cd(change directory)命令:用于切换当前工作目录。切换的路径可为绝对路径或相对路径。若路径省略,则变换至使用者的home目录。
  3. mkdir(make directory)命令:用于创建目录。 -p 确保父目录名称存在,不存在的就建一个。
  4. touch命令:创建一个空文件,无任何内容。
  5. rm(remove)命令:用于删除一个文件或者目录。 -f 强制直接删除,无需用户确认。 -r 将目录及以下所有递归逐一删除。
  6. cp(copy file)命令:用于复制文件或目录。 -r:若给出的源文件是一个目录文件,此时将复制该目录下所有的子目录和文件。
  7. mv(move file)命令:用来为文件或目录改名、或将文件或目录移入其它位置。
  8. cat(concatenate)命令:用于连接文件并打印到标准输出设备如console控制台上。适合小文件内容查看。
  9. more 命令:类似cat,不过会以一页一页的形式显示,更方便使用者逐页阅读,翻页结束自动退出。适合大文件查看。按space键翻下一页,按b往回(back)上一页。
  10. tail 命令:用于查看文件的结尾部分的内容。
  11. | 管道命令:将前一个命令执行的结果作为内容交给下一个命令处理。可以形成多级管道操作。
  12. echo命令:用于内容的输出,将内容输出到console控制台上。

P013

tail命令:用于查看文件的结尾部分的内容。

  1. -n:用于显示行数,默认为10,即显示10行的内容。
  2. -f:用于实时显示文件动态追加的内容。会把文件里的最尾部的内容显示在屏幕上,并且不断刷新,只要文件有更新,就可以看到最新的文件内容。数据收集与实时采集。

ps -ef:显示当前Linux运行的进程。

ps -ef | grep tomcat:在当前正在运行的进程中搜索Tomcat进程,grep:搜索。

P014

打包、解包

tar(tape archive )命令:常用于备份文件。是用来建立,还原备份文件的工具程序,它可以加入,解开备份文件内的文件。

  1. -c 或--create 建立新的备份文件。
  2. -x 或--extract或--get 从备份文件中还原文件。
  3. -v 或--verbose 显示指令执行过程。
  4. -f 或--file= 指定备份文件。

打包压缩、解包解压缩

在打包备份或者解包的过程中,可以通过指定压缩算法,对打包的文件进行压缩,解压的时候也需要指定相应的算法。

  1. -z 或--gzip或--ungzip 通过gzip指令处理备份文件。
  2. 最重要的搭配: tar -zxvf xxxxx.tar.gz

tar -cvf itcast.tar test001.txt test002.txt

tar -zcvf itheima.tar.gz test001.txt test002.txt
 tar -zcvf itheima.tgz test001.txt test002.txt
tar -zxvf itheima.tgz -C ccc

P015

[root@node1 ~]# date
2023年 02月 21日 星期二 10:57:05 CST
[root@node1 ~]# cal
      二月 2023     
日 一 二 三 四 五 六
          1  2  3  4
 5  6  7  8  9 10 11
12 13 14 15 16 17 18
19 20 21 22 23 24 25
26 27 28

[root@node1 ~]# free
              total        used        free      shared  buff/cache   available
Mem:        4026224      365164     3444232       11916      216828     3426056
Swap:       4063228           0     4063228
[root@node1 ~]# free -h
              total        used        free      shared  buff/cache   available
Mem:           3.8G        355M        3.3G         11M        211M        3.3G
Swap:          3.9G          0B        3.9G
[root@node1 ~]# df -h
文件系统                       容量  已用  可用 已用% 挂载点
devtmpfs                       2.0G     0  2.0G    0% /dev
tmpfs                          2.0G     0  2.0G    0% /dev/shm
tmpfs                          2.0G   12M  2.0G    1% /run
tmpfs                          2.0G     0  2.0G    0% /sys/fs/cgroup
/dev/mapper/centos_node1-root   38G  4.1G   33G   11% /
/dev/sda1                     1014M  139M  876M   14% /boot
/dev/mapper/centos_node1-home   19G   33M   19G    1% /home
tmpfs                          394M     0  394M    0% /run/user/0

P016

[root@node1 ~]# echo test002.txt
test002.txt
[root@node1 ~]# echo 222 >  test002.txt
[root@node1 ~]# cat test002.txt
222
[root@node1 ~]# vim test002.txt 
[root@node1 ~]# cat test002.txt
222
2222
hello

[root@node1 ~]# vim test002.txt

P017

vim基本操作命令

  • 方向键控制移动
    • 翻页 pageup pagedown
    • 行首(home 0) 行尾(end $)
    • 跳到文件的最后一行 G
    • 跳到文件的第一行 gg
  • 复制粘贴
    • yy 复制光标当前所在行内容
    • nyy 复制当前行往下n行
    • p 当前行的下一行粘贴
    • P 当前行的上一行粘贴
  • 删除命令
    • dd 删除光标所在当前行内容
    • ndd 删除当前行往下n行
  • 撤销、反撤销
    • u 撤销上一步的操作(后悔药)
    • ctrl+r 反撤销

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/360369.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

C++空指针和野指针

空指针:指针被赋值为空 例如: int* p nullptr;int* p NULL; 空指针指向的地址是00000000,但空指针不可以解引用 野指针:指针指向了不可控的位置 例如: 未初始化 int* p; //野指针 越界访问 int intArr[5]{0, 1, …

Echarts+大屏

先放上我做的大屏吧,做的不是很好看,希望大家能见谅。 一、实验目的 理解大数据可视化的原理和方法掌握ECharts可视化的原理、步骤和效果掌握使用D3读取数据的方法 二、实验任务与要求 通过网店运营的销售数据,分别从各月的销售情况、各产品…

【1】linux命令每日分享——mkdir创建目录

大家好,这里是sdust-vrlab,Linux是一种免费使用和自由传播的类UNIX操作系统,Linux的基本思想有两点:一切都是文件;每个文件都有确定的用途;linux涉及到IT行业的方方面面,在我们日常的学习中&…

剑指offer-消失的数字、数组中出现的次数

消失的数字 解法一:求和相减 假设nums为[0,1,2,4],消失的数字为3,完整的数组应该是[0,1,2,3,4],则sum101247,sum20123410,我们很容易发现 sum2-sum1 01234 - 0124 3,即为消失的数字。因此,我们可以采用先…

国内有哪些值得一去的通信类博物馆?

众所周知,博物馆是收藏、展示和研究历史文物的地方。参观博物馆,既可以回顾历史往事,也可以学习知识。那么,作为通信人,你知道国内有哪些通信领域的博物馆吗?今天,就让小枣君给大家介绍介绍。█…

没有基础学习编程Python难学吗?

你听说过Python吗?如果是这样,你有没有想过它是否很难学习?在本文中,我将告诉您什么是 Python 以及为什么在 2023 年学习它是一个好主意。Python 是一种计算机编程语言,广泛用于 Web 开发、科学计算、数据分析、人工智…

ChatGPT的API接口的模型有多少种?这些模型都有什么功能或者在应用场景上有什么区别?【模型介绍使用与调用接口方法】

OpenAI 的 API 接口提供了多个 GPT-3 模型,每个模型针对不同的应用场景和任务进行了优化。以下是目前可用的 GPT-3 模型: davinci: 这是最大和最全面的模型,具有最高的准确性和灵活性,用于多种自然语言处理任务,如文本生成、对话系统、翻译等。 curie: 这个模型比 davin…

MySQL:想实现sql语句进行批量删除数据库或表,而引发的熬夜探究

因为在自测过程中,创建了很多数据库,一个个手动删除属实有点对不起程序员这个身份,那么有没有简单的sql语句操作来进行批量删除数据库呢?于是便有了本篇文章 上面图片是AI创作,未经允许,不可商用哦&#xf…

谷粒学苑第一天

谷粒学苑第一天 官方文档(多看看):https://mybatis.org/mybatis-3/zh/sqlmap-xml.html#Auto-mapping 问题1:新建springboot没有pom文件(已解决) 修改pom文件 有这个web依赖,properties才会是小…

CRM外呼系统

对于如今企业来讲,电销依然是企业进行销售的主要手段,因其成本低,覆盖率较广,时间获客较短。运用公司自动化信息管理技术和专业化运行平台,完成公司产品的推介、咨询、报价以及产品成交条件确认等主要营销过程的业务 …

yolov5源码解读--数据处理模块

yolov5源码解读--数据处理模块加载数据读取图片加载标签马赛克数据增强图片标签其他的数据增强变图像变标签__getitem__构建Batch加载数据 create_dataloader 跳转到datasets.py文件中,可以看到支持输入的文件类型非常丰富。。 回归正题 跳转LoadImagesAndLabel…

小程序(九)后端 签到1

文章目录一、考勤时间表设计1、表设计二、缓存考勤时间1、mapper.xml2、常量封装类三、封装检测当天是否可以签到1、为什么要检测是否可以签到?2、怎么判断当天是工作日还是节假日?3、封装持久层代码1)查询特殊休息日2)查询特殊工…

jjava企业级开发-01

一、Spring容器演示 采用Spring配置文件管理Bean 1、创建Maven项目 修改项目的Maven配置 2、添加Spring依赖 在Maven仓库里查找Spring框架&#xff08;https://mvnrepository.com&#xff09; 同上添加其他依赖 <?xml version"1.0" encoding"UTF-8…

stm32f407探索者开发板(十八)——串口通信实验讲解(USART_RX_STA流程图详解)

文章目录一、uart_init&#xff08;串口初始化&#xff09;二、USART1_IRQHandler&#xff08;串口1中断服务程序&#xff09;三、main.c&#xff08;主函数&#xff09;四、关于printf的支持一、uart_init&#xff08;串口初始化&#xff09; 就是根据上一篇的一样的步骤&…

数据结构之树

树是一种数据结构 包括&#xff1a; 根节点 度&#xff1a;每一个节点的子节点个数 左子节点&#xff1a;左下方的节点 右子节点&#xff1a;右下方的节点 左子树 右子树 树的内部结构 二叉查找树 又称二叉搜索树或者二叉排序树 特点 每一个节点最多只有两个节点 任…

【强化学习】解决gym安装Atari2600环境gym[atari,accept-rom-license] RuntimeError 无法下载Roms的问题

先上Roms.tar.gz安装地址&#xff1a;Roms.tar.gz 以下内容是解决问题的思路&#xff0c;如果已经完全知道问题原因可以直接跳过 安装gym[accept-rom-license]时会出现安装失败的情况: 先是卡在&#xff1a;Building wheel for AutoROM.accept-rom-license 然后是显示安装失败…

非常优秀的网站设计案例,设计师必备

厚积才能薄发&#xff0c;一个优秀的设计师的天性一定是想要获得更多网站设计灵感&#xff0c;擅于为新项目寻找创意切入点、搜索设计参考资源、最新的设计趋势。今天为大家带来了一组免费可商用的网站设计案例&#xff0c;通过这些网站设计案例&#xff0c;你可以获得&#xf…

To prevent a memory leak, the JDBC Driver has been forcibly unregistered.

java项目发布到kubernetes集群中&#xff0c;报错 SEVERE: The web application [] registered the JDBC driver [com.alibaba.druid.proxy.DruidDriver] but failed to unregister it when the web application was stopped. To prevent a memory leak, the JDBC Driver has …

Obsidium一键编码作业,Obsidia惊人属性

Obsidium一键编码作业,Obsidia惊人属性 每个区域都包含几个可定制的功能&#xff0c;允许用户确定如何完全执行应用程序的安全性。Obsidia的功能区允许用户存储任何调整或一键编码作业。 Obsidia惊人属性&#xff1a; 代码虚拟化&#xff1a;代码虚拟化允许您转换程序代码的特定…

【电商】库存管理

库存管理&#xff0c;简单的说&#xff0c;就是管理商品和数量之间的关系。库存系统是电商后台系统中不可或缺的一部分 在电商系统中商品库存是非常重要的&#xff0c;在财务进销存系统中也梳理过存货的内容&#xff0c;在销售系统和仓库中的库存有什么区别&#xff1f; 一、什…