大数据：Hadoop HDFS，基础架构，去中心化，中心化模式，HDFS基础架构，虚拟机和云服务器部署HDFS

2022找工作是学历、能力和运气的超强结合体，遇到寒冬，大厂不招人，可能很多算法学生都得去找开发，测开
测开的话，你就得学数据库，sql，oracle，尤其sql要学，当然，像很多金融企业、安全机构啥的，他们必须要用oracle数据库
这oracle比sql安全，强大多了，所以你需要学习，最重要的，你要是考网络警察公务员，这玩意你不会就别去报名了，耽误时间！
与此同时，既然要考网警之数据分析应用岗，那必然要考数据挖掘基础知识，今天开始咱们就对数据挖掘方面的东西好生讲讲 最最最重要的就是大数据，什么行测和面试都是小问题，最难最最重要的就是大数据技术相关的知识笔试

---

文章目录

• 大数据：Hadoop HDFS，基础架构，去中心化，中心化模式，HDFS基础架构，虚拟机和云服务器部署HDFS
• • @[TOC](文章目录)
• 大数据：Hadoop HDFS
• 为什么需要分布式存储？
• 分布式的基础架构分析
• HDFS的基础架构
• HDFS集群环境部署
• 云服务器中部署HDFS
• 总结

大数据：Hadoop HDFS

为什么需要分布式存储？

文件有100TB
服务器一个机子，能存的下吗？？？？？
no

太大了
需要很多个服务器，分开存
这就是分布式存储

网络传输速度也快了

一个人，干很慢的
仨一起就快了
跟实际的操作车间一样的

皆大欢喜
为什么，这就是

分布式的基础架构分析

多就难管了




master主
slave从
主从模式

Hadoop就是主从中心化模式

中央集权，集体领导

HDFS的基础架构

HDFileSystem
Hadoop分布式文件系统
主从模式
架构就是中心化的模式

HDFS主从角色

仨角色，

namenode主
DataNode从
secondarynode辅助

牛逼屌爆了
仨角色
功能都干嘛
记住

HDFS集群环境部署

下载安装包

Download
最新即可
二进制安装包，即可
exe实体

在国外的网站，我们访问慢速，需要外网

用仨服务器来模拟
美滋滋的

1主，3从，1辅助

core-site.xml
通信地址
缓冲文件



基本属性
了解即可

每个node上，都有各自的文件夹

Hadoop在node1中有了
还需要远程复制到node23中
把Hadoop版本那个文件整体拷贝

node23上也软件连一个快捷方式Hadoop
命名简单


把root的权限换给Hadoop用户
chown -R hadoop:hadoop /data
归属权限，子文件夹也是，用户是，归属给hadoop用户
仨node都这么干

磁盘格式化

启动集群
查看是看namenode的



DataNode【livenode】

云服务器中部署HDFS

和虚拟机中一样部署
都是Linux系统上部署

下载安装包











云上部署是公网ip访问


这波云服务器才能通过node1去访问云服务器
切换回虚拟机，就注释下面的环境就行



备份，镜像，快照，就可以修复了


留存压缩包
打包好的

部署，解压，然后对应的主机名，映射，ip搞定就行
启动就行

---

总结

提示：重要经验：

1）
2）学好oracle，即使经济寒冬，整个测开offer绝对不是问题！同时也是你考公网络警察的必经之路。
3）笔试求AC，可以不考虑空间复杂度，但是面试既要考虑时间复杂度最优，也要考虑空间复杂度最优。