文章目录
- HDFS读流程和写流程
- HDFS读数据流程
- NameNode和Secondary NameNode工作机制
-
- Fsimage
- Edits文件
- Seen_txid
- namenode工作机制
- HA NameNode如何工作
-
- ZKFC
- HealthMonitor
- ActiveStandbyElector
- JouranlNode集群
- DataNode工作机制
- DataNode数据损坏
- 压缩
- MapReduce工作流程
-
- MapTask工作流
- ReduceTask工作流
- Yarn工作机制（作业提交全过程）
-
- Yarn调度器
- 公平调度器（Fair Scheduler）
- HDFS小文件处理
- Shuffle及优化
- Hadoop解决数据倾斜方法
-
- Hadoop的参数优化
-
- 资源相关参数
- YARN
- Shuffle
- 容错相关参数
- 异构存储（冷热数据分离）
- Hive
-
- Hive运行原理
- 内部表与外部表
- Hive分区与分桶
-
- Hive分区
- Hive的分桶
- Hive分区分桶区别
- 函数
-
- 窗口函数
- 排序函数
- Hive 优化
-
- 1. 表的优化
- 合理设置Map及Reduce数
-
- 3. 合理设置Reduce数
- 4. 并行执行
- 5. JVM重用
- 6. 列式存储
- 7. 压缩（选择快的）
- Hive数据倾斜
-
- Hive数据倾斜表现
- Hive数据倾斜的原因
- Hive数据倾斜解决
- HBase
-
- HBase架构与角色
-
- 架构图
- 角色
- HBase存储结构
-
- 逻辑结构
- 物理存储结构
- HBase写流程
- MemStore刷写时机
- HBase读流程
- HBase与Hive的对比
- 预分区
- RowKey设计
-
- 设计原则
- HBase优化
-
- 高可用
- 内存优化
- 配置优化
- Phoenix二级索引
-
- 全局索引
- 本地索引
- 覆盖索引
- 函数索引
- 索引优化
HDFS读流程和写流程
（1）客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件
是否已存在，父目录是否存在。
（2）NameNode返回是否可以上传。
（3）客户端请求第一个 Block上传到哪几个DataNode服务器上。
（4）NameNode返回3个DataNode节点，分别为dn1、dn2、dn3。
（5）客户端通过FSDataOutputStream模块请求dn1上传数据，dn1收到请求会继续调用dn2，然后
dn2调用dn3，将这个通信管道建立完成。
（6）dn1、dn2、dn3逐级应答客户端。
（7）客户端开始往dn1上传第一个Block（先从磁盘读取数据放到一个本地内存缓存），以Packet为单
位，dn1收到一个Packet就会传给dn2，dn2传给dn3；dn1每传一个packet会放入一个应答队列等待应
答。
（8）当一个Block传输完成之后，客户端再次请求NameNode上传第二个Block的服务器。（重复执行
3-7步）
