1 Hadoop 简介

Hadoop适合海量数据分布式存储和分布式计算

Hadoop 3.x的细节优化：

• Java改为支持8及以上
• HDFS支持纠删码
• HDFS支持多NameNode
• MR任务级本地优化
• 多重服务默认端口变更

Hadoop主要包含三大组件：HDFS+MapReduce+YARN

• HDFS负责海量数据的分布式存储
• MapReduce是一个计算模型，负责海量数据的分布式计算
• YARN主要负责集群资源的管理和调度

2 下载并配置Hadoop

ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub  >> ~/.ssh/authorized_keys

把 公钥 的内容 附加到 authorized_keys 里：

修改hostname

su root
hostname bigdata01

第一次设置密码

 

 更换主机名之后