配置Hadoop分布式集群涉及多个步骤，包括环境准备、配置文件修改、格式化文件系统、启动集群等。以下是一个简化的配置指南，适用于Hadoop 2.x或3.x版本的集群配置。请注意，实际操作中可能需要根据具体版本和需求进行调整。
1. 环境准备
- 安装Java: 确保所有节点都安装了Java，并设置JAVA_HOME环境变量。
- 安装Hadoop: 从Apache官网下载Hadoop并解压到所有节点的相同目录下。
- 配置SSH无密码登录: 在所有节点上生成SSH密钥（使用
ssh-keygen），并将公钥（默认位于~/.ssh/id_rsa.pub）复制到所有其他节点的~/.ssh/authorized_keys文件中，以便主节点可以无密码SSH到其他节点。
2. 配置文件修改
主要修改以下三个配置文件：
- core-site.xml: 包含Hadoop核心配置，如HDFS的默认FS和I/O操作参数。
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://namenode:9000</value> <!-- namenode是主节点的主机名或IP -->
</property>
</configuration>
- hdfs-site.xml: HDFS特定配置，如副本策略。
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value> <!-- 副本数，根据实际节点数调整 -->
</property>
</configuration>
- yarn-site.xml: YARN资源管理器配置。
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>resourcemanager-host</value> <!-- resourcemanager-host是主节点的主机名或IP -->
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
3. 格式化文件系统
在主节点上执行以下命令格式化HDFS文件系统：
hadoop namenode -format
4. 启动集群
依次启动HDFS和YARN服务：
# 启动HDFS
sbin/start-dfs.sh
# 启动YARN
sbin/start-yarn.sh
5. 验证集群
检查集群状态，可以使用以下命令：
- 检查HDFS状态：
hadoop fs -ls /
- 检查YARN资源管理器：
yarn rmadmin -listActiveRM
确保所有配置正确无误，并且所有服务都已成功启动。这只是一个基础的配置指南，实际部署时还需考虑安全性（如Kerberos）、监控（如使用Hadoop的Metrics2和相关工具）、数据备份与恢复策略等高级配置。
