现象

登录hdfs web ui发现集群中一个节点的负载远高于另外的节点

分析

一般情况下集群在数据盘配置一样，几乎使用不到rebalance，但是我们的集群中有一个比较小的数据节点，因此我们需要关注各节点数据分布情况，及时进行rebalance

方案

方案一：

1、启动rebalance

hadoop balancer -threshold 5

2、因为rebalance期间需要占用集群资源，因此尽快完成比较重要可以使用setBalancerBandwidth设置来增加每秒流量

hadoop dfsadmin -setBalancerBandwidth 524288000 --500M

方案二：

彻底解决就需要将dw-worker-1升级到与其他数据节点相同的配置

方案选择分析

我们为什么使用方案一，因为我们仅仅是将配置较低的节点当做计算节点使用，并非数据节点

效果：