搭建步骤

这里使用了两台机器,hdfs使用了两个datanode,因为我们主要想对hbase进行调试,所以能够实现HBase访问多个datanode的特性即可,如果是生产环境搭建的话,还需要搭建secordaryNamenode.

安装java

大数据组件集成的时候,由于组件众多,需要提起了解不同组件之间的兼容性问题,兼容性会出现在当前组件的文档,或源代码中,例如hadoop有针对jdk的兼容性文档,hbase会有针对hadoop和jdk的兼容性文档,后边文章中集成phoenix会有phoenix对于HBase的兼容性文档.

由于hadoop3.2版本只能支持1.8版本的java,所以我们需要先安装jdk.

根据机器CPU架构不同,可能需要使用不同的架构的安装包,如示例中使用的是arm架构的CPU,所以需要使用对应的版本.

在安装的过程中,因为步骤繁多,我们需要保证每一步都可验证,避免其他人按照步骤完成之后发现系统不能正常使用,增大排错难度.

# 不同的linux发行版对应的命令不同
yum install -y java-1.8.0-openjdk-devel.aarch64
which java
java -version

获取HDFS安装包

在Hadoop官网下载3.2.0版本的hadoop安装包

scp ./hadoop-3.2.0.tar.gz root@172.36.176.238:/opt

tar -xvf hadoop-3.2.0.tar.gz

使用ifconfig命令

echo  "10.208.216.211 master-node 

10.208.5.224 salve-node1 " >> /etc/hosts

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys

echo "export HADOOP_HOME=/opt/hadoop-3.2.0" >> ~/.bash_profile
echo "export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.272.b10-7.oe1.aarch64" >> ~/.bash_profile
source ~/.bash_profile

echo "export PATH=${HADOOP_HOME}/bin:\$PATH" >> ~/.bash_profile
echo "export PATH=${HADOOP_HOME}/sbin:\$PATH" >> ~/.bash_profile
source ~/.bash_profile

mkdir -p /data/hadoop

<configuration>
    <property>
        <name>fs.defaultFSname>
        <value>hdfs://$${HOSTNAME}:9000value>
    property> <property> <name>hadoop.tmp.dirname> <value>/data/hadoopvalue> property> configuration> 

hdfs namenode -format

hdfs --daemon start namenode

netstat -ltnp |grep java

hdfs --daemon start datanode

# 检查防火墙状态
systemctl status firewalld
# 停止防火墙
systemctl stop firewalld 
# 永久关闭防火墙
systemctl disable firewalld.service

vim /etc/selinux/config
修改为: SELINUX=disabled

git clone git@github.com:apache/hbase.git
git checkout 2.2.3
# 使用2.2.3分支编译的代码是可以正常部署的

mvn -DskipTests clean install && mvn -Dhadoop.profile=3.0 -Dhadoop-three.version=3.2.0 -DskipTests package assembly:single

scp ./hbase-2.2.3-bin.tar.gz root@172.36.176.238:/opt
*从本地上传到服务端之后,服务端之间使用scp使用的内网带宽会更快

cd /opt && tar -xvf hbase-2.2.3-bin.tar.gz

echo "export HBASE_HOME=/opt/hbase-2.2.3" >> ~/.bash_profile
source ~/.bash_profile
echo "export PATH=${HBASE_HOME}/bin:\$PATH" >> ~/.bash_profile
source ~/.bash_profile

echo "export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.272.b10-7.oe1.aarch64" >> ${HBASE_HOME}/conf/hbase-env.sh

mkdir -p /data/zookeeper

<property>
  <name>hbase.cluster.distributed</name>
  <value>true</value>
</property>
<property>
  <name>hbase.rootdir</name>
  <value>hdfs://master-node:9000/hbase</value>
</property>
<property>
  <name>hbase.zookeeper.quorum</name>
<value>salve-node1:2181</value>
</property>
<property>
  <name>hbase.zookeeper.property.dataDir</name>
  <value>/data/zookeeper</value>
</property>

vim ${HBASE_HOME}/conf/regionservers

# 修改regionservers
master-node
salve-node1

start-hbase.sh