Atlas 2.2.0 安装部署

news2024/11/25 16:39:51

Apache Atlas 是一套可扩展、可延伸的核心基础治理服务，使企业能够切实有效地满足 Hadoop 中的合规性要求，并允许与整个企业数据生态系统集成。

Apache Atlas 提供开放的元数据管理和治理功能，使企业能够建立数据资产目录，对这些资产进行分类和治理，并为数据科学家、分析师和数据治理团队提供围绕这些数据资产的协作功能。

在实际应用中，Atlas 主要用于查看数据血缘，下面我们来看一下 Atlas-2.2.0 的安装部署步骤。

前提

使用 Atlas 的前提是你已经安装好了 Hadoop、Zookeeper、HBase、Hive、Kafka（不是说只能同步 Hive 元数据，是我个人目前只考虑同步 Hive 元数据）

编译 Atlas

Atlas 只提供了源码包，需要自己进行编译，首先点击这里下载源码包apache-atlas-2.2.0-sources下载地址
下载之后，将源码包上传至服务器某个路径下，进行解压，并切换至解压后的目录

tar -zxvf apache-atlas-2.2.0-sources
cd apache-atlas-sources-2.2.0

执行如下命令进行编译

mvn clean -DskipTests install

编译过程中如果出现了类似与下面的报错

[ERROR] Failed to execute goal on project atlas-testtools: Could not resolve dependencies for project org.apache.atlas:atlas-testtools:jar:2.3.0: Failed to collect dependencies at org.apache.solr:solr-test-framework:jar:8.6.3 -> org.restlet.jee:org.restlet:jar:2.4.3: Failed to read artifact descriptor for org.restlet.jee:org.restlet:jar:2.4.3: Could not transfer artifact org.restlet.jee:org.restlet:pom:2.4.3 from/to maven-restlet (https://maven.restlet.com): Transfer failed for https://maven.restlet.com/org/restlet/jee/org.restlet/2.4.3/org.restlet-2.4.3.pom: PKIX path validation failed: …

可以尝试一下这个命令：

mvn -DskipTests -Dmaven.wagon.http.ssl.ignore.validity.dates=true -Dmaven.wagon.http.ssl.allowall=true -Dmaven.wagon.http.ssl.insecure=true  clean install

看到 BUILD SUCCESS 证明编译成功。

[INFO] ------------------------------------------------------------------------

[INFO] BUILD SUCCESS

[INFO] ------------------------------------------------------------------------

打包 Atlas

编译完成后还需要进行打包，Atlas 提供了如下三种打包方式：（在 apache-atlas-sources-2.2.0 目录执行以下命令）

mvn clean -DskipTests package -Pdist
mvn clean -DskipTests package -Pdist,embedded-hbase-solr
mvn clean package -Pdist,embedded-cassandra-solr

其中：

方式 1 表示使用外部组件；
方式 2 表示使用内置的 HBase 和 Solr；
方式 3 表示使用内置的 cassandra 和 Solr

由于我没有安装过 Solr，我选择的是第二种，但是，使用内置 HBase 时各种报错，后面通过修改配置文件改用了外部 HBase（非 Atlas 内置 HBase）

打包过程中出现的报错一般是缺少某个包，在 maven下载后上传至指定目录即可（参考报错日志）

安装 Atlas

打包完成后就可以安装了，进入 /opt/module/apache-atlas-sources-2.2.0/distro/target
解压 apache-atlas-2.2.0-server.tar.gz

tar -zxvf apache-atlas-2.2.0-server.tar.gz

移动目录

mv apache-atlas-2.2.0 /opt/module

进入 /opt/module/apache-atlas-2.2.0/conf 修改 atlas-application.properties 关键信息如下：

atlas.graph.storage.hostname=hadoop102:2181,hadoop103:2181,hadoop104:2181

atlas.kafka.data=/opt/module/kafka_2.12-3.0.0/atlaslogs
atlas.kafka.zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181/kafka
atlas.kafka.bootstrap.servers=hadoop102:9092,hadoop103:9092,hadoop104:9092

atlas.kafka.enable.auto.commit=true

atlas.rest.address=http://hadoop102:21000

atlas.audit.hbase.zookeeper.quorum=hadoop102:2181,hadoop103:2181,hadoop104:2181

修改 atlas-env.sh 关键信息如下：

export JAVA_HOME=/opt/module/jdk1.8.0_212

export MANAGE_LOCAL_HBASE=false

export HBASE_CONF_DIR=/opt/module/hbase/conf

将 atlas-application.properties 复制到 Hive 配置文件目录

cp atlas-application.properties /opt/module/hive/conf

启动 Atlas

依次启动 Hadoop、Zookeeper、HBase、Kafka、Hive

将 Atlas 主目录添加到 profile 文件

sudo vim /etc/profile.d/my_env.sh

#添加如下内容
#ATLAS_HOME
export ATLAS_HOME=/opt/module/apache-atlas-2.2.0
export PATH=$PATH:$ATLAS_HOME/bin
#保存退出

source /etc/profile.d/my_env.sh

切换至 Atlas 主目录 /opt/module/apache-atlas-2.2.0

初次启动时，执行如下三条命令

bin/atlas_start.py

bin/atlas_stop.py

bin/atlas_start.py

如果正常启动可以看到如下日志：

[omc@hadoop102 apache-atlas-2.2.0]$ bin/atlas_start.py
/opt/module/hbase/conf

Configured for local Solr.
Starting local Solr...
Local Solr started!

Creating Solr collections for Atlas using config: /opt/module/apache-atlas-2.2.0/conf/solr

Starting Atlas server on host: localhost
Starting Atlas server on port: 21000
........................
Apache Atlas Server started!!!

[omc@hadoop102 apache-atlas-2.2.0]$

浏览器登陆 http://hadoop102:21000/login.jsp

用户名密码都是 admin

登录之后可以看到如下页面