1 环境准备
1.1 CDH6.3.2 环境搭建
参考文档如下
Cloudera Manager安装CDH6教程-(一)虚拟环境安装配置
Cloudera Manager安装CDH6教程-(二)搭建Cloudera和CDH6
CM和CDH在安装的时候遇到的问题
CDH6.3.2 各组件版本
1.2 apache atlas 2.1.0 环境准备
Atlas官网下载地址
-
下载完解压,然后用idea打开,修改pom.xml里的hadoop版本配置
-
找到 /distro/src/conf/atlas-log4j.xml, 把这段注释放开
<appender name="perf_appender" class="org.apache.log4j.DailyRollingFileAppender">
<param name="file" value="${atlas.log.dir}/atlas_perf.log" />
<param name="datePattern" value="'.'yyyy-MM-dd" />
<param name="append" value="true" />
<layout class="org.apache.log4j.PatternLayout">
<param name="ConversionPattern" value="%d|%t|%m%n" />
</layout>
</appender>
<logger name="org.apache.atlas.perf" additivity="false">
<level value="debug" />
<appender-ref ref="perf_appender" />
</logger>
- 编译打包
# 内嵌方式打包
mvn clean -DskipTests package -Pdist,embedded-hbase-solr
# 使用外部的hbase和solr
mvn clean -DskipTests package -Pdist
这里我用第二种 外部方式打包
- 将 apache-atlas-2.1.0-bin.tar.gz上传到CDH集群的服务器上,然后解压,我上传的路径是/usr/local/src
- 修改conf\atlas-application.properties文件
待补充
- 修改conf\atlas-env.sh文件
待补充
踩坑记录
- 编译时报错
[ERROR] Failed to execute goal org.apache.maven.plugins:maven-enforcer-plugin:3.0.0-M1:enforce (enforce-versions) on project apache-atlas: Some Enforcer rules have failed. Look above for specific messages explaining why the rule failed. -> [Help 1]
解决办法:
注释掉这两个插件, 重新打包
<!-- <plugin>-->
<!-- <inherited>true</inherited>-->
<!-- <groupId>org.apache.maven.plugins</groupId>-->
<!-- <artifactId>maven-enforcer-plugin</artifactId>-->
<!-- <version>3.0.0-M1</version>-->
<!-- </plugin>-->
<!-- <plugin>-->
<!-- <groupId>org.apache.maven.plugins</groupId>-->
<!-- <artifactId>maven-enforcer-plugin</artifactId>-->
<!-- <executions>-->
<!-- <execution>-->
<!-- <id>enforce-versions</id>-->
<!-- <goals>-->
<!-- <goal>enforce</goal>-->
<!-- </goals>-->
<!-- <configuration>-->
<!-- <rules>-->
<!-- <requireMavenVersion>-->
<!-- <version>[3.5.0,)</version>-->
<!-- <message>** MAVEN VERSION ERROR ** Maven 3.5.0 or above is required. See https://maven.apache.org/install.html </message>-->
<!-- </requireMavenVersion>-->
<!-- <requireJavaVersion>-->
<!-- <level>ERROR</level>-->
<!-- <version>[1.8.0-151,)</version>-->
<!-- <message>** JAVA VERSION ERROR ** Java 8 (Update 151) or above is required.</message>-->
<!-- </requireJavaVersion>-->
<!-- <requireJavaVersion>-->
<!-- <level>WARN</level>-->
<!-- <version>(,1.9]</version>-->
<!-- <message>** JAVA VERSION WARNING ** Java 9 and above has not been tested with Atlas.</message>-->
<!-- </requireJavaVersion>-->
<!-- </rules>-->
<!-- </configuration>-->
<!-- </execution>-->
<!-- </executions>-->
<!-- </plugin>-->
参考博客:
Apache atlas集成CDH管理元数据
CDH6.3 从0-1搭建部署Apache Atlas2.0 windows hive 元数据治理
记录 CDH6.3安装配置Apache Atlas2.0
CDH6 安装 Apache atlas