CDH6.3.2集成Apache Atlas2.1.0

news2024/11/16 9:34:48

1 环境准备

1.1 CDH6.3.2 环境搭建

参考文档如下
Cloudera Manager安装CDH6教程-(一)虚拟环境安装配置

Cloudera Manager安装CDH6教程-(二)搭建Cloudera和CDH6

CM和CDH在安装的时候遇到的问题

CDH6.3.2 各组件版本

1.2 apache atlas 2.1.0 环境准备

Atlas官网下载地址

  1. 下载完解压,然后用idea打开,修改pom.xml里的hadoop版本配置
    在这里插入图片描述

  2. 找到 /distro/src/conf/atlas-log4j.xml, 把这段注释放开

    <appender name="perf_appender" class="org.apache.log4j.DailyRollingFileAppender">
        <param name="file" value="${atlas.log.dir}/atlas_perf.log" />
        <param name="datePattern" value="'.'yyyy-MM-dd" />
        <param name="append" value="true" />
        <layout class="org.apache.log4j.PatternLayout">
            <param name="ConversionPattern" value="%d|%t|%m%n" />
        </layout>
    </appender>
 
    <logger name="org.apache.atlas.perf" additivity="false">
        <level value="debug" />
        <appender-ref ref="perf_appender" />
    </logger>
  1. 编译打包
# 内嵌方式打包
mvn clean -DskipTests package -Pdist,embedded-hbase-solr

# 使用外部的hbase和solr
mvn clean -DskipTests package -Pdist

这里我用第二种 外部方式打包

  1. 将 apache-atlas-2.1.0-bin.tar.gz上传到CDH集群的服务器上,然后解压,我上传的路径是/usr/local/src
    在这里插入图片描述
  2. 修改conf\atlas-application.properties文件
待补充
  1. 修改conf\atlas-env.sh文件
待补充

踩坑记录

  1. 编译时报错
[ERROR] Failed to execute goal org.apache.maven.plugins:maven-enforcer-plugin:3.0.0-M1:enforce (enforce-versions) on project apache-atlas: Some Enforcer rules have failed. Look above for specific messages explaining why the rule failed. -> [Help 1]

解决办法:
注释掉这两个插件, 重新打包

<!--                <plugin>-->
<!--                    <inherited>true</inherited>-->
<!--                    <groupId>org.apache.maven.plugins</groupId>-->
<!--                    <artifactId>maven-enforcer-plugin</artifactId>-->
<!--                    <version>3.0.0-M1</version>-->
<!--                </plugin>-->




<!--            <plugin>-->
<!--                <groupId>org.apache.maven.plugins</groupId>-->
<!--                <artifactId>maven-enforcer-plugin</artifactId>-->
<!--                <executions>-->
<!--                    <execution>-->
<!--                        <id>enforce-versions</id>-->
<!--                        <goals>-->
<!--                            <goal>enforce</goal>-->
<!--                        </goals>-->
<!--                        <configuration>-->
<!--                            <rules>-->
<!--                                <requireMavenVersion>-->
<!--                                    <version>[3.5.0,)</version>-->
<!--                                    <message>** MAVEN VERSION ERROR ** Maven 3.5.0 or above is required. See https://maven.apache.org/install.html </message>-->
<!--                                </requireMavenVersion>-->
<!--                                <requireJavaVersion>-->
<!--                                    <level>ERROR</level>-->
<!--                                    <version>[1.8.0-151,)</version>-->
<!--                                    <message>** JAVA VERSION ERROR ** Java 8 (Update 151) or above is required.</message>-->
<!--                                </requireJavaVersion>-->
<!--                                <requireJavaVersion>-->
<!--                                    <level>WARN</level>-->
<!--                                    <version>(,1.9]</version>-->
<!--                                    <message>** JAVA VERSION WARNING ** Java 9 and above has not been tested with Atlas.</message>-->
<!--                                </requireJavaVersion>-->
<!--                            </rules>-->
<!--                        </configuration>-->
<!--                    </execution>-->
<!--                </executions>-->
<!--            </plugin>-->

参考博客:
Apache atlas集成CDH管理元数据
CDH6.3 从0-1搭建部署Apache Atlas2.0 windows hive 元数据治理
记录 CDH6.3安装配置Apache Atlas2.0

CDH6 安装 Apache atlas

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/108038.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

火爆“有机新消费”驶入酱油赛道 好记打造我国有机酱油行业领导品牌

根据观研报告网发布的《2022年中国有机酱油市场分析报告-市场竞争策略与发展动向前瞻》显示&#xff0c;有机酱油是指采用有机农作物为原料酿制的酱油。有机酱油含有浓郁的酱香和脂香&#xff0c;是一种不可多得的上等调味品&#xff0c;适合于蘸食&#xff0c;红烧&#xff0c…

以技术创新践行社会责任,欧科云链斩获界面新闻年度双项大奖

12月20日&#xff0c;欧科云链凭借在区块链技术领域的创新&#xff0c;与腾讯、宁德时代和埃森哲等各领域领先企业一同荣获“2022好公司行业领先大奖”。 12月21日&#xff0c;欧科云链以区块链科技之力积极践行社会责任&#xff0c;绽放商业向善的力量&#xff0c;与茅台、蚂蚁…

华为云Stack智能进化,三大举措赋能政企深度用云

【中国&#xff0c;深圳&#xff0c;2022年12月22日】今天&#xff0c;以“政企深度用云&#xff0c;释放数字生产力”为主题的华为云Stack战略暨新品发布会在线上举办&#xff0c;华为云围绕“让技术不难用、让场景变简单、让经验可复制”提出三大关键举措赋能政企迈向深度用云…

无线鼠标怎么连接电脑?2个方法,轻松学会

现在越来越多的小伙伴都喜欢使用无线鼠标。相比于有线鼠标&#xff0c;无线鼠标方便快捷&#xff0c;不会受到USB线的束缚。可是很多小伙伴买回无线鼠标&#xff0c;第一次使用的时候&#xff0c;却发现自己不知道怎么使用。无线鼠标怎么连接电脑&#xff1f;今天小编给大家带来…

对于转行Pyhon程序员,这些是我们需要知道的事情..

不知道从什么时候开始&#xff0c;我们焦虑当下&#xff0c;担心未来&#xff0c;踌躇和迷茫甚至痛苦成为我们的“生活伴侣”。 我无法定义这是好是坏&#xff0c;但我知道这肯定很难受。于是乎总很多人想寻得一个答案&#xff0c;希望可以抹平心中的波澜。而往往事与愿违。 …

口罩后,那些被“优化”的程序员都去哪儿了?

程序员在35岁真的会被裁吗&#xff1f; 被裁之后去哪儿工作 &#xff0c;怎么办啊&#xff1f; 在很多社交平台&#xff0c;经常能看到不少小伙伴问出这样的问题&#xff0c;既迷茫&#xff0c;又慌张。有人说自己25岁就已经被裁了&#xff0c;也有人说做程序员&#xff0c;3…

江苏移动MGV3000-YS(S)/YS(M)-S905L3卡刷和线刷固件包

江苏移动MGV3000-YS(S)&#xff0f;YS(M)-S905L3卡刷和线刷固件包 固件特点&#xff1a; 1、修改dns&#xff0c;三网通用&#xff1b; 2、开放原厂固件屏蔽的市场安装和u盘安装apk&#xff1b; 3、无开机广告&#xff0c;无系统更新&#xff0c;不在被强制升级&#xff1b…

数据结构与算法java实战篇--链表

目录 一.链结点 二.单链表 1.单链表的插入方法insertFirst() 2.单链表的删除方法deleteFirst() 3.链表显示displayList() 4.单链表代码&#xff1a; 三. 查找和删除指定链结点 四.双端链表 五.用链表实现的栈 六.用链表实现队列 七.有序链表 八.双向链表 1.遍历 2.插入…

“量子深度学习的春天是否已来?” | CNCC论坛分享

2022年12月8日举办的CNCC2022“量子深度学习的春天是否已来&#xff1f;”技术论坛&#xff0c;从学术、技术和产业的角度出发&#xff0c;深入探讨未来5到10年深度学习发展在算力方面的瓶颈问题、量子深度学习会给AI领域带来何种演变以及量子深度学习的技术落地是否依然久远等…

代码随想录Day58|739. 每日温度、496.下一个更大元素 I

文章目录739.每日温度496.下一个更大元素 I739.每日温度 文章讲解&#xff1a;代码随想录 (programmercarl.com) 题目链接&#xff1a;739. 每日温度 - 力扣&#xff08;LeetCode&#xff09; 题目&#xff1a; 请根据每日 气温 列表&#xff0c;重新生成一个列表。对应位置…

weidl x DeepRec:热门微博推荐框架性能提升实战

微博推荐团队&#xff1a;陈雨、韩楠、蔡小娟、高家华 1.项目背景 热门微博是新浪微博的重要功能之一&#xff0c;包含热门流、热点流、频道流、小视频后推荐、视频社区等场景。 标推荐首页 发现页推荐 沉浸视频题weidl机器学习框架为热门微博在线学习提供模型训练和推理服务…

【问题记录与解决】ModuleNotFoundError: No module named ‘pymongo‘ 并测试代码

目录 一、问题记录二、解决方法一(不一定好使)三、法二(亲测可以使用)四、安装 pymongo 的目的一、问题记录 报错内容是缺少对应的模块, ModuleNotFoundError: No module named pymongo… 二、解决方法一(不一定好使) 直接在PyCharm中下载 pymongo模块即可。 但是这…

试卷安全分发系统

摘要 高校教务管理过程中&#xff0c;试卷以明文形式传输和集中存储&#xff0c;存在数据泄漏安全隐患。现提出了一个基于数字证书的试卷防泄漏方案&#xff0c;采用算法加密试卷&#xff0c;试卷在传输过程中中以密文的形式传输&#xff0c;每次传输的时候都会对试卷进行签名…

CadQuery二维Sketch教程

2D草图是3D CAD的基础。本文介绍如何在CadQuery中使用不同的方法构建二维草图&#xff08;Sketch&#xff09;。 1、基于面的 API 构建2D草图的主要方法是基于构建面并使用布尔运算将它们组合起来。 import cadquery as cqresult (cq.Sketch().trapezoid(4,3,90).vertices…

【GO】 K8s 管理系统项目[API部分--StatefulSet]

K8s 管理系统项目[API部分–StatefulSet] 1. 接口实现 service/dataselector.go // statefulSetCell type statefulSetCell appsv1.StatefulSetfunc(s statefulSetCell) GetCreation() time.Time {return s.CreationTimestamp.Time }func(s statefulSetCell) GetName() stri…

河道水文标尺监测系统 OpenCv

河道水文标尺监测系统借助PythonOpenCv深度学习架构模型对江河湖泊进行全天候不间断实时检测&#xff0c;当PythonOpenCv深度学习架构模型监测到水位异常时&#xff0c;立即抓拍存档告警&#xff0c;同步告警截图和视频推送给相关人员。OpenCV的全称是Open Source Computer Vis…

JUC之ABA问题

什么是ABA问题&#xff1f; ABA问题是由CAS而导致的一个问题 CAS算法实现一个重要前提需要取出内存中某时刻的数据并在当下时刻比较并交换&#xff0c;那么在这个时间差内会导致数据的变化。 比如说一个线程一从内存位置V中取出A&#xff0c;这是另一个线程二也从内存中取出…

从注解入手理解springboot原理

一、理解注解 1、注解是什么&#xff1f; 注解可以理解为一个标记或者标签&#xff0c;范围可以是类、方法、属性。 2、自定义一个注解&#xff0c;进行理解spring的自动装配。 自定义自己的注解&#xff1a;JDK官方提供提供了一些基础元注解&#xff0c;就是标记注解的注解…

Android设计模式详解之状态模式

前言 状态模式中的行为是由状态来决定的&#xff0c;不同的状态下有不同的行为。 状态模式和策略模式的结构几乎完全一样&#xff0c;但他们的目的、本质却完全不一样。 状态模式的行为是平行的、不可替换的&#xff0c;而策略模式的行为是彼此独立、可互相替换的。 状态模式把…

满足耐压24V的USB3.0 USB3.1 Type-C防静电器件

什么是USB3.1 Type-C 现有的USB 2.0协议允许高达480Mbps的数据传输速率&#xff0c;并支持即插即用、热插拔安装和运行。与之相比&#xff0c;USB 3.0规范允许高达5Gbps的数据传输速率&#xff0c;并向后支持较低速的USB 2.0规范。 USB 3.0增加了4个接到连接器的新引脚&#…