Centos7+Hadoop3.3.4+KDC1.15+Ranger2.4.0集成

news2025/2/24 14:59:09

一、集群规划

        本次测试采用3台虚拟机,操作系统版本为centos7.6。

        kerberos采用默认YUM源安装,版本为:1.15.1-55

        Ranger版本为2.4.0   系统用户为ranger:ranger

IP地址主机名KDCRanger
192.168.121.101node101.cc.localKDC masterRanger Admin
192.168.121.102node102.cc.localKDC slaver 1级
192.168.121.103node103.cc.localKDC slaver 2级Ranger Admin
MYSQL

        注意:前期安装过ranger,已创建ranger用户和ranger用户组,参考文档:Centos7 + Apache Ranger 2.4.0 部署_centos安装配置apacherangerjdbc-CSDN博客文章浏览阅读2.7k次。Apache Ranger提供一个集中式安全管理框架, 并解决授权和审计。它可以对Hadoop生态的组件如HDFS、Yarn、Hive、Hbase等进行细粒度的数据访问控制。通过操作Ranger控制台,管理员可以轻松的通过配置策略来控制用户访问权限。_centos安装配置apacherangerjdbchttps://blog.csdn.net/snipercai/article/details/132227718

二、创建Kerberos主体

1、创建主体

注意:ranger的用户名都是固定的,必须按照指定用户名创建实体
HTTP
rangeradmin
rangerlookup
rangerusersync

# kadmin -p kws/admin -w kws\!101 -q"addprinc -randkey rangeradmin/node103.cc.local"
# kadmin -p kws/admin -w kws\!101 -q"addprinc -randkey rangerlookup/node103.cc.local"
# kadmin -p kws/admin -w kws\!101 -q"addprinc -randkey rangerusersync/node103.cc.local"
# kadmin -p kws/admin -w kws\!101 -q"addprinc -randkey HTTP/node103.cc.local"

2、生成keytab文件

# kadmin -p kws/admin -wkws\!101 -q"xst -k /etc/security/keytab/ranger.keytab rangeradmin/node103.cc.local rangerlookup/node103.cc.local rangerusersync/node103.cc.local HTTP/node103.cc.local"

3、修改keytab文件权限

# chown ranger:ranger /etc/security/keytab/ranger.keytab

三、配置Rangeradmin

1、修改install.properties

        修改policymgr地址,从原来的IP改为hostname,因为Kerberos认证是针对hostname

# ------- PolicyManager CONFIG ----------------
#

policymgr_external_url=http://node103.cc.local:6080

        修改Kerberos Config内容

#------------ Kerberos Config -----------------
spnego_principal=HTTP/node103.cc.local@CC.LOCAL
spnego_keytab=/etc/security/keytab/ranger.keytab
token_valid=30
cookie_domain=
cookie_path=/
admin_principal=rangeradmin/node103.cc.local@CC.LOCAL
admin_keytab=/etc/security/keytab/ranger.keytab
lookup_principal=rangerlookup/node103.cc.local@CC.LOCAL
lookup_keytab=/etc/security/keytab/ranger.keytab
hadoop_conf=/opt/hadoop/hadoop-3.3.4/etc/hadoop/

2、重新安装

# ./setup.sh

2024-04-24 17:53:07,536  [I] Ranger all admins default password has already been changed!!
Installation of Ranger PolicyManager Web Application is completed.

3、启动服务

# su - ranger
# ranger-admin start

四、配置RangerUsersync

1、修改install.properties

修改policymgr地址,从原来的IP改为hostname,因为Kerberos认证是针对hostname

POLICY_MGR_URL = http://node103.cc.local:6080

#Set to run in kerberos environment
usersync_principal=rangerusersync/node103.cc.local@CC.LOCAL
usersync_keytab=/etc/security/keytab/ranger.keytab
hadoop_conf=/opt/hadoop/hadoop-3.3.4/etc/hadoop/

2、重新安装

# ./setup.sh

[I] Successfully updated password of rangerusersync user

3、修改ranger-ugsync-site.xml

        修改conf/ranger-ugsync-site.xml

        <property>
                <name>ranger.usersync.enabled</name>
                <value>true</value>
        </property>

4、启动服务

# su - ranger
# ranger-usersync start

五、配置HDFS-Plugin

1、修改install.properties

修改policymgr地址,从原来的IP改为hostname,因为Kerberos认证是针对hostname

POLICY_MGR_URL = http://node103.cc.local:6080

2、重新安装

# ./disable-hdfs-plugin.sh

# ./enable-hdfs-plugin.sh

3、重启HDFS服务

# start-dfs.sh

4、页面配置

Service Name    hdfs_repo
Display Name    hdfs_repo
Description    --
Active Status    Enabled
Tag Service    --
Username    hadoop
Password    *****
Namenode URL    hdfs://192.168.121.101:9000,hdfs://192.168.121.102:9000,hdfs://192.168.121.103:9000
Authorization Enabled    true
Authentication Type    kerberos
hadoop.security.auth_to_local    DEFAULT
dfs.datanode.kerberos.principal    hadoop/_HOST@CC.LOCAL
dfs.namenode.kerberos.principal    hadoop/_HOST@CC.LOCAL
dfs.secondary.namenode.kerberos.principal    --
RPC Protection Type    authentication
Common Name for Certificate    --
policy.download.auth.users    hadoop
dfs.journalnode.kerberos.principal    hadoop/_HOST@CC.LOCAL

六、配置Yarn-plugin

1、修改install.properties

修改policymgr地址,从原来的IP改为hostname,因为Kerberos认证是针对hostname

POLICY_MGR_URL = http://node103.cc.local:6080

2、重新安装

# ./disable-yarn-plugin.sh

# ./enable-yarn-plugin.sh

3、重启yarn服务

# start-yarn.sh

4、页面配置

Service Name    yarn_repo
Display Name    yarn_repo
Description    --
Active Status    Enabled
Tag Service    --
Username    hadoop
Password    *****
YARN REST URL    http://192.168.121.101:8088,http://192.168.121.102:8088
Authentication Type    kerberos
Common Name for Certificate    hadoop/_HOST@CC.LOCAL
policy.download.auth.users    hadoop

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1635976.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

如何找到台式电脑的ip地址

在数字时代&#xff0c;每台接入网络的设备都拥有一个独特的标识&#xff0c;这就是IP地址。无论是手机、笔记本电脑还是台式电脑&#xff0c;IP地址都扮演着至关重要的角色&#xff0c;它帮助设备在网络世界中定位并与其他设备进行通信。对于许多电脑用户来说&#xff0c;了解…

JavaScript原型链深度剖析

目录 前言 一、原型链 1.原型链的主要组成 原型&#xff08;Prototype&#xff09; 构造函数&#xff08;Constructor&#xff09; 实例&#xff08;Instance&#xff09; 2.原型链的工作原理 前言 在JavaScript的世界中&#xff0c;原型链&#xff08;Prototype Chain&…

“Postman 中文版使用教程:如何切换到中文界面?”

Postman 的很好用的接口测试软件。但是&#xff0c;Postman 默认是英文版的&#xff0c;也不支持在软件内切换为中文版。很多同学的英语并不是很好&#xff0c;看到一堆的英文很是头痛。 今天我们来介绍下&#xff1a;切换到 Postman 中文版的方法。想要学习更多的关于 Postma…

IDEA 中 git fetch 验证报错 The provided password or token is incorrect

参考链接&#xff1a; 【GitLab】-HTTP Basic: Access denied.remote:You must use a personal access token_http basic: access denied. the provided password o-CSDN博客 idea使用gitLab报错&#xff1a;remote: HTTP Basic: Access denied_idea remote: http basic: acc…

MoonBit 周报 Vol.39:新增 JS 后端、插件和构建系统同步支持多后端开发……

MoonBit 更新 新增JavaScript后端 目前MoonBit已新增对JavaScript的支持并带来前所未有的性能提升&#xff0c;在JS后端实现了超出Json5近8倍性能的优势。更详细的介绍可以看一下这篇文章&#xff1a;IDEA研究院编程语言MoonBit发布JavaScript后端&#xff0c;速度提升25倍 …

Copilot Workspace是GitHub对人工智能驱动的软件工程的诠释

软件开发的未来是人工智能驱动的集成开发环境吗&#xff1f;至少GitHub 是这样想的。 在今年初秋于旧金山举行的 GitHub Universe 年度大会之前&#xff0c;GitHub 发布了 Copilot Workspace&#xff0c;这是一种开发环境&#xff0c;利用 GitHub 所称的 “Copilot 驱动的代理…

[游戏陪玩系统] 陪玩软件APP小程序H5游戏陪玩成品软件源码-线上线下可爆改家政,整理师等功能

简介 随着电竞行业的快速发展&#xff0c;电竞陪玩APP正在逐渐成为用户在休闲娱乐时的首选。为了吸引用户和提高用户体验&#xff0c;电竞陪玩APP开发需要定制一些特色功能&#xff0c;并通过合适的盈利模式来获得收益。本文将为您介绍电竞陪玩APP开发需要定制的特色功能以及常…

超简单的Spring-mvc示例

超简单的Spring-mvc示例

IDEA2024版本控制台乱码怎么解决?

在使用最新版本的IDEA时&#xff0c;可能会遇到控制台输出乱码问题&#xff1f; 在网上找了很多办法&#xff0c;修改了IDEA的vmoptions文件也没有用,最后发现原来是要修改这里 Setting>>Build&#xff0c;Execution,Deployment>>Runnr中的VM Options配置&#xf…

保序加密技术:保护数据有序性的安全方案

在数据安全领域&#xff0c;除了常见的保密性、完整性和可用性需求外&#xff0c;某些特定场景还需要保护数据的有序性。保序加密技术&#xff08;Order Preserving Encryption, OPE&#xff09;就是为了满足这一需求而设计的。本文将介绍保序加密技术的基本原理、应用场景以及…

Leetcode——面试题02.04.分割链表

面试题 02.04. 分割链表 - 力扣&#xff08;LeetCode&#xff09; 对于该链表OJ&#xff0c;我们两种大的方向&#xff1a; 1.在原链表上修改&#xff1b;2.创建新链表&#xff0c;遍历原链表。 在原链上进行修改&#xff1a;如果该节点的val小于x则继续往后走&#xff0c;如…

全新桥隧坡安全监测解决方案,24h监测效率提升30%

4月26日&#xff0c;交通运输部党组书记、部长李小鹏在部务会上强调&#xff0c;要高度重视公路桥梁隧道结构监测工作&#xff0c;抓紧推进公路桥梁隧道结构监测系统建设&#xff0c;进一步健全完善公路桥梁隧道结构监测长效运行机制。 中海达积极参与公路桥梁隧道结构监测工作…

WebLlama:通过对话进行网页浏览的智能代理

WebLlama&#xff1a;智能网页浏览代理 WebLlama 是 McGill University 自然语言处理团队的研究项目&#xff0c;旨在开发能通过对话浏览网页的智能代理。这些代理基于 Llama-3 模型优化微调&#xff0c;基于 Llama-3-8B-Instruct 模型&#xff0c;专为网页导航和对话任务优化…

对话访谈——五问RAG与搜索引擎:探索知识检索的未来

记一次关于RAG和搜索引擎在知识检索方面的对话访谈&#xff0c;针对 RAG 与传统搜索引擎的异同,以及它们在知识检索领域的优劣势进行了深入的探讨。 Q&#xff1a;传统搜索引擎吗&#xff0c;通过召回-排序的两阶段模式&#xff0c;实现搜索逻辑的实现&#xff0c;当前RAG技术也…

深入浅出DBus-C++:Linux下的高效IPC通信

目录标题 1. DBus简介2. DBus-C的优势3. 安装DBus-C4. 使用DBus-C初始化和连接到DBus定义接口和方法发送和接收信号 5. dbus-cpp 0.9.0 的安装6. 创建一个 DBus 服务7. 客户端的实现8. 编译和运行你的应用9. 瑞芯微&#xff08;Rockchip&#xff09;的 Linux 系统通常会自带 db…

【网络原理】网络层IP协议 | IP报文格式 | IP地址 | 地址管理 | 路由选择

文章目录 网络层一、IP协议1.IP协议报文格式2.地址管理IP地址不够用的解决方法&#xff1a;1.动态分配IP&#xff1a;过渡方案&#xff0c;目前仍广泛存在。2.NAT机制&#xff08;网络地址转换&#xff09;1.内网IP(局域网IP)2.外网IP(广域网IP) 3.IPv64.网段划分5.子网掩码6.特…

基于SSM的文物管理系统(含源码+sql+视频导入教程+文档+PPT)

&#x1f449;文末查看项目功能视频演示获取源码sql脚本视频导入教程视频 1 、功能描述 基于SSM的文物管理系统拥有俩种角色 管理员&#xff1a;个人信息管理、用户管理、分类管理、文物信息管理、文物外借管理、文物维修管理、留言板管理等 用户&#xff1a;登录注册、分类…

ECharts在网页中添加可视化图标-在网页中添加交互图表+option模块案列详解

一、引言 ECharts 是一个使用 JavaScript 编写的开源可视化库&#xff0c;它可以在浏览器中生成交互式的图表。无论是折线图、柱状图、散点图还是饼图&#xff0c;ECharts 都能轻松应对。本文将带领大家了解如何在网页中添加 ECharts 可视化图标。 本章可以直接跳到第五点完整…

alphassl ocsp通配符证书

AlphaSSL是GlobalSign旗下的一个子品牌&#xff0c;GlobalSign是知名度较高的正规SSL证书颁发机构&#xff0c;应用范围广泛&#xff0c;比如电子商务、在线支付、网上银行等网站&#xff0c;还可以兼容几乎99%的主流浏览器。AlphaSSL旗下的DV基础型通配符SSL证书&#xff0c;不…

Github查找代码项目高级语法(含科研项目查找案例)

基础搜索语法 1.搜索名字 in:name XXX 2.搜索描述 in:description XXX 3.搜索readme in:readme XXX 4.根据stars stars:>2000 5.根据fork fork:>3000 6.仓库大小搜索 size:>5000 [注意: 该处单位大小为 k] 7.根据更新时间 …