【Ambari】使用 Knox 进行 LDAP 身份认证

news2024/12/26 7:46:17

目录

一、knox介绍

二、Ambari配置LDAP认证

三、验证Knox网关

3.1YARNUI

3.2 HDFSUI

3.3 HDFS RestFULL

3.4 SparkHistoryserver

3.5 HBASEUI

一、knox介绍

Apache Knox网关是一个用于与Apache Hadoop部署的REST api和ui交互的应用程序网关。Knox网关为所有与Apache Hadoop集群的REST和HTTP交互提供了一个单一的访问点。

Apache Knox Gateway是一款用于保护Hadoop生态体系安全的代理网关系统，为Hadoop集群提供唯一的代理入口。Knox以类似反向代理的形式挡在集群前面，隐匿部署细节（例如端口号和机器名等），接管所有用户的HTTP请求（例如WEB UI 控制台访问和RESTful 服务调用），以此来保护集群安全。

Knox提供三组面向用户的服务：

代理服务

Apache Knox项目的主要目标是通过代理HTTP资源提供对Apache Hadoop的访问。

身份验证服务

REST API访问的身份验证以及ui的WebSSO流。LDAP/AD，基于报头的预认证，Kerberos，SAML、OAuth都是可用的选项。

客户服务

客户端开发可以通过DSL编写脚本或直接使用Knox Shell类作为SDK来完成。KnoxShell交互式脚本环境将groovy shell的交互式shell与Knox shell SDK类相结合，用于与部署的Hadoop集群中的数据进行交互。

Knox网关本质上是一款基于Jetty实现的高性能反向代理服务器，通过内置的过滤器链来处理URL请求，支持使用LDAP进行用户身份认证。Knox网关在架构设计上具有良好的可扩展性，这种扩展性主要通过Service和Provider这两个扩展性框架来实现。Server扩展性框架还提供了一种网关新增的HTTP或RESTful服务端点的途径，例如WebHDFS就是以新建的Service的形式加入Knox网关的。而Provider扩展性框架则是用来定义并实现相应Service所提供的功能，例如端点的用户认证或是WebHDFS中的文件上传等功能。当我们使用Knox作为代理网关之后，大数据平台中Hadoop系统的逻辑拓扑就会变成如下图所示：

二、Ambari配置LDAP认证

用ambari安装的knox，默认安装目录是 /usr/hdp/xxxxx/knox 。默认cluster-name是default，对应的拓扑配置文件是：

/usr/hdp/current/knox-server/conf/topologies/default.xml

有两种方式创建LDAP服务器，一是手工安装OpenLDAP；二是使用Knox自带的Demo LDAP：

  • 如果要手工安装OpenLDAP，参考 Centos7 下 OpenLDAP 安装。
  • 如果要使用Knox自带的DemoLDAP服务器，则在Ambari中前往 Services -> Knox -> Service Actions -> Start Demo LDAP。

下面的测试使用自带的LDAP 测试，LDAP上我们使用默认用户admin（dn: uid=admin,ou=people,dc=hadoop,dc=apache,dc=org），该用户的密码是：admin-password。可以安装一个JXplorer来链接LDAP服务器查看其中的数据。

Knox的默认集群拓扑文件(default.xml)，内容如下：

<topology>

            <gateway>
                <provider>
                    <role>authentication</role>
                    <name>ShiroProvider</name>
                    <enabled>true</enabled>
                    <param>
                        <name>sessionTimeout</name>
                        <value>30</value>
                    </param>
                    <param>
                        <name>main.ldapRealm</name>
                        <value>org.apache.hadoop.gateway.shirorealm.KnoxLdapRealm</value>
                    </param>
                    <param>
                        <name>main.ldapRealm.userDnTemplate</name>
                        <value>uid={0},ou=people,dc=hadoop,dc=apache,dc=org</value>
                    </param>
                    <param>
                        <name>main.ldapRealm.contextFactory.url</name>
                        <value>ldap://windp-aio:33389</value>
                    </param>
                    <param>
                        <name>main.ldapRealm.contextFactory.authenticationMechanism</name>
                        <value>simple</value>
                    </param>
                    <param>
                        <name>urls./**</name>
                        <value>authcBasic</value>
                    </param>
                </provider>

                <provider>
                    <role>identity-assertion</role>
                    <name>Default</name>
                    <enabled>true</enabled>
                </provider>

                <provider>
                    <role>authorization</role>
                    <name>XASecurePDPKnox</name>
                    <enabled>true</enabled>
                </provider>

            </gateway>

            <service>
                <role>NAMENODE</role>
                <url>hdfs://windp-aio:8020</url>
            </service>
            <service>
                <role>JOBTRACKER</role>
                <url>rpc://windp-aio:8050</url>
            </service>
            <service>
                <role>WEBHDFS</role>
                <url>http://windp-aio:50070/webhdfs</url>
            </service>
            <service>
                <role>HDFSUI</role>
               <version>2.7.0</version>
               <url>http://192.168.2.17:50070</url>
          </service>
          <service>
                <role>HBASEUI</role>
                <version>2.1.0</version>
                <url>http://192.168.2.17:16010</url>
          </service>
           <service>
                <role>YARNUI</role>
                <url>http://windp-aio:8088</url>
            </service>
            <service>
                <role>SPARKHISTORYUI</role>
                <url>http://192.168.2.17:18081</url>  
           </service>
           <service>
               <role>JOBHISTORYUI</role>
               <url>http://192.168.2.17:19888</url>
           </service>
            <service>
                <role>WEBHBASE</role>
                <url>http://windp-aio:8080</url>
            </service>

            <service>
                <role>HIVE</role>
                <url>http://windp-aio:10001/cliservice</url>
            </service>

            <service>
                <role>RESOURCEMANAGER</role>
                <url>http://windp-aio:8088/ws</url>
            </service>

  </topology>

配置文件： /etc/knox/conf/users.ldif

version: 1

# Please replace with site specific values
dn: dc=hadoop,dc=apache,dc=org
objectclass: organization
objectclass: dcObject
o: Hadoop
dc: hadoop

# Entry for a sample people container
# Please replace with site specific values
dn: ou=people,dc=hadoop,dc=apache,dc=org
objectclass:top
objectclass:organizationalUnit
ou: people

# Entry for a sample end user
# Please replace with site specific values
dn: uid=guest,ou=people,dc=hadoop,dc=apache,dc=org
objectclass:top
objectclass:person
objectclass:organizationalPerson
objectclass:inetOrgPerson
cn: Guest
sn: User
uid: guest
userPassword:guest-password

# entry for sample user admin
dn: uid=admin,ou=people,dc=hadoop,dc=apache,dc=org
objectclass:top
objectclass:person
objectclass:organizationalPerson
objectclass:inetOrgPerson
cn: Admin
sn: Admin
uid: admin
userPassword:admin-password

# entry for sample user admin
dn: uid=winner_spark,ou=people,dc=hadoop,dc=apache,dc=org
objectclass:top
objectclass:person
objectclass:organizationalPerson
objectclass:inetOrgPerson
cn: winner_spark
sn: winner_spark
uid: winner_spark
userPassword:winner@001

# entry for sample user sam
dn: uid=sam,ou=people,dc=hadoop,dc=apache,dc=org
objectclass:top
objectclass:person
objectclass:organizationalPerson
objectclass:inetOrgPerson
cn: sam
sn: sam
uid: sam
userPassword:sam-password

# entry for sample user tom
dn: uid=tom,ou=people,dc=hadoop,dc=apache,dc=org
objectclass:top
objectclass:person
objectclass:organizationalPerson
objectclass:inetOrgPerson
cn: tom
sn: tom
uid: tom
userPassword:tom-password

# create FIRST Level groups branch
dn: ou=groups,dc=hadoop,dc=apache,dc=org
objectclass:top
objectclass:organizationalUnit
ou: groups
description: generic groups branch

# create the analyst group under groups
dn: cn=analyst,ou=groups,dc=hadoop,dc=apache,dc=org
objectclass:top
objectclass: groupofnames
cn: analyst
description:analyst  group
member: uid=sam,ou=people,dc=hadoop,dc=apache,dc=org
member: uid=tom,ou=people,dc=hadoop,dc=apache,dc=org


# create the scientist group under groups
dn: cn=scientist,ou=groups,dc=hadoop,dc=apache,dc=org
objectclass:top
objectclass: groupofnames
cn: scientist
description: scientist group
member: uid=sam,ou=people,dc=hadoop,dc=apache,dc=org

# create the admin group under groups
dn: cn=admin,ou=groups,dc=hadoop,dc=apache,dc=org
objectclass:top
objectclass: groupofnames
cn: admin
description: admin group
member: uid=admin,ou=people,dc=hadoop,dc=apache,dc=org


# create the admin group under groups
dn: cn=winner_spark,ou=groups,dc=hadoop,dc=apache,dc=org
objectclass:top
objectclass: groupofnames
cn: winner_spark
description: winner_spark group
member: uid=winner_spark,ou=people,dc=hadoop,dc=apache,dc=org

登陆knox页面查看是否正常

https://192.168.2.75:8443/gateway/manager/admin-ui/

默认账号密码为 admin / admin-password

登录成功

三、验证Knox网关

3.1YARNUI

我们需要修改它的配置文件，添加想要代理的Web UI控制台。打开Ambari找到Knox网关的配置页面，选择Advanced topology配置项，增加YARN UI的配置，保存之后需要重启Knox网关服务。

浏览器中访问


https://192.168.2.17:8443/gateway/default/yarn

查看Knox服务日志，报错如下：

2024-11-28 11:28:58,695 bbce4516-9686-4217-aba9-f57262dc6b4b ERROR knox.gateway (GatewayDispatchFilter.java:isDispatchAllowed(167)) - The dispatch to http://windp-aio:8088/cluster was disallowed because it fails the dispatch whitelist validation. See documentation for dispatch whitelisting

需要修改一下gateway.dispatch.whitelist.services属性，内容里删掉YARNUI

修改完成后重启，再次访问成功

在ranger中添加相关服务的用户权限

提交测试任务

spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--executor-memory 1G \
--num-executors 1 \
/usr/hdp/3.1.4.0-315/spark2/examples/jars/spark-examples_2.11-2.3.2.3.1.4.0-315.jar \
2

查看运行的任务

查看任务日志

访问任务日志可能有如下报错：

User [knox] is not authorized to view the logs for container_e04_1733724537903_0002_01_000001 in log file [windp-aio_45454_1733725107348]
No logs available for container container_e04_1733724537903_0002_01_000001

我们给yarn acl 加上knox用户就可以访问日志了

# 如下参数加上 knox
yarn.admin.acl

3.2 HDFSUI

ambari 中增加 HDFSUI配置

以下两种地址正常都可以访问到HDFSUI

https://192.168.2.17:8443/gateway/default/hdfs/?host=http://192.168.2.17:50070
https://192.168.2.17:8443/gateway/default/hdfs

HDFSUI 页面成功访问

3.3 HDFS RestFULL

默认配置如下：

测试

 curl -i -k -u admin:admin-password -X GET 'https://localhost:8443/gateway/default/webhdfs/v1/?op=LISTSTATUS'

3.4 SparkHistoryserver

https://192.168.2.17:8443/gateway/default/sparkhistory/

查看某个任务的执行细节

3.5 HBASEUI

配置如下：

访问

https://192.168.2.17:8443/gateway/default/hbase/webui/master?&host=192.168.2.17&port=16010

参考：

knox测试

https://github.com/wbwangk/wbwangk.github.io/wiki/knox%E6%B5%8B%E8%AF%95

HDP安全之集成kerberos/LDAP、ranger（knox自带LDAP）：

HDP安全之集成kerberos/LDAP、ranger（knox自带LDAP） - 亲爱的不二999 - 博客园

Ambari 集成LDAP技术方案_ambari ldap-CSDN博客

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2265729.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Fiddler v5.0.2最新专业网络抓包工具简体中文版

Fiddler v5.0.2最新专业网络抓包工具简体中文版

前言 Fiddler抓包工具一个非常专业且已经翻译成中文的网络调试帮手。它就像一个超级监视器&#xff0c;能帮你看到电脑和互联网之间所有通过HTTP协议传输的信息。比如&#xff0c;当你在网上冲浪时&#xff0c;它可以记录下你和网站之间交换的所有“小纸条”&#xff0c;比如网…
阅读更多...
我的 2024 年终总结

我的 2024 年终总结

2024 年&#xff0c;我离开了待了两年的互联网公司&#xff0c;来到了一家聚焦教育机器人和激光切割机的公司&#xff0c;没错&#xff0c;是一家硬件公司&#xff0c;从未接触过的领域&#xff0c;但这还不是我今年最重要的里程碑事件 5 月份的时候&#xff0c;正式提出了离职…
阅读更多...
汽车网络安全渗透测试

汽车网络安全渗透测试

产品和企业IT的融合引发了新的网络安全风险&#xff0c;从功能安全到数据隐私都面临潜在威胁。汽车行业正在使用各种方法进行安全检测和验证&#xff0c;但传统的安全测试中漏洞检测低效且不完整。Vector带来一种使用更少测试案例的增强型灰盒渗透测试&#xff0c;能够在提高覆…
阅读更多...
C#WPF基础介绍/第一个WPF程序

C#WPF基础介绍/第一个WPF程序

什么是WPF WPF&#xff08;Windows Presentation Foundation&#xff09;是微软公司推出的一种用于创建窗口应用程序的界面框架。它是.NET Framework的一部分&#xff0c;提供了一套先进的用户界面设计工具和功能&#xff0c;可以实现丰富的图形、动画和多媒体效果。 WPF 使用…
阅读更多...
【EtherCATBasics】- KRTS C++示例精讲（2）

【EtherCATBasics】- KRTS C++示例精讲（2）

EtherCATBasics示例讲解 目录 EtherCATBasics示例讲解结构说明代码讲解 项目打开请查看【BaseFunction精讲】。 结构说明 EtherCATBasics&#xff1a;应用层程序&#xff0c;主要用于人机交互、数据显示、内核层数据交互等&#xff1b; EtherCATBasics.h &#xff1a; 数据定义…
阅读更多...
秒验简介与下载说明

秒验简介与下载说明

秒验简介与下载说明 产品概述 秒验是一款帮助开发者实现一键验证功能的产品&#xff0c;从根源上降低企业验证成本&#xff0c; 有效提高拉新转化率&#xff0c;降低因验证带来的流失率&#xff0c;3秒完成手机号验证 SDK信息 下载SDK 下载地址 SDK提供Maven和pod引入两种方…
阅读更多...
算法学习（17）—— FloodFill算法

算法学习（17）—— FloodFill算法

目录 关于FloodFill算法 部分OJ题详解 733. 图像渲染 200. 岛屿数量 695. 岛屿的最大面积 130. 被围绕的区域 417. 太平洋大西洋水流问题 529. 扫雷问题 LCR130. 衣橱整理 关于FloodFill算法 爆搜&#xff0c;深搜&#xff0c;回溯的算法原理并不难&#xff0c;这类题…
阅读更多...
美国辅料查询之FDA批准药用辅料数据库（IID数据库）

美国辅料查询之FDA批准药用辅料数据库（IID数据库）

药用辅料的性质很大程度上决定了制剂的性质&#xff0c;每一种新的药用辅料的问世&#xff0c;都会为制剂技术的发展带来新的机遇&#xff0c;每一种药用辅料都可能让制剂研发员开发出新剂型药物&#xff0c;所以在药物制剂研发过程中&#xff0c;药用辅料的信息调研是不可或缺…
阅读更多...
SpringAI人工智能开发框架006---SpringAI多模态接口_编程测试springai多模态接口支持

SpringAI人工智能开发框架006---SpringAI多模态接口_编程测试springai多模态接口支持

可以看到springai对多模态的支持. 同样去创建一个项目 也是跟之前的项目一样,修改版本1.0.0 这里 然后修改仓库地址,为springai的地址 然后开始写代码
阅读更多...
【ELK】filebeat采集数据输出到kafka指定topic

【ELK】filebeat采集数据输出到kafka指定topic

提示&#xff1a;文章写完后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 文章目录 背景filebeat主体配置filebeat.inputs部分filebeat.output部分 filebeat完整配置 背景 今天收到需求&#xff0c;生产环境中通需要优化filebeat的输出&#xff0c;…
阅读更多...
知识图谱+大模型：打造全新智慧城市底层架构

知识图谱+大模型：打造全新智慧城市底层架构

在数字化时代&#xff0c;智慧城市的建设正迎来新一轮的变革。本文将探讨如何结合知识图谱和大模型技术&#xff0c;构建智慧城市的全新底层架构&#xff0c;以应对日益增长的数据量和复杂性&#xff0c;提升城市管理的智能化水平。 知识图谱&#xff1a;智慧城市的知识库 知识…
阅读更多...
网络安全 | 云计算中的数据加密与访问控制

网络安全 | 云计算中的数据加密与访问控制

网络安全 | 云计算中的数据加密与访问控制 一、前言二、云计算概述2.1 云计算的定义与特点2.2 云计算的服务模式2.3 云计算的数据安全挑战 三、数据加密技术在云计算中的应用3.1 对称加密算法3.2 非对称加密算法3.3 混合加密算法 四、云计算中的访问控制模型4.1 基于角色的访问…
阅读更多...
计算机毕业设计Python+卷积神经网络租房推荐系统 租房大屏可视化 租房爬虫 hadoop spark 58同城租房爬虫 房源推荐系统

计算机毕业设计Python+卷积神经网络租房推荐系统 租房大屏可视化 租房爬虫 hadoop spark 58同城租房爬虫 房源推荐系统

温馨提示&#xff1a;文末有 CSDN 平台官方提供的学长联系方式的名片&#xff01; 温馨提示&#xff1a;文末有 CSDN 平台官方提供的学长联系方式的名片&#xff01; 温馨提示&#xff1a;文末有 CSDN 平台官方提供的学长联系方式的名片&#xff01; 作者简介&#xff1a;Java领…
阅读更多...
攻防世界 - Web - Level 1 unseping

攻防世界 - Web - Level 1 unseping

关注这个靶场的其它相关笔记&#xff1a;攻防世界&#xff08;XCTF&#xff09; —— 靶场笔记合集-CSDN博客 0x01&#xff1a;Write UP 本关是一个 PHP 代码审计关卡&#xff0c;考察的是 PHP 反序列化漏洞以及命令执行的一些绕过手段&#xff0c;下面笔者将带你一步步过关。…
阅读更多...
黑马程序员JavaWeb开发教程(前端部分) ---笔记分享

黑马程序员JavaWeb开发教程(前端部分) ---笔记分享

总结 此篇文章记录的内容是不全的&#xff0c;我觉得基础的部分没有记录&#xff0c;我想主要学的是此课程的后端部分&#xff0c;前端部分学校有学习过&#xff0c;我就开倍速一带而过啦&#xff0c;还有就是学校学的是Vue3和此视频讲的Vue2还是有一定区别的。希望能对大家有…
阅读更多...
【统计的思想】统计抽样测试（二）

【统计的思想】统计抽样测试（二）

在统计抽样测试里&#xff0c;一旦我们选定了某个测试方案(n|Ac)&#xff0c;我们就可以算出任意不合格品率p对应的接收概率L(p)。把各种可能的p值对应的L(p)连成一条曲线&#xff0c;这就是测试方案(n|Ac)的操作特性曲线。比如&#xff0c;方案(80|1)的操作特性曲线长这个样子…
阅读更多...
Pytorch | 利用I-FGSSM针对CIFAR10上的ResNet分类器进行对抗攻击

Pytorch | 利用I-FGSSM针对CIFAR10上的ResNet分类器进行对抗攻击

Pytorch | 利用I-FGSSM针对CIFAR10上的ResNet分类器进行对抗攻击 CIFAR数据集I-FGSSM介绍I-FGSSM代码实现I-FGSSM算法实现攻击效果 代码汇总ifgssm.pytrain.pyadvtest.py 之前已经针对CIFAR10训练了多种分类器&#xff1a; Pytorch | 从零构建AlexNet对CIFAR10进行分类 Pytorch…
阅读更多...
【多维DP】力扣576. 出界的路径数

【多维DP】力扣576. 出界的路径数

给你一个大小为 m x n 的网格和一个球。球的起始坐标为 [startRow, startColumn] 。你可以将球移到在四个方向上相邻的单元格内&#xff08;可以穿过网格边界到达网格之外&#xff09;。你 最多 可以移动 maxMove 次球。 给你五个整数 m、n、maxMove、startRow 以及 startColu…
阅读更多...
react防止页面崩溃

react防止页面崩溃

在 React 中&#xff0c;ErrorBoundary 组件是一种用于捕获并处理其子组件树中发生的 JavaScript 错误的机制。它可以帮助你在应用程序中实现优雅的错误处理&#xff0c;防止整个应用崩溃&#xff0c;并为用户提供友好的错误提示。ErrorBoundary 通过使用 React 的生命周期方法…
阅读更多...
Python使用requests_html库爬取掌阅书籍（附完整源码及使用说明）

Python使用requests_html库爬取掌阅书籍（附完整源码及使用说明）

教程概述 本教程先是幽络源初步教学分析掌阅书籍的网络结构&#xff0c;最后提供完整的爬取源码与使用说明&#xff0c;并展示结果&#xff0c;切记勿将本教程内容肆意非法使用。 原文链接&#xff1a;Python使用requests_html库爬取掌阅书籍&#xff08;附完整源码及使用说明…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023