如何杜绝 spark history server ui 的未授权访问?

news2025/1/15 23:37:49

如何杜绝 spark history server ui 的未授权访问?

1 问题背景

默认状况下，Spark history Sever ui 是没有任何访问控制机制的，任何用户只要知道 shs 对应的 url，就可以访问链接查看 spark 作业的运行状况。

在证券基金银行等金融行业中，客户大都对信息安全有着较靠的要求，上述未授权访问的情况肯定是要杜绝的。那么如何配置以杜绝上述对 shs ui 的未授权访问呢？

2 开启 kerberos 的大数据集群环境中，如何杜绝对 shs ui 的未授权访问？

在信息安全要求较高的环境中，我们推荐开启大数据集群的 kerberos 安全认证，从而对整个集群中的 hdfs/yarn/hive/hbase/kafka/zookeeper/spark 等服务提供认证保护。

  • 此时这些服务如 hdfs/yarn/hive/hbase/kafka/zookeeper/spark 等的客户端，在使用 rpc 协议访问服务端时，只有在经过 kerberos 认证后才能访问成功；
  • 在访问这些服务的 web ui 时，比如 namenode/resourceManager/hive hs2/spark History Server 等的 web ui，此时客户使用的客户端工具是 web 浏览器，此时为对使用浏览器基于 http/https 访问 web UI 的用户进行身份验证，可以在服务端配置是否启用 spnego（spnego 底层基于 kerberos)；
  • 当没有启用 spnego 对访问 HTTP Web 控制台的用户进行身份验证时，任何用户都可以在不经过 kerberos 认证的情况下访问 webui;
  • 当启用 spnego 对访问 HTTP Web 控制台的用户进行身份验证时，用户只有在成功通过了 kerberos 认证拿到了 ticket 后，才能成功访问对应服务的 web ui（需要在浏览器中做相应配置）；
  • 可以手动在服务端后台配置文件中，通过一系列的参数配置是否启用对 hdfs/yarn/hive/spark 等服务的 web ui 的 spnego 身份验证；
  • 在 CDH 中，可以通过 cm web ui 白屏化操作，以开启或关闭对 hdfs/yarn/hive/spark 等服务的 web ui 的 spnego 身份验证，“启用 HTTP Web 控制台的 Kerberos 身份验证”，如下所示：

结合配置以下参数，即可控制对 SHS UI 的授权访问：

spark.history.ui.acls.enable=true
spark.history.ui.admin.acls=spark
spark.history.ui.admin.acls.groups

此时，通过浏览器访问 shs web ui 时,在没有经过 kerberos 安全认证时，就会报类似如下的错误：

3 SHS UI 访问控制背后的实现机制

  • 查阅官方文档可知，Spark UI 的认证，包括 shs ui 的认证，使用的都是 servlet 过滤器；
  • 而 spark 本身并没有提供任何内置的认证 过滤器, 大家需要根据自己的认证机制自己实现一个认证过滤器，并配置参数 spark.ui.filters 使用该过滤器；
  • 参数 spark.ui.filters 可以配置多个过滤器，以逗号隔开即开；

  • 注意参数 spark.authenticate：该参数控制 Spark 内部各个进程进行 rpc 通信时是否需要经过认证，而不是控制用户访问 spark webui时是否需要经过认证；
  • 在配置了认证过滤器的基础上，就可以通过配置参数 spark.acls.enable/spark.history.ui.acls.enable 分别对 spark/shs 的 webui 开启或关闭访问控制；

  • 访问控制列表具体包括三种，即 view acl(只具有view权限),modify acl(只具有 Modify权限) 和 admin acl(具有view和modify权限)；
  • 配置访问控制列表时，可以配置用户也可以配置用户组；（支持配置逗号分隔的多个值，也支持配置*通配符）；
  • spark/shs webui的访问控制相关参数如下：
spark.acls.enable
spark.admin.acls
spark.admin.acls.groups
spark.modify.acls
spark.modify.acls.groups	
spark.ui.view.acls
spark.ui.view.acls.groups
spark.user.groups.mapping
spark.history.ui.acls.enable
spark.history.ui.admin.acls
spark.history.ui.admin.acls.groups
  • Hadoop 提供了一个 servlet 认证过滤器，即 org.apache.hadoop.security.authentication.server.AuthenticationFilter，和一个可以配套使用的 spnego 认证机制的实现类，即 org.apache.hadoop.security.authentication.server.KerberosAuthenticationHandler；

  • 在开启 kerberos 的大数据集群环境中，为实现对 shs ui 的访问控制，背后即可配置使用上述 hadoop 提供的认证过滤器和spnego 认证实现类；
  • 在 CDH/CDP 环境中，可以通过查看 shs 进程背后的配置文件，确认其正是使用了上述访问控制机制，和上述 hadoop 提供的认证过滤器和spnego 认证实现类：

详细的配置参数如下：

//通过以下配置项开启了 shs ui 的 spnego 认证
spark.ui.filters=org.apache.spark.deploy.yarn.YarnProxyRedirectFilter,org.apache.hadoop.security.authentication.server.AuthenticationFilter
spark.org.apache.hadoop.security.authentication.server.AuthenticationFilter.param.type=kerberos
spark.org.apache.hadoop.security.authentication.server.AuthenticationFilter.param.kerberos.principal=HTTP/uf30-3@CDH.COM
spark.org.apache.hadoop.security.authentication.server.AuthenticationFilter.param.kerberos.keytab=spark_on_yarn.keytab
spark.org.apache.hadoop.security.authentication.server.AuthenticationFilter.param.kerberos.name.rules=DEFAULT\u000A
//通过以下配置项，开启了 shs ui 的访问控制列表 acl，且配置了具体的 admin acl 为用户 spark 和用户组 spark
spark.history.ui.acls.enable=true
spark.history.ui.admin.acls=spark
spark.history.ui.admin.acls.groups=spark
//注意，以下配置项是 shs 在 rpc 通讯时的 kerberos 相关配置，这些配置影响的是 rpc 通信，跟是否开启 httpspnego 认证无关
spark.history.kerberos.enabled=true
spark.history.kerberos.principal=spark/uf30-3@CDH.COM
spark.history.kerberos.keytab=spark_on_yarn.keytab
//以下参数控制 Spark 内部各个进程进行 rpc 通信时是否需要经过认证，跟是否开启 http spnego 认证无关
spark.authenticate=true/false

4 未开启 kerberos 的大数据集群环境中，如何杜绝对 shs web ui 的未授权访问？

  • 在没有开启 kerberos 的大数据集群环境中，对 shs ui 进行访问控制，仍需要使用上述 servlet 认证过滤器和访问控制列表机制；

  • 由于 spark 本身并没有提供任何内置的认证 过滤器, 大家需要根据自己的认证机制自己实现一个认证过滤器，并配置参数 spark.ui.filters 使用该过滤器；

  • 事实上，Hadoop 提供了一个 servlet 认证过滤器，即 org.apache.hadoop.security.authentication.server.AuthenticationFilter，和几个配套的认证机制的实现类，b包括 PseudoAuthenticationHandler/KerberosAuthenticationHandler/LdapAuthenticationHandler/MultiSchemeAuthenticationHandler/JWTRedirectAuthenticationHandler；

  • 在没有开启 kerberos 的大数据集群环境中，大家可以重点看下 hadoop 提供的 LdapAuthenticationHandler/JWTRedirectAuthenticationHandler 认证过滤器，能否满足自己对 shs ui 认证的需要；

  • 如果上述 hadoop 提供的认证过滤去不满足自己对 shs ui 认证的需要，大家需要根据自己的认证机制自己实现一个认证过滤器；

  • 笔者在此提供一个简单的认证过滤器，该过滤器；

import org.apache.commons.codec.binary.Base64;
import org.apache.commons.lang3.StringUtils;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import javax.servlet.*;
import javax.servlet.http.HttpServletRequest;
import javax.servlet.http.HttpServletResponse;
import java.io.IOException;
import java.io.UnsupportedEncodingException;
import java.util.StringTokenizer;

/*
该类是一个简单的 servlet 安全过滤器，可以配置 spark history server web ui 使用该安全过滤器，以实现基本的访问控制
需要配合以下参数一起使用： 
  spark.ui.filters，spark.history.ui.acls.enable，
  spark.history.ui.admin.acls，spark.history.ui.admin.acls.groups

 */
public class BasicAuthenticationFilter implements Filter {

  /** Logger */
  private static final Logger LOG = LoggerFactory.getLogger(BasicAuthenticationFilter.class);

  private String username = "";

  private String password = "";

  private String realm = "Protected";

  /*
  该方法使用指定的参数初始化该安全过滤器
  具体参数包括：
    用户名 username
    密码 password
    安全域 realm
   */
  @Override
  public void init(FilterConfig filterConfig) throws ServletException {
    username = filterConfig.getInitParameter("username");
    password = filterConfig.getInitParameter("password");
    realm  = filterConfig.getInitParameter("realm");
    if ( StringUtils.isBlank( username ) ) {
      throw new ServletException( "No user provided in filter configuration" );
    }

    if ( StringUtils.isBlank( password ) ) {
      throw new ServletException( "No password provided in filter configuration" );
    }

    if ( StringUtils.isBlank( realm ) ) {
      throw new ServletException( "No realm provided in filter configuration" );
    }
  }

  /*
  该方法对 http 请求进行安全过滤，具体过滤逻辑是：
  检查 http header 中 Authorization 是否为 Basic，并提取 header 中的用户名和密码
  将 header 中提取的用户名和密码，跟初始化该过滤器时使用的用户名和密码进行对比，若一致则认证通过
  其他情况则认证失败
   */
  @Override
  public void doFilter(ServletRequest servletRequest, ServletResponse servletResponse, FilterChain filterChain)
      throws IOException, ServletException {

    HttpServletRequest request = (HttpServletRequest) servletRequest;
    HttpServletResponse response = (HttpServletResponse) servletResponse;

    String authHeader = request.getHeader("Authorization");
    if (authHeader != null) {
      StringTokenizer st = new StringTokenizer(authHeader);
      if (st.hasMoreTokens()) {
        String basic = st.nextToken();

        if (basic.equalsIgnoreCase("Basic")) {
          try {
            String credentials = new String(Base64.decodeBase64(st.nextToken()), "UTF-8");
            LOG.debug("Credentials: " + credentials);
            int p = credentials.indexOf(":");
            if (p != -1) {
              String _username = credentials.substring(0, p).trim();
              String _password = credentials.substring(p + 1).trim();

              if (!username.equals(_username) || !password.equals(_password)) {
                unauthorized(response, "Bad credentials");
              }

              filterChain.doFilter(servletRequest, servletResponse);
            } else {
              unauthorized(response, "Invalid authentication token");
            }
          } catch (UnsupportedEncodingException e) {
            throw new Error("Couldn't retrieve authentication", e);
          }
        }
      }
    } else {
      unauthorized(response);
    }
  }

  @Override
  public void destroy() {
  }

  private void unauthorized(HttpServletResponse response, String message) throws IOException {
    response.setHeader("WWW-Authenticate", "Basic realm=\"" + realm + "\"");
    response.sendError(401, message);
  }

  private void unauthorized(HttpServletResponse response) throws IOException {
    unauthorized(response, "Unauthorized");
  }

}
  • 使用该认证过滤器，配合以下参数，即可实现对 shs ui 的访问控制：
//通过以下配置项开启了 shs ui 的认证 - 使用自定义认证过滤器
spark.ui.filters=org.apache.spark.deploy.yarn.YarnProxyRedirectFilter,com.hundsun.broker.BasicAuthenticationFilter
spark.com.hundsun.broker.BasicAuthenticationFilter.param.username=spark
spark.com.hundsun.broker.BasicAuthenticationFilter.param.password=spark
spark.com.hundsun.broker.BasicAuthenticationFilter.param.realm=spark
//通过以下配置项，开启 shs ui 的访问控制列表 acl
spark.history.ui.acls.enable=true
spark.history.ui.admin.acls=spark
spark.history.ui.admin.acls.groups=spark

  • 注意在 CDH 平台中，可能是由于 CM 自身启动 shs 的机制和背后配置机制等原因，在 History Server 高级配置代码段中的配置项 “spark.ui.filters=org.apache.spark.deploy.yarn.YarnProxyRedirectFilter”，在启动 shs 时并没有生效，所以需要手动修改配置文件 spark-defaults.conf，并手动通过命令行启动 shs：

  • 此时用户访问 shs ui 时需要提供认证信息，只有提供了正确的用户名和密码才能访问 shs ui（用户名和密码通过后台参数 spark.com.hundsun.broker.BasicAuthenticationFilter.param.username/spark.com.hundsun.broker.BasicAuthenticationFilter.param.password=spark指定，安全过滤器初始化时会读取这些参数）；
  • 此时只有使用访问控制列表中指定的用户和用户组，才能查看 shs ui 中具体应用信息的详细信息；

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/10452.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Kotlin 开发Android app(六)：Kotlin 中的空判断 问号和感叹号

Kotlin 开发Android app(六)：Kotlin 中的空判断 问号和感叹号

如果有人对程序的崩溃原因做下统计的话，那么由于对象为空，但是又访问了对象的某个属性而导致的崩溃，也许会是程序崩溃的第一大原因了。 比如我们在使用字符串的时候，变量字符串为空的时候，我们去访问了这个字符串变量的…
阅读更多...
2022-11-16 每日打卡：单调栈解决最大矩形问题（一维直方图，二维最大红矩形）

2022-11-16 每日打卡：单调栈解决最大矩形问题（一维直方图，二维最大红矩形）

每日打卡：单调栈解决最大矩形问题（一维直方图，二维最大红矩形） 柱状图中最大的矩形 思路 这个题最明显的思路就是：矩形面积底高。 版本1：底的长度可以通过二重循环来完成，高通过循环来寻找最…
阅读更多...
44、Spring AMQP 数据转换器

44、Spring AMQP 数据转换器

1、操作案例 2、发送一个对象到队列中 3、控制台查看 4、使用消息转换器 5、消费者接收消息， 传递什么类型，就接受什么类型，发送方与接收方所使用的消息转换器必须对应 6、总结分析 默认的消息推送是通过JDK序列化的方式进行的，…
阅读更多...
【STM32+cubemx】0029 HAL库开发：HMC5883L磁力计的应用（电子指南针）

【STM32+cubemx】0029 HAL库开发：HMC5883L磁力计的应用（电子指南针）

今天我们来学习电子磁力计HMC5883L的使用。先介绍磁力计的基础知识，再给一个获取磁力计数据的例子，最后讲解HMC5883L磁力计的校准，以及一些使用中的经验。 1）HMC5883L磁力计的基础知识 磁力计是用来测量磁场强弱（也就…
阅读更多...
Android 录音没有声音，设置AudioSource.VOICE_CALL直接MediaRecorder.start异常等系列问题

Android 录音没有声音，设置AudioSource.VOICE_CALL直接MediaRecorder.start异常等系列问题

一、我的需求：来电后，我的三方应用主动开启录音，挂断后结束录音，查验音频 我遇到的问题：录制的音频没有声音。 通过各种尝试，结果如下 ：设置不同的录音来源的效果 MediaRecorder API\创建MediaR…
阅读更多...
Springboot 结合 MQTT、Redis ，对接硬件以及做消息分发，最佳实践

Springboot 结合 MQTT、Redis ，对接硬件以及做消息分发，最佳实践

Springboot 结合 mqtt、redis对接硬件以及做消息分发，最佳实践 一，认识 需要了解EMQX 基本知识原理，不了解的可以查看我之间的博客，以及网上的资料，这里不在过多撰述。 二，开发思路 这里以对接雷达水位计…
阅读更多...
【最优化理论】03-无约束优化

【最优化理论】03-无约束优化

无约束优化无约束优化问题无约束优化问题的应用无约束优化问题的最优性条件无约束-凸函数-最优性条件（充要）无约束-一般函数-最优性条件必要条件一阶必要条件：梯度为0二阶必要条件：hessian矩阵半正定充分条件二阶充分条件&#xf…
阅读更多...
元宇宙-漫游世界后与Cocos一起看湖南卫视直播

元宇宙-漫游世界后与Cocos一起看湖南卫视直播

使用参考资源 CocosCreator v3.6.2 cocomat 腾讯开源公共组件框架 Cocos Creator 3D特制 Video MeshRender 播放器（Cocos商店购买） TcPlayer 腾讯开源 Web 播放器 视频流 hls 库 正文 场景漫游引发的思考 元宇宙，虚拟世界。OK，…
阅读更多...
【UI编程】将Java awt/swing应用移植到JavaFX纪实

【UI编程】将Java awt/swing应用移植到JavaFX纪实

1. 背景 最近想做一个实用的小工具，能屏幕截图，录屏和录制课件，简单的图像处理，和制作gif表情包。翻出了很久以前用Java awt/swing写的一个屏幕截图小程序，能运行，但是屏幕截图到剪贴板后，发现…
阅读更多...
深入理解JavaScript-this关键字

深入理解JavaScript-this关键字

先说结论：谁调用它，this 就指向谁 前言 在讲 Function、作用域 时，我们都讲到了 this，因为 JavaScript 中的作用域是词法作用域，在哪里定义，就在哪里形成作用域。而与词法作用域相对应的还有一个作用域叫…
阅读更多...
MP157-0-遇见的问题及解决办法

MP157-0-遇见的问题及解决办法

MP157-0-遇见的问题及解决办法1.Win11运行VMware15虚拟机崩溃死机，蓝屏。1.Win11运行VMware15虚拟机崩溃死机，蓝屏。 时间：2022.11.15 解决办法： Hyper-V方案。 打开控制面板-程序-启用或关闭Windows功能，可能你的电…
阅读更多...
【JavaScript高级】03-JavaScript内存管理和闭包

【JavaScript高级】03-JavaScript内存管理和闭包

JavaScript内存管理和闭包JavaScript内存管理垃圾回收机制算法常见的GC算法-标记清除闭包闭包的概念理解闭包的形成过程闭包的内存泄露JavaScript内存管理 JavaScript会在定义数据时为我们分配内存： JS对于原始数据类型内存的分配会在执行时，直接在栈空…
阅读更多...
Sentinel使用教程

Sentinel使用教程

文章目录一、Sentinel简介1.sentinel介绍2.sentinel应用场景3.sentinel与hystrix4.sentinel组件介绍二、Sentinel使用说明1.控制台Dashboard2.Sentinel 流量控制和熔断降级3.常见报错解决一、Sentinel简介 1.sentinel介绍 Sentinel 是由阿里巴巴中间件团队开发的开源项目&…
阅读更多...
Java三大特性篇之——继承篇（超详解的好吧！）

Java三大特性篇之——继承篇（超详解的好吧！）

😍😍😍欢迎欢迎欢迎欢迎，我的朋友，答应我，看完好吗？🥴 文章目录前言：何为继承？不谈钱的继承实现！嘘：偷偷访问父类的私密成员&#xff…
阅读更多...
OkHttp相关知识（二）

OkHttp相关知识（二）

okhttp中一次网络请求的大致过程： Call对象对请求的封装 dispatcher对请求的分发 getResponseWithInterceptors()方法 一、OkHttp同步方法总结： 创建OkHttpClient和构建了携带请求信息的Request对象将Request封装成Call对象调用Call的execute()发送…
阅读更多...
【11.16】Codeforces 刷题

【11.16】Codeforces 刷题

DP\text{DP}DP ：（今天做的这两道都没啥 DP 相关来着 D. Match & Catch 题意： 给定两个字符串 1≤∣s1∣,∣s2∣≤50001\leq |s_1|,|s_2|\leq 50001≤∣s1​∣,∣s2​∣≤5000 ，求最短的满足各只出现一次的连续公共字串。 思…
阅读更多...
实验27：红外遥控三级控速风扇实验

实验27：红外遥控三级控速风扇实验

今天介绍一个稍微复杂点的实验，复杂在设计和代码 ——OK，受了抖音西湖大学教授刺激，任何人都可以做研究 ——实验：红外遥控三级风速小电扇 ——每按一下CH-，风速从1-2-3-1-2-3-1循环 ——按下CH+，风扇停止 ——没有背景音乐目的是听风扇声音大小判断风速 OK实验介绍完了…
阅读更多...
五个可以永远相信的神仙网站推荐

五个可以永远相信的神仙网站推荐

早八的我们是不是偶尔会处在焦虑中呢？一方面年轻人工作压力大，另一方面我们偶尔会感慨我们的碌碌无为，不知道怎样提升自己。今天为大家推荐五个焦虑时可以随手打开看，不知不觉悄悄提升自己的软件。 1.全历史 全历史是一个把历史以…
阅读更多...
《元宇宙2086》亮相金鸡奖中国首部元宇宙概念院线电影启动

《元宇宙2086》亮相金鸡奖中国首部元宇宙概念院线电影启动

2022年中国金鸡百花电影节暨第35届中国电影金鸡奖于11月10日至12日在福建厦门举办，中国动漫集团控股子公司北京中文发文化发展有限公司与《元宇宙2086》作者高泽龙在金鸡奖创投论坛正式签约，宣布将共同启动筹拍中国首部元宇宙概念的院线电影。 当日下午&…
阅读更多...
如何在Docker中安装MySQL数据库

如何在Docker中安装MySQL数据库

1、Docker环境 视频教程：https://www.bilibili.com/video/BV1xv4y1S7kA 2、搜索镜像 https://hub.docker.com/网站搜索MySQL，确定其安装版本，这里安装8.0.31版； 3、拉取镜像 [rootlocalhost ~]# docker pull mysql:8.0.31 8.…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023