基于 SASL/SCRAM 让 Kafka 实现动态授权认证

news2024/9/9 0:12:19

一、说明

在大数据处理和分析中 Apache Kafka 已经成为了一个核心组件。然而在生产环境中部署 Kafka 时，安全性是一个必须要考虑的重要因素。SASL（简单认证与安全层）和 SCRAM（基于密码的认证机制的盐化挑战响应认证机制）提供了一种方法来增强 Kafka 集群的安全性。

本文将从零开始部署 ZooKeeper 和 Kafka 并通过配置 SASL/SCRAM 和 ACL（访问控制列表）来增强 Kafka 的安全性。

 

二、Kafka 的安全机制

kafka 社区在 0.9.0.0 版本正式添加了安全特性，可以满足各种安全性的要求，包括：

  1. Kafka 与 ZooKeeper 之间的安全通信；
  2. Kafka 集群 ZooKeeper 之间的安全通信；
  3. 客户端与服务端之间的安全通信；
  4. 消息级别的权限控制，可以控制客户端（生产者或消费者）的读写操作权限。

 

认证方式引入版本适用场景
SSL0.9.0SSL做信道加密比较多，SSL认证不如SASL所以一般都会使用SSL来做通信加密。
SASL/GSSAPI0.9.9主要是给 Kerberos 使用的。如果你的公司已经做了 Kerberos 认证（比如使用 Active Directory），那么使用 GSSAPI 是最方便的了。因为你不需要额外地搭建 Kerberos，只要让你们的 Kerberos 管理员给每个 Broker 和要访问 Kafka 集群的操作系统用户申请 principal 就好了。
SASL/PLAIN0.10.2简单的用户名密码认证，通常与SSL结合使用，对于小公司来说，没必要搭建公司级别的Kerberos，使用它就比较合适。
SASL/SCRAM0.10.2PLAIN的加强版本，支持动态的用户增减。
Deleation Token1.1Delegation Token 是在 1.1 版本引入的，它是一种轻量级的认证机制，主要目的是补充现有的 SASL 或 SSL 认证。如果要使用 Delegation Token，你需要先配置好 SASL 认证，然后再利用 Kafka 提供的 API 去获取对应的 Delegation Token。这样 Broker 和客户端在做认证的时候，可以直接使用这个 token，不用每次都去 KDC 获取对应的 ticket（Kerberos 认证）或传输 Keystore 文件（SSL 认证）。
SASL/OAUTHBEARER2.0OAuth 2框架的集成。

 

三、环境和软件准备

从 Apache Kafka 官网 下载对应版本的 Kafka 并解压到你选择的目录。

确保已经安装 Java 才能运行 Kafka，可以通过运行 java -version 来检查 Java 环境。

 

四、部署 Zookeeper

使用 Kafka 内置的 Zookeeper

4.1. 启用 SASL 认证

进入 config 目录，修改 zookeeper.properties 配置文件增加以下内容：

authProvider.1=org.apache.zookeeper.server.auth.SASLAuthenticationProvider
jaasLoginRenew=3600000
requireClientAuthScheme=sasl
zookeeper.sasl.client=true

 

4.2. 配置 JAAS

在 config 目录下创建 zk_jaas.conf 文件，内容如下：

Server {
    org.apache.zookeeper.server.auth.DigestLoginModule required
    username="admin"
    password="admin"
    user_admin="admin"
    user_zkclient="zkclient";
};

其作用是创建了一个 Server 节点，其中

  • org.apache.zookeeper.server.auth.DigestLoginModule required 是认证逻辑的处理类；
  • username、password 是zookeeper之间通讯的用户名和密码；
  • user_admin="admin" 的结构是 user_[username]=[password] 定义 kafka-broker（zookeeper客户端）连接到 zookeeper 时用的用户名和密码。

注意：Server 内部最后一行的 ; 和 } 后的 ; 不能缺少！

 

4.3. 修改启动文件

进入 bin 目录，修改 zookeeper-server-start.sh 文件；

在 export KAFKA_HEAP_OPTS= 配置项的参数后添加 JAAS 的配置：

export KAFKA_HEAP_OPTS="-Xmx512M -Xms512M -Djava.security.auth.login.config=../config/zk_jaas.conf"

 

4.4. 启动 Zookeeper

执行命令：./zookeeper-server-start.sh -daemon ../config/zookeeper.properties

-daemon 参数配置后台运行

 

4.5. 测试

可以从官网 Apache ZooKeeper 下载对应版本的 ZooKeeper 并解压；

添加 JAAS 配置，在 confi 目录下创建 zk_client_jaas.conf 文件：

Client{
    org.apache.zookeeper.server.auth.DigestLoginModule required
    username="zkclient"
    password="zkclient";
};

修改 bin 目录下的 zkCli.sh 文件，在启动命令中增加 JAAS 的配置：

"$JAVA" "-Dzookeeper.log.dir=${ZOO_LOG_DIR}" "-Dzookeeper.root.logger=${ZOO_LOG4J_PROP}" "-Dzookeeper.log.file=${ZOO_LOG_FILE}" \
     -cp "$CLASSPATH" $CLIENT_JVMFLAGS $JVMFLAGS \
     "-Djava.security.auth.login.config=../conf/zk_client_jaas.conf" \
     org.apache.zookeeper.ZooKeeperMain "$@"

执行 zkCli.sh 连接本机已经启动好的 ZooKeeper

进入 Kafka 的 log 目录，查看内置 zk 的日志 zookeeper.out 显示以下内容：

INFO adding SASL authorization for authorizationID: zkclient (org.apache.zookeeper.server.ZooKeeperServer)

代表 ZooKeeper 的 SASL 认证已经配置成功。

 

五、部署 Kafka

5.1. 配置 Kafka Broker

进入 config 目录，修改 server.properties 配置文件增加以下内容：

listeners=SASL_PLAINTEXT://:9092
advertised.listeners=SASL_PLAINTEXT://localhost:9092
security.inter.broker.protocol=SASL_PLAINTEXT
sasl.mechanism.inter.broker.protocol=SCRAM-SHA-256
sasl.enabled.mechanisms=SCRAM-SHA-256
authorizer.class.name=kafka.security.authorizer.AclAuthorizer
allow.everyone.if.no.acl.found=false
super.users=User:admin
  • authorizer.class.name 开启 ACL 授权机制并指定实现类；
  • allow.everyone.if.no.acl.found 如果没有找到ACL（访问控制列表）配置，是否允许任何操作；这里设置为 false 指除了超级管理员，其他用户必须配置 ACL 才能访问资源；
  • super.users 超级管理员，无需配置 ACL 拥有所有权限的用户。

 

5.2. 配置 JAAS

在 config 目录下创建 kafka_server_jaas.conf 文件，内容如下：

KafkaServer {
    org.apache.kafka.common.security.scram.ScramLoginModule required
    username="admin"
    password="admin";
};

Client{
    org.apache.kafka.common.security.plain.PlainLoginModule required
    username="zkclient"
    password="zkclient";
};
  • KafkaServer 中的 username，password 用于 Kafka 集群 Broker 节点之间通信用的账号密码；
  • KafkaServer 中的 user_test="test" 用于 Kafka 客户端（producer，consumer）连接broker时，用该配置下user_[username]=[password]结构配置的账号密码登录；
  • Client 用于 broker 和 zookeeper 之间的认证，对应 zk_jaas.conf 中的 【user_zkclient=“zkclient”】 配置；
  • user_admin="admin" 的结构是 user_[username]=[password] 定义 kafka-broker（zookeeper客户端）连接到 zookeeper 时用的用户名和密码。

 

5.3. 修改启动文件

进入 bin 目录，修改 kafka-server-start.sh 文件；

在 export KAFKA_HEAP_OPTS= 配置项的参数后添加 JAAS 的配置：

export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G -Djava.security.auth.login.config=../config/kafka_server_jaas.conf"

 

5.4. 创建 SCRAM 用户

在启动 Kafka 之前需要先创建好用户，在 bin 目录下执行以下内容：

分别创建 admin(超级管理员) 和 test(客户端用户)

./kafka-configs.sh --zookeeper localhost:2181 --alter --add-config 'SCRAM-SHA-256=[password=admin]' --entity-type users --entity-name admin

./kafka-configs.sh --zookeeper localhost:2181 --alter --add-config 'SCRAM-SHA-256=[password=test]' --entity-type users --entity-name test

SASL/SCRAM 认证的用户信息是动态创建存储在 ZooKeeper 中， 由于上面的配置 kafka_server_jaas.conf 中 Broker 之间的通信是通过 admin 用户的，如果该用户不存在会 启动报错。

 

5.5. 启动 Kafka

执行命令：./kafka-server-start.sh -daemon ../config/server.properties

-daemon 参数配置后台运行

 

六、验证 SASL/SCRAM 鉴权

6.1. 客户端认证配置

6.1.1. 管理员配置

进入 config 目录创建 cmd.properties 内容如下：

security.protocol=SASL_PLAINTEXT
sasl.mechanism=SCRAM-SHA-256
sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required username="admin" password="admin";

配置认证的类型以及登录逻辑的处理类和用户，使用超级管理员 admin

注意 最后的 ; 是必须加上的。

6.1.2. 生产者配置

修改 config 目录下的 producer.properties 增加以下内容：

security.protocol=SASL_PLAINTEXT
sasl.mechanism=SCRAM-SHA-256
sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required username="admin" password="admin";

生产者也使用超级管理员 admin 来发送消息。

6.1.3. 消费者配置

修改 config 目录下的 consumer.properties 增加以下内容：

security.protocol=SASL_PLAINTEXT
sasl.mechanism=SCRAM-SHA-256
sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required username="test" password="test";

消费者使用 test 用户来接收消息。

 

6.2. 创建topic

在 bin 目录下执行以下命令：

./kafka-topics.sh --bootstrap-server localhost:9092 --create --topic test --partitions 1 --replication-factor 1 --command-config ../config/cmd.properties
  • bootstrap-server 配置 Kafka 服务端的地址
  • topic 指定topic名称
  • command-config 指定命令的认证配置，这里使用上面创建的 管理员配置

创建成功后可以通过以下命令查看存在的 topic 清单：

./kafka-topics.sh --bootstrap-server localhost:9092 --list --command-config ../config/cmd.properties

 

6.3. 创建消费者

6.3.1. 执行 kafka-console-consumer

在 bin 目录下执行以下命令：

./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --consumer.config ../config/consumer.properties

执行命令后会发现以下 报错 信息：

ERROR Error processing message, terminating consumer process:  (kafka.tools.ConsoleConsumer$)
org.apache.kafka.common.errors.SaslAuthenticationException: Authentication failed during authentication due to invalid credentials with SASL mechanism SCRAM-SHA-256
Processed a total of 0 messages

Authentication failed 认证失败，由于消费者的认证使用的是 test 用户，而该用户还未配置任何 ACL 权限。

6.3.2. 配置用户 ACL 权限

Kafka 的 ACL (Access Control Lists) 允许你定义哪些用户可以访问哪些主题，并且可以执行哪些操作（如读、写、创建、删除等）。

执行以下命令：

./kafka-acls.sh --authorizer-properties zookeeper.connect=localhost:2181 --add --allow-principal User:test --operation Read --topic test --group test-consumer-group

为 test 用户在资源 topic[test] 下分配只读权限

执行成功，可以通过以下命令查看资源所分配的所有 ACL 清单：

./kafka-acls.sh --bootstrap-server localhost:9092 --topic test --list --command-config ../config/cmd.properties

重新创建消费者：

./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --consumer.config ../config/consumer.properties

执行成功后该 shell 窗口会一直阻塞等待消息。

 

6.4. 创建生产者

新开一个 shell 窗口 在 bin 目录下执行以下命令：

./kafka-console-producer.sh --bootstrap-server localhost:9092 --topic test --producer.config ../config/producer.properties

由于生产者的认证使用的是 admin 为 超级管理员 所以无需配置 ACL 权限。

执行成功后会出现 > 符号，输入内容之后，切换到 消费者 窗口就可以看到了。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1958185.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

傻瓜式PHP-Webshell免杀学习手册，零基础小白也能看懂

傻瓜式PHP-Webshell免杀学习手册，零基础小白也能看懂

项目描述 一、PHP相关资料 PHP官方手册： https://www.php.net/manual/zh/ PHP函数参考： https://www.php.net/manual/zh/funcref.php 菜鸟教程： https://www.runoob.com/php/php-tutorial.html w3school： https://www.w3school…
阅读更多...
网络流量分析＞＞pcapng文件快速分析有用价值解析

网络流量分析＞＞pcapng文件快速分析有用价值解析

引言 在网络安全和流量管理中，解析网络协议数据包是了解网络行为和检测潜在威胁的关键步骤。本文介绍了如何使用Python解析和分析TCP、UDP和ICMP协议的数据包，并统计端口的访问次数。本文的示例代码展示了如何处理不同协议的数据包，提取关键…
阅读更多...
网安零基础入门神书，全面介绍Web渗透核心攻击与防御方式！

网安零基础入门神书，全面介绍Web渗透核心攻击与防御方式！

Web安全是指Web服务程序的漏洞，通常涵盖Web漏洞、操作系统洞、数据库漏洞、中间件漏洞等。 “渗透测试”作为主动防御的一种关键手段，对评估网络系统安全防护及措施至关重要，因为只有发现问题才能及时终止并预防潜在的安全风险。 根据网络安…
阅读更多...
前端面试宝典【vue篇】【3】

前端面试宝典【vue篇】【3】

欢迎来到《前端面试宝典》，这里是你通往互联网大厂的专属通道，专为渴望在前端领域大放异彩的你量身定制。通过本专栏的学习，无论是一线大厂还是初创企业的面试，都能自信满满地展现你的实力。 核心特色： 独家实战案例：每一期专栏都将深入剖析真实的前端面试案例，从基础知…
阅读更多...
phpenv安装redis扩展

phpenv安装redis扩展

1、下载dll文件 https://pecl.php.net/package/redis 我的是php8.1, 安装最新版的 DLL文件 ２、将dll文件放到php安装目录的ext目录下 3、在php.ini中增加配置后重启服务 [Redis] extension php_redis.dll
阅读更多...
自研Vue3开源Tree组件：节点拖拽bug修复

自研Vue3开源Tree组件：节点拖拽bug修复

当dropType为after，且dropNode为父节点时，bug出现了： bug原因：插入扁平化列表的位置insertIndex计算的不对： 正确的逻辑，同inner要算上子孙节点所占的位置： bug修复！
阅读更多...
vue里给img的src绑定数据失效

vue里给img的src绑定数据失效

起因 在v-for遍历数据时想要通过给img的src单向绑定 图片路径时出现问题 解决过程 上网查说是webpack构建时识别不到，直接不单绑数据，写死试试看 解决方案 直接require导入图像文件模块
阅读更多...
【C语言】VS的实用调试技巧

【C语言】VS的实用调试技巧

0. 前言 VS(Visual Studio)是集成开发环境，其内置了多种调试工具和技巧帮助开发人员在开发过程中解决问题。包含断点、监视窗口、自动窗口、调用堆栈等，通过这些技巧，开发人员可以有效地调试和解决程序中的问题。我们在VS编译器上写代码&…
阅读更多...
yolov10在地平线旭日X3派上的部署和测试（Python版本和C++版本）

yolov10在地平线旭日X3派上的部署和测试（Python版本和C++版本）

0、搭建开发环境 当前的测试根据一下的步骤并修改源码是可以实现yolov8的板端运行，如果不想再搭建环境和测试代码bug上浪费更多的时间可以直接获取本人的测试虚拟机，所有的测试代码、虚拟环境和板端测试工程以全部打包到了虚拟机，需要的可以…
阅读更多...
微前端概念

微前端概念

微前端作用 大型应用程序的拆分独立的前端子应用降低程序复杂性&#xff0c;提高开发效率 微前端能力 js隔离css隔离元素隔离生命周期预加载数据通信应用跳转多层嵌套… 微前端实现方案 IframeSingle-spaQiankunMicro-app Iframe <iframe src"https://www.examp…
阅读更多...
【优秀python web设计】基于Python flask的猫眼电影可视化系统，可视化用echart，前端Layui，数据库用MySQL，包括爬虫

【优秀python web设计】基于Python flask的猫眼电影可视化系统，可视化用echart，前端Layui，数据库用MySQL，包括爬虫

1 绪论 1.1 设计背景及目的 猫眼电影作为国内知名的电影信息网站&#xff0c;拥有海量的电影信息、票房数据和用户评价数据。这些数据对于电影市场的研究和分析具有重要意义。然而&#xff0c;由于数据的复杂性和数据来源的多样性&#xff0c;如何有效地采集、存储和展示这些数…
阅读更多...
巴黎OSGB倾斜摄影数据详细介绍

巴黎OSGB倾斜摄影数据详细介绍

北京时间7月27日&#xff0c;第33届夏季奥林匹克运动会开幕式在法国巴黎举行&#xff0c;巴黎成为继伦敦后&#xff0c;第二个三度举办夏季奥运会的城市&#xff0c;此次为法国相隔100年后再次举办夏季奥运会&#xff0c;前两次分别在1900年及1924年。开幕式上&#xff0c;巴黎…
阅读更多...
Shader入门精要总结（二）矩阵

Shader入门精要总结（二）矩阵

1. 矩阵乘法 一个rn的矩阵A和一个nc的矩阵B相乘&#xff0c;它们的结果AB将会是一个rc大小的矩阵&#xff0c;不满足此规则不能相乘 矩阵乘法满足一些性质 矩阵乘法不满足交换律 即AB≠BA矩阵乘法满足结合律 (AB)CA(BC) 2. 特殊矩阵 方块矩阵 指行和列数目相等的矩阵&#…
阅读更多...
【WEB安全】 PHP基础文件知识完整教学中（超详细）

【WEB安全】 PHP基础文件知识完整教学中（超详细）

文章目录​​​​​​​ 1.PHP 文件处理 PHP 操作文件 PHP 文件打开/读取/关闭 ​​​​​​​文件的 复制 删除 重名 ​​​​​​​文件的判断 2.PHP获取文件属性 3.PHP目录操作 4.命名空间 PHP 命名空间可以解决以下两类问题&#xff1a; 5.正则表达式 正则表达…
阅读更多...
网站后端管理和构建java项目的工具-Maven

网站后端管理和构建java项目的工具-Maven

maven是用于管理和构建java项目的工具。 管理Jar包 无论是使用eclipse、IDEA创建的maven项目&#xff0c;格式都是统一的。 不同开发工具创建的maven项目兼容。 test是对main测试的代码。main中的resources中放置配置文件。 对于Maven&#xff0c;一个Maven项目就是一个对象…
阅读更多...
《基于深度学习的目标检测算法综述论文的解读》

《基于深度学习的目标检测算法综述论文的解读》

论文阅读&#xff1a;《基于深度学习的目标检测算法综述论文的综述》的总结 作者 &#xff1a; 包晓敏&#xff0c;王思琪 ( 浙江理工大学 信息学院&#xff0c;浙江 杭州 310018) 本文章介绍了两阶段深度学习算法和单阶段深度学习算法。 一、目标检测的定义&#xff1a; 目…
阅读更多...
Qt Designer，仿作一个ui界面的练习（二）：部件内容的填充

Qt Designer，仿作一个ui界面的练习（二）：部件内容的填充

有了完成了布局的基本框架设计之后&#xff0c;对各个部件逐步完成内容的填充。 一、还是从顶边栏开始&#xff1a; 1、在顶边栏的topLogo里面拖入一个QLabel&#xff08;标签&#xff09;&#xff0c;命名为logoImage&#xff0c;删除标签的文字。 2、右键点击topLogo&#x…
阅读更多...
[Linux安全运维] LAMP 环境搭建保姆级教学(Apache + MySQL + PHP) ~~

[Linux安全运维] LAMP 环境搭建保姆级教学(Apache + MySQL + PHP) ~~

LAMP LAMP 是一种网站技术&#xff0c;可以实现动态的网站页面部署。 1. LAMP概述 1 .1构成 Linux: 简介: Linux 是一种开源的操作系统&#xff0c;以其稳定性和安全性而著称。在 LAMP 堆栈中&#xff0c;它作为服务器操作系统运行。作用: 为应用程序提供一个稳定、安全的运…
阅读更多...
为了方便写CURD代码，我在UTools写了个插件SqlConvert来生成代码！

为了方便写CURD代码，我在UTools写了个插件SqlConvert来生成代码！

-1. 前言 为了方便摸鱼&#xff0c;我之前写过一个通过sql生成代码的工具&#xff0c;但是服务器到期了&#xff0c;也就懒得重新部署了。 技术框架是 SpringBoot MybatisPlus Velocity Vue ElementUI Sql-ParseeSql-Parser-ui 0. Utools应用安装 官网地址: https://u.too…
阅读更多...
达梦数据库归档介绍

达梦数据库归档介绍

一、什么是归档 数据库归档是一种数据管理策略&#xff0c;它涉及将旧的、不经常访问的数据移动到一个单独的存储设备&#xff0c;以便在需要时可以检索&#xff0c;同时保持数据库的性能和效率。 归档的主要目标是为了释放数据库中的空间&#xff0c;以便更有效地利用高性能…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023