Kafka安全认证机制详解之SASL_PLAIN

news2024/11/20 21:17:22

一、概述

官方文档：
https://kafka.apache.org/documentation/#security
在官方文档中，kafka有五种加密认证方式，分别如下：

  • SSL：用于测试环境
  • SASL/GSSAPI (Kerberos) ：使用kerberos认证，密码是加密的，也是当前企业中使用最多的，最小支持版本0.9
  • SASL/PLAIN ：使用简单用户名和密码形式，生产环境中一般不使用，主要用于测试，最小支持版本0.10
  • SASL/SCRAM：主要解决PLAIN动态更新问题以及安全机制，最小支持版本0.10.2
  • SASL/OAUTHBEARER：基于OAuth2认证框架，最小支持版本2.0

几种认证方式的详细比较

  • SASL/GSSAPI 主要是给 Kerberos 使用的。GSSAPI 适用于本身已经做了 Kerberos 认证的场景，这样的话，SASL/GSSAPI 可以实现无缝集成。
  • SASL/PLAIN 是一个简单的用户名 / 密码认证机制，通常与 SSL 加密搭配使用。对于一些小公司而言，搭建公司级的 Kerberos 可能并没有什么必要，他们的用户系统也不复杂，特别是访问 Kafka 集群的用户可能不是很多。对于 SASL/PLAIN 而言，这就是一个非常合适的应用场景。总体来说，SASL/PLAIN 的配置和运维成本相对较小，适合于小型公司中的 Kafka 集群。SASL/PLAIN 有这样一个弊端：它不能动态地增减认证用户，必须重启 Kafka 集群才能令变更生效。因为所有认证用户信息全部保存在静态文件中，所以只能重启 Broker，才能重新加载变更后的静态文件。
  • SASL/SCRAM 通过将认证用户信息保存在 ZooKeeper 的方式，避免了动态修改需要重启 Broker 的弊端。在实际使用过程中，可以使用 Kafka 提供的命令动态地创建和删除用户，无需重启整个集群。因此，如果打算使用 SASL/PLAIN，不妨改用 SASL/SCRAM 试试。不过要注意的是，后者是 0.10.2 版本引入的。
  • SASL/OAUTHBEARER 是 2.0 版本引入的新认证机制，主要是为了实现与 OAuth 2 框架的集成。 Kafka 不提倡单纯使用 OAUTHBEARER，因为它生成的不安全的 JSON Web Token，必须配以 SSL 加密才能用在生产环境中。
  • Delegation Token 是在 1.1 版本引入的，它是一种轻量级的认证机制，主要目的是补充现有的 SASL 或 SSL 认证。 如果要使用 Delegation Token，需要先配置好 SASL 认证，然后再利用 Kafka 提供的 API 去获取对应的 Delegation Token。这样，Broker 和客户端在做认证的时候，可以直接使用这个 token，不用每次都去 KDC 获取对应的 ticket（Kerberos 认证）或传输 Keystore 文件（SSL 认证）。

二、SASL/PLAIN

SASL/PLAIN是基于用户名密码的认证方式，是比较常用的一种认证，通常与TLS一起用于加密以实现安全认证。

增加kafka配置

vim /opt/kafka_2.13-2.6.0/config/server.properties

# 增加以下配置，每台节点都要配置
listeners=SASL_PLAINTEXT://host.name:port
security.inter.broker.protocol=SASL_PLAINTEXT
sasl.mechanism.inter.broker.protocol=PLAIN
sasl.enabled.mechanisms=PLAIN

# 分发配置,需要注意用户名和路径
scp /opt/kafka_2.13-2.6.0/config/server.properties root@kafka2-73085:/opt/kafka_2.13-2.6.0/config/

scp /opt/kafka_2.13-2.6.0/config/server.properties root@kafka3-73085:/opt/kafka_2.13-2.6.0/config/

增加kafka的权限配置信息

# 编辑配置文件
vim /opt/kafka_2.13-2.6.0/config/kafka_server_jaas.conf

# 增加以下配置
# 增加了两个用户 admin用户和tly用户,配置文件中间不能有注释
KafkaServer {
     org.apache.kafka.common.security.plain.PlainLoginModule required
     username="admin"
     password="123456"
     user_admin="123456"
     user_tly="123456";
 };

# 分发配置文件
scp kafka_server_jaas.conf root@kafka2-73085:/opt/kafka_2.13-2.6.0/config/

scp kafka_server_jaas.conf root@kafka3-73085:/opt/kafka_2.13-2.6.0/config/

上面配置是新增了两个用户，admin和tly，这两个用户都是普通用户，KafkaServer中的username、password配置的用户和密码，是用来broker和broker连接认证。在本例中，admin是代理broker间通信的用户。user_userName配置为连接到broker的所有用户定义密码，broker使用这些验证所有客户端连接，包括来自其他broker的连接。

将JAAS位置作为JVM参数传递给broker

# 编辑 kafka-run-class.sh
vim /opt/kafka_2.13-2.6.0/bin/kafka-run-class.sh

# 更改第219行
export KAFKA_OPTS="-Djava.security.auth.login.config=/opt/kafka_2.13-2.6.0/config/kafka_server_jaas.conf"

# 分发脚本
scp kafka-run-class.sh root@kafka2-73085:/opt/kafka_2.13-2.6.0/bin/kafka-run-class.sh       
scp kafka-run-class.sh root@kafka2-73085:/opt/kafka_2.13-2.6.0/bin/kafka-run-class.sh

启动kafka集群

kafka-server-start.sh -daemon /opt/kafka_2.13-2.6.0/config/server.properties

这个时候集群启动完毕已经带有权限

客户端连接

查看topic列表

kafka-topics.sh --bootstrap-server kafka1-73085:9092 --list

迟迟不出结果，卡住了，实际上是没有权限
image.png
查看日志如下：
image.png

配置权限信息

# 编辑权限文件
vim /root/auth.conf

# 输入如下内容
security.protocol=SASL_PLAINTEXT
sasl.mechanism=PLAIN
sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="tly" password="123456";

username和password必须是kafka_server_jaas.conf中配置的。

使用带账号密码配置文件连接

kafka-topics.sh --bootstrap-server kafka1-73085:9092 --list --command-config /root/auth.conf

已经可以正常返回了，说明有权限认证通过了：
image.png

创建topic

kafka-topics.sh --bootstrap-server kafka1-73085:9092 --create --topic topic_1 --partitions 3 --replication-factor 3 --command-config /root/auth.conf

生产消息

kafka-console-producer.sh  --bootstrap-server \
kafka1-73085:9092 --topic topic_1 --producer.config /root/auth.conf

消费消息

kafka-console-consumer.sh --bootstrap-server kafka1-73085:9092 \
--topic topic_1 --consumer.config /root/auth.conf

权限配置

# 修改server.properties 增加如下配置
# 指定通过ACL来控制权限
authorizer.class.name=kafka.security.authorizer.AclAuthorizer

# 指定超级管理员
super.users=User:admin

使用权限配置并且超级用户是admin，这个用户和我们上面配置的列表中的admin用户相互映射，每个机器都需要配置然后重启所有节点

# 配置用户认证文件信息
vim /root/admin.conf
# 输入如下内容
security.protocol=SASL_PLAINTEXT
sasl.mechanism=PLAIN
sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="admin" password="123456";

# 重启所有节点,每个节点都要执行
# 停止节点
kafka-server-stop.sh

# 启动节点
kafka-server-start.sh -daemon /opt/kafka_2.13-2.6.0/config/server.properties

此时每个节点都有了权限认证

# 配置用户认证文件
vim /root/admin.conf

# 输入以下内容
security.protocol=SASL_PLAINTEXT
sasl.mechanism=PLAIN
sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="admin" password="123456";

创建topic

这个时候使用auth.conf已经不能创建topic了，使用admin.conf可以创建，因为admin账号和配置的超级管理员一致；而auth.conf配置的是tly账号；

kafka-topics.sh --bootstrap-server kafka1-73085:9092 --create --topic topic_2 --partitions 3 --replication-factor 3 --command-conf /root/auth.conf

image.png
不使用认证创建会一直卡主不动，其实也是没权限的，时间久了就会报timeout异常

kafka-topics.sh --bootstrap-server kafka1-73085:9092 --create --topic topic_3 --partitions 3 --replication-factor 3

image.png

kafka-acls控制权限

命令为：kafka-acls.sh
参数如下：

  • –add 增加权限 --remove 删除权限
  • –allow-host 允许操作的主机 --deny-host 拒绝的主机
  • –allow-principal 允许操作的用户 --deny-principal 拒绝用户
  • –bootstrap-server 集群地址
  • –command-config 认证文件信息
  • –group 可以消费topic的消费者组
  • –list 查询所有权限
  • –operation 增加操作权限
    • describe
    • describeConfigs
    • alter
    • read
    • delete
    • create
    • all
    • write
    • alterconfig
  • –topic 指定topic
查询topic所有权限
kafka-acls.sh --bootstrap-server kafka1-73085:9092 --list  --command-config /root/admin.conf
删除所有权限
kafka-acls.sh --bootstrap-server  kafka1-73085:9092 --topic topic_1 --remove  --command-config /root/admin.conf
给用户增加权限

给之前的用户tly授权

kafka-acls.sh --bootstrap-server  kafka1-73085:9092  --add --allow-principal User:tly --topic topic_1 --operation all --command-config /root/admin.conf

使用tly用户查看当前topic

kafka-topics.sh --bootstrap-server kafka1-73085:9092  --list --command-config /root/auth.conf
回收权限
kafka-acls.sh --bootstrap-server kafka1-73085:9092 --remove --allow-principal user:tly --topic topic_1 --operation all --command-config /root/admin.conf
增加权限并且增加IP限制
kafka-acls.sh --bootstrap-server kafka1-73085:9092 --add  --deny-principal User:tly --topic topic_1 --operation all --deny-host 127.0.0.1 --command-config admin.conf
生产者和消费者的权限设置
# 删除所有权限信息
kafka-acls.sh --bootstrap-server kafka1-73085:9092  --topic topic_1 --remove --command-config /root/admin.conf

# 添加生产者权限
kafka-acls.sh --bootstrap-server kafka1-73085:9092 --add --allow-principal User:tly --operation Write --topic topic_1 --command-config /root/admin.conf

# 添加消费权限
kafka-acls.sh --bootstrap-server kafka1-73085:9092 --add --allow-principal User:tly --operation Read --topic topic_1 --command-config /root/admin.conf

# 消费消息
kafka-console-consumer.sh --bootstrap-server kafka1-73085:9092 --topic topic_1 --from-beginning --consumer.config /root/auth.conf

# 发现消费不到，原因是消费者组没有权限
# 增加消费者组权限
kafka-acls.sh --bootstrap-server kafka1-73085:9092 --add --allow-principal User:tly --operation Read --topic topic_1 --group group_1 --command-config /root/admin.conf

# 再次执行消费消息命令并增加分组信息即可以消费到数据
kafka-console-consumer.sh --bootstrap-server kafka1-73085:9092 --topic topic_1 --from-beginning --consumer.config /root/auth.conf --group group_1

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1351230.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

DevSecOps研讨会： 2023年DevOps有哪些值得关注的发展与挑战

DevSecOps研讨会： 2023年DevOps有哪些值得关注的发展与挑战

近日，龙智DevSecOps研讨会年终专场”趋势展望与实战探讨：如何打好DevOps基础、赋能创新”在上海圆满落幕。来自清晖、Jama Software、CloudBees和中新赛克的嘉宾，以及龙智技术与顾问咨询团队代表分别发表了主题演讲，分享他们在Dev…
阅读更多...
（已解决）word如何制作和引用参考文献

（已解决）word如何制作和引用参考文献

文章目录 正文其他 一般使用latex，但是有的时候会遇到使用word的情况，这里记录一下word如何弄参考文献。 正文 1.首先复制你的参考文献到word里面，然后要编号，记住，一定要编号，否则到时候无法引用。 那么…
阅读更多...
Note: Balanced Diet

Note: Balanced Diet

Balanced Diet 平衡膳食 diet balanced Wang Peng earned his living by running a barbecue restaurant, which served delicious bacon, fried chiken breast and mutton roasted with pepper and garlic. 王鹏经营一家烧烤餐厅来谋生，它提供美味的培根&#xf…
阅读更多...
C语言注意点（2）

C语言注意点（2）

1.使用pow函数的相关问题 局部变量n0 while(num/pow(10,n)) n; 为什么不可行 printf("%d",num/pow(10,4)%10) 为什么要提前用temp先引出来 答：pow函数的返回值为double类型，1.终止条件不会满足 2.num/pow(10,4)结果为浮点型，浮…
阅读更多...
Spark一：Spark介绍、技术栈与运行模式

Spark一：Spark介绍、技术栈与运行模式

一、Spark简介 Spark官网 https://spark.apache.org/ 1.1 Spark是什么 Spark是一种通用的大数据计算框架，是基于RDD(弹性分布式数据集)的一种计算模型。 是一种由 Scala 语言开发的快速、通用、可扩展的大数据分析引擎。 1.2 Spark作用 中间结果输出 Spark的Jo…
阅读更多...
从零开始配置kali2023环境：配置jupyter的多内核环境

从零开始配置kali2023环境：配置jupyter的多内核环境

在kali2023上面尝试用anaconda3，anaconda2安装实现配置jupyter的多内核环境时出现各种问题，现在可以通过镜像方式解决 1. 搜索镜像 ┌──(holyeyes㉿kali2023)-[~] └─$ sudo docker search anaconda ┌──(holyeyes㉿kali2023)-[~] └─$ sudo …
阅读更多...
Redis数据删除策略（惰性删除+定期删除）

Redis数据删除策略（惰性删除+定期删除）

文章目录 Redis数据删除策略1. 惰性删除2. 定期删除3. Redis过期删除策略用的哪种？ Redis数据删除策略 1. 惰性删除 设置key过期时间后，不管它，需要用该key时，再检查是否过期，过期就删掉她，没过期返回 set …
阅读更多...
车载 Android之 核心服务 - CarPropertyService 的VehicleHAL

车载 Android之 核心服务 - CarPropertyService 的VehicleHAL

前言: 本文是车载Android之核心服务-CarPropertyService的第二篇，了解一下CarPropertyService的VehicleHAL, 第一篇在车载 Android之 核心服务 - CarPropertyService 解析-CSDN博客，有兴趣的 朋友可以去看下。 本节介绍 AndroidAutomotiveOS中对于 Veh…
阅读更多...
如何在 Ubuntu 20.04 上以独立模式设置 MinIO 对象存储服务器

如何在 Ubuntu 20.04 上以独立模式设置 MinIO 对象存储服务器

前些天发现了一个人工智能学习网站，通俗易懂，风趣幽默，最重要的屌图甚多，忍不住分享一下给大家。点击跳转到网站。 如何在 Ubuntu 20.04 上以独立模式设置 MinIO 对象存储服务器 介绍 存储非结构化对象数据 blob 并使其可通过 …
阅读更多...
jenkins +jmeter 报告乱码解决

jenkins +jmeter 报告乱码解决

问题：生产报告会乱码的问题，一般是有编码格式引起的。我遇到的问题是，jmeter需要读取csv的数据作为参数。但是我们并不知道csv保存是什么编码格式，有可能不是utf-8的编码格式，所以会导致中文乱码的问题 解决方案&#…
阅读更多...
sealor安装k8s

sealor安装k8s

文章目录 平台介绍sealos(github下载)百度网盘 部署删除污点命令补全验证 平台介绍 模块功能描述公共部分权限管理(登录)集成K8s自身RBAC授权公共部分命名空间选择展示不通命名空间资源仪表盘命名空间|计算资源|存储资源|节点状态展示主要指标状况k8s集群node|namespace|pv创建…
阅读更多...
【java爬虫】股票数据获取工具前后端代码

【java爬虫】股票数据获取工具前后端代码

前面我们有好多文章都是在介绍股票数据获取工具，这是一个前后端分离项目 后端技术栈：springboot，sqlite，jdbcTemplate，okhttp 前端技术栈：vue，element-plus，echarts，ax…
阅读更多...
Matlab论文插图绘制模板第133期—函数极坐标折线图

Matlab论文插图绘制模板第133期—函数极坐标折线图

在之前的文章中，分享了Matlab函数折线图的绘制模板： 函数三维折线图： 函数网格曲面图： 函数曲面图： 函数等高线图： 函数等高线填充图： 进一步，再来分享一下函数极坐标折线图。 先来…
阅读更多...
IPA打包过程中的Invalid Bundle Structure错误如果解决

IPA打包过程中的Invalid Bundle Structure错误如果解决

在iOS应用程序开发中，打包和发布应用程序是一个必要的步骤。有的时候在打包的过程中可能会遇到一些错误，其中一个比较常见的错误是"Invalid Bundle Structure"。这个错误通常意味着应用程序的文件结构不正确，而导致的无法成功打包应…
阅读更多...
webshell检测方式深度剖析 --- Pixy系列二（数据流分析）

webshell检测方式深度剖析 --- Pixy系列二（数据流分析）

开篇 书接上文，这次我们来聊聊数据流分析，数据流分析的内容非常广泛，我们力求深入浅出通俗易懂，在简短的篇幅内将这一概念描述清楚。 简单来说，数据流分析是一种用来获取相关数据沿着程序执行路径流动的信息分析技术…
阅读更多...
如何移除视频中的背景音乐或人物声音

如何移除视频中的背景音乐或人物声音

移除视频声音是将视频指定的声音移除，可以选择移除人物声音还是视频的背景音乐，方便实现二次创作。 小编给大家推荐一些方法帮助大家更轻松地移除视频中的背景音乐或人物声音，有兴趣的朋友请自行百度查找，或小程序查找 1、方法&a…
阅读更多...
autograd与逻辑回归

autograd与逻辑回归

一、autograd—自动求导系统 torch.autograd.backward() torch.autograd.backward()是PyTorch中用于计算梯度的函数。以下是对该函数的参数的解释： 功能：自动求取梯度 • tensors: 用于求导的张量，如 loss • retain_graph : 保存计算图 •…
阅读更多...
密码学：带密钥的消息摘要算法一数字签名算法

密码学：带密钥的消息摘要算法一数字签名算法

文章目录 前言手写签名和数字签名前置知识点：消息摘要算法数字签名算法数字签名算法的由来数字签名算法在实际运用的过程附加：签名和摘要值的解释 数字签名算法的家谱数字签名算法的消息传递模型经典数字签名算法-RSA实现 数字签名标准算法-DSA实现 圆曲…
阅读更多...
汽车架构解析：python cantools库快速解析arxml

汽车架构解析：python cantools库快速解析arxml

文章目录 前言一、安装cantools二、官方说明文档三、cantools方法1、解析message的属性2、解析pdu中的signals3、根据message查找signals4、报文组成bytes 总结 前言 曾经有拿cantools来解析过dbc，用得比较浅，不知道可以用来解析arxml。最近有个需求需要…
阅读更多...
Linux安装nginx(带http ssl)

Linux安装nginx(带http ssl)

nginx安装 nginx文件 以及gcc pcre zlib openssl 网盘下载 1.安装gcc yum -y install gcc gcc-c 2.安装pcre rpm -ivh pcre-8.32-17.el7.x86_64.rpm --force --nodeps rpm -ivh pcre-devel-8.32-17.el7.x86_64.rpm --force --nodeps 3.安装zlib tar -zxvf zlib-1.2.11.ta…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023