监控、审计和运行时安全
目录
文章目录
- 监控、审计和运行时安全
- 目录
- 1、分析容器系统调用：Sysdig
- Sysdig介绍
- 安装sysdig
- sysdig常用参数
- sysdig常用命令
- Chisels(实用的工具箱)
- 其它命令
- 2、监控容器运行时：Falco
- Falco介绍
- Falco架构
- 安装falco
- 自定义扩展规则文件
- 威胁场景测试
- Falco支持五种输出告警通知的方式
- Falco告警集中化展示
- 3、Kubernetes 审计日志
- 关于我
- 最后
- 最后
1、分析容器系统调用：Sysdig
Sysdig介绍
Sysdig：一个非常强大的系统监控、分析和故障排查工具。
汇聚 strace+tcpdump+htop+iftop+lsof 工具功能于一身！
sysdig 除了能获取系统资源利用率、进程、网络连接、系统调用等信息，
只支持本机运行。
还具备了很强的分析能力，例如：
- 按照CPU使用率对进程排序
- 按照数据包对进程排序
- 打开最多的文件描述符进程
- 查看进程打开了哪些文件
- 查看进程的HTTP请求报文
- 查看机器上容器列表及资源使用情况
项目地址：https://github.com/draios/sysdig
文档：https://github.com/draios/sysdig/wiki
sysdig 通过在内核的驱动模块注册系统调用的 hook，这样当有系统调用发生和完成的时候，它会把系统调用信息拷贝到特定的buffer，然后用户态组件对数据信息处理（解压、解析、过滤等），
并最终通过 sysdig 命令行和用户进行交互。
安装sysdig
自己是在centos7.6上安装的。
rpm --import https://s3.amazonaws.com/download.draios.com/DRAIOS-GPG-KEY.public
curl -s -o /etc/yum.repos.d/draios.repo https://s3.amazonaws.com/download.draios.com/stable/rpm/draios.repo
yum install epel-release -y
yum install sysdig -y
/usr/bin/sysdig-probe-loader # 加载驱动模块 注意：我当时安装时，执行这个命令会报错的，但不影响结果。
哪台机器有问题，就在哪台机器上装。
sysdig常用参数
• -l, --list：列出可用于过滤和输出的字段
• -M <num_seconds> ：多少秒后停止收集 例如：sysdig -M 3 -p "user:%user.name time:%evt.time proc_name:%proc.name"
• -p <output_format>, --print=<output_format> ：指定打印事件时使用的格式
• 使用-pc或-pcontainer 容器友好的格式
• 使用-pk或-pkubernetes k8s友好的格式
• -c <chiselname> <chiselargs>：指定内置工具，可直接完成具体的数据聚合、分析工作
• -w <filename>：保存到文件中 案例：sysdig -M 3 -p "user:%user.name time:%evt.time proc_name:%proc.name" -w a.sysdig
• -r <filename>：从文件中读取
sysdig常用命令
案例：sysdig命令
执行sysdig命令，实时输出大量系统调用。
示例：59509 23:59:19.023099531 0 kubelet (1738) < epoll_ctl
格式：%evt.num %evt.outputtime %evt.cpu %proc.name (%thread.tid) %evt.dir %evt.type %evt.info
• evt.num： 递增的事件号
• evt.time： 事件发生的时间
• evt.cpu： 事件被捕获时所在的 CPU，也就是系统调用是在哪个 CPU 执行的
• proc.name： 生成事件的进程名字
• thread.tid： 线程的 id，如果是单线程的程序，这也是进程的 pid
• evt.dir： 事件的方向（direction），> 代表进入事件，< 代表退出事件
• evt.type： 事件的名称，比如 open、stat等，一般是系统调用
• evt.args： 事件的参数。如果是系统调用，这些对应着系统调用的参数
自定义格式输出：sysdig -p "user:%user.name time:%evt.time proc_name:%proc.name"
输入sysdig后，就会显示好多log信息的，表示当前系统上哪些进程在进行系统调用。
案例：自定义格式输出
自定义格式输出：sysdig -p "user:%user.name time:%evt.time proc_name:%proc.name"
sysdig过滤
sysdig过滤：
• fd：根据文件描述符过滤，比如 fd 标号（fd.num）、fd 名字（fd.name）
• process：根据进程信息过滤，比如进程 id（proc.id）、进程名（proc.name）
• evt：根据事件信息过滤，比如事件编号、事件名
• user：根据用户信息过滤，比如用户 id、用户名、用户 home 目录
• syslog：根据系统日志过滤，比如日志的严重程度、日志的内容
• container：根据容器信息过滤，比如容器ID、容器名称、容器镜像
查看完整过滤器列表：sysdig -l
示例
示例：
1、查看一个进程的系统调用
sysdig proc.name=kubelet
2、查看建立TCP连接的事件
sysdig evt.type=accept
3、查看/etc目录下打开的文件描述符
sysdig fd.name contains /etc
4、查看容器的系统调用
sysdig -M 10 container.name=web
注：还支持运算操作符，=
、!=、>=、>、<、<=、contains、in 、exists、and、or、not
[root@k8s-master1 ~]#docker run -d --name=web nginx
sysdig -M 10 container.name=web
[root@k8s-master1 image-policy]#curl 172.17.0.2 #访问容器ip
Chisels(实用的工具箱)
Chisels：实用的工具箱，一组预定义的功能集合，用来分析特定的场景。
sysdig –cl 列出所有Chisels，以下是一些常用的：
• topprocs_cpu：输出按照 CPU 使用率排序的进程列表，例如 sysdig -c
• topprocs_net：输出进程使用网络TOP
• topprocs_file：进程读写磁盘文件TOP
• topfiles_bytes：读写磁盘文件TOP
• netstat：列出网络的连接情况
sysdig -c topprocs_cpu
sysdig -c topprocs_net
sysdig -c topprocs_files
sysdig -c topfiles_bytes
sysdig -c netstat
其它命令
网络：
# 查看使用网络的进程TOP
sysdig -c topprocs_net
# 查看建立连接的端口
sysdig -c fdcount_by fd.sport "evt.type=accept" -M 10
# 查看建立连接的端口
sysdig -c fdbytes_by fd.sport
# 查看建立连接的IP
sysdig -c fdcount_by fd.cip "evt.type=accept" -M 10
# 查看建立连接的IP
sysdig -c fdbytes_by fd.cip
硬盘：
# 查看进程磁盘I/O读写
sysdig -c topprocs_file
# 查看进程打开的文件描述符数量
sysdig -c fdcount_by proc.name "fd.type=file" -M 10
# 查看读写磁盘文件
sysdig -c topfiles_bytes
sysdig -c topfiles_bytes proc.name=etcd
# 查看/tmp目录读写磁盘活动文件
sysdig -c fdbytes_by fd.filename "fd.directory=/tmp/"
CPU：
# 查看CPU使用率TOP
sysdig -c topprocs_cpu
# 查看容器CPU使用率TOP
sysdig -pc -c topprocs_cpu container.name=web
sysdig -pc -c topprocs_cpu container.id=web
容器：
# 查看机器上容器列表及资源使用情况
csysdig –vcontainers
# 查看容器资源使用TOP
sysdig -c topcontainers_cpu/topcontainers_net/topcontainers_file
其他常用命令：
sysdig -c netstat
sysdig -c ps
sysdig -c lsof #查看所有打开的文件描述符
# 查看建立连接的端口
sysdig -c fdcount_by fd.sport "evt.type=accept" -M 10
# 查看建立连接的IP
sysdig -c fdcount_by fd.cip "evt.type=accept" -M 10
# 查看进程打开的文件描述符数量
sysdig -c fdcount_by proc.name "fd.type=file" -M 10
# 查看容器CPU使用率TOP
sysdig -pc -c topprocs_cpu container.name=web
sysdig -pc -c topprocs_cpu container.id=web
# 查看容器资源使用TOP
sysdig -c topcontainers_cpu/topcontainers_net/topcontainers_file
csysdig #图形化查看 （比top多了FILE和NET2列，其它没啥变化。）
# 查看机器上容器列表及资源使用情况
csysdig –vcontainers
容器命令我这里有报错哎：。。。
sysdig -c lsof #查看所有打开的文件描述符
2、监控容器运行时：Falco
Falco介绍
Falco 是一个 Linux 安全工具，它使用系统调用来保护和监控系统。
Falco最初是由Sysdig开发的，后来加入CNCF孵化器，成为首个加入CNCF的运行时安全项目。
Falco提供了一组默认规则，可以监控内核态的异常行为，例如：
- 对于系统目录/etc, /usr/bin, /usr/sbin的读写行为
- 文件所有权、访问权限的变更
- 从容器打开shell会话
- 容器生成新进程
- 特权容器启动
项目地址：https://github.com/falcosecurity/falco
Falco架构
安装falco
安装falco：
rpm --import https://falco.org/repo/falcosecurity-3672BA8F.asc
curl -s -o /etc/yum.repos.d/falcosecurity.repo https://falco.org/repo/falcosecurity-rpm.repo
yum install epel-release -y
#yum update
reboot
yum install falco -y
systemctl start falco
systemctl enable falco
#falco是一个守护进程
falco配置文件目录：/etc/falco
- falco.yaml falco配置与输出告警通知方式
- falco_rules.yaml 规则文件，默认已经定义很多威胁场景
- falco_rules.local.yaml 自定义扩展规则文件
- k8s_audit_rules.yaml K8s审计日志规则
安装文档：https://falco.org/zh/docs/installation
⚠️ 注意：
安装过程最好不要使用yum update命令升级，否则会同时升级k8s集群的，因此建议单独升级系统内核就行。
自定义扩展规则文件
告警规则示例（falco_rules.local.yaml）：
- rule: The program "sudo" is run in a container
desc: An event will trigger every time you run sudo in a container
condition: evt.type = execve and evt.dir=< and container.id != host and proc.name = sudo
output: "Sudo run in container (user=%user.name %container.info parent=%proc.pname
cmdline=%proc.cmdline)"
priority: ERROR
tags: [users, container]
参数说明：
- rule：规则名称，唯一
- desc：规则的描述
- condition： 条件表达式
- output：符合条件事件的输出格式
- priority：告警的优先级
- tags：本条规则的 tags 分类
威胁场景测试
威胁场景测试：
1、监控系统二进制文件目录读写（默认规则）
2、监控根目录或者/root目录写入文件（默认规则）
3、监控运行交互式Shell的容器（默认规则）
4、监控容器创建的不可信任进程（自定义规则）
使用：falco
验证：tail -f /var/log/messages（告警通知默认输出到标准输出和系统日志）
- 如果报错了，可以执行
falco-driver-loader命令
- 启用falco
测试过程：
1、监控系统二进制文件目录读写（默认规则）
[root@k8s-master1 ~]#tail -f /var/log/messages
[root@k8s-master1 ~]#touch /usr/bin/a
[root@k8s-master1 ~]#vim /etc/falco/falco_rules.yaml
2、监控根目录或者/root目录写入文件（默认规则）
[root@k8s-master1 ~]#touch /a
[root@k8s-master1 ~]#vim /etc/falco/falco_rules.yaml
3、监控运行交互式Shell的容器（默认规则）
[root@k8s-master1 ~]#docker run -d --name=web nginx
[root@k8s-master1 ~]#docker exec -it web bash
4、监控容器创建的不可信任进程（自定义规则）
监控容器创建的不可信任进程规则，在falco_rules.local.yaml文件添加：
[root@k8s-master1 ~]#vim /etc/falco/falco_rules.local.yaml
- rule: Unauthorized process on nginx containers
condition: spawned_process and container and container.image startswith nginx and not proc.name in (nginx)
desc: test
output: "Unauthorized process on nginx containers (user=%user.name container_name=%container.name
container_id=%container.id image=%container.image.repository shell=%proc.name parent=%proc.pname
cmdline=%proc.cmdline terminal=%proc.tty)"
priority: WARNING
Falco支持五种输出告警通知的方式
- 输出到标准输出（默认启用）
- 输出到文件
- 输出到Syslog（默认启用）
- 输出到HTTP服务
- 输出到其他程序（命令行管道方式）
告警配置文件：/etc/falco/falco.yaml
例如输出到指定文件：
file_output:
enabled: true
keep_alive: false
filename: /var/log/falco_events.log
[root@k8s-master1 ~]#vim /etc/falco/falco.yaml
以json格式输出：
测试：
[root@k8s-master1 ~]#touch /a
符合预期。
Falco告警集中化展示
- FalcoSideKick：一个集中收集并指定输出，支持大量方式输出，例如Influxdb、Elasticsearch等
项目地址 https://github.com/falcosecurity/falcosidekick
- FalcoSideKick-UI：告警通知集中图形展示系统
项目地址 https://github.com/falcosecurity/falcosidekick-ui
部署过程：
1、部署Falco UI：
#本次在k8s-node1节点上部署
#部署falcosidekick-ui
docker run -d \
-p 2802:2802 \
--name falcosidekick-ui \
falcosecurity/falcosidekick-ui
#部署falcosidekick
docker run -d \
-p 2801:2801 \
--name falcosidekick \
-e WEBUI_URL=http://192.168.31.71:2802 \
falcosecurity/falcosidekick
http://172.29.9.32:2802/ui/
2、修改falco配置文件指定http方式输出：
json_output: true
json_include_output_property: true
http_output:
enabled: true
url: "http://192.168.31.71:2801/"
🍀 老师实验现象
🍀 自己测试过程（失败了）
falcosidekick容器启动成功：
但是falcosidekick-ui容器无法启动成功：。。。
最后，启动redislabs/redisearch:2.2.4容器，下载falcosidekick-ui的二进制文件启动成功，但是falcosidekick-ui链接依然访问不了。。。。
https://github.com/falcosecurity/falcosidekick-ui
结束。
3、Kubernetes 审计日志
在Kubernetes集群中，API Server的审计日志记录了哪些用户、哪些服务请求操作集群资源，并且可以编写不同规则，控制忽略、存储的操作日志。
审计日志采用JSON格式输出，每条日志都包含丰富的元数据，例如请求的URL、HTTP方法、客户端来源等，你可以使用监控服务来分析API流量，以检测趋势或可能存在的安全隐患。
这些可能会访问API Server：
- 管理节点（controller-manager、scheduler）
- 工作节点（kubelet、kube-proxy）
- 集群服务（CoreDNS、HPA、Calico等）
- kubectl、API、Dashboard
💘 案例：Kubernetes 审计日志02923.6.13(测试成功)
vi /etc/kubernetes/manifests/kube-apiserver.yaml
…
- --audit-policy-file=/etc/kubernetes/audit/audit-policy.yaml
- --audit-log-path=/var/log/k8s_audit.log
- --audit-log-maxage=30
- --audit-log-maxbackup=10
- --audit-log-maxsize=100
- 实验环境
实验环境：
1、win10,vmwrokstation虚机；
2、k8s集群：3台centos7.6 1810虚机，1个master节点,2个node节点
k8s version：v1.20.0
docker://20.10.7
- 实验软件（无）
1、创建策略文件
[root@k8s-master1 ~]#mkdir /etc/kubernetes/audit
[root@k8s-master1 ~]#cd /etc/kubernetes/audit
[root@k8s-master1 audit]#vim audit-policy.yaml
本次先使用官方给的yaml内容：
https://kubernetes.io/zh-cn/docs/tasks/debug/debug-cluster/audit/
apiVersion: audit.k8s.io/v1 # 这是必填项。
kind: Policy
# 不要在 RequestReceived 阶段为任何请求生成审计事件。
omitStages:
- "RequestReceived"
rules:
# 在日志中用 RequestResponse 级别记录 Pod 变化。
- level: RequestResponse
resources:
- group: ""
# 资源 "pods" 不匹配对任何 Pod 子资源的请求，
# 这与 RBAC 策略一致。
resources: ["pods"]
# 在日志中按 Metadata 级别记录 "pods/log"、"pods/status" 请求
- level: Metadata
resources:
- group: ""
resources: ["pods/log", "pods/status"]
# 不要在日志中记录对名为 "controller-leader" 的 configmap 的请求。
- level: None
resources:
- group: ""
resources: ["configmaps"]
resourceNames: ["controller-leader"]
# 不要在日志中记录由 "system:kube-proxy" 发出的对端点或服务的监测请求。
- level: None
users: ["system:kube-proxy"]
verbs: ["watch"]
resources:
- group: "" # core API 组
resources: ["endpoints", "services"]
# 不要在日志中记录对某些非资源 URL 路径的已认证请求。
- level: None
userGroups: ["system:authenticated"]
nonResourceURLs:
- "/api*" # 通配符匹配。
- "/version"
# 在日志中记录 kube-system 中 configmap 变更的请求消息体。
- level: Request
resources:
- group: "" # core API 组
resources: ["configmaps"]
# 这个规则仅适用于 "kube-system" 名字空间中的资源。
# 空字符串 "" 可用于选择非名字空间作用域的资源。
namespaces: ["kube-system"]
# 在日志中用 Metadata 级别记录所有其他名字空间中的 configmap 和 secret 变更。
- level: Metadata
resources:
- group: "" # core API 组
resources: ["secrets", "configmaps"]
# 在日志中以 Request 级别记录所有其他 core 和 extensions 组中的资源操作。
- level: Request
resources:
- group: "" # core API 组
- group: "extensions" # 不应包括在内的组版本。
# 一个抓取所有的规则，将在日志中以 Metadata 级别记录所有其他请求。
- level: Metadata
# 符合此规则的 watch 等长时间运行的请求将不会
# 在 RequestReceived 阶段生成审计事件。
omitStages:
- "RequestReceived"
2、配置kube-apiserver
[root@k8s-master1 ~]#vim /etc/kubernetes/manifests/kube-apiserver.yaml
- --audit-policy-file=/etc/kubernetes/audit/audit-policy.yaml
- --audit-log-path=/var/log/k8s_audit.log
- --audit-log-maxage=30
- --audit-log-maxbackup=10
- --audit-log-maxsize=100
……
- mountPath: /etc/kubernetes/audit
name: audit
readOnly: true
- mountPath: /var/log/k8s_audit.log
name: audit-log
hostNetwork: true
priorityClassName: system-node-critical
volumes:
- hostPath:
path: /var/log/k8s_audit.log
type: FileOrCreate
name: audit-log
- hostPath:
path: /etc/kubernetes/audit
type: DirectoryOrCreate
name: audit
3、验证
[root@k8s-master1 ~]#tail -f /var/log/k8s_audit.log
可以看到有很多的审计日志，一直在写入。
我们安装下jq工具来解析下这些json数据：
yum install -y eple-release
yum install -y jq
- 接下来，我们自定义下规则
[root@k8s-master1 ~]#vim /etc/kubernetes/audit/audit-policy.yaml
apiVersion: audit.k8s.io/v1
kind: Policy
# 忽略步骤，不为RequestReceived阶段生成审计日志
omitStages:
- "RequestReceived"
rules:
# 不记录日志
- level: None
users:
- system:apiserver
- system:kube-controller-manager
- system:kube-scheduler
- system:kube-proxy
- kubelet
# 针对资源记录日志
- level: Metadata
resources:
- group: ""
resources: ["pods"]
# - group: "apps"
# resources: ["deployments"]
# 其他资源不记录日志
- level: None
配置后，我们需要重启下kube-apiserver-k8s-master1的。（可以重启这个pod或者kill掉这个容器进程）
tail -f /var/log/k8s_audit.log，发现此时就没有过多的日志输出了。
此时，发一个get请求：
测试结束。😘
关于我
我的博客主旨：
- 排版美观，语言精炼；
- 文档即手册，步骤明细，拒绝埋坑，提供源码；
- 本人实战文档都是亲测成功的，各位小伙伴在实际操作过程中如有什么疑问，可随时联系本人帮您解决问题，让我们一起进步！
🍀 微信二维码
x2675263825 （舍得）， qq：2675263825。
🍀 微信公众号
《云原生架构师实战》
🍀 语雀
https://www.yuque.com/xyy-onlyone
🍀 csdn
https://blog.csdn.net/weixin_39246554?spm=1010.2135.3001.5421
🍀 知乎
https://www.zhihu.com/people/foryouone
最后
好了，关于本次就到这里了，感谢大家阅读，最后祝大家生活快乐，每天都过的有意义哦，我们下期见！
632213)]
[外链图片转存中…(img-OD9kNnwo-1686631632213)]
[外链图片转存中…(img-00Zdjeu4-1686631632213)]
[外链图片转存中…(img-evZ3mmSm-1686631632213)]
测试结束。😘
最后
好了，关于本次就到这里了，感谢大家阅读，最后祝大家生活快乐，每天都过的有意义哦，我们下期见！
[外链图片转存中…(img-vKrtKUjN-1686631632215)]
