《OpenShift / RHEL / DevSecOps 汇总目录》
说明：本文已经在支持 OpenShift 4.12 + Loki Operator 5.7.2 + Network observability 1.2.0 的环境中验证
文章目录
- Network Observability 相关组件和架构
- 安装 Network Observaility 功能
- 安装 Operator
- 配置对象存储
- 配置 Loki 环境
- 配置 Network Observability 的 FlowCollector
- 使用 Network Observability
- 部署测试应用
- 用 Network Observability 跟踪网络流量
- 查看整体的网络流量
- 查看和特定资源相关的网络流量
- 视频
- 参考
Network Observability 相关组件和架构
Network Observability 的核心功能是收集网络流，然后用可视化方式呈现出来。Network Observability 可以对 OpenShift 的 pod、Deployment、DeploymentConfig、StatefulSet、CronJobs、Jobs、DemonSet、ReplicaSet、Route、Service 资源的网络流量进行监控。
为了收集网络流，首先使用 eBPF 代理来钩住网络事件，它可以在内核层面捕获和输出进出接口的数据。eBPF 允以安全的方式扩展内核，并且性能更强。
在这个输出数据的接收端，名叫 Flowlogs Pipeline（FLP）的流量收集器来处理接收到的数据，并删除多余的和不相关的数据，使其可被 Kubernetes 使用。如果有突发的或大量的流量，可以要考虑使用 Apache Kafka 作为 eBPF 代理和 FLP 之间的中介，以提供缓冲之用。
FLP处理完的网络数据是通过 Loki 保存在对象存储中，最后在 OpenShift 的 Web Console 中展现出来。
安装 Network Observaility 功能
为了安装 Network Observability 需要先安装 Loki 环境，而 Loki 环境又需要对象存储。 因此不但需要安装相关的 Operator，还需要配置 Loki 使用的对象存储。
安装 Operator
- 使用默认配置安装 Loki Operator，该 Operator 将会安装在 openshift-operators-redhat 命名空间中。
- 使用默认配置安装 Network Observaility Operator，该 Operator 将会安装在 openshift-netobserv-operator 命名空间中。
配置对象存储
本文使用 AWS S3 作为 Loki 使用的对象存储。
- 执行命令创建访问 AWS 的凭证文件，其中我们会用到 us-east-1 区的 AWS S3 服务。
$ aws configure
AWS Access Key ID [None]: AKIAVROBYTZYQBBNWLF6
AWS Secret Access Key [None]: 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
Default region name [None]: us-east-1
Default output format [None]: json
$ cat .aws/credentials
[default]
aws_access_key_id = AKIAVROBYTZYQBBNWLF6
aws_secret_access_key = 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
- 使用主机名在 AWS 上创建 S3 存储的 bucket。
$ GUID=`hostname | cut -d. -f2`
$ aws --profile default s3api create-bucket --bucket $GUID --region us-east-1 --create-bucket-configuration LocationConstraint=us-east-1
{
"Location": "http://kh7zm.s3.amazonaws.com/"
}
- 执行命令创建项目。
$ oc new-project netobserv
- 基于以下 YAML 创建访问 AWS bucket 的 Secret 对象。
apiVersion: v1
kind: Secret
metadata:
name: lokistack-dev-s3
namespace: netobserv
stringData:
access_key_id: w3EDfSERUiLSAEXAMPLE (Replace with your aws creds)
access_key_secret: mshdyShDTYKWEywajsqpshdNSUWJDA+1+REXAMPLE (Replace with your aws creds)
bucketnames: j68pw (we called it j68pw in our example)
endpoint: https://s3.us-east-1.amazonaws.com/
region: us-east-1
配置 Loki 环境
- 在 netobserv 项目中使用 Loki Operator 根据以下 2 个截图创建一个 Loki Stack 对象。
上述配置过程会生成以下 YAML，其中 gp2-csi 是 OpenShift 已有的 StorageClass。
apiVersion: loki.grafana.com/v1
kind: LokiStack
metadata:
name: loki
namespace: netobserv
spec:
size: 1x.extra-small
storage:
schemas:
- effectiveDate: '2020-10-11'
version: v11
secret:
name: lokistack-dev-s3
type: s3
storageClassName: gp2-csi
tenants:
mode: openshift-network
- 完成后在 OpenShift 控制台 “开发者”视图的 “拓扑” 中可以看到如下部署的资源。
- 根据以下 YAML 创建 ClusterRole 和 ClusterRoleBinding 对象。
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
name: loki-netobserv-tenant
rules:
- apiGroups:
- 'loki.grafana.com'
resources:
- network
resourceNames:
- logs
verbs:
- 'get'
- 'create'
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
name: loki-netobserv-tenant
roleRef:
apiGroup: rbac.authorization.k8s.io
kind: ClusterRole
name: loki-netobserv-tenant
subjects:
- kind: ServiceAccount
name: flowlogs-pipeline
namespace: netobserv
配置 Network Observability 的 FlowCollector
- 执行命令查看 loki-gateway-http 和 loki-query-frontend-http 服务的端口，以及访问 gateway。
$ oc get svc loki-gateway-http -n netobserv
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
loki-gateway-http ClusterIP 172.30.85.73 <none> 8080/TCP,8081/TCP,8083/TCP 3m49s
$ oc get svc loki-query-frontend-http -n netobserv
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
loki-query-frontend-http ClusterIP 172.30.156.155 <none> 3100/TCP 3m57s
$ oc get configmap loki-gateway-ca-bundle -n netobserv
NAME DATA AGE
loki-gateway-ca-bundle 1 4m1s
- 在 netobserv 项目下根据以下 2 个截图使用 Network Observability Operator 创建一个 FlowCollector 对象。注意：需要修改其中 loki 的 tenantID、url、authToken、tls-caCert-name、tls-enabled、statusUrl 配置。
- 配置完后可在 netobserv 项目中看到以下部署的资源。
另外还会自从创建 netobserv-privileged 项目，并在其中以 DemonSet 的方式运行 ebpf 代理。
$ oc get daemonsets -n netobserv-privileged netobserv-ebpf-agent
NAME DESIRED CURRENT READY UP-TO-DATE AVAILABLE NODE SELECTOR AGE
netobserv-ebpf-agent 1 1 1 1 1 <none> 33m
- 刷新 OpenShift 控制台，在 “观察” 中会出现新的 “Network Traffic” 菜单，点击该菜单即可看到 Network Traffic 页面。
使用 Network Observability
部署测试应用
$ oc new-project mesh-arena
$ oc apply -f https://raw.githubusercontent.com/jotak/demo-mesh-arena/zizou/quickstart-naked.yml -n mesh-arena
用 Network Observability 跟踪网络流量
查看整体的网络流量
- 进入 “观察” 的 “Network Traffic” 菜单，在 Quick filters 选中 Pods network，在 Common Namespace·中输入 mesh-arena，然后选择合适的 Time range 和 Refresh interval。
- 进入 Traffic flows 可以看到收集到的流量数据。每个数据包括 Source 和 Destination，以及发送的数据字节量。
- 进入 Toplogy，可以在 Show advanced options 中设置 Display options（例如以下显示选项）。
- 选中一条线后可以在右侧看到 Source 和 Destination 对应的 pod。注意：连线代表在统计时间范围内在 Source 和 Destination 之间有网络流量，而箭头代表网络流向。从图上可以看到有些线是双向箭头，有些是单向箭头。
注意：如连线有双向箭头，则连线上显示的数字优先显示 B->A 的网络流量。
而单项箭头的联系会显示 A->B 的网络流量。
选中一个特定组件，会显示和该节点相关的流入和流出网络流量。
查看和特定资源相关的网络流量
- 选择测试应用的一个 Pod（例如 ui-base-xxx），然后查看 Network Traffic 的 Topology。可以在 advanced options 中的 Display options 中选择 Scope 为 Node，Groups 为 None，这样将显示该资源在节点之间的网络流量。
- 在 advanced options 中的 Display options 中选择 Scope 为 Namespace，Groups 为 None，这样将显示该资源在 Namespace 之间的网络流量。
- 点击上图有 Step into this namespace 的图标，将显示下图，以 Namespace 为分组的各 Deployment 之间的网络流量。
- 点击上图 ui-base 部署图标的右下方箭头，将进一步以 Deployment 为分组显示 Pod 之间的网络流量。
- 可在 advanced options 中设置 Display options 的 Scope 为 Resource，Groups 为 Namespace+Owner。然后在选中不同的 Namespace 或 Deployment，可以在右方看到该分组所有的网络流量。
视频
视频
参考
https://cloud.redhat.com/blog/check-out-the-new-network-observability-support-in-openshift-4.12
https://cloud.redhat.com/blog/a-guide-to-providing-insight-with-network-observability
https://docs.openshift.com/container-platform/4.13/networking/network_observability/network-observability-overview.html
https://www.youtube.com/watch?v=4FC6j1NvlNE&t=443s
https://github.com/netobserv/documents
https://github.com/liuxiaoyu-git/ocp4-network-security/blob/netobserv/netobserv/netobserv.md
https://github.com/netobserv/network-observability-operator
