小阿轩yx-Kubernertes日志收集
前言
- 在 Kubernetes 集群中如何通过不同的技术栈收集容器的日志，包括程序直接输出到控制台日志、自定义文件日志等
有哪些日志需要收集
- 日志收集与分析很重要，为了更加方便的处理异常
简单总结一些比较重要的需要收集日志
- 服务器系统日志
- Kubernetes 组件日志
- 应用程序日志
除了这些日志外，可能还存在其它很多需要采集的日志，比如网关日志、服务之间调用链日志
日志采集工具有哪些
ELK 和 EFK
传统的架构中
- 比较成熟且流行的日志收集平台是 ELK（Elasticsearch+Logstash+Kibana），其中 Logstash 负责采集日志，并输出给 Elasticsearch，之后用 Kibana 进行展示。
- 几乎所有的服务都可以进行容器化
- ELK 技术栈同样可以部署到 Kubernetes 集群中，也可以进行相关的日志收集
但是由于 Logstash 比较消耗系统资源，并且配置稍微有点复杂，因此 Kubernetes 官方提出了 EFK（Elasticsearch+Fluentd+Kibana）的解决方案
相对于 ELK 中的 Logstash
- Fluentd 采用一锅端的形式，可以直接将某些日志文件中的内容存储至 Elasticsearch，然后通过 Kibana进行展示。
Fluentd 缺陷
- 它只能收集控制台日志（程序直接输出到控制台的日志），不能收集非控制台的日志，所以很难满足生产环境的需求
- 因为大部分情况下，没有遵循云原生理念开发的程序，往往会输出很多日志文件，这些容器内的日志无法采集
- 除非在每个 Pod 内添加一个 sidecar，将日志文件的内容进行 tail -f 转换成控制台日志，但这也是非常麻烦的。
另一个问题
- 大部分公司内都有很成熟的 ELK 平台，如果再搭建一个 EFK 平台，属于重复，当然用来存储日志的 Elasticsearch 集群不建议搭建在 Kubernetes 集群中，因为会非常浪费 Kubernetes 集群的资源，所以大部分情况下通过 Fluentd 采集日志输出到外部的 Elasticsearch 集群中。
总结
- Fluentd 功能有限，Logstash 太重，所以需要一个中和的工具进行日志的收集工作，此时就可以采用一个轻量化的收集工具：Filebeat。
Filebeat
早期的 ELK 架构中
- 日志收集均以 Logstash 为主，Logstash 负责收集和解析日志，对内存、CPU、IO 资源的消耗比较高，但是 Filebeat 所占系统的 CPU 和内存几乎可以忽略不计。
由于 Filebeat 本身是比较轻量级的日志采集工具，因此 Filebeat 经常被用于以 Sidecar 的形式配置在 Pod 中，用来采集容器内冲虚输出的自定义日志文件。
- Filebeat 同样可以采用 DaemonSet 的形式部署在 Kubernetes 集群中，用于采集系统日志和程序控制台输出的日志。
- Fluentd 和 Logstash 可以将采集的日志输出到 Elasticsearch 集群，Filebeat 同样可以将日志直接存储到 Elasticsearch 中，但是为了更好的分析日志或者减轻 Elasticsearch 的压力，一般都是将日志先输出到 Kafka，再由 Logstash 进行简单的处理，最后输出到 Elasticsearch 中。
新贵 Loki
- 上述讲的无论是 ELK、EFK 还是 Filebeat，都需要用到Elasticsearch 来存储数据
Elasticsearch
- 本身就像一座大山，维护难度和资源使用都是偏高的。
对于很多公司而言，热别是创新公司，可能并不想大费周章的去搭建一个 ELK、EFK或者其他重量级的日志平台，刚开始的人力投入可能是大于收益的，所以就需要一个更轻量级的日志收集平台。
一个基于 Kubernetes 平台的原生日志收集平台 Loki stack 应运而生，解决了上述的问题和难点，一经推出，就受到了用户的青睐。
Loki
- 是 Grafana Labs 开源的一个日志聚合系统。
优势
- 支持水平扩展、高可用、多租户的
Loki 的架构图
Loki 主要包含的组件
- Loki：主服务器，负责日志的存储和査询，参考了prometheus 服务发现机制，将标签添加到日志流，而不是想其他平台一样进行全文索引。
- Promtail：负责收集日志并将其发送给 Loki，主要用于发现采集目标以及添加对应 Labe1，最终发送给 Loki。
- Grafana：用来展示或查询相关日志，可以在页面査询指定标签 Pod 的日志。
和其他工具相比
- 虽然 Loki 不如其他技术栈功能灵活，但是 Loki 不对日志进行全文索引，仅索引相关日志的元数据，所以 Loki 操作起来更简单、更省成本。
- 而且 Loki 是基于 Kubernetes 进行设计的，可以很方便的部署在 Kubernetes 上，并且对集群的 Pod 进行日志采集，采集时会将 Kubernetes 集群中的一些元数据自动添加到日志中，让技术人员可以根据命名空间、标签字段进行日志的过滤，可以很快的定位到相关日志。
对于平台的选择，没有最好，只有最合适
- 比如公司内已经有了很成熟的 ELK平台，那么我们可以直接采用 Fluentd 或 Filebeat，然后将 Kubernetes 的日志输出到已存在的 Elasticsearch集群中即可。
- 如果公司并没有成熟的平台支持，又不想耗费很大的精力和成本去建立一个庞大的系统，那么 Loki stack 将会是一个很好的选择。
使用 EFK 收集控制台日志
- 首先我们使用 EFK 收集 Kubernetes 集群中的日志
- 本实验是在 Kubernetes 集群中启动一个 Elasticsearch 集群，如果企业已经有了 Elasticsearch 集群，可以直接将日志输出到已有的Elasticsearch集群中。
首先将 images-elk 镜像文件通过 Xftp 上传至 master、node01、node02（101、102、103）
将 efk-7.10.2 文件单独上传至 master（101）
部署 Elasticsearch+Fluentd+Kibana
下载需要的部署文档
https://github.com/dotbalo/k8s.git
- get clone
- 本案例已经下载好，可以直接使用
进入 ELK 目录
[root@k8s-master ~]# cd efk-7.10.2/创建 EFK 所用的命名空间
[root@k8s-master efk-7.10.2]# kubectl create -f create-logging-namespace.yaml
namespace/logging created创建 Elasticsearch 群集（已有该平台可以不创建）
[root@k8s-master efk-7.10.2]# kubectl create -f es-service.yaml
service/elasticsearch-logging created- 为 es 集群创建服务，以便为Fluentd 提供数据传入的端口
获取 SVC 状态信息
[root@k8s-master efk-7.10.2]# kubectl get svc -n logging
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
elasticsearch-logging ClusterIP None <none> 9200/TCP,9300/TCP 20s- 9200 端口：用于所有通过 HTTP 协议进行的 API 调用。包括搜索、聚合、监控、以及其他任何使用HTTP 协议的请求。所有的客户端库都会使用该端口与 Elasticsearch 进行交互。
- 9300 端口：是一个自定义的二进制协议，用于集群中各节点之间的通信。用于诸如集群变更、主节点选举、节点加入/离开、分片分配等事项。
将文件创建出来
[root@k8s-master efk-7.10.2]# kubectl create -f es-statefulset.yaml
serviceaccount/elasticsearch-logging created
clusterrole,rbac.authorization.k8s.io/elasticsearch-logging created
clusterrolebinding.rbac.authorization.k8s.io/elasticsearch-logging created
statefulset.apps/elasticsearch-logging created- 创建 es 集群
获取 pod 的状态
[root@k8s-master efk-7.10.2]# kubectl get pod -n logging
NAME READY STATUS RESTARTS AGE
elasticsearch-logging-0 1/1 Running 0 5m21s 创建 Kibana（已有该平台可以不创建）
[root@k8s-master efk-7.10.2]# kubectl create -f kibana-deployment.yaml -f kibana-service.yaml
deployment.apps/kibana-logging created
service/kibana-logging created 修改 Fluentd 的部署文件
- 由于在 Kubernetes 集群中，可能不需要对所有的机器都采集日志，因此可以更改 Fluentd 的部署文件。
添加一个 NodeSelector，只部署至需要采集日志的主机即可。
[root@k8s-master efk-7.10.2]# grep "nodeSelector" fluentd-es-ds.yaml -A 3
nodeSelector:
fluentd: "true"
volumes:
- name: varlog为需要采集日志的服务器设置标签
[root@k8s-master efk-7.10.2]# kubectl label node k8s-node01 fluentd=true
node/k8s-node01 labeled
[root@k8s-master efk-7.10.2]# kubectl label node k8s-node02 fluentd=true
node/k8s-node02 labeled
[root@k8s-master efk-7.10.2]# kubectl label node k8s-master fluentd=true获取 node 节点的标签信息
[root@k8s-master efk-7.10.2]# kubectl get node -l fluentd=true --show-labels
NAME STATUS ROLES AGE VERSION LABELS
k8s-master Ready <none> 8d v1.23.6 beta.kubernetes.io/arch=amd64,beta.kubernetes.io/os=linux,fluentd=true,kubernetes.io/arch=amd64,kubernetes,io/hostname=k8s-master01,kubernetes,io/os=linux,node.kubernetes.io/node=
k8s-node01 Ready <none> 8d v1.23.6 beta.kubernetes.io/arch=amd64,beta.kubernetes.io/os=linux,fluentd=true,kubernetes.io/arch=amd64,kubernetes,io/hostname=k8s-master01,kubernetes,io/os=linux,node.kubernetes.io/node=
k8s-node02 Ready <none> 8d v1.23.6 beta.kubernetes.io/arch=amd64,beta.kubernetes.io/os=linux,fluentd=true,kubernetes.io/arch=amd64,kubernetes,io/hostname=k8s-master01,kubernetes,io/os=linux,node.kubernetes.io/node=创建 Fluentd
[root@k8s-master efk-7.10.2]# kubectl create -f fluentd-es-ds.yaml -f fluentd-es-configmap.yaml
serviceaccount/fluentd-es created
clusterrole.rbac.authorization.k8s,io/fluentd-es created
clusterrolebinding.rbac.authorization.k8s,io/fluentd-es createddaemonset.apps/fluentd-es-v3.1.1 created
configmap/fluentd-es-config-v0.2.1 created fluentd 的 ConfigMap 有一个字段需要注意，在 fluentd-es-configmap.yaml 文件的最后有一个output.conf:
host elasticsearch-logging
port 9200此处的配置将收集到得数据输出到指定的 Elasticsearch 集群中，由于创建 Elasticsearch 集群时会自动创建一个名为 elasticsearch-logging 的 Service，因此默认 Fluentd 会将数据输出到前面创建的 Elasticsearch 集群中。
如果企业已经存在一个成熟的 ELK 平台，可以创建一个同名的 Service 指向该集群，然后就能输出到现有的 Elasticsearch 集群中。
例如
apiVersion: v1
kind: Service
metadata:
name: elasticsearch-logging
namespace: logging
spec:
type: ExternalName
externalName: www.es.com- externalName: www.es.com：指向了外部 es 主机的地址或域名
<match **>
...
host elasticsearch-logging
port 9200
logstash format true
...
</match>- host elasticsearch-logging：指定 fluentd 获取的日志要发往的主机
- port 9200：目标es 主机的端口号
- logstash_format true：指定是否使用常规的 index 命名格式,(1ogstash-%.%m.%d)，默认为 false
Kibana 的使用
确认创建的 Pod 已经成功启动
[root@k8s-master efk-7.10.2]# kubectl get pod -n logging
NAME READY STATUS RESTARTS AGE
elasticsearch-logging-0 1/1 Running 0 34m
fluentd-es-v3.1.1-7pm5p 1/1 Running 0 92s
fluentd-es-v3.1.1-wddc9 1/1 Running 0 15m
kibana-logging-7df48fb7b4-frfj6 1/1 Running 0 33m查看 kibana 暴露的端口
[root@k8s-master efk-7.10.2]# kubectl get svc -n logging
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
elasticsearch-logging ClusterIP None <none> 9200/TCP,9300/TCP 35m
kibana-logging NodePort 10.104.162.209 <none> 5601:32734/TCP 34m访问 kibana
- 使用任意一个部署了 kube-proxy 服务的节点的 IP+32734 端口即可访问 kibana。
https://192.168.10.101:32734/kibana
创建一个 Pod 进行日志采集
编写 nginx 部署文件
[root@k8s-master efk-7.10.2]# cat nginx-service.yaml
apiVersion: v1
kind: Service
metadata:
name: mynginx
namespace: default
labels:
app: mynginx
spec:
type: LoadBalancer
ports:
- port: 80
targetPort: http
protocol: TCP
name: http
selector:
app: mynginx
---
apiVersion: apps/v1
kind: Deployment
metadata:
name: mynginx-deployment
namespace: default
labels:
app: mynginx
spec:
replicas: 2
selector:
matchLabels:
app: mynginx
template:
metadata:
labels:
app: mynginx
spec:
containers:
- name: mynginx
image: nginx:1.15.2
ports:
- name: http
containerPort: 80
protocol: TCP部署该 Dployment
[root@k8s-master efk-7.10.2]# kubectl create -f nginx-service.yaml查看 pod 状态
[root@k8s-master efk-7.10.2]# kubectl get pod
NAME READY STATUS RESTARTS AGE
mynginx-deployment-86655474f9-74whc 1/1 Running 0 34m
mynginx-deployment-86655474f9-zc5xh 1/1 Running 0 92s查看暴露的端口
[root@k8s-master efk-7.10.2]# kubectl get svc -n default
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
kubernetes ClusterIP 10.96.0.1 <none> 443/TCP 13d
mynginx LoadBalancer 10.109.192.36 <none> 80:32019/TCP 12m客户端访问测试
[root@k8s-master efk-7.10.2]# curl 192.168.10.101:32019到 kibana 上查看
使用 Filebeat 收集自定义文件日志
基于云原生 12 要素开发的程序，一般会将日志直接输出到控制台，并非是指定一个文件存储日志，这一点和传统架构还是有区别的。
公司内的程序并非都是基于云原生要素开发
- 一些年代已久的程序，这类程序如果部署至 Kubernetes 集群中，就需要考虑如何将输出至本地文件的日志采集到 Elasticsearch。
之前了解到 Filebeat 是一个非常轻量级的日志收集工具，可以将其和应用程序部署至一个 Pod中，通过 Volume 进行日志文件的共享，之后 Filebeat 就可以采集里面的数据，并推送到日志平台。
本案例为了减轻 Elasticsearch 的压力
- 引入 Kafka 消息队列来缓存日志数据，之后通过Logstash 简单处理一下日志，最后再输出到 Elasticsearch 集群。
- 这种架构在生产环境中也是常用的架构，因为日志数量可能比较多，同时也需要对其进行加工。
- 当然 Fluentd 也可以将日志输出到 Kafka。
安装 helm 客户端（如果已有此工具，可跳过此步骤）
下载安装包
https://get.helm.sh/helm-v3.6.2-linux-amd64.atr.gzhttp://https://get.helm.sh/helm-v3.6.2-linux-amd64.atr.gz
解压
[root@k8s-master ~]# tar zxvf helm-v3.9.4-linux-amd64.tar.gz查看版本
[root@k8s-master ~]# helm version
version.BuildInfo{Version:"v3.6.2",
GitCommit:"ee407bdf364942bcb8e8c665f82e15aa28009b71",GitTreestate:"clean",
GoVersion:"go1.16.5"}创建 Kafka 和 Logstash
进入 filebeat 目录
[root@k8s-master ~]# cd elk-7.10.2/filebeat/查看 zookeeper 状态
[root@k8s-master filebeat]# kubectl get pod -n logging -l app.kubernetes.io/name=zookeeper- -l：指定标签
- 等一会，部署好显示状态为 Running
部署 kafka
[root@k8s-master filebeat]# helm install kafka kafka/ -n logging查看 kafka 状态
[root@k8s-master filebeat]# kubectl get pod -n logging -l app.kubernetes.io/component=kafka- 等一会，部署好显示状态为 Running
创建 logstash 服务
[root@k8s-master filebeat]# kubectl create -f logstash-service.yaml -f logstash-cm.yaml -f logstash.yaml -n logging注入 Filebeat Sidecar
创建一个模拟程序
[root@k8s-master filebeat]# kubectl create -f filebeat-cm.yaml -f app-filebeat.yaml -n logging查看 pod 状态
[root@k8s-master filebeat]# kubectl get pod -n logging
[root@k8s-master filebeat]# kubectl get svc -n logging
[root@k8s-master filebeat]# kubectl get svc- 这个 mynginx 的 svc 是创建在了 default 的命名空间的。
查看日志中的内容
[root@k8s-master filebeat]# kubectl exec app-ddf4b6db9-thtbs -n logging -- tail /opt/date.log最后返回主目录删除 EFK
[root@k8s-master ~]# rm -rf images-efk/- 最后删除整个 EFK 目录文件，不要影响后面的 Loki 实验
Loki
安装 Loki Stack（如果已安装，忽略此步骤）
首先将 images-loki 镜像文件通过 Xftp 上传至 master、node01、node02（101、102、103）
将 loki 文件单独上传至 master（101）
解压
[root@k8s-master ~]# tar zxvf helm-v3.9.4-linux-amd64.tar.gz将文件拷贝到指定目录下
[root@k8s-master ~]# cp linux-amd64/helm /usr/bin添加安装源
[root@k8s-master ~]# helm repo add grafana下载 loki-stack（如已有离线包，忽略此步骤）
https://grafana.github.io/helm-charts
[root@k8s-master ~]# helm repo update
grafana" has been added to your repositories
Hang tight while we grab the latest from your chart repositories......Successfully got an update from the "grafana" chart repository其他安装源
helm repo add loki https://grafana.github.io/loki/charts && helm repo update
查看列表
[root@k8s-master ~]# helm repo list查看版本信息
[root@k8s-master ~]# helm search repo loki-stack
NAME CHART VERSION APP VERSION DESCRIPTION
grafana/loki-stack2.8.3 v2.6.1 loki: like Prometheus,but for logs.拉取
[root@k8s-master ~]# helm pull grafana/loki-stack --version 2.8.3创建 Loki 命名空间
[root@k8s-master ~]# kubectl create ns loki
namespace/loki created解压 Loki 源码包
[root@k8s-master ~]# tar zxvf loki-stack-2.8.3.tgz创建 Loki Stack
[root@k8s-master ~]# helm upgrade --install loki loki-stack --set grafana.enabled=true --set grafana.service.type=NodePOrt -n loki
Release "loki" does not exist. Installing it now.
W0903 18:20:24.050253
36913 warnings.go:70]policy/v1betal PodsecurityPolicy is deprecated in v1.21+,unavailable in v1.25+W0903 18:20:24.05224336913 warnings.go:70]policy/v1beta1 PodsecurityPolicy isdeprecated in v1.21+,unavailable in v1.25+36913 warnings.go:70]policy/v1betal PodsecurityPolicy isW0903 18:20:24.055204deprecated in v1.21+,unavailable in v1.25+
W0903 18:20:24.14278636913 warnings.go:70]policy/v1beta1 PodsecurityPolicy isdeprecated in v1.21+,unavailable in v1.25+
W0903 18:20:24.14297636913 warnings.go:70]policy/v1betal PodsecurityPolicy isdeprecated in v1.21+,unavailable in v1.25+
36913 warnings.go:70]policy/v1beta1 PodsecurityPolicy isW0903 18:20:24.143197deprecated in v1.21+,unavailable in v1.25+NAME: loki
LAST DEPLOYED:Sat sep 3 18:20:23 2022NAMESPACE: loki
STATUS:deployed
REVISION:1
NOTES :
The Loki stack has been deployed to your cluster. Loki can now be added as a datasourcein Grafana.
See http://docs.grafana.org/features/datasources/loki/ for more detail.查看 Pod 状态
[root@k8s-master ~]# kubectl get pod -n loki
NAME READY STATUS RESTARTS AGE
loki-0 1/1 Running 0 2m12s
loki-grafana-64977c65f6-f26jk 1/1 Running 0 34m
loki-promtail-6bv2f 1/1 Running 0 92s
loki-promtail-xhlfc 1/1 Running 0 2m12s
loki-promtail-zscq9 1/1 Running 0 2m12s查看暴露的端口
[root@k8s-master efk-7.10.2]# kubectl get svc -n loki
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
loki ClusterIP 10.111.100.11 <none> 3100/TCP 2m40s
loki-grafana LoadBalancer 10.96.88.143 <none> 80:32734/TCP 2m40s
loki-headless ClusterIP None <none> 3100/TCP 2m40s
loki-memberlist ClusterIP None <none> 7946/TCP 2m40s查看 grafana 的密码
[root@k8s-master ~]# kubectl get secret loki-grafana --namespace loki -o jsonpath="{.data.admin-password}" | base64 --decode;echo
AfA2tYlsaPdy6hk1DB0xYfB7YZLf0501JsGtwcBV修改密码
[root@k8s-master ~]# kubectl exec -it loki-grafana-595d45d694-htg29 -n loki -c grafana grafana-cli admin reset-admin-password admin- 账号为：admin
登录
- https://192.168.10.101:32734
创建一个 Pod 进行日志采集
（还是前面的 pod）
编写 nginx 部署文件
[root@k8s-master ~]# cat nginx-service.yaml
apiVersion: v1
kind: Service
metadata:
name: mynginx
namespace: default
labels:
app: mynginx
spec:
type: LoadBalancer
ports:
- port: 80
targetPort: http
protocol: TCP
name: http
selector:
app: mynginx
---
apiVersion: apps/v1
kind: Deployment
metadata:
name: mynginx-deployment
namespace: default
labels:
app: mynginx
spec:
replicas: 2
selector:
matchLabels:
app: mynginx
template:
metadata:
labels:
app: mynginx
spec:
containers:
- name: mynginx
image: nginx:1.15.2
ports:
- name: http
containerPort: 80
protocol: TCP部署该 Dployment
[root@k8s-master ~]# kubectl create -f nginx-service.yaml查看 pod 状态
[root@k8s-master ~]# kubectl get pod
NAME READY STATUS RESTARTS AGE
mynginx-deployment-86655474f9-74whc 1/1 Running 0 2m12s
mynginx-deployment-86655474f9-zc5xh 1/1 Running 0 2m12s查看暴露的端口
[root@k8s-master ~]# kubectl get svc -n default
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
kubernetes ClusterIP 10.96.0.1 <none> 443/TCP 13d
mynginx LoadBalancer 10.109.192.36 <pending> 80:32019/TCP 12m客户端访问测试
[root@k8s-master ~]# curl 192.168.10.101:32019在 Loki 中查看此 Pod 的日志
{namespace="default",pod="mynginx-deployment-668d5454cb-lldng"}
{namespace="kube-system"}
{namespace="kube-system",pod="calico-node-gwtqw"}小阿轩yx-Kubernertes日志收集
