一、 背景
随着业务的增长和时间的变化，ES 数据库的存储空间越来越大，存储数据多数为系统监控日志，保存的数据不需要长期保留，多数情况只需要保留几个月ES数据即可，既可以减轻ES服务器的负载和资源使用率，还可以节约更多的存储空间。
二、解决方案
由于我的环境是k8s集群，ES 主要是为k8s集群内部应用服务，没有映射外部访问端口，所以不能直接使用Linux自带的crontab定时ES数据清理脚本。需要创建一个容器定时任务来定时清理ES历史数据。
k8s定时任务，会根据你设置的时间，定时启动pod实例来执行任务，pod完成执行任务后，pod的状态会由 running 状态变成 Completed 状态。查看定时任务脚本执行日志，可通过查看pod日志实现。
创建两个定时任务，一个定时任务在删除ES索引前执行，用于核对和审计定时任务删除的索引；另一个是关键的定时任务，用于删除ES历史数据。第一个定时任务可以根据实际情况选择性决定是否要创建。
三、实现操作
1、获取ES索引信息
获取ES索引定时任务编排文件: elastic-get-indeices.yaml
apiVersion: batch/v1beta1
kind: CronJob
metadata:
annotations:
description: "先获取一次索引信息，然后再删除索引；以便核对每次删除的索引"
labels:
app: elastic-get-indeices
name: elastic-get-indeices
spec:
concurrencyPolicy: Forbid
failedJobsHistoryLimit: 5
schedule: "0 0 * * *"
jobTemplate:
metadata:
labels:
app: elastic-get-indeices
spec:
activeDeadlineSeconds: 360
backoffLimit: 3
completions: 1
parallelism: 1
template:
metadata:
annotations:
kubesphere.io/imagepullsecrets: '{}'
spec:
containers:
- command:
- /bin/sh
- -c
- curl -XGET -u ${esuser}:${espass} ${esurl}/_cat/indices | sort -k 3
env:
- name: esuser
value: "elastic" # ES 用户，使用默认用户即可
- name: espass
value: "ES密码" # 替换成 ES 真实的 密码
- name: esurl
value: "http://eshost:9200" # 替换成 ES 真实 url 地址
image: centos:7.9.2009 ## 使用任何一个带有 curl 命令的基础镜像都可以
imagePullPolicy: IfNotPresent
name: conjob
resources: {}
terminationMessagePath: /dev/termination-log
terminationMessagePolicy: File
volumeMounts:
- mountPath: /etc/localtime
name: host-time
readOnly: true
dnsPolicy: ClusterFirst
restartPolicy: Never
schedulerName: default-scheduler
securityContext: {}
serviceAccount: default
serviceAccountName: default
terminationGracePeriodSeconds: 30
volumes:
- hostPath:
path: /etc/localtime
type: ""
name: host-time
startingDeadlineSeconds: 30
successfulJobsHistoryLimit: 5
suspend: false
创建获取ES索引信息的定时任务：
# 创建 获取 ES 索引 信息定时任务
kubectl apply -f elastic-get-indeices.yaml2、删除 ES 30天之前的历史数据
删除ES历史数据编排文件： elastic-delete-data.yaml
apiVersion: batch/v1beta1
kind: CronJob
metadata:
annotations:
description: "定时删除 ES 历史数据;保留30天的历史数据"
labels:
app: elastic-delete-data
name: elastic-delete-data
spec:
concurrencyPolicy: Forbid
failedJobsHistoryLimit: 5
schedule: "0 1 * * *" # 每天凌晨 1 点 自动动清理 ES 30天前的历史数据
jobTemplate:
metadata:
labels:
app: elastic-delete-data
spec:
activeDeadlineSeconds: 360
backoffLimit: 3
completions: 1
parallelism: 1
template:
metadata:
annotations:
kubesphere.io/imagepullsecrets: '{}'
spec:
containers:
- command:
- /bin/sh
- -c
- curl -XDELETE -u ${esuser}:${espass} ${esurl}/*$(date +%Y%m%d -d "30 days ago")*
env:
- name: esuser
value: "elastic" # ES 用户，使用默认用户即可
- name: espass
value: "ES密码" # 替换成 ES 真实的 密码
- name: esurl
value: "http://eshost:9200" # 替换成 ES 真实 url 地址
image: centos:7.9.2009 # 使用任何一个带有 curl 命令的基础镜像都可以
imagePullPolicy: IfNotPresent
name: conjob
resources: {}
terminationMessagePath: /dev/termination-log
terminationMessagePolicy: File
volumeMounts:
- mountPath: /etc/localtime
name: host-time
readOnly: true
dnsPolicy: ClusterFirst
restartPolicy: Never
schedulerName: default-scheduler
securityContext: {}
serviceAccount: default
serviceAccountName: default
terminationGracePeriodSeconds: 30
volumes:
- hostPath:
path: /etc/localtime
type: ""
name: host-time
startingDeadlineSeconds: 30
successfulJobsHistoryLimit: 5
suspend: false# 创建 定时删除 ES 历史数据任务
kubectl apply -f elastic-delete-data.yaml3、查看创建好的定时任务
# 注意命名空间，若不是当前默认命名空间 记得 指定命名空间
kubectl get cronjobs.batch
4、已成功完成的定时任务
5、通过删除前和删除后的索引情况来核对删除了那些索引
说明：
curl -X DELETE 删除ES索引是没有详细日志的，所以需要在删除前执行 curl -X GET 获取删除前索引信息，一旦出现异常就可以更好判断当次定时任务实际删除了那些内容，实际上是否成功按照保留天数执行了。
