ELK(ElasticSearch分布式搜索引擎、Logstash数据收集处理引擎和Kibana可视化化平台)是在大型后端架构中,一个标准的数据采集方案。
在公网IP为x.x.x.x的服务器上部署Elasticsearch+ Logstash+filebeat+redis+Kibana架构。这种架构先通过Logstash收集日志,然后通过Elasticsearch分析日志,最后在Kibana中展示数据。可以在客户端部署filebeat(轻量级数据收集引擎),filebeat消耗比Logstash更少的资源就能够收集到日志。可以通过部署redis来避免数据的丢失,当Logstash出现故障时,日志还是存在于redis中,当Logstash再次启动,就会读取redis中存储的日志。
docker安装
第一步,卸载旧版本docker。
命令:yum remove docker docker-client docker-client-latest docker-common docker-latest docker-latest-logrotate docker-logrotate docker-engine
第二步,安装gcc依赖。
命令:yum -y install gcc gcc-c++
第三步,使用docker仓库进行安装。
# 设置仓库,安装所需的软件包。
命令:yum install -y yum-utils device-mapper-persistent-data lvm2
# 可以选择阿里云源地址
命令:yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
第四步,安装docker。
# 安装最新版本的docker Engine-Community和containerd
命令:yum install docker-ce docker-ce-cli containerd.io
# 列出存储库中可用的版本并按版本号从高到低进行排序
命令:yum list docker-ce --showduplicates | sort -r
# 通过其完整的软件包名称安装特定版本,如docker-ce-24.0.0。
命令:yum install docker-ce-24.0.0 docker-ce-cli-24.0.0 containerd.io
第五步,启动docker。
命令:systemctl enable docker
systemctl start docker
systemctl restart docker
第六步,验证docker是否正确安装。
命令:docker version
docker run hello-world
若结果显示“Hello from docker!”,则说明docker安装成功。
Elasticsearch安装
第一步,创建docker网络。
命令:docker network create -d bridge elastic
第二步,拉取8.4.3版本的elasticsearch。
命令:docker pull elasticsearch:8.4.3
第三步,执行docker脚本。
命令:docker run -it \
-p 9200:9200 \
-p 9300:9300 \
--name elasticsearch \
--net elastic \
-e ES_JAVA_OPTS="-Xms1g -Xmx1g" \
-e "discovery.type=single-node" \
-e LANG=C.UTF-8 \
-e LC_ALL=C.UTF-8 \
elasticsearch:8.4.3
注意:第一次执行脚本不要加参数“-d”,这样首次运行时就会生成随机密码和随机enrollment token,需要将生成的随机密码和随机enrollment token保存。
第四步,创建一个Elasticsearch挂载目录。
命令:mkdir -p /usr/local/elk8.4.3/elasticsearch
第五步,将容器内的文件复制到主机上。
命令:docker cp elasticsearch:/usr/share/elasticsearch/config /usr/local/elk8.4.3/elasticsearch/
docker cp elasticsearch:/usr/share/elasticsearch/data /usr/local/elk8.4.3/elasticsearch/
docker cp elasticsearch:/usr/share/elasticsearch/plugins /usr/local/elk8.4.3/elasticsearch/
docker cp elasticsearch:/usr/share/elasticsearch/logs /usr/local/elk8.4.3/elasticsearch/
第六步,编辑文件夹/usr/local/elk8.4.3/elasticsearch/config中的配置文件elasticsearch.yml。
编辑配置文件elasticsearch.yml,在文件中添加下面的代码:
xpack.monitoring.collection.enabled: true
第七步,重启docker容器,使上面的配置生效。
命令:docker restart elasticsearch
第八步,登录网址:https://x.x.x.x:9200进行测试。
用户名是“elastic”, 密码是第一次启动elastic时生成的密码“t+7vo-mo--6tXTQdKq62”。
Kibana安装
第一步,在docker中拉取8.4.3版本的kibana镜像。
命令:docker pull kibana:8.4.3
第二步,在docker中执行启动脚本命令。
命令:docker run -it \
-d \
--restart=always \
--log-driver json-file \
--log-opt max-size=100m \
--log-opt max-file=2 \
--name kibana \
-p 5601:5601 \
--net elastic \
kibana:8.4.3
第三步,创建一个kibana挂载目录。
命令:mkdir -p /usr/local/elk8.4.3/kibana
第四步,将容器内的文件复制到主机上。
命令:docker cp kibana:/usr/share/kibana/config /usr/local/elk8.4.3/kibana/
docker cp kibana:/usr/share/kibana/data /usr/local/elk8.4.3/kibana/
docker cp kibana:/usr/share/kibana/plugins /usr/local/elk8.4.3/kibana/
docker cp kibana:/usr/share/kibana/logs /usr/local/elk8.4.3/kibana/
第五步,编辑文件夹/usr/local/elk8.4.3/kibana/config中的配置文件kibana.yml。
编辑配置文件kibana.yml,在文件中添加下面的代码:
# 注意一定要用https
elasticsearch.hosts: [ "https://x.x.x.x:9200" ]
i18n.locale: "zh-CN"
第六步,查看kibana中的日志。
命令:docker logs -f kibana
kibana中的日志文件中会显示“5601”端口号。
第七步,登录网址:http://x.x.x.x:5601进行认证登录。
在“注册令牌”中输入第一次启动elastic时生成的enrollment token“eyJ2ZXIiOiI4LjQuMyIsImFkciI6WyIxNzIuMTguMC4yOjkyMDAiXSwiZmdyIjoiMDY5NDlkZDRkYmUzOWU5MDBhZDljMDVhYzU3YTVkMjAyYzI4ZmE5MTQ2YzY5ZmU2MTc1OTJiN2ZjY2YwNzFiNSIsImtleSI6IjlHSE5INGtCN2tud0Y0OEVzc1FuOjFpZGg3N3J2VEZTZmNPR3puRndRMUEifQ==”。
接着,点击“配置弹性”,就会弹出一个“需要验证”对话框,需要输入验证码进行验证。
可以从kibana的日志中获取验证码。
命令:docker logs -f kibana
然后,点击“验证”,就会进行“保存设置”“启动弹性”“完成设置”操作。
最后,页面会显示“欢迎来到弹性”,可以在“用户名”输入“elastic”, “密码”输入第一次启动elastic时生成的“t+7vo-mo--6tXTQdKq62”。
Logstash安装
第一步,在docker中拉取8.4.3版本的logstash镜像。
命令:docker pull logstash:8.4.3
第二步,在docker中执行启动脚本命令。
命令:docker run -it \
-d \
--name logstash \
-p 9600:9600 \
-p 5044:5044 \
--net elastic \
logstash:8.4.3
第三步,创建一个logstash挂载目录。
命令:mkdir -p /usr/local/elk8.4.3/logstash
第四步,将容器内的文件复制到主机上。
命令:docker cp logstash:/usr/share/logstash/config /usr/local/elk8.4.3/logstash/
docker cp logstash:/usr/share/logstash/pipeline /usr/local/elk8.4.3/logstash/
第五步,将/usr/local/elk8.4.3/elasticsearch/config/certs复制到/usr/local/elk8.4.3/logstash/config/certs。
命令:cp -pr /usr/local/elk8.4.3/elasticsearch/config/certs /usr/local/elk8.4.3/logstash/config/certs
第六步,编辑文件夹/usr/local/elk8.4.3/logstash/config中的配置文件logstash.yml。
编辑配置文件logstash.yml,得到下面的代码:
http.host: "0.0.0.0"
xpack.monitoring.enabled: true
# 必须是https
xpack.monitoring.elasticsearch.hosts: [ "https://x.x.x.x:9200" ]
xpack.monitoring.elasticsearch.username: "elastic"
xpack.monitoring.elasticsearch.password: "第一次启动elasticsearch时保存的信息中查找"
xpack.monitoring.elasticsearch.ssl.certificate_authority: "/usr/share/logstash/config/certs/http_ca.crt"
xpack.monitoring.elasticsearch.ssl.ca_trusted_fingerprint: "第一次启动elasticsearch时保存的信息中查找"
第七步,编辑文件夹/usr/local/elk8.4.3/logstash/pipeline中的配置文件logstash.yml。
编辑配置文件logstash.yml,得到下面的代码:
input {
beats {
port => 5044
}
}
filter {
date {
match => [ "@timestamp", "yyyy-MM-dd HH:mm:ss Z" ]
}
mutate {
remove_field => ["@version", "agent", "cloud", "host", "input", "log", "tags", "_index", "_source", "ecs", "event"]
}
}
output {
elasticsearch {
hosts => ["https://x.x.x.x:9200"]
index => "server-%{+YYYY.MM.dd}"
ssl => true
ssl_certificate_verification => false
cacert => "/usr/share/logstash/config/certs/http_ca.crt"
ca_trusted_fingerprint => "第一次启动elasticsearch时保存的信息中查找"
user => "elastic"
password => "第一次启动elasticsearch时保存的信息中查找"
}
}
filebeat安装
第一步,在docker中拉取8.4.3版本的filebeat镜像。
命令:docker pull elastic/filebeat:8.4.3
第二步,在docker中执行启动脚本命令。
命令:docker run -it \
-d \
--name filebeat \
--network host \
-e TZ=Asia/Shanghai \
elastic/filebeat:8.4.3 \
filebeat -e -c /usr/share/filebeat/filebeat.yml
第三步,创建一个filebeat挂载目录。
命令:mkdir -p /usr/local/elk8.4.3/filebeat
第四步,将容器内的文件复制到主机上。
命令:docker cp filebeat:/usr/share/filebeat/filebeat.yml /usr/local/elk8.4.3/filebeat/
docker cp filebeat:/usr/share/filebeat/data /usr/local/elk8.4.3/filebeat/
docker cp filebeat:/usr/share/filebeat/logs /usr/local/elk8.4.3/filebeat/
第五步,编辑文件夹/usr/local/elk8.4.3/filebeat中的配置文件filebeat.yml。
编辑配置文件filebeat.yml,得到下面的代码:
filebeat.config:
modules:
path: ${path.config}/modules.d/*.yml
reload.enabled: false
processors:
- add_cloud_metadata: ~
- add_docker_metadata: ~
output.logstash:
enabled: true
# The Logstash hosts
hosts: ["x.x.x.x:5044"]
filebeat.inputs:
- type: log
enabled: true
paths:
- /usr/share/filebeat/target/*/*/*.log. # 这个路径是需要收集的日志路径,是docker容器中的路径
scan_frequency: 10s
exclude_lines: ['HEAD']
exclude_lines: ['HTTP/1.1']
multiline.pattern: '^[[:space:]]+(at|.{3})\b|Exception|捕获异常'
multiline.negate: false
multiline.match: after
redis安装
第一步,安装编译工具及库文件。
命令:yum -y install make zlib zlib-devel gcc-c++ libtool openssl openssl-devel
命令:cd /usr/local/src
wget http://download.redis.io/releases/redis-4.0.10.tar.gz
tar zxvf redis-4.0.10.tar.gz -C /usr/local
第三步,编译安装redis。
命令:cd /usr/local/redis-4.0.10
make
cd /usr/local/redis-4.0.10/src
make install
redis配置
第一步,新建/usr/local/redis/etc文件夹,并将/usr/local/redis-4.0.10/redis.conf复制到/usr/local/redis/etc。
命令:mkdir -p /usr/local/redis/etc
cp /usr/local/redis-4.0.10/redis.conf /usr/local/redis/etc
第二步,新建/usr/local/redis/bin、/usr/local/redis/db和/usr/local/redis/logs文件夹,/usr/local/redis-4.0.10/src文件夹中的常用命令复制到/usr/local/redis/bin。
命令:mkdir -p /usr/local/redis/bin
mkdir -p /usr/local/redis/db
mkdir -p /usr/local/redis/logs
cd /usr/local/redis-4.0.10/src
cp mkreleasdhdr.sh redis-benchmark redis-check-aof redis-check-dump redis-cli redis-server /usr/local/redis/bin
第三步,编辑配置文件/etc/sysctl.conf。
命令:vim /etc/sysctl.conf
在最后一行添加下面代码:
vm.overcommit_memory = 1
# 使设置立即生效
命令:sysctl -p
第四步,redis开启外部访问权限的方法。
编辑配置/usr/local/redis/etc/redis.conf文件,做以下几处修改:
“bind 127.0.0.1”为“bind 0.0.0.0”,
“daemonize no”改为“daemonize yes”,
“requirepass foobared”改为“requirepass 123456”,
“dir ./”改为“dir /usr/local/redis/db”,
“logfile ”改为“logfile /usr/local/redis/logs/redis.log”,保存并重启redis。
redis启动、关闭服务
第一步,后台启动redis服务。
命令:cd /usr/local/redis/bin
redis-server /usr/local/redis/etc/redis.conf
# 结果第一行最后面显示redis端口
命令:ps -ef | grep redis
# 结果第一行最后面显示redis进程号
命令:netstat -nap | grep 6379
服务端启动成功后,启动redis 客户端,查看端口号。
命令:redis-cli
auth 123456
set [key] [value]
get [key]
exit
netstat -nap | grep 6379
第二步,外部IP地址访问redis。
命令:ip a
redis-cli -h 172.25.217.108 -p 6379
auth "123456"
keys *
set [key] [value]
get [key]
exit
第三步,关闭redis服务。
命令:pkill redis-server
/usr/local/redis/bin/redis-cli shutdown
netstat -nap | grep 6379
关机重启,redis会自动启动
使用/usr/local/redis-4.0.10/utils中的脚本redis_init_script设置开机自启动。
第一步,修改redis_init_script脚本代码。
redis_init_script脚本代码如下:
#!/bin/sh
...
REDISPORT=6379
#服务端所处位置
EXEC=/usr/local/redis/bin/redis-server
#客户端位置
CLIEXEC=/usr/local/redis/bin/redis-cli
#redis的PID文件位置,需要修改
PIDFILE=/var/run/redis_6379.pid
#redis的配置文件位置,需将${REDISPORT}修改为文件名
CONF="/usr/local/redis/etc/redis.conf"
...
第二步,将redis_init_script复制为/etc/rc.d/init.d/redisd。
命令:cd /usr/local/redis-4.0.10/utils
cp redis_init_script /etc/rc.d/init.d/redisd
chmod +x /etc/rc.d/init.d/redisd
# 设置为开机自启动服务器
命令:chkconfig redisd on
# 打开服务
命令:service redisd start
# 关闭服务
命令:service redisd stop
ELK部署完成后的效果
第一步,登录网址:http://x.x.x.x:5601。
第二步,在kibana页面选择点击“堆栈监控”。
第三步,点击“堆栈监控”会跳转到“未找到监视数据”页面,然后点击“设置自我监控”就会跳转到“监控当前已关闭”页面。
第四步,点击“打开监控”会跳转到“成功获取监视数据”页面以及“我们正在寻找您的监控数据”页面。
第五步,成功获取并成功找到监视数据之后,页面会出现一个“创建规则”对话框,然后点击“还行”即可。
第六步,点击“还行”会跳转到“集群概述”页面,该页面显示各种监控数据可供用户方便了解集群的情况。
第七步,在kibana页面选择点击“堆栈管理”。
第八步,点击“堆栈管理”会跳转到“堆栈管理”页面,然后点击“数据—索引管理”,若能看到索引的“健康”状态为“绿”,“地位”为“打开”,则说明ELK部署配置成功。