ELK Stack 日志平台搭建

news2024/11/16 14:23:58

前言

最近在折腾 ELK 日志平台，它是 Elastic 公司推出的一整套日志收集、分析和展示的解决方案。

专门实操了一波，这玩意看起来简单，但是里面的流程步骤还是很多的，而且遇到了很多坑。在此记录和总结下。

本文亮点：一步一图、带有实操案例、踩坑记录、与开发环境的日志结合，反映真实的日志场景。

日志收集平台有多种组合方式：

  • ELK Stack 方式：Elasticsearch + Logstash + Filebeat + Kibana，业界最常见的架构。
  • Elasticsearch + Logstash + Kafka + Kibana，用上了消息中间件，但里面也有很多坑，放到下一讲。

这次先讲解 ELK Stack 的方式，这种方式对我们的代码无侵入，核心思想就是收集磁盘的日志文件，然后导入到 Elasticsearch。

比如我们的应用系统通过 logback 把日志写入到磁盘文件，然后通过这一套组合的中间件就能把日志采集起来供我们查询使用了。

整体的架构图如下所示：

流程如下：

  • 先使用 Filebeat 把日志收集起来，然后把数据再传给 Logstash。
  • 通过 Logstash 强大的数据清洗功能。
  • 最终把数据写入到 Elasticsearch 中。
  • 并由 Kibana 进行可视化。

温馨提示：以下案例都在一台 ubuntu 虚拟机上完成，内存分配了 6G。

一、部署 Elasticsearch

数据库获取 elasticsearch 镜像：

docker pull elasticsearch:7.7.1

创建挂载目录：

mkdir -p /data/elk/es/{config,data,logs}

赋予权限：

chown -R 1000:1000 /data/elk/es

创建配置文件：

cd /data/elk/es/config
touch elasticsearch.yml
-----------------------配置内容----------------------------------
cluster.name: "my-es"
network.host: 0.0.0.0
http.port: 9200

启动 elasticsearch 容器：

docker run -it  -d -p 9200:9200 -p 9300:9300 --name es -e ES_JAVA_OPTS="-Xms1g -Xmx1g" -e "discovery.type=single-node" --restart=always -v /data/elk/es/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml -v /data/elk/es/data:/usr/share/elasticsearch/data -v /data/elk/es/logs:/usr/share/elasticsearch/logs elasticsearch:7.7.1

验证 elasticsearch 是否启动成功：

curl http://localhost:9200

二、部署 Kibana 可视化工具

2.1 安装 Kibana

获取 kibana 镜像：

docker pull kibana:7.7.1

获取elasticsearch容器 ip：

docker inspect --format '{{ .NetworkSettings.IPAddress }}' es

结果：172.17.0.2；

创建 kibana 配置文件：

mkdir -p /data/elk/kibana/
vim /data/elk/kibana/kibana.yml

配置内容：

#Default Kibana configuration for docker target
server.name: kibana
server.host: "0"
elasticsearch.hosts: ["http://172.17.0.2:9200"]
xpack.monitoring.ui.container.elasticsearch.enabled: true
2.2 运行 kibana
docker run -d --restart=always --log-driver json-file --log-opt max-size=100m --log-opt max-file=2 --name kibana -p 5601:5601 -v /data/elk/kibana/kibana.yml:/usr/share/kibana/config/kibana.yml kibana:7.7.1

访问 http://192.168.56.10:5601。这个 IP 是服务器的 IP。Kibana 控制台的界面如下所示，打开 kibana 时，首页会提示让你选择加入一些测试数据，点击 try our sample data 按钮就可以了。

Kibana 界面上会提示你是否导入样例数据，选一个后，Kibana 会帮你自动导入，然后就可以进入到 Discover 窗口搜索日志了。

三、部署 logstash 日志过滤、转换工具

3.1 安装 Java JDK
$ sudo apt install openjdk-8-jdk

修改 /etc/profile 文件：

sudo vim /etc/profile

添加如下的内容到你的 .profile 文件中：

# JAVA
JAVA_HOME="/usr/lib/jdk/jdk-12"
PATH="$PATH:$JAVA_HOME/bin"

再在命令行中打入如下的命令：

source /etc/profile

查看 java 是否配置成功：

java -version
3.2 安装 logstash

下载 logstash 安装包：

curl -L -O https://artifacts.elastic.co/downloads/logstash/logstash-7.7.1.tar.gz

解压安装：

tar -xzvf logstash-7.7.1.tar.gz

要测试 Logstash 安装，请运行最基本的 Logstash 管道。例如：

cd logstash-7.7.1
bin/logstash -e 'input { stdin { } } output { stdout {} }'

等 Logstash 完成启动后，我们在 stdin 里输入以下文字，我们可以看到如下的输出：

当我们打入一行字符然后回车，那么我们马上可以在 stdout 上看到输出的信息。如果我们能看到这个输出，说明我们的 Logstash 的安装是成功的。

我们进入到 Logstash 安装目录，并修改 config/logstash.yml 文件。我们把 config.reload.automatic 设置为 true。

另外一种运行 Logstash 的方式，也是一种最为常见的运行方式，运行时指定 logstash 配置文件。

3.3 配置 logstash

Logstash 配置文件有两个必需元素，输入(inputs)和输出(ouputs)，以及一个可选元素 filters。输入插件配置来源数据，过滤器插件在你指定时修改数据，输出插件将数据写入目标。

我们首先需要创建一个配置文件，配置内容如下图所示：

创建 kibana 配置文件 weblog.conf：

mkdir -p /logstash-7.7.1/streamconf
vim /logstash-7.7.1/streamconf/weblog.conf

配置内容如下：

input {
  tcp {
    port => 9900
  }
}
 
filter {
  grok {
    match => { "message" => "%{COMBINEDAPACHELOG}" }
  }
 
  mutate {
    convert => {
      "bytes" => "integer"
    }
  }
 
  geoip {
    source => "clientip"
  }
 
  useragent {
    source => "agent"
    target => "useragent"
  }
 
  date {
    match => ["timestamp", "dd/MMM/yyyy:HH:mm:ss Z"]
  }
}
 
output {
  stdout { }
 
  elasticsearch {
    hosts => ["localhost:9200"]
  }
}

在上面，我们同时保留两个输出：stdout 及 elasticsearch。事实上，我们可以定义很多个的输出。stdout 输出对于我们初期的调试是非常有帮助的。等我们完善了所有的调试，我们可以把上面的 stdout 输出关掉。

等更新完这个配置文件后，我们在另外一个 console 中发送第一个 log：

head -n 1 weblog-sample.log | nc localhost 9900

这个命令的意思：我们使用 nc 应用读取第一行数据，然后发送到 TCP 端口号 9900，并查看 console 的输出。

这里的 weblog-sample.log 为样例数据，内容如下，把它放到本地作为日志文件。

14.49.42.25 - - [12/May/2019:01:24:44 +0000] "GET /articles/ppp-over-ssh/ 
HTTP/1.1" 200 18586 "-" "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; 
rv:1.9.2b1) Gecko/20091014 Firefox/3.6b1 GTB5"

logstash 控制台打印出了 weblog-samle.log 中的内容：

这一次，我们打开 Kibana，执行命令，成功看到 es 中的这条记录。

GET logstash/_search

四、部署 Filebeat 日志收集工具

4.1 安装 Filebeat
curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.7.1-linux-x86_64.tar.gz
tar xzvf filebeat-7.7.1-linux-x86_64.tar.gz

请注意：由于 ELK 迭代比较快，我们可以把上面的版本 7.7.1 替换成我们需要的版本即可。我们先不要运行 Filebeat。

4.2 配置 Filebeat

我们在 Filebeat 的安装目录下，可以创建一个这样的 filebeat_apache.yml 文件，它的内容如下，首先先让 filebeat 直接将日志文件导入到 elasticsearch，来确认 filebeat 是否正常工作。

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /home/vagrant/logs/*.log

output.elasticsearch:
  hosts: ["192.168.56.10:9200"]

paths 对应你的日志文件夹路径，我配置的是这个：/home/vagrant/logs/*.log，之前配置成 /home/vagrant/logs 不能正常收集。另外这里可以放入多个日志路径。

4.3 测试 Filebeat

在使用时，你先要启动 Logstash，然后再启动 Filebeat。

bin/logstash -f weblog.conf

然后，再运行 Filebeat， -c 表示运行指定的配置文件，这里是 filebeat_apache.yml。

./filebeat -e -c filebeat_apache.yml

运行结果如下所示，一定要确认下控制台中是否打印了加载和监控了我们指定的日志。如下图所示，有三个日志文件被监控到了：error.log、info.log、debug.log

我们可以通过这个命令查看 filebeat 的日志是否导入成功了：

curl http://localhost:9200/_cat/indices?v

这个命令会查询 Elasticsearch 中所有的索引，如下图所示，filebeat-7.7.1-* 索引创建成功了。因为我没有配置索引的名字，所以这个索引的名字是默认的。

在 kibana 中搜索日志，可以看到导入的 error 的日志了。不过我们先得在 kibana 中创建 filebeat 的索引(点击 create index pattern 按钮，然后输入 filebeat 关键字，添加这个索引)，然后才能在 kibana 的 Discover 控制台查询日志。

创建查询的索引

搜索日志

4.4 Filebeat + Logstash

接下来我们配置 filebeat 收集日志后，输出到 logstash，然后由 logstash 转换数据后输出到 elasticsearch。

filebeat.inputs:

- type: log
  enabled: true
  paths:
    - /home/vagrant/logs/*.log

output.logstash:
  hosts: ["localhost:9900"]

修改 logstash 配置文件：

vim /logstash-7.7.1/streamconf/weblog.conf

配置了 input 为 beats，修改了 useragent：

input {  
  beats {
    port => "9900"
  }
}
 
filter {
  grok {
    match => { "message" => "%{COMBINEDAPACHELOG}" }
  }
 
  mutate {
    convert => {
      "bytes" => "integer"
    }
  }
 
  geoip {
    source => "clientip"
  }
 
  useragent {
    source => "user_agent"
    target => "useragent"
  }
 
  date {
    match => ["timestamp", "dd/MMM/yyyy:HH:mm:ss Z"]
  }
}
 
output {
  stdout {
    codec => dots {}
  }
 
  elasticsearch {
    hosts=>["192.168.56.10:9200"]
    index => "apache_elastic_example"
  }
}

然后重新启动 logstash 和 filebeat。有个问题，这次启动 filebeat 的时候，只监测到了一个 info.log 文件，而 error.log 和 debug.log 没有监测到，导致只有 info.log 导入到了 Elasticsearch 中。

filebeat 只监测到了 info.log 文件

logstash 输出结果如下，会有格式化后的日志：

我们在 Kibana dev tools 中可以看到索引 apache_elastic_example，说明索引创建成功，日志也导入到了 elasticsearch 中。

另外注意下 logstash 中的 grok 过滤器，指定的 message 的格式需要和自己的日志的格式相匹配，这样才能将我们的日志内容正确映射到 message 字段上。

例如我的 logback 的配置信息如下：

logback 配置

而我的 logstash 配置如下，和 logback 的 pettern 是一致的。

grok {
    match => { "message" => "%d{yyyy-MM-dd HH:mm:ss} [%thread] %-5level %logger -%msg%n" }
  }

然后我们在 es 中就能看到日志文件中的信息了。如下图所示：

至此，Elasticsearch + Logstash + Kibana + Filebeat 部署成功，可以愉快地查询日志了~

后续升级方案：

  • 加上 Kafka。
  • 加上 Grafana 监控。
  • 链路追踪。

五、遇到的问题和解决方案

5.1 拉取 kibana 镜像失败

failed to register layer: Error processing tar file(exit status 2): fatal error: runtime: out of memory

原因是 inodes 资源耗尽 ， 清理一下即可：

df -i
sudo find . -xdev -type f | cut -d "/" -f 2 | sort | uniq -c | sort -n
curl -s https://raw.githubusercontent.com/ZZROTDesign/docker-clean/v2.0.4/docker-clean |
sudo tee /usr/local/bin/docker-clean > /dev/null && \
sudo chmod +x /usr/local/bin/docker-clean
docker-clean
5.2 拉取 kibana 镜像失败
docker pull runtime: out of memory

增加虚拟机内存大小。

5.3 Kibana 无法启动
"License information could not be obtained from Elasticsearch due to Error: No Living connections error"}

看下配置的 IP 地址是不是容器的 IP。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1461900.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

洛谷 P1028 [NOIP2001 普及组] 数的计算

洛谷 P1028 [NOIP2001 普及组] 数的计算

说明（6） 求出后五个加本身得到总方案 参考代码and代码解读
阅读更多...
redis复习笔记06（小滴课堂）

redis复习笔记06（小滴课堂）

分布式锁核心知识介绍和注意事项 基于Redis实现分布式锁的几种坑 综合伪代码： 运行：
阅读更多...
压缩感知常用的测量矩阵

压缩感知常用的测量矩阵

测量矩阵的基本概念 在压缩感知（Compressed Sensing，CS）理论中，测量矩阵（也称为采样矩阵）是实现信号压缩采样的关键工具。它是一个通常为非方阵的矩阵，用于将信号从高维空间映射到低维空间&…
阅读更多...
电商+支付双系统项目------实现电商系统中分类模块的开发！

电商+支付双系统项目------实现电商系统中分类模块的开发！

本篇文章主要介绍一下这个项目中电商系统的分类模块开发。电商系统有很多模块，除了分类模块，还有用户模块，购物车模块，订单模块等等。上一篇文章已经讲了用户模块，这篇文章我们讲讲项目中的分类模块。 有的人可能会很…
阅读更多...
解决docker中运行的jar包连不上前端程序

解决docker中运行的jar包连不上前端程序

目录 检查端口映射 查看容器的 IP 地址 检查容器网络设置 防火墙和网络策略 前端程序配置 跨域资源共享 (CORS) 日志查看 连接问题通常涉及到网络配置和端口映射。确保你在 Docker 中运行的 JAR 包可以被前端程序访问，可以采取以下步骤来解决问题&#xff1a…
阅读更多...
职业技能鉴定服务中心前端静态页面（官网+证书查询）

职业技能鉴定服务中心前端静态页面（官网+证书查询）

有个朋友想做职业技能培训，会发证书，证书可以在自己网站可查。想做一个这样的网站，而且要特别土，一眼看上去像xxx官方网站，像jsp .net技术开发的网站。用htmlcssjquery还原了这样子一个前端页面，这里分享给…
阅读更多...
操作系统导论-课后作业-ch19

操作系统导论-课后作业-ch19

1. 本书在第6章中有过介绍，gettimeofday函数最多精确到us，并且大致精确（并不完全精确），需要多迭代几次减少误差，循环次数太多也会导致结束时间小于开始时间（即回滚）的现象&#xff…
阅读更多...
LInux-信号1

LInux-信号1

文章目录 前言一、信号是什么？二、学习步骤使用kill -l命令查看信号列表可以看到有那么多信号，那么进程是如何识别这么多信号的呢？ 使用kill命令终止进程信号的捕捉kill函数raise函数abort函数 Core dump如何查看自己的核心转储功能是否被打开…
阅读更多...
【云原生】持续集成持续部署

【云原生】持续集成持续部署

本文主要总结CI/CD的流程，不会详细介绍每个知识点。 啥是集成？啥是部署？ 集成，就是把应用程序、相关环境、配置全局打包放在一个容器中的操作。部署就不解释了。 CI/CD 如果是自己手动部署的话，流程应该是这样的&am…
阅读更多...
Open CASCADE学习|计算全局属性

Open CASCADE学习|计算全局属性

对于一个系统全局属性有： 质量(mass) 质心(mass center) 惯性张量(matrix of inertia) 关于一个轴的矩(moment about an axis) 关于一个轴的惯性半径(radius of gyration about an axis) 惯性的主属性，比如主轴(principal axis)，主矩(pr…
阅读更多...
算法-搜索二维矩阵 II

算法-搜索二维矩阵 II

1、题目来源 240. 搜索二维矩阵 II - 力扣（LeetCode） 2、题目描述 编写一个高效的算法来搜索 m x n 矩阵 matrix 中的一个目标值 target 。该矩阵具有以下特性： 每行的元素从左到右升序排列。每列的元素从上到下升序排列。 示例 1&#x…
阅读更多...
Linux：Jenkins：GitLab+Maven+Jenkins的部署——离线包rpm版

Linux：Jenkins：GitLab+Maven+Jenkins的部署——离线包rpm版

Linux：Jenkins：GitLabMavenJenkins的部署（1）-CSDN博客https://blog.csdn.net/w14768855/article/details/136157018?spm1001.2014.3001.5501这个是原版文章，均是使用的在线情况，但是不排除会有离线部署&am…
阅读更多...
LaTex和Word中推荐使用的矢量图片格式

LaTex和Word中推荐使用的矢量图片格式

1、LaTex 推荐使用eps矢量格式。（该格式直接放在word中不会显示，但是通过插入word后双击打开查看 2、Word 推荐使用svg矢量格式。该格式可以直接插入word中。 3、plt保存代码 import matplotlib.pyplot as plt# 绘制图形 x [1, 2, 3, 4, 5] y1 [1…
阅读更多...
重新安装VSCode后，按住Ctrl（or Command） 点击鼠标左键不跳转问题

重新安装VSCode后，按住Ctrl（or Command） 点击鼠标左键不跳转问题

重新安装VSCode后，按住Ctrl（or Command） 点击鼠标左键不跳转问题 原因：重新安装一般是因为相应编程语言的插件被删除了或还没有下载。 本次是由于Python相关的插件被删除了，因此导致Python无法跳转。 解决办法 在vs…
阅读更多...
挑战杯 基于人工智能的图像分类算法研究与实现 - 深度学习卷积神经网络图像分类

挑战杯 基于人工智能的图像分类算法研究与实现 - 深度学习卷积神经网络图像分类

文章目录 0 简介1 常用的分类网络介绍1.1 CNN1.2 VGG1.3 GoogleNet 2 图像分类部分代码实现2.1 环境依赖2.2 需要导入的包2.3 参数设置(路径，图像尺寸，数据集分割比例)2.4 从preprocessedFolder读取图片并返回numpy格式(便于在神经网络中训练)2.5 数据预…
阅读更多...
idm直链怎么用 IDM直链下载风险 Internet Download Manager下载 idm官网登录 idm直链提取

idm直链怎么用 IDM直链下载风险 Internet Download Manager下载 idm官网登录 idm直链提取

作为一款备受好评的下载加速器，idm几乎可以胜任所有的下载场景。无论是直链资源、磁力链接还是种子文件，idm均能把它们高速下载到本地保存。并且，理论上idm可以将下载速度提高3至5倍。有关idm直链怎么用，IDM直链下载风险的相关问题…
阅读更多...
FFmpeg的HEVC解码器源代码学习笔记-1

FFmpeg的HEVC解码器源代码学习笔记-1

一直想写一个HEVC的码流解析工具，看了雷神264码流解析工具，本来想尝试模仿写一个相似的265码流分析工具，但是发现265的解码过程和结构体和264的不太一样，很多结构体并没有完全暴露出来，没有想到很好的方法获得量化参数…
阅读更多...
挑战杯 基于YOLO实现的口罩佩戴检测 - python opemcv 深度学习

挑战杯 基于YOLO实现的口罩佩戴检测 - python opemcv 深度学习

文章目录 0 前言1 课题介绍2 算法原理2.1 算法简介2.2 网络架构 3 关键代码4 数据集4.1 安装4.2 打开4.3 选择yolo标注格式4.4 打标签4.5 保存 5 训练6 实现效果6.1 pyqt实现简单GUI6.3 视频识别效果6.4 摄像头实时识别 7 最后 0 前言 🔥 优质竞赛项目系列&#xf…
阅读更多...
小程序--引入vant组件库

小程序--引入vant组件库

一、npm初始化 在微信开发者工具中打开终端，输入npm init，对npm进行初始化 二、安装vant组件库 npm install vant/weapp 三、修改app.json 修改 app.json，移除全局配置 "style": "v2"，否则 Vant 组件的样式…
阅读更多...
R cox回归 ggDCA报错

R cox回归 ggDCA报错

临床预测模型的决策曲线分析（DCA）：基于ggDCA包 决策曲线分析法（decision curve analysis，DCA）是一种评估临床预测模型、诊断试验和分子标记物的简单方法。 我们在传统的诊断试验指标如：敏感性&a…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023