想掌握日志分析系统的看过来

news2024/11/24 7:14:56

日志分析系统（ELK）

什么是ELK

ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输给Logstash，官方也推荐此工具。

Elasticsearch是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。

它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。主要负责将日志索引并存储起来，方便业务方检索查询。

Logstash 主要是用来日志的搜集、分析、过滤日志的工具，支持大量的数据获取方式。

一般工作方式为c/s架构，client端安装在需要收集日志的主机上，server端负责将收到的各节点日志进行过滤、修改等操作在一并发往elasticsearch上去。

是一个日志收集、过滤、转发的中间件，主要负责将各条业务线的各类日志统一收集、过滤后，转发给 Elasticsearch 进行下一步处理。

Kibana 也是一个开源和免费的工具，Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助汇总、分析和搜索重要数据日志。
在这里插入图片描述

使用ELK的好处

因为日志主要包括：系统日志，安全日志和应用程序日志。运维可以通过日志了解服务器的各种信息（硬件，配置过程种的错误原因），从而进行纠错。通常单台机器的日志我们使用的是grep或awk来获取他们的信息，但当日志被分散到多台设备上时，我们查起来就会很费时费力。所以我们要使用集中化的日志管理系统，例如开源的syslog，将所有日志收集到一台服务器上，此时我们在将不同的服务模块部署在不同的服务器上，再出现问题时，就可以直接定位到具体的服务模块或服务器，构成一个集中式日志系统，就可以高效解决问题了。

完整日志系统基本特征

收集∶能够采集多种来源的日志数据

传输∶能够稳定的把日志数据解析过滤并传输到存储系统

存储∶存储日志数据

分析∶支持 UI分析

警告∶能够提供错误报告，监控机制

ELK的工作原理

1）；在想收集日志的服务器上部署logstash，或者将日志集中到日志服务器上，在日志服务器上部署logstash。
2）；收集完日志后，将日志格式化并输出到Elasticsearch集群里。
3）；Elasticsearch会对格式化后的数据进行索引和保存。
4）；Kibana会从ES集群里查询数据然后生成图标，然后提供到前端展示。

ELK日志分析系统集群部署的操作步骤

环境准备：

Node1节点 192.168.142.10 Elasticsearch 、 Kibana 2核4G
Node2节点 192.168.142.20 Elasticsearch 2核4G
Apache节点 192.168.142.30 Logstash、Apache 2核4G
所有服务器关闭防火墙和SElinux

systemctl stop firewalld
setenforce 0

在这里插入图片描述

ELK Elasticsearch 集群部署（在Node1、Node2节点上操作）

更改主机名、配置域名解析、查看Java环境
Node1节点：hostnamectl set-hostname node1
Node2节点：hostnamectl set-hostname node2
 
vim /etc/hosts
192.168.142.10 node1
192.168.142.20 node2
 
java -version   #如果没有安装，yum -y install java
openjdk version "1.8.0_131"
OpenJDK Runtime Environment (build 1.8.0_131-b12)
OpenJDK 64-Bit Server VM (build 25.131-b12, mixed mode)　　

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

部署 Elasticsearch 软件

1）安装elasticsearch—rpm包

上传elasticsearch-5.5.0.rpm到/opt目录下

cd /opt
rpm -ivh elasticsearch-5.5.0.rpm　　

在这里插入图片描述

加载系统服务
systemctl daemon-reload
systemctl enable elasticsearch.service　

在这里插入图片描述

修改elasticsearch主配置文件
cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak
vim /etc/elasticsearch/elasticsearch.yml
--17--取消注释，指定集群名字
cluster.name: my-elk-cluster
--23--取消注释，指定节点名字：Node1节点为node1，Node2节点为node2
node.name: node1
--33--取消注释，指定数据存放路径
path.data: /data/elk_data
--37--取消注释，指定日志存放路径
path.logs: /var/log/elasticsearch/
--43--取消注释，改为在启动的时候不锁定内存
bootstrap.memory_lock: false
--55--取消注释，设置监听地址，0.0.0.0代表所有地址
network.host: 0.0.0.0
--59--取消注释，ES 服务的默认监听端口为9200
http.port: 9200
--68--取消注释，集群发现通过单播实现，指定要发现的节点 node1、node2
discovery.zen.ping.unicast.hosts: ["node1", "node2"]
 
grep -v "^#" /etc/elasticsearch/elasticsearch.yml　　

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

创建数据存放路径并授权
mkdir -p /data/elk_data
chown elasticsearch:elasticsearch /data/elk_data/

在这里插入图片描述

启动elasticsearch是否成功开启
systemctl start elasticsearch.service
netstat -antp | grep 9200　

在这里插入图片描述

查看节点信息

浏览器访问 http://192.168.142.10:9200 、 http://192.168.142.20:9200 查看节点 Node1、Node2 的信息。

浏览器访问 http://192.168.142.20:9200/cluster/health?pretty 、 http://192.168.2.66:9200/cluster/health?pretty查看群集的健康情况，可以看到 status 值为 green（绿色）， 表示节点健康运行。

浏览器访问 http://192.168.142.10:9200/cluster/state?pretty 检查群集状态信息。

#使用上述方式查看群集的状态对用户并不友好，可以通过安装 Elasticsearch-head 插件，可以更方便地管理群集。
在这里插入图片描述
在这里插入图片描述

安装 Elasticsearch-head 插件

Elasticsearch 在 5.0 版本后，Elasticsearch-head 插件需要作为独立服务进行安装，需要使用npm工具（NodeJS的包管理工具）安装。
安装 Elasticsearch-head 需要提前安装好依赖软件 node 和 phantomjs。
node：是一个基于 Chrome V8 引擎的 JavaScript 运行环境。
phantomjs：是一个基于 webkit 的JavaScriptAPI，可以理解为一个隐形的浏览器，任何基于 webkit 浏览器做的事情，它都可以做到。

1）编译安装 node
上传软件包 node-v8.2.1.tar.gz 到/opt

yum install gcc gcc-c++ make -y
 
cd /opt
tar zxvf node-v8.2.1.tar.gz
 
cd node-v8.2.1/
./configure
make && make install　

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

安装 phantomjs

上传软件包 phantomjs-2.1.1-linux-x86_64.tar.bz2 到 /opt

tar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2
vim /etc/elasticsearch/elasticsearch.yml
......
--末尾添加以下内容--
http.cors.enabled: true #开启跨域访问支持，默认为 false
http.cors.allow-origin: "*" #指定跨域访问允许的域名地址为所有
 
systemctl restart elasticsearch　
cd phantomjs-2.1.1-linux-x86_64
cd bin/
cp phantomjs /usr/local/bin

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

启动 elasticsearch-head 服务

必须在解压后的 elasticsearch-head 目录下启动服务，进程会读取该目录下的 gruntfile.js 文件，否则可能启动失败

将elasticsearch-head上传到/opt下
tar zxvf elasticsearch-head -C /usr/local/src
cd /usr/local/src/elasticsearch-head/
npm install
npm run start &
 
> elasticsearch-head@0.0.0 start /usr/local/src/elasticsearch-head
> grunt server
 
Running "connect:server" (connect) task
Waiting forever...
Started connect web server on http://localhost:9100
 
#elasticsearch-head 监听的端口是 9100
netstat -natp |grep 9100　　

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

通过 Elasticsearch-head 查看 Elasticsearch 信息

通过浏览器访问 http://192.168.142.10:9100/ 地址并连接群集。如果看到群集健康值为 green 绿色，代表群集很健康。
在这里插入图片描述
在这里插入图片描述

插入索引

通过命令插入一个测试索引，索引为 index-demo，类型为 test

curl -X PUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'
//输出结果如下：
{
"_index" : "index-demo",
"_type" : "test",
"_id" : "1",
"_version" : 1,
"result" : "created",
"_shards" : {
"total" : 2,
"successful" : 2,
"failed" : 0
},
"created" : true
}　

在这里插入图片描述
在这里插入图片描述

ELK Logstash 部署（在 Apache 节点上操作）

Logstash 一般部署在需要监控其日志的服务器。在本案例中，Logstash 部署在 Apache 服务器上，用于收集 Apache 服务器的日志信息并发送到 Elasticsearch。

更改主机名

hostnamectl set-hostname apache　　

在这里插入图片描述

安装Apahce服务（httpd）

yum -y install httpd
systemctl start httpd　

在这里插入图片描述

安装Java环境

yum -y install java
java -version　　

在这里插入图片描述

安装logstash

上传软件包 logstash-5.5.1.rpm 到/opt目录下

cd /opt
rpm -ivh logstash-5.5.1.rpm
systemctl start logstash.service
systemctl enable logstash.service
 
ln -s /usr/share/logstash/bin/logstash /usr/local/bin/

在这里插入图片描述

测试 Logstash

Logstash 命令常用选项：

-f：通过这个选项可以指定 Logstash 的配置文件，根据配置文件配置 Logstash 的输入和输出流。

-e：从命令行中获取，输入、输出后面跟着字符串，该字符串可以被当作 Logstash 的配置（如果是空，则默认使用 stdin 作为输入，stdout 作为输出）。

-t：测试配置文件是否正确，然后退出。

定义输入和输出流：

#输入采用标准输入，输出采用标准输出（类似管道）

logstash -e 'input { stdin{} } output { stdout{} }'
......
www.baidu.com   #键入内容（标准输入）
2020-12-22T03:58:47.799Z node1 www.baidu.com    #输出结果（标准输出）
www.sina.com.cn #键入内容（标准输入）
2017-12-22T03:59:02.908Z node1 www.sina.com.cn  #输出结果（标准输出）
 
//执行 ctrl+c 退出
 
#使用 rubydebug 输出详细格式显示，codec 为一种编解码器
logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug } }'
......
www.baidu.com   #键入内容（标准输入）
{
"@timestamp" => 2020-12-22T02:15:39.136Z,    #输出结果（处理后的结果）
"@version" => "1",
"host" => "apache",
"message" => "www.baidu.com"
}
 
#使用 Logstash 将信息写入 Elasticsearch 中
logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.229.90:9200"] } }'
输入  输出  对接
......
www.baidu.com   #键入内容（标准输入）
www.sina.com.cn #键入内容（标准输入）
www.google.com  #键入内容（标准输入）　　

//结果不在标准输出显示，而是发送至 Elasticsearch 中，可浏览器访问 http://192.168.142.10:9100/ 查看索引信息和数据浏览
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

定义 logstash配置文件

Logstash 配置文件基本由三部分组成：input、output 以及 filter（可选，根据需要选择使用）。

input {...}
filter {...}
output {...}　

在每个部分中，也可以指定多个访问方式。例如，若要指定两个日志来源文件，则格式如下：

input {
file { path =>"/var/log/messages" type =>"syslog"}
file { path =>"/var/log/httpd/access.log" type =>"apache"}
}　

修改 Logstash 配置文件，让其收集系统日志/var/log/messages，并将其输出到 elasticsearch 中。

chmod +r /var/log/messages  #让 Logstash 可以读取日志
 
vim /etc/logstash/conf.d/system.conf
input {
file{
path =>"/var/log/messages"   #指定要收集的日志的位置
type =>"system"  #自定义日志类型标识
start_position =>"beginning" #表示从开始处收集
}
}
output {
elasticsearch { #输出到 elasticsearch
hosts => ["192.168.229.90:9200"] #指定 elasticsearch 服务器的地址和端口
index =>"system-%{+YYYY.MM.dd}"  #指定输出到 elasticsearch 的索引格式
}
}
 
systemctl restart logstash　　　

在这里插入图片描述
在这里插入图片描述

ELK Kiabana 部署（在 Node1 节点上操作）

安装 Kiabana

上传软件包 kibana-5.5.1-x86_64.rpm 到/opt目录

cd /opt
rpm -ivh kibana-5.5.1-x86_64.rpm　

在这里插入图片描述

设置 Kibana 的主配置文件

vim /etc/kibana/kibana.yml
--2--取消注释，Kiabana 服务的默认监听端口为5601
server.port: 5601
--7--取消注释，设置 Kiabana 的监听地址，0.0.0.0代表所有地址
server.host: "0.0.0.0"
--28--取消注释，配置es服务器的ip，如果是集群则配置该集群中master节点的ip
elasticsearch.url:  ["http://192.168.142.10:9200"] 
--37--取消注释，设置在 elasticsearch 中添加.kibana索引
kibana.index: ".kibana"
--96--取消注释，配置kibana的日志文件路径（需手动创建），不然默认是messages里记录日志
logging.dest: /var/log/kibana.log

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

启动 Kibana 服务

systemctl start kibana.service
systemctl enable kibana.service
 
netstat -natp | grep 5601　

在这里插入图片描述

验证 Kibana

浏览器访问 http://192.168.142.10:5601
第一次登录需要添加一个 Elasticsearch 索引：
Index name or pattern
//输入：system-* #在索引名中输入之前配置的 Output 前缀“system”

单击 “create” 按钮创建，单击 “Discover” 按钮可查看图表信息及日志信息。
数据展示可以分类显示，在“Available Fields”中的“host”，然后单击 “add”按钮，可以看到按照“host”筛选后的结果
在这里插入图片描述

将 Apache 服务器的日志（访问的、错误的）添加到 Elasticsearch 并通过 Kibana 显示

vim /etc/logstash/conf.d/apache_log.conf
input {
file{
path => "/etc/httpd/logs/access_log"
type => "access"
start_position => "beginning"
}
file{
path => "/etc/httpd/logs/error_log"
type => "error"
start_position => "beginning"
}
}
output {
if [type] == "access" {
elasticsearch {
hosts => ["192.168.142.10:9200"]
index => "apache_access-%{+YYYY.MM.dd}"
}
}
if [type] == "error" {
elasticsearch {
hosts => ["192.168.142.20:9200"]
index => "apache_error-%{+YYYY.MM.dd}"
}
}
}
 
cd /etc/logstash/conf.d/
/usr/share/logstash/bin/logstash -f apache_log.conf　

在这里插入图片描述
在这里插入图片描述
浏览器访问Kibana测试

浏览器进行访问Apache服务器192.168.142.30，为了产生访问日志
在这里插入图片描述
创建apache_access索引日志
在这里插入图片描述
单击 “Discover” 按钮可查看图表信息及日志信息
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/99650.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

day23【代码随想录】翻转二叉树、对称二叉树、完全二叉树的结点个数

day23【代码随想录】翻转二叉树、对称二叉树、完全二叉树的结点个数

文章目录前言一、翻转二叉树（力扣226）1、递归法1、使用前序遍历2、使用后序遍历2、迭代法1、层序遍历二、对称二叉树（力扣101）三、完全二叉树的结点个数（力扣222）前言 1、翻转二叉树 2、对称二叉树 3、完全…
阅读更多...
【图像处理】直方图均衡化

【图像处理】直方图均衡化

直方图均衡化 简介 直方图均衡化(Histogram Equalization)是一种增强图像对比度(Image Contrast)的方法，其主要思想是将一副图像的直方图分布变成近似均匀分布，从而增强图像的对比度。 直方图均衡化是将原图像通过某种变换，得到一幅灰度直方图为均匀分布的新图像的方法。…
阅读更多...
RegNet：设计网络设计空间

RegNet：设计网络设计空间

文章目录摘要1. 介绍2. 相关工作3.设计空间设计3.1. 设计空间设计的工具3.2. AnyNet设计空间3.3. RegNet设计空间3.4. 设计空间概化4. 分析RegNetX设计空间5. 与现有网络的比较5.1. 最先进的比较:移动体系5.2. 标准基线比较:ResNe(X)t5.3. 最先进的比较:整个体系6. 结论附录A:测…
阅读更多...
Kafka 核心源码解读【四】--状态机模块

Kafka 核心源码解读【四】--状态机模块

文章目录1 TopicDeletionManager： Topic是怎么被删除的？1.1 课前导读1.2 TopicDeletionManager 概览1.3 DeletionClient 接口及其实现1.4 TopicDeletionManager 定义及初始化1.5 TopicDeletionManager 重要方法1.6 总结2 ReplicaStateMachine&#xff1a…
阅读更多...
EEGLAB系列教程5：数据预处理2（ICA去伪迹）

EEGLAB系列教程5：数据预处理2（ICA去伪迹）

EEGLAB系列教程5：数据预处理2（ICA去伪迹） 今天介绍EEG数据处理系列教程5，在前面的几期中，已经介绍了数据基本处理过程，可以参见以下链接: EEGLAB系列教程1：安装和启动 EEGLAB EEGLAB系列教程…
阅读更多...
Java项目：SSM网上零食超市商城

Java项目：SSM网上零食超市商城

作者主页：源码空间站2022 简介：Java领域优质创作者、Java项目、学习资料、技术互助 文末获取源码 项目介绍 本项目分为前后台，前台普通用户登录，后台管理员登录； 用户角色包含以下功能： 提交订单,支付页面…
阅读更多...
Axios异步通信

Axios异步通信

四.Axios异步通信 1 什么是Axios？ Axios是一个类库，基于Promise管理的HTTP 库，是前端通信框架，可以用在浏览器和 node.js 中。axios实现了对ajax的封装，常用于Ajax请求。注解：promise是Java Script的一个…
阅读更多...
（附源码）Springboot校园健康检测管理系统 毕业设计 151047

（附源码）Springboot校园健康检测管理系统 毕业设计 151047

Springboot校园健康检测管理系统的设计 摘 要 亚健康低龄化和高职业压力使高校师生健康问题凸显，不及早进行干预和控制将严重影响师生健康。如何理解和应用健康管理的理论和方法，探索高校师生健康管理工作模式，是目前高校医院的重点工作 校园…
阅读更多...
Thymeleaf 预处理表达式__${表达式}__使用案例

Thymeleaf 预处理表达式__${表达式}__使用案例

目录一. 前期准备1.1 国际化项目获取类1.2 国际化配置文件类1.3 项目配置文件1.4 国际化资源文件二. __${表达式}__预处理表达式2.1 在Thymeleaf中使用Spring的Bean2.2 通过#{}获取国际化资源2.3 预处理表达式__${表达式}__的使用三. 效果四. 表格案例一. 前期准备 1.1 国际化…
阅读更多...
图神经网络 # GNN基础(干货版)

图神经网络 # GNN基础(干货版)

注意：本篇文章不是系统性的图神经网络或者图深度学习的入门教程，而是介绍如何入门图神经网络的学习指南以及相关的干货笔记，文中会列出一些视频和文章学习资料，并在本文作一些重点的摘要，读者需要自行前往文本超链接的…
阅读更多...
【C语言】通讯录《信息写到文件版本》

【C语言】通讯录《信息写到文件版本》

🚩write in front🚩 🔎大家好，我是謓泽，希望你看完之后，能对你有所帮助，不足请指正！共同学习交流🔎 🏅2021年度博客之星物联网与嵌入式开发TOP5&#xff5…
阅读更多...
非零基础自学Golang 第9章 结构体 9.5 结构体方法

非零基础自学Golang 第9章 结构体 9.5 结构体方法

非零基础自学Golang 文章目录非零基础自学Golang第9章 结构体9.5 结构体方法9.5.1 指针类型接收者9.5.2 值类型接收者第9章 结构体 9.5 结构体方法 Go语言中，一个方法就是一个包含了接收者的函数。 对于结构体方法，接收者可以是结构体类型的值或是指针…
阅读更多...
【图像融合】对比度增强结合多尺度边缘保持分解红外与可见光图像融合【含Matlab源码 1886期】

【图像融合】对比度增强结合多尺度边缘保持分解红外与可见光图像融合【含Matlab源码 1886期】

⛄一、对比度增强结合多尺度边缘保持分解红外与可见光图像融合简介 1 引言 夜视成像技术在军事与执法领域，如监控，侦查，情报搜集和安保等方面有着重要应用。不同类型的夜视成像传感器在记录同一场景时，在其提供的信息中有部分是冗…
阅读更多...
目标检测论文解读复现【NO.21】基于改进YOLOv7的小目标检测

目标检测论文解读复现【NO.21】基于改进YOLOv7的小目标检测

前言 此前出了目标改进算法专栏，但是对于应用于什么场景，需要什么改进方法对应与自己的应用场景有效果，并且多少改进点能发什么水平的文章，为解决大家的困惑，此系列文章旨在给大家解读最新目标检测算法论文&#xff0…
阅读更多...
Java项目：基于SSM的高校运动会管理系统的设计与实现

Java项目：基于SSM的高校运动会管理系统的设计与实现

作者主页：源码空间站2022 简介：Java领域优质创作者、Java项目、学习资料、技术互助 文末获取源码 项目介绍 该高校运动会信息管理系统是以B/S架构为设计基础并基于SSM框架开发的系统。系统采用了Java语言和MySQL数据库来实现。 系统按预定的算法完成了创…
阅读更多...
数据结构---删去k个数字后的最小值

数据结构---删去k个数字后的最小值

删去k个数字后的最小值思路贪心算法JAVA实现1JAVA实现2给出一个整数，从该整数中去掉k个数字，要求剩下的数字形成的新整数尽可能小。应该如何选取被去掉的数字？ 其中整数的长度大于或等于k，给出的整数的大小可以超过long类型的数字…
阅读更多...
计算机毕业设计 基于HTML+CSS+JavaScript 大气的甜品奶茶美食餐饮文化网页设计与实现23页面

计算机毕业设计 基于HTML+CSS+JavaScript 大气的甜品奶茶美食餐饮文化网页设计与实现23页面

👨‍🎓静态网站的编写主要是用HTML DIVCSS JS等来完成页面的排版设计👩‍🎓,常用的网页设计软件有Dreamweaver、EditPlus、HBuilderX、VScode 、Webstorm、Animate等等，用的最多的还是DW，当然不同软件写出的…
阅读更多...
Java+SSM房屋租赁系统房屋出租房产(含源码+论文+答辩PPT等)

Java+SSM房屋租赁系统房屋出租房产(含源码+论文+答辩PPT等)

项目功能简介: 该项目采用的技术实现如下 后台框架：Spring、SpringMVC、MyBatis UI界面：jQuery 、JSP 数据库：MySQL 系统功能 系统分为前台用户界面和后台系统管理： 1.前台用户界面 用户注册、用户登录、用户中心、浏览房源、房源…
阅读更多...
代码随想录训练营第54天|休息日 小结

代码随想录训练营第54天|休息日 小结

打家劫舍系列 198. 打家劫舍对于当前的房间，无非就两种选择：偷与不偷。如果当前房间偷，那么前一个房间就不偷，即dp[i] dp[i-2] nums[i]；如果当前房间不偷，那么dp[i] dp[i-1]，因此递推公式为…
阅读更多...
ch3_1_多进程的概念

ch3_1_多进程的概念

1. CPU 的管理 CPU的工作原理： 从内存中取出程序的指令， 执行程序中的指令； 1.1 多道程序 假设A 程序运行时， 遇到 IO 处理时， 为了能够执行A 程序的后续指令， 正常情况下 cpu 需要等待着IO 处理完成&am…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023