【ELK】日志系统部署

news2024/12/22 2:08:17

一、ELK日志分析系统

1、ELK的组成

  • ElasticSearch
  • LogStash
  • Kibana

ELK基于这三个开源日志的收集、存储、检索和可视化的解决方案；可帮助用户快速定位和分析应用程序的故障，监控应用程序性能和安全，以及提供丰富的数据分析和展示功能。

2、完整日志系统特征

ELK是一个完整的处理分析日志的系统

收集：能够采集多种来源的日志数据
传输：能够稳定的把日志数据解析过滤并传输到存储系统
存储：存储日志数据
分析：支持 UI 分析
警告：能够提供错误报告，监控机制

3、ELK的优点

日志主要包括系统日志、应用程序日志和安全日志；运维人员经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。

单台机器的日志我们使用grep、awk等工具能实现简单分析，但当日志被分散的储存不同的设备上这样就很繁琐、效率低下，所以会将所有服务器上的日志集中化管理；但日志的统计和检索又成为一件比较麻烦的事情，所以构建一套集中式日志系统，可以提高定位问题的效率。

4、ELK工作原理

  • 在所有需要收集日志的服务器上部署Logstash；或者先将日志进行集中化管理在日志服务器上，在日志服务器上部署 Logstash
  • Logstash 收集日志，将日志格式化并输出到 Elasticsearch 群集中
  • Elasticsearch 对格式化后的数据进行索引和存储
  • Kibana 从 ES 群集中查询数据生成图表，并进行前端数据的展示

input 数据采集、output 数据输出、filter 数据过滤

logstash作为日志搜集器，从数据源采集数据，并对数据进行过滤，格式化处理，然后交由Elasticsearch存储，kibana对日志进行可视化处理

二、Elasticsearch概述

提供一个分布式多用户功能的全文搜索引擎，对各类数据实时的索引和查询、高可用性和水平扩展性；存放各类日志，搜索各类大型文档。

Elasticserach特性

  • 接近实时

搜索速度非常的快，轻微的延迟。

  • 集群（cluster）

将一个或多个节点组织在一起，组成一个cluster集群。
集群有一个唯一标志的名字，默认Elasticasearch，每个节点基于集群名字加入到集群中，且在集群中使用自己的名字来身份标识。

  • 节点（node）

每一个节点就是一台单台服务器。

  • 索引（index）

一个索引由一个名字来标识（必须全部是小写字母），并且当我们要多对应这个索引中的文档进行索引、更新、删除的时候，都要使用到这个名字。

  • 类型（type）

在一个索引中，你可以定义一个或多种类型。
比如：当我们存储一个购物平台的数据时，可以定义一个用户数据类型，产品数据类型等。

  • 文档（document）

一个文档是一个可被索引的基础信息单元

三、Logstash概述

数据处理工具，可以有多个来源采集数据，对数据进行过滤和转换增强，将数据发给Elasticsearch或其它目的地。

Logstash组件

  • Shipper

日志的收集者，并对其格式化

  • Indexer

日志的存储者

  • Broker

日志hub，hub——做链接作用

  • Search and Storage

搜索和存储

  • Web Interface

基于Web的展示界面

四、Kibana概述

针对ElasticSearch的数据可视化平台，可通过各种图表、仪表盘和地图来展示和搜索ElasticSearch的其中数据。

它可以整合数据分析、接口灵活、可视化多数据源

五、ELK系统部署

1、部署环境

主机名ip地址主要软件系统
node1192.168.154.70ElasticSearh、KibanaCentos7.5
node2192.168.154.60ElasticSearhCentos7.5
Apache192.168.154.50Logstash、ApacheCentos7.5

2、部署ElasticSearh（node1、2）

关闭防火墙、修改主机名（所有主机）

systemctl stop firewalld
setenforce 0 

hostnamectl set-hostname node1
hostnamectl set-hostname node2
hostnamectl set-hostname logstash

安装JDK，加载系统服务

默认的是open jdk，不建议使用（ES是java开发的）

java -version					#如果没有安装，yum -y install java

openjdk version "1.8.0_131"
OpenJDK Runtime Environment (build 1.8.0_131-b12)
OpenJDK 64-Bit Server VM (build 25.131-b12, mixed mode)

修改elasticsearch主配置文件

--17--取消注释，指定集群名字
cluster.name: my-elk-cluster
--23--取消注释，指定节点名字：Node1节点为node1，Node2节点为node2
node.name: node1
--33--取消注释，指定数据存放路径
path.data: /data/elk_data
--37--取消注释，指定日志存放路径
path.logs: /var/log/elasticsearch/
--43--取消注释，改为在启动的时候不锁定内存
bootstrap.memory_lock: false
--55--取消注释，设置监听地址，0.0.0.0代表所有地址
network.host: 0.0.0.0
--59--取消注释，ES 服务的默认监听端口为9200
http.port: 9200
--68--取消注释，集群发现通过单播实现，指定要发现的节点 node1、node2
discovery.zen.ping.unicast.hosts: ["node1", "node2"]

创建数据存放路径并授权、开启ES服务

查看节点信息

使用上述方式查看群集的状态对用户并不友好，可以通过安装 Elasticsearch-head 插件，可以更方便地管理群集。

2.1、安装 Elasticsearch-head 插件

编译安装 node

安装 Elasticsarch-head 需要提前安装好依赖软件 node 和 phantomjs

yum -y install gcc gcc-c++ make 

cd /opt

tar xzvf node-v8.2.1.tar.gz

cd node-v8.2.1/
./configure 
make -j4 &&make install
#安装会稍微久一点

安装 phantomjs（前端的框架）

#上传安装包上传到/opt目录下

cd /opt
tar -jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/src
cd /usr/local/src/phantomjs-2.1.1-linux-x86_64/bin
cp phantomjs /usr/local/bin

安装 Elasticsearch-head 数据可视化工具

#将包上传到/opt目录下

tar -zxvf elasticsearch-head.tar.gz -C /usr/local/src/
cd /usr/local/src/elasticsearch-head
npm install

修改 Elasticsearch 主配置文件

--末尾添加以下内容--
http.cors.enabled: true				#开启跨域访问支持，默认为 false
http.cors.allow-origin: "*"			#指定跨域访问允许的域名地址为所有

systemctl restart elasticsearch

启动 elasticsearch-head 服务

通过 Elasticsearch-head 查看 Elasticsearch 信息

插入索引

#通过命令插入一个测试索引，索引为 index-demo，类型为 test

curl -X PUT 'localhost:9200/index-demo1/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'

#插入索引

3、部署Logstash

安装Apahce服务、Java环境

yum -y install httpd
systemctl start httpd

yum -y install java
java -version

安装Logstash

cd /opt
rpm -ivh logstash-5.5.1.rpm                           
systemctl start logstash.service                      
systemctl enable logstash.service

ln -s /usr/share/logstash/bin/logstash /usr/local/bin/

测试 Logstash

修改 Logstash 配置文件

让其收集系统日志/var/log/messages，并将其输出到 elasticsearch 中

4、Kibana

安装 Kiabana

#上传软件包 kibana-5.5.1-x86_64.rpm 到/opt目录

cd /opt
rpm -ivh kibana-5.5.1-x86_64.rpm

设置 Kibana 的主配置文件、并启动

vim /etc/kibana/kibana.yml

--2--取消注释，Kiabana 服务的默认监听端口为5601
server.port: 5601
--7--取消注释，设置 Kiabana 的监听地址，0.0.0.0代表所有地址
server.host: "0.0.0.0"
--21--取消注释，设置和 Elasticsearch 建立连接的地址和端口
elasticsearch.url: "http://192.168.10.13:9200" 
--30--取消注释，设置在 elasticsearch 中添加.kibana索引
kibana.index: ".kibana"

验证 Kibana

将 Apache 服务器的日志 添加到 Elasticsearch 并通过 Kibana 显示

在Logstash服务器操作

vim /etc/logstash/conf.d/apache_log.conf

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1022314.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Word 自动编号从10 以后编号后面的空白很大

Word 自动编号从10 以后编号后面的空白很大

目录 1、打开Word，选中需要修改的行。 2、点击鼠标右键，选择调整列表缩进一项，弹出对话框。 3、弹出对话窗口里将编号之后里面的选项，改成不特别标注。 4、点击确定，可以看到效果。 多余的缩进已经没有了。至此&…
阅读更多...
从零开始搭建java web springboot Eclipse MyBatis jsp mysql开发环境

从零开始搭建java web springboot Eclipse MyBatis jsp mysql开发环境

文章目录 1 第一步软件安装1.1 下载并安装Eclipse1.2 下载并安装Java1.3 下载并安装Apache Maven1.4 下载并安装MySQL 2 创建所需要的表和数据3 创建Maven 工程、修改jdk4 通过pom.xml获取所需要的jar包5 安装Eclipse的MyBatis插件6 创建文件夹以及jsp文件7 创建下面各种java类…
阅读更多...
没有炫光的台灯有哪些？无眩光灯具推荐

没有炫光的台灯有哪些？无眩光灯具推荐

很多家长有时候会说孩子觉得家里的台灯灯光刺眼，看书看久了就不舒服。这不仅要看光线亮度是否柔和，还要考虑台灯是不是有做遮光式设计。没有遮光式设计的台灯，光源外露，灯光会直射孩子头部，孩子视线较低，很…
阅读更多...
掌握Katalon Studio 导入 swagger 接口文档，接口测试效率提升100%

掌握Katalon Studio 导入 swagger 接口文档，接口测试效率提升100%

katalon studio大家都已经不陌生了，是一款现在非常主流的自动化测试工具，包括了web、api、APP，甚至PC应用程序都可以使用它来完成自动化测试。 swagger是一款RESTFUL接口的文档在线自动生成软件，swagger是一个规范和完整的框架&a…
阅读更多...
Python 基于人脸识别的实验室智能门禁系统的设计，附可视化界面

Python 基于人脸识别的实验室智能门禁系统的设计，附可视化界面

1 简介 本基于人脸识别的实验室智能门禁系统通过大数据和信息化的技术实现了门禁管理流程的信息化的管理操作。平台的前台页面通过简洁的平台页面设计和功能结构的分区更好的提高用户的使用体验，没有过多的多余的功能，把所有的功能操作都整合在功能操作…
阅读更多...
物理内存分配

物理内存分配

目录 内核物理内存分配接口 内存分配行为（物理上） 内存分配的行为操作 内存 三个水位线 水线计算 水位线影响内存分配行为 内存分配核心__alloc_pages 释放页 1、内核物理内存分配接口 struct page *alloc_pages(gfp_t gfp, unsigned int ord…
阅读更多...
【go语言基础】go类型断言 type switch + case，t := x.(type)

【go语言基础】go类型断言 type switch + case，t := x.(type)

有这么一个场景，当你在和用户对接的时候，调取第三方接口，但是第三方接口的时常变化的，比如从string类型变为int，这个时候你需要再去判断类型，获取第三方接口的参数。比较麻烦。 针对这一场景，g…
阅读更多...
爬虫工具篇-ProxyBroker-代理IP管理

爬虫工具篇-ProxyBroker-代理IP管理

前言 随着互联网的不断发展，大量的信息和数据都被存储在各种不同的网站上。为了获取这些信息和数据，我们经常需要使用爬虫工具来自动化地从网站上抓取数据。然而，在一些情况下，网站可能会采取一些反爬虫措施，例如向IP…
阅读更多...
AG35学习笔记（一）：debug串口抓取模组log、debug串口测试AT指令、echo命令通过串口发送16进制数据

AG35学习笔记（一）：debug串口抓取模组log、debug串口测试AT指令、echo命令通过串口发送16进制数据

目录 一、概述二、抓取模组log2.1 硬件接口2.2 用户登录2.3 相关指令 三、测试AT指令3.1 查看端口3.2 进入模式 四、串口发16进制echo使用 一、概述 二、抓取模组log 在之前记录了通过USB，使用移远工具Qwinlog来抓取log（3.3 抓取模组log）。…
阅读更多...
21天学会C++：Day11----运算符重载

21天学会C++：Day11----运算符重载

CSDN的uu们&#xff0c;大家好。这里是C入门的第十一讲。 座右铭&#xff1a;前路坎坷&#xff0c;披荆斩棘&#xff0c;扶摇直上。 博客主页&#xff1a; 姬如祎 收录专栏&#xff1a;C专题 目录 1. 知识引入 2. 运算符重载 2.1 operator<() 2.2 operator() 2.3 o…
阅读更多...
上市公司的公众环境关注度（2011-2022年）

上市公司的公众环境关注度（2011-2022年）

随着互联网的普及&#xff0c;公众越来越多地通过互联网表达看法。国内外一些学者在研究中采用Google搜索引擎搜索功能构建指标&#xff0c;表达公众需求和关注程度(Kahn & Kotchen, 2011; Choi & Varian, 2012; 郑思齐等&#xff0c; 2013) 百度搜索在中国内地的市场占…
阅读更多...
高速、低功耗模拟开关芯片 MS703D

高速、低功耗模拟开关芯片 MS703D

MS703D 是一款高速、低功耗模拟开关芯片&#xff0c;其工作电压范围 是 1.8 至 5.5V 。其具有低码间偏移、高通道噪声隔离度以及大带 宽特性。 主要应用范围包括&#xff1a;手持设备和消费电子&#xff0c;如手机、数码相 机、笔记本电脑等。 主要特点  3V 下导通电…
阅读更多...
开源日报 0824 | 构建UI组件和页面的前端工作坊

开源日报 0824 | 构建UI组件和页面的前端工作坊

Storybook 是一个用于构建 UI 组件和页面的前端工作坊&#xff0c;支持多种主流框架&#xff0c;提供丰富的插件&#xff0c;具有可配置性强和扩展性好的特点。 storybookjs/storybook Stars: 79.9k License: MIT Storybook 是一个用于构建 UI 组件和页面的前端工作坊&#x…
阅读更多...
px to rem rpx vw中文文档 |px自动转换rem插件

px to rem rpx vw中文文档 |px自动转换rem插件

【px to rem & rpx & vw】项目地址&#xff1a; https://github.com/cipchk/vscode-cssrem/blob/HEAD/README.zh-CN.md 作者&#xff1a;卡色-cipchk https://github.com/cipchk cssrem 一个 px 与 rem 单位互转的 VSCode 插件&#xff0c;且支持WXSS微信小程序。 特性…
阅读更多...
成集云 | 金蝶EAS与旺店通ERP集成（旺店通主管库存）| 解决方案

成集云 | 金蝶EAS与旺店通ERP集成（旺店通主管库存）| 解决方案

源系统成集云目标系统 方案介绍 金蝶EAS是一款全球首款融合TOGAF标准SOA架构的企业管理软件&#xff0c;专门为大中型企业设计&#xff0c;以“创造无边界信息流”为产品设计理念&#xff0c;支持云计算、SOA和动态流程管理的整合技术平台。 旺店通ERP系统是一款专…
阅读更多...
API(十)时间相关的SDK

API(十)时间相关的SDK

一 时间相关的SDK ① 时间记录的必要性 1、案发现场的时间点2、通过时间判断性能3、时间的不准确性,日志落盘时间 --> 缓冲区导致延迟 ② 使用哪些日期和时间的函数 1、lua 标准时间函数,函数 os.time、os.date 和 os.difftime 提供了所有日期和时间2、在 openresty…
阅读更多...
什么是商品价格监控，需要用到API接口嘛

什么是商品价格监控，需要用到API接口嘛

商品价格监控是指通过系统化的方法来追踪、分析和比较商品价格的动态变化&#xff0c;以帮助商家及时获取市场价格信息&#xff0c;做出相应的决策。为了实现这一目标&#xff0c;API接口可以被用来获取商品价格信息。 具体来说&#xff0c;商家可以通过API接口连接到电商平台…
阅读更多...
生产制造业厂家固定资产怎么管理

生产制造业厂家固定资产怎么管理

固定资产的管理对于企业的运营效率和盈利能力具有重要影响。然而&#xff0c;传统的固定资产管理方法往往存在许多问题&#xff0c;如资产的低效使用、维护成本高昂以及决策者对资产价值缺乏准确了解等。 因此&#xff0c;我们需要采用一种全新的方式来管理我们的固定资产。本文…
阅读更多...
“温莎当下·麦克成风”2023赛季 杭州赛区决赛圆满落幕！

“温莎当下·麦克成风”2023赛季 杭州赛区决赛圆满落幕！

2023年9月16日&#xff0c;“温莎当下麦克成风”2023赛季上海赛区决赛在拱墅区大悦城水秀广场落下帷幕。比赛现场气氛高燃、精彩纷呈&#xff0c;选手们在璀璨的舞台上激情演唱&#xff0c;上演了一场精彩刺激的巅峰争霸赛。经过多轮比拼&#xff0c;最终7号选手方雪莹脱颖而出…
阅读更多...
标准防雷接地网和简易地网的制作方法

标准防雷接地网和简易地网的制作方法

防雷接地网是整套防雷系统不可缺少的部分&#xff0c;一般是由埋在地下一定深度的多个金属接地极和由导体将这些接地极相互连接组成一网状结构的接地体的总称。它广泛应用在电力、建筑、计算机&#xff0c;工矿企业、通讯等众多行业之中&#xff0c;起着安全防护、屏蔽等作用。…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023