从小白到大神之路之学习运维第54天--------ELK日志收集分析

news2024/9/21 10:31:00

第三阶段基础

时  间:2023年7月6日

地  点:2304教室

授课人:李凤海

参加人:全班人员

内  容:

ELK技术堆栈

目录

服务器设置:

部署elasticsearch集群:

配置elasticsearch集群:

配置收集系统日志:


服务器设置:

elk_cluster集群

主机名

huyang1

huyang2

huyang3

IP地址

192.168.59.137

192.168.59.138

192.168.59.140

环境配置:(三台服务器都配置)

1、关闭防火墙

systemctl stop firewalld

iptables -F

setenforce 0

2、下载所需要的安装包

如下图:

3、配置/etc/hosts文件

部署elasticsearch集群:

【huayng1配置】

1、安装elasticsearch软件

rpm -ivh elasticsearch-5.5.0.rpm

2.重新识别系统中的服务并且设置为开机自启动

 systemctl daemon-reload

 systemctl enable elasticsearch.service

3、修改配置文件

vim /etc/elasticsearch/elasticsearch.yml

配置如下图:

4、优化运行内存

vim /etc/elasticsearch/jvm.options

配置如下:

5、创建目录并且把用户和组都改为elasticsearch

 mkdir -p /data/elk_data

 chown elasticsearch:elasticsearch /data/elk_data/

6.启动elasticsearch.服务并且查看端口

 systemctl start elasticsearch.service

 netstat -anpt | grep 9200

【huyang2配置】

1、安装elasticsearch软件

rpm -ivh elasticsearch-5.5.0.rpm

2.重新识别系统中的服务并且设置为开机自启动

 systemctl daemon-reload

 systemctl enable elasticsearch.service

3、修改配置文件

vim /etc/elasticsearch/elasticsearch.yml

配置如下图:

4、优化运行内存

vim /etc/elasticsearch/jvm.options

配置如下:

5、创建目录并且把用户和组都改为elasticsearch

 mkdir -p /data/elk_data

 chown elasticsearch:elasticsearch /data/elk_data/

6.启动elasticsearch.服务并且查看端口

 systemctl start elasticsearch.service

 netstat -anpt | grep 9200

【客户端访问】

1、访问节点

 http://192.168.59.137:9200/

 http://192.168.59.138:9200/

2、检查集群健康状态为green代表健康

 http://192.168.59.137:9200/_cluster/health?pretty

 http://192.168.59.138:9200/_cluster/health?pretty

配置elasticsearch集群:

【huyang1】

1、安装node-v8.2.1-linux-x64

tar xf node-v8.2.1-linux-x64.tar.gz -C

/usr/local/

做链接

 ln -s

/usr/local/node-v8.2.1-linux-x64/bin/node /usr/bin/node

 ln -s

/usr/local/node-v8.2.1-linux-x64/bin/npm /usr/local/bin/

查看版本

node -v

npm -v

2、安装elasticsearch-head插件

tar xf elasticsearch-head.tar.gz -C /data/elk_data/

 cd /data/elk_data/

修改用户和组

 chown -R elasticsearch:elasticsearch

elasticsearch-head/

cd到elasticsearch-head/下

cd elasticsearch-head/

安装npm

npm install

3、配置_site文件

cd到site/下并且把app.js做个备份然后编辑

cd _site/        

cp app.js{,.bak}  做备份

vim app.js

配置如下:(第4329行,改成本机ip)

4、启动npm并且启动elasticsearch

npm run start &

systemctl start elasticsearch

netstat -lnpt | grep 9100

客户端:访问ip查看节点

  http://192.168.59.137:9100/

5、插入数据测试类型为test

 curl -XPUT

'localhost:9200/index-demo/test/1?pretty&pretty' -H 'Content-Type: application/json' -d '{ "user": "zhangsan","mesg":"hello word" }'

客户端

刷新http://192.168.59.137:9100/

查看索引,发生了变化

6、安装logstash

rpm -ivh logstash-5.5.1.rpm

7、启动logstash服务并且做一个软链接

systemctl start logstash

ln -s /usr/share/logstash/bin/logstash

/usr/local/bin/

8、使用logstash将信息写入到elasticsearch中

 logstash -e 'input {stdin{} } output

{  elasticsearch { hosts=>["192.168.59.137:9200"]} }'

客户端

刷新http://192.168.59.137:9100/

查看索引,发生了变化

配置收集系统日志:

【huyang1】

1、cd到logstash写入配置文件

 cd /etc/logstash/conf.d/

 vim systemc.conf

配置如下:

2、重启logstash

 systemctl restart logstash

3、加载systemc.conf文件并查看是否到es当中

logstash -f systemc.conf

客户端

刷新http://192.168.59.137:9100/

查看索引,发生了变化

进入查看数据:

安装kibana

【huyang1】

1、 rpm -ivh kibana-5.5.1-x86_64.rpm

systemctl enable kibana.service 设置开机自启

2、修改配置文件并启动服务

 vim /etc/kibana/kibana.yml

配置如下:

3、启动服务并且查看端口

systemctl restart kibana.service

netstat -lnpt | grep 5601

logstash -f /etc/logstash/conf.d/system.conf

客户端访问:

192.168.59.137:5601

创建信息:输入system-,系统日志

验  证:

创建成功,这下就可以观察分析系统日志了!

安装apache:

【huyang3】

1、下载安装apache

yum -y install httpd

2、启动httpd

systemctl start httpd

3、下载安装 logstash-5.5.1.rpm

rpm -ivh logstash-5.5.1.rpm

4、启动服务并做优化

systemctl enable logstash.service

systemctl start  logstash.service

ln -s /usr/share/logstash/bin/logstash

/usr/local/bin/

5、修改配置文件

cd到logstash下

cd /etc/logstash/conf.d/

vim huyang3_log.conf

配置如下:

6、logstash -f huyang3_log.conf //加载文件

客户端访问:

192.168.59.140:80

而后再访问:

192.168.59.137:9100

继续访问:并创建huyang_error

192.168.59.137:5601

创建huyang3_access

创建成功,访问:

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/729476.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

怎样寻找SEO服务商,需要注意那些问题?

网上提供SEO服务的公司或个人多如牛毛,随便在搜索引擎上搜索一下,成千上万的公司就在眼前。大部分网站设计公司也兼职SEO服务,寻找合适的SEO服务商并不简单,鉴别合格的SEO服务商是关键。 1、确定外包任务 如果没有SEO团队&…

C++类相关概念

1. 函数形参默认值 (1) 建议函数(不仅仅是构造函数)形参默认值只在函数声明中指定; (函数声明和定义写在同一个文件中,则函数声明、定义两者之一或两者都可指定形参默认值,两者都指定…

mybati执行流程源码分析

MyBatis执行流程源码分析 前言 由于之前写过关于mybatis源码的文章,但是感觉还是不够细致,不够完善.没有把一些具体的流程应用写下来,至此又写了一篇.内容可能比较长,希望大家可以打开源码跟着这篇文章一起看源码保证可以收获许多. 1.mybatis基础开发流程 1.引入mybatis相关…

短视频去水印小帮手微信小程序源码带后台

短视频去水印小帮手微信​小程序源码​带后台,短视频去水印系列教程服务端源码。 php版,这里不过多介绍,我假设您有基本的编码基础,并熟悉php语言及laravel框架。

Topaz Gigapixel AI v6 人工智能图像放大

其他软件或插件依赖于插值算法来放大图像,Topaz Gigapixel AI 则与众不同,它使用最先进的深度学习技术来扩大和增强图像。 它通过神经网络分析了数百万张照片,从而了解了不同的照片在放大时细节是如何损失的,以及如何为图像增强和…

四十三、贪心——Huffman树、排序不等式

算法主要内容 一、Huffman树1、题目内容——合并果子2、算法思路(1)“合并果子”中的Huffman树(2)算法步骤(3)状态转移 3、题解 二、排序不等式1、题目内容——排队打水2、算法思路(1&#xff0…

【MySQL】数据库基础概念

文章目录 前言连接服务器什么是数据库?MySQL和MySQLdLinux中如何看到数据库文件SQL语句分类存储引擎 前言 今天继续讲解MySQL相关内容,本期主要讲解数据库的基础概念,方便后续学习数据库。 连接服务器 mysql -h [ip] -P [port] -u [root] …

IRIS在Linux下通过JDBC操作其他数据库

以前都是在Windows上用cache的SqlGateway通过odbc创建连接操作其他数据库。现在都用Linux了,那么和其他数据进行调用咋办呢。 可以看到是可以创建JDBC的连接的,而Java是跨平台的,所以可以用JDBC操作其他数据库,这次以mysql为例。…

浅谈Node.js中的npm和yarn

官方文档: npmhttps://www.npmjs.cn/ yarnhttps://yarn.bootcss.com/ npm和yarn的作用 yarn和npm都是构建和打包javascript代码的工具 区别 npm: 1npm使得js开发者易于分享其为解决特定问题而编写的代码,且可供其他开发者在他们自己的应…

【阶段学习小总结】

串口通信和CAN总线通信的区别 can总线和串口是两种不同的通信模式,注意CAN总线数据传输所用的虽然是DB9串口线,但它完全不是串口,这一点容易出错。 CAN总线通信是高速,可靠,灵活的一种通信协议。作为一种分布式通信方…

天梯赛注意事项

格式错误 有的时候题目隐含的条件是要你输出两行的,即使第二行什么也没有,也得输出。 答案错误可能涉及特殊值的处理 或者 题意与你本身的思维不一致 map定义在main外面 键自动赋值 it->first it->second mp自动按照下标排序 . 模拟出栈入栈操…

使用GTK创建简易计算器

使用GTK创建简易计算器 本文将介绍如何使用GTK(GIMP Toolkit)创建一个简单的计算器应用程序。通过这个例子,你将学习如何构建基本的图形用户界面,并了解GTK的一些常用组件和回调函数的使用。 准备工作 首先,确保你已…

Django之中间件

一、中间件介绍 官方的说法:中间件是一个用来处理Django的请求和响应的框架级别的钩子。它是一个轻量、低级别的插件系统,用于在全局范围内改变Django的输入和输出。每个中间件组件都负责做一些特定的功能。 但是由于其影响的是全局,所以需要…

Vivado2020.1 vitis使用:创建hello world项目

前言 之前网上的教程都是基于Vivado2018的,后来接手一个未完工的项目,是使用Vivado2020.1创建的,非常尴尬,只能打开,不能编辑。千辛万苦把2020.1安装好,当然此时不仅仅是Vivado2020.1了,而是vi…

gitee注册以及使用的简单教程

目录 1.gitee是什么? 2. gitee怎么注册? 3.gitee创建仓库 4.gitee怎么提交代码? 5. git的三板斧 1.gitee是什么? 基于Git的代码托管和研发协作平台上面可以托管个人或者公司的代码和开源项目。国外有github,国内有giteegithub经常出现…

(vue)el-table表头、内容居中

(vue)el-table表头、内容居中 效果&#xff1a; 表头、内容都居中 <el-table:data"gridData":header-cell-style"{text-align:center}":cell-style"{text-align:center}" >单个表格的内容居中&#xff1a; el-table-column上加上align‘c…

【C++】-string类的模拟实现

&#x1f496;作者&#xff1a;小树苗渴望变成参天大树&#x1f388; &#x1f389;作者宣言&#xff1a;认真写好每一篇博客&#x1f4a4; &#x1f38a;作者gitee:gitee✨ &#x1f49e;作者专栏&#xff1a;C语言,数据结构初阶,Linux,C 动态规划算法\&#x1f384; 如 果 你…

抖音seo源码开发部署技术分享(一)

目录 开发概述 自研开发者介绍 开发要求&#xff1a; 技术开发布局 源码部署及搭建分享 部署环境搭建 代码开发示例 请求样例 响应样例&#xff1a; 代码展示样例 开发概述 开放平台基于开发者诉求和相关平台规则&#xff0c;提供了两种开放模式&#xff1a;能力开放…

前端Vue自定义顶部导航栏navBar 导航栏搜索框searchBar 导航栏右侧菜单按钮button

前端Vue自定义顶部导航栏navBar 导航栏搜索框searchBar 导航栏右侧菜单按钮button&#xff0c;下载完整代码请访问uni-app插件市场地址&#xff1a;https://ext.dcloud.net.cn/plugin?id13342 效果图如下: # cc-headerSearch #### 使用方法 使用方法 <!-- icon: 右侧菜单…

OpenCV在一个图像上画一个空心绿色的圆和一个实心红色的圆

/*** void cvCircle( CvArr* img, CvPoint center, int radius, CvScalar color, int thickness=1, int line_type=8, int shift=0 );* Opencv画点 其实画的是小圆圈* img:图像。* center:圆心坐标。* radius:圆形的半径。* color:线条的颜色。* thickness:如果是正数,表…