在Linux中部署ELK架构

news2024/11/26 20:37:15

ELK(ElasticSearch分布式搜索引擎、Logstash数据收集处理引擎和Kibana可视化化平台)是在大型后端架构中,一个标准的数据采集方案。

在公网IP为x.x.x.x的服务器上部署Elasticsearch+ Logstash+filebeat+redis+Kibana架构。这种架构先通过Logstash收集日志,然后通过Elasticsearch分析日志,最后在Kibana中展示数据。可以在客户端部署filebeat(轻量级数据收集引擎),filebeat消耗比Logstash更少的资源就能够收集到日志。可以通过部署redis来避免数据的丢失,当Logstash出现故障时,日志还是存在于redis中,当Logstash再次启动,就会读取redis中存储的日志。

docker安装

第一步,卸载旧版本docker。

命令:yum remove docker docker-client docker-client-latest docker-common docker-latest docker-latest-logrotate docker-logrotate docker-engine

第二步,安装gcc依赖。

命令:yum -y install gcc gcc-c++

第三步,使用docker仓库进行安装。

# 设置仓库,安装所需的软件包。

命令:yum install -y yum-utils device-mapper-persistent-data lvm2

# 可以选择阿里云源地址

命令:yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

第四步,安装docker。

# 安装最新版本的docker Engine-Community和containerd

命令:yum install docker-ce docker-ce-cli containerd.io

# 列出存储库中可用的版本并按版本号从高到低进行排序

命令:yum list docker-ce --showduplicates | sort -r

# 通过其完整的软件包名称安装特定版本,如docker-ce-24.0.0。

命令:yum install docker-ce-24.0.0 docker-ce-cli-24.0.0 containerd.io

第五步,启动docker。

命令:systemctl enable docker

systemctl start docker

systemctl restart docker

第六步,验证docker是否正确安装。

命令:docker version

docker run hello-world

若结果显示“Hello from docker!”,则说明docker安装成功。

Elasticsearch安装

第一步,创建docker网络。

命令:docker network create -d bridge elastic

第二步,拉取8.4.3版本的elasticsearch。

命令:docker pull elasticsearch:8.4.3

  

第三步,执行docker脚本。

命令:docker run -it \

-p 9200:9200 \

-p 9300:9300 \

--name elasticsearch \

--net elastic \

-e ES_JAVA_OPTS="-Xms1g -Xmx1g" \

-e "discovery.type=single-node" \

-e LANG=C.UTF-8 \

-e LC_ALL=C.UTF-8 \

elasticsearch:8.4.3

注意:第一次执行脚本不要加参数“-d”,这样首次运行时就会生成随机密码和随机enrollment token,需要将生成的随机密码和随机enrollment token保存。

  

第四步,创建一个Elasticsearch挂载目录。

命令:mkdir -p /usr/local/elk8.4.3/elasticsearch

第五步,将容器内的文件复制到主机上。

命令:docker cp elasticsearch:/usr/share/elasticsearch/config /usr/local/elk8.4.3/elasticsearch/

docker cp elasticsearch:/usr/share/elasticsearch/data /usr/local/elk8.4.3/elasticsearch/

docker cp elasticsearch:/usr/share/elasticsearch/plugins /usr/local/elk8.4.3/elasticsearch/

docker cp elasticsearch:/usr/share/elasticsearch/logs /usr/local/elk8.4.3/elasticsearch/

第六步,编辑文件夹/usr/local/elk8.4.3/elasticsearch/config中的配置文件elasticsearch.yml。

编辑配置文件elasticsearch.yml,在文件中添加下面的代码:

xpack.monitoring.collection.enabled: true

第七步,重启docker容器,使上面的配置生效。

命令:docker restart elasticsearch

第八步,登录网址:https://x.x.x.x:9200进行测试。

用户名是“elastic”, 密码是第一次启动elastic时生成的密码“t+7vo-mo--6tXTQdKq62”。

Kibana安装

第一步,在docker中拉取8.4.3版本的kibana镜像。

命令:docker pull kibana:8.4.3

  

第二步,在docker中执行启动脚本命令。

命令:docker run -it \

-d \

--restart=always \

--log-driver json-file \

--log-opt max-size=100m \

--log-opt max-file=2 \

--name kibana \

-p 5601:5601 \

--net elastic \

kibana:8.4.3

第三步,创建一个kibana挂载目录。

命令:mkdir -p /usr/local/elk8.4.3/kibana

第四步,将容器内的文件复制到主机上。

命令:docker cp kibana:/usr/share/kibana/config /usr/local/elk8.4.3/kibana/

docker cp kibana:/usr/share/kibana/data /usr/local/elk8.4.3/kibana/

docker cp kibana:/usr/share/kibana/plugins /usr/local/elk8.4.3/kibana/

docker cp kibana:/usr/share/kibana/logs /usr/local/elk8.4.3/kibana/

第五步,编辑文件夹/usr/local/elk8.4.3/kibana/config中的配置文件kibana.yml。

编辑配置文件kibana.yml,在文件中添加下面的代码:

# 注意一定要用https

elasticsearch.hosts: [ "https://x.x.x.x:9200" ]

i18n.locale: "zh-CN"

  

第六步,查看kibana中的日志。

命令:docker logs -f kibana

kibana中的日志文件中会显示“5601”端口号。

  

第七步,登录网址:http://x.x.x.x:5601进行认证登录。

在“注册令牌”中输入第一次启动elastic时生成的enrollment token“eyJ2ZXIiOiI4LjQuMyIsImFkciI6WyIxNzIuMTguMC4yOjkyMDAiXSwiZmdyIjoiMDY5NDlkZDRkYmUzOWU5MDBhZDljMDVhYzU3YTVkMjAyYzI4ZmE5MTQ2YzY5ZmU2MTc1OTJiN2ZjY2YwNzFiNSIsImtleSI6IjlHSE5INGtCN2tud0Y0OEVzc1FuOjFpZGg3N3J2VEZTZmNPR3puRndRMUEifQ==”。

  

接着,点击“配置弹性”,就会弹出一个“需要验证”对话框,需要输入验证码进行验证。

可以从kibana的日志中获取验证码。

命令:docker logs -f kibana

  

然后,点击“验证”,就会进行“保存设置”“启动弹性”“完成设置”操作。

  

最后,页面会显示“欢迎来到弹性”,可以在“用户名”输入“elastic”, “密码”输入第一次启动elastic时生成的“t+7vo-mo--6tXTQdKq62”。

Logstash安装

第一步,在docker中拉取8.4.3版本的logstash镜像。

命令:docker pull logstash:8.4.3

  

第二步,在docker中执行启动脚本命令。

命令:docker run -it \

-d \

--name logstash \

-p 9600:9600 \

-p 5044:5044 \

--net elastic \

logstash:8.4.3

第三步,创建一个logstash挂载目录。

命令:mkdir -p /usr/local/elk8.4.3/logstash

第四步,将容器内的文件复制到主机上。

命令:docker cp logstash:/usr/share/logstash/config /usr/local/elk8.4.3/logstash/

docker cp logstash:/usr/share/logstash/pipeline /usr/local/elk8.4.3/logstash/

第五步,将/usr/local/elk8.4.3/elasticsearch/config/certs复制到/usr/local/elk8.4.3/logstash/config/certs。

命令:cp -pr /usr/local/elk8.4.3/elasticsearch/config/certs /usr/local/elk8.4.3/logstash/config/certs

第六步,编辑文件夹/usr/local/elk8.4.3/logstash/config中的配置文件logstash.yml。

编辑配置文件logstash.yml,得到下面的代码:

http.host: "0.0.0.0"

xpack.monitoring.enabled: true

# 必须是https

xpack.monitoring.elasticsearch.hosts: [ "https://x.x.x.x:9200" ]

xpack.monitoring.elasticsearch.username: "elastic"

xpack.monitoring.elasticsearch.password: "第一次启动elasticsearch时保存的信息中查找"

xpack.monitoring.elasticsearch.ssl.certificate_authority: "/usr/share/logstash/config/certs/http_ca.crt"

xpack.monitoring.elasticsearch.ssl.ca_trusted_fingerprint: "第一次启动elasticsearch时保存的信息中查找"

第七步,编辑文件夹/usr/local/elk8.4.3/logstash/pipeline中的配置文件logstash.yml。

编辑配置文件logstash.yml,得到下面的代码:

input {

  beats {

    port => 5044

  }

}

filter {

  date {

    match => [ "@timestamp", "yyyy-MM-dd HH:mm:ss Z" ]

  }

  mutate {

    remove_field => ["@version", "agent", "cloud", "host", "input", "log", "tags", "_index", "_source", "ecs", "event"]

  }

}

output {

  elasticsearch {

    hosts => ["https://x.x.x.x:9200"]

    index => "server-%{+YYYY.MM.dd}"

    ssl => true

    ssl_certificate_verification => false

    cacert => "/usr/share/logstash/config/certs/http_ca.crt"

    ca_trusted_fingerprint => "第一次启动elasticsearch时保存的信息中查找"

    user => "elastic"

    password => "第一次启动elasticsearch时保存的信息中查找"

  }

}

filebeat安装

第一步,在docker中拉取8.4.3版本的filebeat镜像。

命令:docker pull elastic/filebeat:8.4.3

  

第二步,在docker中执行启动脚本命令。

命令:docker run -it \

-d \

--name filebeat \

--network host \

-e TZ=Asia/Shanghai \

elastic/filebeat:8.4.3 \

filebeat -e  -c /usr/share/filebeat/filebeat.yml

第三步,创建一个filebeat挂载目录。

命令:mkdir -p /usr/local/elk8.4.3/filebeat

第四步,将容器内的文件复制到主机上。

命令:docker cp filebeat:/usr/share/filebeat/filebeat.yml /usr/local/elk8.4.3/filebeat/

docker cp filebeat:/usr/share/filebeat/data /usr/local/elk8.4.3/filebeat/

docker cp filebeat:/usr/share/filebeat/logs /usr/local/elk8.4.3/filebeat/

第五步,编辑文件夹/usr/local/elk8.4.3/filebeat中的配置文件filebeat.yml。

编辑配置文件filebeat.yml,得到下面的代码:

filebeat.config:

  modules:

    path: ${path.config}/modules.d/*.yml

    reload.enabled: false

processors:

  - add_cloud_metadata: ~

  - add_docker_metadata: ~

output.logstash:

  enabled: true

  # The Logstash hosts

  hosts: ["x.x.x.x:5044"]

filebeat.inputs:

- type: log

  enabled: true

  paths:

    - /usr/share/filebeat/target/*/*/*.log. # 这个路径是需要收集的日志路径,是docker容器中的路径

  scan_frequency: 10s

  exclude_lines: ['HEAD']

  exclude_lines: ['HTTP/1.1']

  multiline.pattern: '^[[:space:]]+(at|.{3})\b|Exception|捕获异常'

  multiline.negate: false

  multiline.match: after

redis安装

第一步,安装编译工具及库文件。

命令:yum -y install make zlib zlib-devel gcc-c++ libtool  openssl openssl-devel

第二步,下载并解压redis安装包。

命令:cd /usr/local/src

wget http://download.redis.io/releases/redis-4.0.10.tar.gz

tar zxvf redis-4.0.10.tar.gz -C /usr/local

第三步,编译安装redis。

命令:cd /usr/local/redis-4.0.10

make

cd /usr/local/redis-4.0.10/src

make install

redis配置

第一步,新建/usr/local/redis/etc文件夹,并将/usr/local/redis-4.0.10/redis.conf复制到/usr/local/redis/etc。

命令:mkdir -p /usr/local/redis/etc

cp /usr/local/redis-4.0.10/redis.conf /usr/local/redis/etc

第二步,新建/usr/local/redis/bin、/usr/local/redis/db和/usr/local/redis/logs文件夹,/usr/local/redis-4.0.10/src文件夹中的常用命令复制到/usr/local/redis/bin。

命令:mkdir -p /usr/local/redis/bin

mkdir -p /usr/local/redis/db

mkdir -p /usr/local/redis/logs

cd /usr/local/redis-4.0.10/src
cp mkreleasdhdr.sh redis-benchmark redis-check-aof redis-check-dump redis-cli redis-server /usr/local/redis/bin

第三步,编辑配置文件/etc/sysctl.conf。

命令:vim /etc/sysctl.conf

在最后一行添加下面代码:

vm.overcommit_memory = 1

# 使设置立即生效

命令:sysctl -p

第四步,redis开启外部访问权限的方法。

编辑配置/usr/local/redis/etc/redis.conf文件,做以下几处修改:

“bind 127.0.0.1”为“bind 0.0.0.0”,

“daemonize no”改为“daemonize yes”,

“requirepass foobared”改为“requirepass 123456”,

“dir ./”改为“dir /usr/local/redis/db”,

“logfile ”改为“logfile /usr/local/redis/logs/redis.log”,保存并重启redis。

redis启动、关闭服务

第一步,后台启动redis服务。

命令:cd /usr/local/redis/bin

redis-server /usr/local/redis/etc/redis.conf

# 结果第一行最后面显示redis端口

命令:ps -ef | grep redis

# 结果第一行最后面显示redis进程号

命令:netstat -nap | grep  6379

服务端启动成功后,启动redis 客户端,查看端口号。

命令:redis-cli

auth 123456

set [key] [value]

get [key]

exit

netstat -nap | grep 6379

第二步,外部IP地址访问redis。

命令:ip a

redis-cli -h 172.25.217.108 -p 6379

auth "123456"

keys *

set [key] [value]

get [key]

exit

第三步,关闭redis服务。

命令:pkill redis-server

/usr/local/redis/bin/redis-cli shutdown

netstat -nap | grep 6379

关机重启,redis会自动启动

使用/usr/local/redis-4.0.10/utils中的脚本redis_init_script设置开机自启动。

第一步,修改redis_init_script脚本代码。

redis_init_script脚本代码如下:

#!/bin/sh

...

REDISPORT=6379

#服务端所处位置

EXEC=/usr/local/redis/bin/redis-server

#客户端位置

CLIEXEC=/usr/local/redis/bin/redis-cli

#redis的PID文件位置,需要修改

PIDFILE=/var/run/redis_6379.pid

#redis的配置文件位置,需将${REDISPORT}修改为文件名

CONF="/usr/local/redis/etc/redis.conf"

...

第二步,将redis_init_script复制为/etc/rc.d/init.d/redisd。

命令:cd /usr/local/redis-4.0.10/utils

cp redis_init_script /etc/rc.d/init.d/redisd

chmod +x /etc/rc.d/init.d/redisd

# 设置为开机自启动服务器

命令:chkconfig redisd on

# 打开服务

命令:service redisd start

# 关闭服务

命令:service redisd stop

ELK部署完成后的效果

第一步,登录网址:http://x.x.x.x:5601

第二步,在kibana页面选择点击“堆栈监控”。

  

第三步,点击“堆栈监控”会跳转到“未找到监视数据”页面,然后点击“设置自我监控”就会跳转到“监控当前已关闭”页面。

 

  

第四步,点击“打开监控”会跳转到“成功获取监视数据”页面以及“我们正在寻找您的监控数据”页面。

  

第五步,成功获取并成功找到监视数据之后,页面会出现一个“创建规则”对话框,然后点击“还行”即可。

  

第六步,点击“还行”会跳转到“集群概述”页面,该页面显示各种监控数据可供用户方便了解集群的情况

  

第七步,在kibana页面选择点击“堆栈管理”。

  

第八步,点击“堆栈管理”会跳转到“堆栈管理”页面,然后点击“数据—索引管理”,若能看到索引的“健康”状态为“绿”,“地位”为“打开”,则说明ELK部署配置成功。

 

  

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/722382.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

高并发场景:redis+lua防重校验

大家平时在做有并发量下单的项目时,代码层面基本上就分为这么几个步骤:参数校验--->防重校验--->库存校验扣减--->下单成功--->支付。 最近公司有个商城项目说要30分钟达到1亿的并发量。当时听到突然猛了一下。真是牛逼克拉斯呀。 不过该说…

apache php mysql python 环境部署与离线安装deb包

文章目录 1.背景介绍2. 主要涉及操作2.1 安装系统:2.2 apache mysql php安装2.3 配置2.4 python相关库安装 3. 操作记录3.1 软件安装3.2 读取文件内容后进行文件内容抽取3.3 执行以上的sh脚本3.4 所学3.5 打包发送 4. 参考文献 1.背景介绍 使用的系统为ubuntu18.04…

密码学学习笔记(四):Authenticated Encryption - 认证加密

加密数据的最新方法是使用一种称为一体式结构的认证加密算法,该算法也称为有附加数据的认证加密。从之前的博客中,我们看到在特定的操作模式中使用的分组密码,如CBC、OFB、CFB、CTR,提供了IND-CPA安全性。 但是IND-CCA安全性呢&a…

电脑卡顿甚至崩溃?那重置系统吧

我们平时用电脑,最怕遇到蓝屏、死机、报错,等等问题。有时还会碰到些奇奇怪怪的系统问题 文章目录 问题场景:解决方案:一、重启电脑二、移除外接设备三、系统还原1、设置系统还原2、如何进行系统还原3、系统还原失败怎么办 四、卸…

有源差分探头的电压限定和检查步骤

为了使传统示波器能够显示和测试高共模电压的电路波形,有源差分探头对示波器测量性能延伸到了电子功率变换器、 逆变器、 电机的速度控制、 开关电源和许多应用程序的测试。 差分探头外观构成: A-输出线:连接示波器的 BNC 输出连接头和辅助性…

【操作系统】c语言--进程调度算法(FCFS和SPN)

创作不易&#xff0c;本篇文章如果帮助到了你&#xff0c;还请点赞 关注支持一下♡>&#x16966;<)!! 主页专栏有更多知识&#xff0c;如有疑问欢迎大家指正讨论&#xff0c;共同进步&#xff01; &#x1f525;c系列专栏&#xff1a;C/C零基础到精通 &#x1f525; 给大…

Docker轻量级可视化工具Portainer

掌握Portainer的部署和使用。 Portainer 是一款轻量级的应用&#xff0c;它提供了图形化界面&#xff0c;用于方便地管理Docker环境&#xff0c;包括单机环境和集群环境。 Portainer&#xff08;https://www.portainer.io/&#xff09;是一个流行的开源Docker管理工具&#xff…

【设计模式】第八章:桥接模式详解及应用案例

系列文章 【设计模式】七大设计原则 【设计模式】第一章&#xff1a;单例模式 【设计模式】第二章&#xff1a;工厂模式 【设计模式】第三章&#xff1a;建造者模式 【设计模式】第四章&#xff1a;原型模式 【设计模式】第五章&#xff1a;适配器模式 【设计模式】第六章&…

前端为什么使用svg图片

参考链接&#xff1a; 1.http://www.youngzi.cn/5392.html 2.https://baijiahao.baidu.com/s?id1728784571128338709&wfrspider&forpc SVG是什么&#xff1f;SVG有什么用&#xff1f;为什么要使用SVG&#xff1f;本篇文章就给大家介绍一下SVG的相关知识&#xff0c;让…

【Unity】HyBridCLR初探

完成目标: 创建热更新程序集加载热更新程序集,并执行其中热更新代码,打印 Hello, HybridCLR修改热更新代码,打印 Hello, World准备环境​ 安装Unity HybridCLR也支持2019.4.x,但新手请先按照下面要求跑通流程后,再根据安装HybridCLR文档尝试2019.4.x。 安装 2020.3.26+…

如何部署LVS负载均衡集群(DR模式)

目录 一、集群概念与NAT模式LVS集群 二、部署LVS集群&#xff08;DR模式&#xff09; 第一步 关闭防火墙和安全机制 第二步 手动配置ip_vs 第三步 安装ipvsadm工具 第四步 创建虚拟网卡 第五步 修改虚拟网卡配置内容 第六步 开启虚拟网卡并加入路由 第七步 调整proc相…

linux学习(韩顺平 一周学会linux)

b站链接&#xff1a;b站 共27个小时 P3-P85 linux基础篇 P86-P90 java定制篇 P91-P107 大数据shell篇 P108-P115 python定制篇 P117-P141 linux高级篇 P142-P153 面试题 四个阶段&#xff1a; 一、基本操作 二、配置 三、搭建开发环境 四、写一些基本的shell脚本 五、安全设置…

list容器语法

文章目录 listlist基本概念list的优点&#xff1a;list的缺点&#xff1a;重要性质 list 的使用方法list构造函数list 赋值和交换list 长度/大小操作list 插入元素和删除元素访问list 反转和排序sort链表排序案例forward_list&#xff08;C11&#xff09;forward_list 的使用方…

Openlayers实战:绘制点、线、圆、多边形

Openlayers地图中,绘制图形是非常重要的一个功能。Openlayers主要使用draw类来绘制图形,在实际项目中经常会绘制点、线、多边形、矩形等。 下面的示例是绘制点、线、圆形、多边形。 效果图 源代码 /* * @Author: 大剑师兰特(xiaozhuanlan),还是大剑师兰特(CSDN) * @此…

抖音关键词排名怎么做

抖音seo关键词搜索排名推广 产品及合作流程 了解抖音seo关键词搜索流量——用工具选择需要优化的关键词确认——预存套餐及服务——付款签约——开通关键词管理后台——建运营群流程化推进 如何选择优化的关键词? 先选3-5个主词 在工具分别输入主词 列出来的词&#xff0c…

【AJAX】跨域问题笔记

跨域 一、同源策略&#xff08;Same-Origin Policy&#xff09; 是浏览器的安全机制。 同源&#xff1a;协议、域名、端口号必须完全相同 客户端 服务端 违背同源策略就是跨域 二、如何解决跨域 1、JSOPN &#xff08;1&#xff09;JSONP是什么 JSONP(JSON with Padding…

Unity XR Interaction Toolkit(二)手柄交互

目录 一、结构配置 二、交互事件 1、事件设置 2、绑定设置 3、组合按键输入 4、事件挂载 三、代码响应 1、事件回调 2、数值获取 注意&#xff0c;本文的Toolkit版本在2.2以上&#xff0c;低版本没有样例和部分api&#xff0c;更新方法在第一张环境配置内 打开Packag…

力扣 46. 全排列

题目来源&#xff1a;https://leetcode.cn/problems/permutations/description/ C题解&#xff1a; 全排列每一次都需要从第一个元素开始遍历&#xff0c;所以不用ind标记开始元素&#xff0c;都从0开始&#xff0c;但需要一个数组used不断更新哪些元素已经被使用&#xff0c;遍…

基于SpringBoot+vue的家具销售电商平台设计与实现

博主介绍&#xff1a; 大家好&#xff0c;我是一名在Java圈混迹十余年的程序员&#xff0c;精通Java编程语言&#xff0c;同时也熟练掌握微信小程序、Python和Android等技术&#xff0c;能够为大家提供全方位的技术支持和交流。 我擅长在JavaWeb、SSH、SSM、SpringBoot等框架…

k8s从节点加入主节点[preflight] Running pre-flight checks卡住(已解决)k8s常用问题解决

文章目录 一、写在前面二、问题排查1、执行join时加上-v2参数查看日志2、处理证书问题3、重启4、其他方法15、其他方法2 三、总结参考资料 一、写在前面 部署k8s时&#xff0c;主节点部署成功了&#xff0c;从节点1执行kubeadm join也成功了&#xff0c;从节点2执行kubeadm jo…