centos7 搭建ELK（elasticsearch、logstash、kibana）

news2024/10/6 6:00:43

1、下载安装包

使用华为镜像站下载速度很快，华为镜像站：https://mirrors.huaweicloud.com/home，下载时需要保证版本一致

在这里插入图片描述

2、安装elasticsearch

解压到当前目录

[root@localhost elk]# tar zxvf elasticsearch-7.4.2-linux-x86_64.tar.gz

安装，将Elasticsearch移动到/opt目录之中

[root@localhost elk]# mv elasticsearch-7.4.2 /opt

创建Elasticsearch用户

es 规定 root 用户不能启动 es，所以需要新建一个其他用户来启动 es修改配置文件

添加用户

[root@localhost elk]# adduser es

设定密码

[root@localhost elk]# passwd es

添加权限

[root@localhost elk]# chown -R es /opt/elasticsearch-7.4.2

修改配置文件
进入 /opt/elasticsearch-7.4.2/config/，修改elasticsearch.yml文件
[root@localhost ~]# cd /opt/elasticsearch-7.4.2/config/
取消如下注释，并修改为当前主机地址：

cluster.name: my-application
 
node.name: node-1
 
bootstrap.memory_lock: false
 
network.host: 192.168.75.143
 
http.port: 9200
 
discovery.zen.ping.unicast.hosts: ["192.168.75.143"]
discovery.zen.minimum_master_nodes: 1 #注意，因为本人目前是单节点，这里必须为1

新增如下配置:

transport.tcp.port: 9300
transport.tcp.compress: true
bootstrap.system_call_filter: false

使用vi编辑器，修改/etc/sysctl.conf文件，添加如下代码(若无将会出现下面常见问题2)：

vm.max_map_count=262144

退出保存后执行如下命令:

sysctl -p

修改/etc/security/limits.conf文件，在文件末尾添加如下代码(若无将会出现下面常见问题3):

# es为登录服务器的用户名
essoft nofile 65536
eshard nofile 65536
essoft nproc  4096
eshard nproc  4096

3、启动Elasticsearch

切换用户

su solin

查看当前用户

who am i

启动服务

[es@localhost ~]$ /opt/elasticsearch-7.4.2/bin/elasticsearch

后台启动

[es@localhost ~]$ /opt/elasticsearch-7.4.2/bin/elasticsearch -d

测试是否启动成功

[root@localhost ~]# curl 192.168.75.143:9200

在这里插入图片描述

报错：需要按照JAVA11

future versions of Elasticsearch will require Java 11; your Java version from [/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.362.b08-1.el7_9.x86_64/jre] does not meet this requirement

选择11版本

[es@localhost ~]$ yum search java| grep jdk
[root@localhost elk]# yum install java-11-openjdk-devel.x86_64

在这里插入图片描述
java环境配置参考：https://www.voidking.com/dev-install-jdk-on-all-platforms/

export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-11.0.12.0.7-0.el7_9.x86_64
export CLASSPATH=$JAVA_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH

报错2：

could not find java in JAVA_HOME or bundled at /usr/lib/jvm/java-1.8.0/bin/java

解决办法：

切换到普通用户es下，执行source /etc/profile刷新配置

在这里插入图片描述
报错3：

OpenJDK 64-Bit Server VM warning: Option UseConcMarkSweepGC was deprecated in version 9.0 and will likely be removed in a future release.

警告信息不影响es的启动，如果要去掉警告，则需要修改es config下面的jvm.options文件中的属性定义字段，把-XX:+UseConcMarkSweepGC修改成：

[root@localhost config]# vim jvm.options 
-XX:+UseG1GC

在这里插入图片描述
设置允许其他机器访问

当前只能响应本机的请求，想要其他机器也能访问的话，那么需要修改elasticsearch的配置。

[root@localhost ~]# vim /opt/elasticsearch-7.4.2/config/elasticsearch.yml 

# line 17, uncomment
cluster.name: my-application
# line 22, uncomment and change
node.name: master
# line 55, uncomment and change
network.host: 0.0.0.0
# line 59, uncomment
ttp.port: 9200
# line 72, uncomment and change
cluster.initial_master_nodes: ["master", "node-2"]

重启Elasticsearch

如果可以看到:::9200，就可以通过外部浏览器访问Elasticsearch服务了，至此Elasticsearch安装配置完成。

4、Logstash安装

Logstash 工作原理

Logstash使用管道方式进行日志的搜集处理和输出。

有点类似Linux系统的管道命令 aaa| bbb | ccc，aaa执行完了会执行bbb，然后执行ccc。

在logstash中，包括了三个阶段:

输入input --> 处理filter（不是必须的） --> 输出output

配置文件也是按这个顺序进行配置的。
在这里插入图片描述

解压安装包到当前目录

[root@localhost elk]# tar zxvf logstash-7.4.2.tar.gz

移动安装目录到opt目录下

[root@localhost elk]# mv logstash-7.4.2 /opt

拷贝 config 目录下的 logstash-sample.conf，改名为 logstash.conf，修改其配置，内容如下：
在这里插入图片描述
简单解释一下这段配置：

1、input 块是 logstash 接收日志时的一些配置，output 是 logstash 往 elasticsearch 输送日志的配置；

2、input.host 是运行 logstash 的服务器的 ip；input.port 是 logstash 的运行端口，可以自己定义；

3、output.hosts 的 elasticsearch 的 ip 和端口，这是个数组，多个用逗号隔开，由于我们没有修改 elasticsearch 的配置，它默认就是 9200 端口；output.index 是索引；

4、修改完配置，进入 bin 目录指定配置文件启动即可，例如：./logstash -f ../config/logstash.conf，如果是 windows 版本，执行logstash.bat -f …/config/logstash.conf即可。

[root@localhost bin]# ./logstash -f ../config/logstash.conf

5、kibana安装

下载后解压，然后拷贝一份 config 目录下的 kibana.yml，根据自己的需要可以修改配置，比如端口（默认5601）、host、elasticsearch.hosts（默认localhost:9200）等。我这里都用默认的，没有修改。

到 bin 目录下执行 ./kibana就可以启动了，windows 执行 kibana.bat即可。

启动完访问 localhost:5601，看到如下界面就启动成功了。
在这里插入图片描述

报错1：

FATAL  [master_not_discovered_exception] null :: {"path":"/.kibana_task_manager","query":{},"statusCode":503,"response":"{\"error\":{\"root_cause\":[{\"type\":\"master_not_discovered_exception\",\"reason\":null}],\"type\":\"master_not_discovered_exception\",\"reason\":null},\"status\":503}"}

原因：未修改elasticsearch.yml的cluster.initial_master_nodes配置，修改配置之后重启elasticsearch

node.name: node-1
cluster.initial_master_nodes: [“node-1”]

报错2：Request Timeout after 30000ms

解决办法 ：

方法1、修改elastisearch的内存

在这里插入图片描述
方法2、修改kibana的超时时间
如果机器的内存不是那么的充足的话，我们可以改改后端弹性搜索的阈值。修改配置文件/etc/kibana/kibana.yml的第66行，将#去掉，然后将30000毫秒（也就是30s）

更改成40000(40秒)，这个根据实际情况进行修改。

在这里插入图片描述
在kibana中查询日志

访问localhost:5601，点击左侧最下方图标【Management】–> 【Index Patterns】–> 【Create index pattern】

在这里插入图片描述

6、logstash深入收集Nginx日志

安装nginx

[root@localhost nginx]# yum -y install nginx
echo "192.168.75.143" > /usr/share/nginx/html/index.html

住nginx.conf配置

[root@localhost nginx]# cat nginx.conf
# For more information on configuration, see:
#   * Official English Documentation: http://nginx.org/en/docs/
#   * Official Russian Documentation: http://nginx.org/ru/docs/

user nginx;
worker_processes auto;
error_log /var/log/nginx/error.log;
pid /run/nginx.pid;

# Load dynamic modules. See /usr/share/doc/nginx/README.dynamic.
include /usr/share/nginx/modules/*.conf;

events {
    worker_connections 1024;
}

http {
   # log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
   #                   '$status $body_bytes_sent "$http_referer" '
   #                   '"$http_user_agent" "$http_x_forwarded_for"';

   log_format access_json '{"@timestamp":"$time_iso8601",'
        '"host":"$server_addr",'
        '"clientip":"$remote_addr",'
        '"size":$body_bytes_sent,'
        '"responsetime":$request_time,'
        '"upstreamtime":"$upstream_response_time",'
        '"upstreamhost":"$upstream_addr",'
        '"http_host":"$host",'
        '"url":"$uri",'
        '"domain":"$host",'
        '"xff":"$http_x_forwarded_for",'
        '"referer":"$http_referer",'
        '"status":"$status"}';

    #access_log  /var/log/nginx/access.log  main;
    access_log  /var/log/nginx/access.log access_json;
    
    sendfile            on;
    tcp_nopush          on;
    tcp_nodelay         on;
    keepalive_timeout   65;
    types_hash_max_size 4096;

    include             /etc/nginx/mime.types;
    default_type        application/octet-stream;
    include /etc/nginx/conf.d/*.conf;
server {
        listen       80;
        listen       [::]:80;
        server_name  _;
        root         /usr/share/nginx/html;

        # Load configuration files for the default server block.
        include /etc/nginx/default.d/*.conf;

        error_page 404 /404.html;
        location = /404.html {
        }

        error_page 500 502 503 504 /50x.html;
        location = /50x.html {
        }
    }

将Nginx日志转换成json格式

log_format access_json '{"@timestamp":"$time_iso8601",'
        '"host":"$server_addr",'
        '"clientip":"$remote_addr",'
        '"size":$body_bytes_sent,'
        '"responsetime":$request_time,'
        '"upstreamtime":"$upstream_response_time",'
        '"upstreamhost":"$upstream_addr",'
        '"http_host":"$host",'
        '"url":"$uri",'
        '"domain":"$host",'
        '"xff":"$http_x_forwarded_for",'
        '"referer":"$http_referer",'
        '"status":"$status"}';

    access_log  /var/log/nginx/access.log access_json;

重启nginx，查看访问日志
在这里插入图片描述
刷新页面会在日志看到访问日志信息为json格式即可，配置logstash收集Nginx日志

[root@localhost config]# cat nginx-log-es.conf 
input{
  file{
    path => "/var/log/nginx/access.log"
    start_position => "beginning"
    stat_interval => 3 
    type => "nginx-accesslog"
    codec => "json"
  }
}

output{
  if [type] == "nginx-accesslog"{
    elasticsearch {
      hosts => ["192.168.75.143:9200"]
      index => "long-nginx-accesslog-%{+YYYY.MM.dd}"                    
  }}
}

检查语法

/opt/logstash-7.4.2/bin/logstash -f /opt/logstash-7.4.2/config/nginx-log-es.conf -t

启动

/opt/logstash-7.4.2/bin/logstash -f /opt/logstash-7.4.2/config/nginx-log-es.conf

查看kabana
在这里插入图片描述
把nginx的访问日志和错误日志一起收集，配置文件

[root@localhost config]# cat nginx-log-es.conf 
input{
  file{
    path => "/var/log/nginx/access.log"
    start_position => "beginning"
    stat_interval => 3 
    type => "nginx-accesslog"
    codec => "json"
  }

  file{
    path => "/var/log/nginx/error.log"
    start_position => "beginning"
    stat_interval => 3
    type => "nginx-errorlog"
    #codec => "json"
  }
}

output{
  if [type] == "nginx-accesslog"{
    elasticsearch {
      hosts => ["192.168.75.143:9200"]
      index => "long-nginx-accesslog-%{+YYYY.MM.dd}"                    
  }}

   if [type] == "nginx-errorlog"{
    elasticsearch {
      hosts => ["192.168.75.143:9200"]
      index => "long-nginx-errorlog-%{+YYYY.MM.dd}"
  }}
}

检查语法

/opt/logstash-7.4.2/bin/logstash -f /opt/logstash-7.4.2/config/nginx-log-es.conf -t

启动

/opt/logstash-7.4.2/bin/logstash -f /opt/logstash-7.4.2/config/nginx-log-es.conf

查看错误日志
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/360673.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

RFID盘点软件为企业提供RFID固定资产管理方案

RFID盘点软件为企业提供RFID固定资产管理方案

随着科技的发展，固定资产管理系统也经过了一些变革，从刚开始的单机版逐渐发展成SaaS版本，物联网版本等。从刚开始只支持条形码到支持二维码、RFID码。RFID固定资产管理系统上线后，通过给每个实物资产绑定一个RFID码标签后&#xf…
阅读更多...
2022-06-16_555时基的迷人历史和先天缺陷！

2022-06-16_555时基的迷人历史和先天缺陷！

https://www.eet-china.com/news/magazine220608.html 555时基的迷人历史和先天缺陷！ 发布于2022-06-16 03:39:12 LARRY STABILE 流行数十年的555时基，业内不知晓的工程师应该寥寥无几！几乎所有的数字电路教材中，都有该芯片的身影…
阅读更多...
华为OD机试 - 分糖果（Java） | 机试题算法思路 【2023】

华为OD机试 - 分糖果（Java） | 机试题算法思路 【2023】

使用说明 参加华为od机试，一定要注意不要完全背诵代码，需要理解之后模仿写出，通过率才会高。 华为 OD 清单查看地址：https://blog.csdn.net/hihell/category_12201821.html 华为OD详细说明：https://dream.blog.csdn.net/article/details/128980730 分糖果 小明从糖果…
阅读更多...
第六章.卷积神经网络(CNN)—CNN的实现(搭建手写数字识别的CNN)

第六章.卷积神经网络(CNN)—CNN的实现(搭建手写数字识别的CNN)

第六章.卷积神经网络(CNN) 6.2 CNN的实现(搭建手写数字识别的CNN) 1.网络构成 2.代码实现 import pickle import matplotlib.pyplot as plt import numpy as np import sys, ossys.path.append(os.pardir)from dataset.mnist import load_mnist from collections import Order…
阅读更多...
实时数仓Hologres新一代弹性计算组实例技术揭秘

实时数仓Hologres新一代弹性计算组实例技术揭秘

作者：王奇（花名慧青） 阿里云Hologres研发 随着实时数仓在业务生产系统的普及，资源弹性、资源隔离等保障业务稳定性方面的技术需求开始变得越来越迫切。Hologres在保障业务方面持续优化核心技术竞争力，过去一年中&…
阅读更多...
Facebook广告投放的正确姿势：玩转目标定位

Facebook广告投放的正确姿势：玩转目标定位

如果你正在投放 Facebook广告，那么你一定有过这样的经历：明明设置了目标受众，但是广告却没有带来转化。在这方面，你可能忽略了一个很重要的因素——目标定位。想要打造高质量、高曝光率的 Facebook广告，如何才能成功实…
阅读更多...
「TCG 规范解读」第7章 TPM工作组 TPM 总结

「TCG 规范解读」第7章 TPM工作组 TPM 总结

可信计算组织（Ttrusted Computing Group,TCG）是一个非盈利的工业标准组织，它的宗旨是加强在相异计算机平台上的计算环境的安全性。TCG于2003年春成立，并采纳了由可信计算平台联盟（the Trusted Computing Platform Alli…
阅读更多...
90%的人都理解错了HTTP中GET与POST的区别

90%的人都理解错了HTTP中GET与POST的区别

Get和Post是HTTP请求的两种基本方法，要说它们的区别，接触过WEB开发的人都能说出一二。 最直观的区别就是Get把参数包含在URL中，Post通过request body传递参数。 你可能自己写过无数个Get和Post请求，或者已经看过很多权威网站总结…
阅读更多...
数据分析-2.必会的六大实用模型

数据分析-2.必会的六大实用模型

对于刚刚接触数据分析的人来说，经常会有这样的困惑和疑问：数据分析究竟难不难？难的话难在哪？为什么有时候作分析不知道从何下手，只能眉毛胡子一把抓？ 其实就连我这种已经在数据分析行业浸淫十几年的老油条…
阅读更多...
JavaSE学习day9 集合（基础班结束）

JavaSE学习day9 集合（基础班结束）

1.ArrayList 集合和数组的优势对比： 长度可变 添加数据的时候不需要考虑索引，默认将数据添加到末尾 不能存基本数据类型。只能通过包装。 1.1ArrayList类概述 什么是集合 提供一种存储空间可变的存储模型，存储的数据容量可以发生改变 Ar…
阅读更多...
shell脚本中那些关于时间的处理方案，你都掌握了吗？

shell脚本中那些关于时间的处理方案，你都掌握了吗？

文章目录前言一. linux中关于时间的命令有哪些？1.1 命令一: hwclock命令二：date的那些事二. 时间命令在脚本中的应用2.1 用date命令实现统计执行时间的脚本2.2 time命令3. sleep命令总结前言 大家好，我是互联网老辛，专注云原生领…
阅读更多...
[Css]Grid属性简单陈列（适合开发时有基础的快速过一眼）

[Css]Grid属性简单陈列（适合开发时有基础的快速过一眼）

[css进阶]Grid属性简介 文章目录[css进阶]Grid属性简介典型需求网格容器的属性displaygrid-template-columns和grid-template-rowsgrid-template-areasgrid-templategrid-column-gap grid-row-gapgrid-gapjustify-itemsalign-itemsjustify-contentalign-contentgrid-auto-colum…
阅读更多...
【面试题】ES6 如何将 Set 转化为数组

【面试题】ES6 如何将 Set 转化为数组

大厂面试题分享 面试题库后端面试题库 （面试必备） 推荐：★★★★★地址：前端面试题库Set 是 ES6 中新增的一种集合类型，类似于数组，但其成员的值是唯一的，即不会重复。关于Set，可以阅…
阅读更多...
Leaf说明

Leaf说明

什么是Leafleaf是叶子的意思我们使用的Leaf是美团公司开源的一个分布式序列号(id)生成系统我们可以在Github网站上下载项目直接使用为什么需要Leaf上面的图片中是一个实际开发中常见的读写分离的数据库部署格式专门进行数据更新(写)的有两个数据库节点它们同时新增数据可能产生…
阅读更多...
ThinkPHP5篮球培训报名系统

ThinkPHP5篮球培训报名系统

有需要请私信或看评论链接哦 可远程调试 ThinkPHP5篮球培训报名系统一 介绍 此篮球培训报名系统基于ThinkPHP5框架开发，数据库mysql，前端bootstrap。系统角色分为用户和管理员。用户可注册登录，充值，报名，反馈信息等&…
阅读更多...
手摸手快速入门 正则表达式 (Vue源码中的使用)

手摸手快速入门 正则表达式 (Vue源码中的使用)

vue2源码 在 vue2 源码的 src\compiler\parser\html-parser.js 文件中 里面有大量的正则表达式，如下图 可以看到非常的长，不是我说，就前几行，如果没有相关的 正则表达式 的工具，我可能就被劝退了😭 这里…
阅读更多...
反沙箱CobaltStrike木马加载器分析

反沙箱CobaltStrike木马加载器分析

前言 近日，笔者参加了浙江护网，在攻击队停止攻击的那一天凌晨，Windows服务器被攻破大量失分，早晨溯源时拿到了这一份名为chrome.exe的木马样本。 木马HASH SHA256:7fbe93d7c29b4ea4ce918f3d16a74d2930120f44d00862bdc0a1f82899…
阅读更多...
ubuntu server系统树莓派安装mysql8.0开启远程访问

ubuntu server系统树莓派安装mysql8.0开启远程访问

文章目录前言博客一、安装mysql8.0二、创建一个远程访问的新用户三、在MySQL配置文件中启用远程访问。四、navicat15连接mysql8.0返回10061chatgpt回复前言 百度了半天没解决，问了下chatgpt成功解决了…… 博客 一、安装mysql8.0 确认MySQL 8.0服务器已安装并正在…
阅读更多...
【ESP32-S3】Pycharm 使用 microPython 教程（避坑）

【ESP32-S3】Pycharm 使用 microPython 教程（避坑）

一、下载Pycharm等操作 1.百度云下载链接 链接：https://pan.baidu.com/s/1tkbMzS5B_v-Cn4WQlTqS3Q?pwd0108 提取码：0108 2.安装 按照压缩包中的教程来，你懂的。 二、配置microPython环境 1.安装 microPython 插件 1.1 File > Sett…
阅读更多...
【云原生】k8s之Yaml文件详解

【云原生】k8s之Yaml文件详解

一、K8S支持的文件格式 kubernetes支持YAML和JSON文件格式管理资源对象。 JSON格式：主要用于api接口之间消息的传递YAML格式：用于配置和管理，YAML是一种简洁的非标记性语言，内容格式人性化，较易读 1、yaml和json的主…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023