容器化安装环境EFK搭建

news2024/9/29 17:31:56

容器化安装环境

Docker中安装并启动ElasticSearch

前置配置

第一步:在宿主机上执行echo “net.ipv4.ip_forward=1” >>/usr/lib/sysctl.d/00-system.conf

2.第二步:重启network和docker服务
[root@localhost /]# systemctl restart network && systemctl restart docker

安装ElasticSearch

1.下载镜像

docker pull elasticsearch:7.6.2

2.创建挂载的目录

mkdir -p /mydata/elasticsearch/config
mkdir -p /mydata/elasticsearch/data
mkdir -p /mydata/elasticsearch/plugins
echo "http.host: 0.0.0.0" >> /mydata/elasticsearch/config/elasticsearch.yml

3.创建容器并启动

chmod -R 777 /mydata/elasticsearch/data /mydata/elasticsearch/config /mydata/elasticsearch/plugins

docker run --name elasticsearch -p 9200:9200  -p 9300:9300 \
-e "discovery.type=single-node" \
-e ES_JAVA_OPTS="-Xms84m -Xmx512m" \
-v /mydata/elasticsearch/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml \
-v /mydata/elasticsearch/data:/usr/share/elasticsearch/data \
-v /mydata/elasticsearch/plugins:/usr/share/elasticsearch/plugins \
-d elasticsearch:7.6.2

其中elasticsearch.yml是挂载的配置文件,data是挂载的数据,plugins是es的插件,如ik,而数据挂载需要权限,需要设置data文件的权限为可读可写,需要下边的指令。
chmod -R 777 要修改的路径

-e "discovery.type=single-node" 设置为单节点
特别注意:
-e ES_JAVA_OPTS="-Xms256m -Xmx256m" \ 测试环境下,设置ES的初始内存和最大内存,否则导致过大启动不了ES

访问查看
在这里插入图片描述

4.修改配置

进入容器&打开文件

docker exec -it elasticsearch bash
cd config
vi elasticsearch.yml

进入config目录里创建elasticsearch.yml文件,并使用vi命令插入如下内容:

http.host: 0.0.0.0

5.重启es并设置密码

配置x-pack 不然会报错

  1. 进入

    docker exec -it elasticsearch bash
    

    目录,执行以下命令:

    ./bin/elasticsearch-setup-passwords interactive
    
  2. 会出现以下错误信息:

    Unexpected response code [500] from calling GET http://127.0.0.1:9200/_security/_authenticate?pretty  
    It doesn't look like the X-Pack security feature is enabled on this Elasticsearch node.
    Please check if you have enabled X-Pack security in your elasticsearch.yml configuration file.
    
  3. 我们需要配置文件中开启x-pack验证,修改

    config/elasticsearch.yml
    

    配置文件,在尾部添加以下内容,然后重启elasticsearch:

    xpack.security.enabled: true
    
    ./bin/elasticsearch -d
    
  4. 重复第1步,为elasticapm_systemkibanalogstash_systembeats_systemremote_monitoring_user设置密码,这里我设置了统一密码:123456,具体操作:

cd bin
elasticsearch-setup-passwords interactive
// 输出
Initiating the setup of passwords for reserved users elastic,apm_system,kibana,kibana_system,logstash_system,beats_system,remote_monitoring_user.
You will be prompted to enter passwords as the process progresses.
Please confirm that you would like to continue [y/N]Y
 
 
Enter password for [elastic]:
Reenter password for [elastic]:
Enter password for [apm_system]:
Reenter password for [apm_system]:
Enter password for [kibana_system]:
Reenter password for [kibana_system]:
Enter password for [logstash_system]:
Reenter password for [logstash_system]:
Enter password for [beats_system]:
Reenter password for [beats_system]:
Enter password for [remote_monitoring_user]:
Reenter password for [remote_monitoring_user]:
Changed password for user [apm_system]
Changed password for user [kibana_system]
Changed password for user [kibana]
Changed password for user [logstash_system]
Changed password for user [beats_system]
Changed password for user [remote_monitoring_user]
Changed password for user [elastic]

5.先不加用户密码进行访问:curl 127.0.0.1:9200

{
  "error": {
    "root_cause": [
      {
        "type": "security_exception",
        "reason": "missing authentication credentials for REST request [/]",
        "header": {
          "WWW-Authenticate": "Basic realm=\"security\" charset=\"UTF-8\""
        }
      }
    ],
    "type": "security_exception",
    "reason": "missing authentication credentials for REST request [/]",
    "header": {
      "WWW-Authenticate": "Basic realm=\"security\" charset=\"UTF-8\""
    }
  },
  "status": 401
}

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-QMh0KUIX-1690629954044)(C:\Users\Gary\AppData\Roaming\Typora\typora-user-images\image-20230728222331492.png)]

6.CURL密码访问Elasticsearch

curl -u elastic:123456 127.0.0.1:9200
# 或者
curl -u elastic 127.0.0.1:9200
Enter host password for user 'elastic': 123456

成功打印:

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-S02ZiQAk-1690629954044)(C:\Users\Gary\AppData\Roaming\Typora\typora-user-images\image-20230728222634939.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-fn5OOxtx-1690629954046)(C:\Users\Gary\AppData\Roaming\Typora\typora-user-images\image-20230728222840197.png)]

安装 elasticsearch-head

此时如果想查看es的服务是否启动正常,还可以基于docker来安装es的插件。过程基本一样,先docker去拉取插件,然后docker运行容器:

 docker pull mobz/elasticsearch-head:5

执行docker命令后,也可以使用docker ps -a来查看是否成功启动。不过更好的方式是和es服务链接上。因此接下来首先需要修改es的config目录的配置文件elasticsearch.yml,在其后面增加两行语句:

http.cors.enabled: true   
http.cors.allow-origin: "*"

主要目的就是允许跨域请求。

由于修改了配置文件,所以需要重启一下es的服务。直接运行如下语句:

docker restart elasticsearch

到此就可以使用网页浏览器来查看es的运行状况了。打开一个浏览器,地址栏上输入安装es插件的服务器ip地址和其端口号:

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-IiSVlM5b-1690629954046)(C:\Users\Gary\AppData\Roaming\Typora\typora-user-images\image-20230729123550710.png)]

安装Kibana

7.6版本Kibana启动 参数 ELASTICSEARCH_URL

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Vfn99aQ6-1690629954047)(C:\Users\Gary\AppData\Roaming\Typora\typora-user-images\image-20230728215000421.png)]

docker pull kibana:7.6.2

docker run --name kibana -e ELASTICSEARCH_HOSTS=http://自己的IP地址:9200 -p 5601:5601 -d kibana:7.6.2
//docker run --name kibana -e ELASTICSEARCH_URL=http://自己的IP地址:9200 -p 5601:5601 -d kibana:7.6.2

或者 

docker run --name kibana -d --link YOUR_ELASTICSEARCH_CONTAINER_NAME_OR_ID:elasticsearch -p 5601:5601 kibana:7.6.2
YOUR_ELASTICSEARCH_CONTAINER_NAME_OR_ID:Elasticsearch容器的名字或容器ID

修改配置

1、进入容器&打开文件

docker exec -it kibana bash
cd config
vi kibana.yml

2、编辑文件

IpAddress:docker inspect es查看es容器内部的ip地址 (link启动容器需要查看)

server.name: kibana
server.host: "0.0.0.0"
elasticsearch.hosts: [ "http://192.168.59.139:9200" ]
xpack.monitoring.ui.container.elasticsearch.enabled: true
elasticsearch.username: "elastic"
elasticsearch.password: "123456"
i18n.locale: "zh-CN"

3、退出&重启

exit
docker restart kibana

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-W81x5PRL-1690629954048)(C:\Users\Gary\AppData\Roaming\Typora\typora-user-images\image-20230728230020037.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-9BJUnFQB-1690629954048)(C:\Users\Gary\AppData\Roaming\Typora\typora-user-images\image-20230728215146378.png)]

然后访问页面
http://自己的IP地址:5601/app/kibana

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-gEOwfk6E-1690629954049)(C:\Users\Gary\AppData\Roaming\Typora\typora-user-images\image-20230728225732152.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Gx1DKQhx-1690629954050)(C:\Users\Gary\AppData\Roaming\Typora\typora-user-images\image-20230728225920623.png)]

kibana操作ElasticSearch

文档操作

1. _cat
GET /_cat/node 查看所有节点
GET /_cat/health 查看es健康状况
GET /_cat/master 查看主节点
GET /_cat/indices 查看所有索引

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-neHMiQEE-1690629954050)(C:\Users\Gary\AppData\Roaming\Typora\typora-user-images\image-20230729161116597.png)]

2. 保存文档

保存一个数据,保存在那个索引的那个类型下,指定用唯一的标识,customer为索引,external为类型,1为标识。其中PUT和POST都可以,POST新增。如果不指定ID,会自动生成ID,指定ID就会修改这个数据,并新增版本号。PUT可以新增可以修改,PUT必须指定ID,一般都用来修改操作,不指定ID会报错。

PUT customer/external/1
{
  "name":"张三"
}

返回结果
{
  "_index" : "customer",
  "_type" : "external",
  "_id" : "1",
  "_version" : 3,
  "result" : "updated",
  "_shards" : {
    "total" : 2,
    "successful" : 1,
    "failed" : 0
  },
  "_seq_no" : 1001,
  "_primary_term" : 2
}
3. 查询文档
GET customer/external/1
    
结果:
{
  "_index" : "customer", //在那个索引
  "_type" : "external", //在那个类型
  "_id" : "1", //记录ID
  "_version" : 1, //版本号
  "_seq_no" : 0, //并发控制字段,每次更新就+1,可用于乐观锁
  "_primary_term" : 1, //主分片重新分配,如重启,就会变化
  "found" : true, //true就是找到数据了
  "_source" : { //数据
    "name" : "张三"
  }
}
4. 更新文档
POST操作带_update会对比原来的数据,如果是一样的那就不会更新了
POST customer/external/1/_update
{
  "doc":{
    "name":"你好"
  }
}
POST操作不带_update会直接更新操作
POST customer/external/1
{
  "name":"你好"
}
5. 删除文档
DELETE customer/external/1

安装FileBeat

拉取 镜像

docker  pull elastic/filebeat:7.6.2

拉取完成之后,先不着急启动,在启动之前需要完成先建立一份映射的配置文filebeat.docker.yml,选择目录创建filebeat.docker.yml

#=========================== Filebeat inputs ==============
filebeat.inputs:
- input_type: log
  enable: true
  paths:  # 采集日志的路径这里是容器内的path
   - /usr/share/filebeat/logs/*.log
  multiline.pattern: '^[0-9]{4}-[0-9]{2}-[0-9]{2}'
  multiline.negate: true
  multiline.match: after
  multiline.timeout: 10s
  # 为每个项目标识,或者分组,可区分不同格式的日志
  tags: ["pre-logs"]
  # 这个文件记录日志读取的位置,如果容器重启,可以从记录的位置开始取日志
  registry_file: /usr/share/filebeat/data/
  fields:
    logsource: node1
    logtype: pre

#-------------------------- Elasticsearch output ---------
output.elasticsearch:
    hosts: ["http://192.168.59.139:9200"]

为什么不直接去filbeat容器里面去改配置文件呢?因为filebeat容器的配置文件是只读的不可更改,所以只能通过映射配置文件的方式修改。

docker run --user=root -d \
-v /home/filebeat/filebeat.docker.yml:/usr/share/filebeat/filebeat.yml \
-v /home/logs:/usr/share/filebeat/logs \
-v /home/data:/usr/share/filebeat/data \
--link elasticsearch \
--link kibana  \
--name filebeat    elastic/filebeat:7.6.2
docker run --name filebeat -d --user root \
-v /Users/lihaodong/Desktop/log:/usr/share/filebeat/logs \
-v /usr/local/src/elk/filebeat/config/filebeat.yml:/usr/share/filebeat/filebeat.yml \
-v /usr/local/src/elk/filebeat/data:/usr/share/filebeat/data \
docker.elastic.co/beats/filebeat:7.6.2

建立好配置文件之后,启动filebeat容器

docker run --user=root -d \
-v /home/filebeat.docker.yml:/usr/share/filebeat/filebeat.yml \
-v /home/logs:/usr/share/filebeat/logs \
-v /home/data:/usr/share/filebeat/data \
--link elasticsearch \
--link kibana  \
--name filebeat  elastic/filebeat:7.6.2
docker run --name filebeat -d --user root \
-v /Users/lihaodong/Desktop/log:/usr/share/filebeat/logs \
-v /usr/local/src/elk/filebeat/config/filebeat.yml:/usr/share/filebeat/filebeat.yml \
-v /usr/local/src/elk/filebeat/data:/usr/share/filebeat/data \
docker.elastic.co/beats/filebeat:7.6.2

这里 -v 就是挂载目录的意思就是将自己本地的目录挂载到容器当中,第一个挂载映射的是配置文件,第二个是要收集的日志目录,如果不挂载日志目录的话,filebeat是不会收集日志的,因为在容器里面根本找不到要收集的路径。–user=root 指定启动用户,因为读取文件可能没有权限,link起的别名等信息可以在同一网络中通过别名访问。

docker run --name filebeat -d --user root \
-v /Users/lihaodong/Desktop/log:/usr/share/filebeat/logs \
-v /usr/local/src/elk/filebeat/config/filebeat.yml:/usr/share/filebeat/filebeat.yml \
-v /usr/local/src/elk/filebeat/data:/usr/share/filebeat/data \
docker.elastic.co/beats/filebeat:7.6.2

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-9yJ6qKCh-1690629954051)(C:\Users\Gary\AppData\Roaming\Typora\typora-user-images\image-20230729143255435.png)]

可以看到filebeat已经成功启动了,如果启动失败的话可以看filebeat的配置文件es和kibana的host是否正确。

在收集日志的目录下面添加日志文件,或者更新日志,然后去kibana查看是否有filebeat的索引生成(必须是添加或者更新日志,原有的数据不会同步)。

手动创建模拟下,可以看到被filebeat加载收集了

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-iKs3GaiS-1690629954052)(C:\Users\Gary\AppData\Roaming\Typora\typora-user-images\image-20230729141059774.png)]

通过elasticsearch-head查看日志索引状态

在这里插入图片描述

Kibana中可以看到已经有生成了索引并且有数据了,在Discover查看具体数据

注意:参考下一节内容预先配置下索引

在这里插入图片描述

参考: 配置filebeat.yml文件

#============================== Kibana =====================================

# Starting with Beats version 6.0.0, the dashboards are loaded via the Kibana API.
# This requires a Kibana endpoint configuration.
setup.kibana:

  # Kibana Host
  # Scheme and port can be left out and will be set to the default (http and 5601)
  # In case you specify and additional path, the scheme is required: http://localhost:5601/path
  # IPv6 addresses should always be defined as: https://[2001:db8::1]:5601
  host: "192.168.110.130:5601"  #指定kibana
  username: "elastic"   #用户
  password: "${ES_PWD}"  #密码,这里使用了keystore,防止明文密码

  # Kibana Space ID
  # ID of the Kibana Space into which the dashboards should be loaded. By default,
  # the Default Space will be used.
  #space.id:

#================================ Outputs =====================================

# Configure what output to use when sending the data collected by the beat.

#-------------------------- Elasticsearch output ------------------------------
output.elasticsearch:
  # Array of hosts to connect to.
  hosts: ["192.168.110.130:9200","192.168.110.131:9200"]

  # Protocol - either `http` (default) or `https`.
  #protocol: "https"

  # Authentication credentials - either API key or username/password.
  #api_key: "id:api_key"
  username: "elastic"  #es的用户
  password: "${ES_PWD}" # es的密码
  #这里不能指定index,因为我没有配置模板,会自动生成一个名为filebeat-%{[beat.version]}-%{+yyyy.MM.dd}的索引

简单介绍如何配置索引

在Kibana中配置索引

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-46fzLZR8-1690629954053)(C:\Users\Gary\AppData\Roaming\Typora\typora-user-images\image-20230729134437175.png)]

配置筛选字段 这里按照时间

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-oUojWREy-1690629954054)(C:\Users\Gary\AppData\Roaming\Typora\typora-user-images\image-20230729134607496.png)]

创建成功了

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-y1Jh8aRY-1690629954055)(C:\Users\Gary\AppData\Roaming\Typora\typora-user-images\image-20230729134727148.png)]

查看最终索引数据

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-0N85yCKJ-1690629954055)(C:\Users\Gary\AppData\Roaming\Typora\typora-user-images\image-20230729134908936.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Z5iQQ7BH-1690629954056)(C:\Users\Gary\AppData\Roaming\Typora\typora-user-images\image-20230729135040590.png)]

模拟手动添加日志 查看控制台实时采集了

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-PjlNhHg6-1690629954056)(C:\Users\Gary\AppData\Roaming\Typora\typora-user-images\image-20230729135903199.png)]

我们到Kibana里查询下 可以看到最终的日志信息

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-LYw4sBjP-1690629954057)(C:\Users\Gary\AppData\Roaming\Typora\typora-user-images\image-20230729141619481.png)]

可以通过搜索或者日期筛选,字段筛选,等等各种操作查看你需要的日志信息。或者可以在 日志目录下 查看日志

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-XwQjKMfs-1690629954057)(C:\Users\Gary\AppData\Roaming\Typora\typora-user-images\image-20230729143618408.png)]

Kibana基本操作

清理配置的索引数据

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-cW9kqEko-1690629954058)(C:\Users\Gary\AppData\Roaming\Typora\typora-user-images\image-20230729150317075.png)]

日志可视化

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-mBiIINzI-1690629954058)(C:\Users\Gary\AppData\Roaming\Typora\typora-user-images\image-20230729151230595.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ICcYfhdn-1690629954059)(C:\Users\Gary\AppData\Roaming\Typora\typora-user-images\image-20230729151300902.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ZnooMAeJ-1690629954059)(C:\Users\Gary\AppData\Roaming\Typora\typora-user-images\image-20230729151322305.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-fPVBUvFF-1690629954060)(C:\Users\Gary\AppData\Roaming\Typora\typora-user-images\image-20230729151431138.png)]

保存这个视图,并加入仪表盘中

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-iWkxRv0K-1690629954060)(C:\Users\Gary\AppData\Roaming\Typora\typora-user-images\image-20230729152040699.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-BS2hS2pe-1690629954061)(C:\Users\Gary\AppData\Roaming\Typora\typora-user-images\image-20230729152058283.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7cEKzyww-1690629954061)(C:\Users\Gary\AppData\Roaming\Typora\typora-user-images\image-20230729152232717.png)]

实战练习

  1. 通过rsyslog收集本机所有日志
  2. 通过filebeat收集日志,给到elasticsearch
  3. Elasticsearch分析日志
  4. Elasticsearch将分析结果给到kibana
通过rsyslog收集本机所有日志

先安装rsyslog,yum -y install rsyslog

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-N8OV6dda-1690629954062)(C:\Users\Gary\AppData\Roaming\Typora\typora-user-images\image-20230729152455284.png)]

然后修改配置文件

修改配置文件
[root@VM-20-10-centos ~]# vim /etc/rsyslog.conf
解封2行
module(load="imudp") # needs to be done just once
input(type="imudp" port="514")
新增一行
# Save boot messages also to boot.log
local7.*                                                /var/log/boot.log
#以下为新增,即将所有日志都收集到一个文件
*.*                                                     /var/log/baism.log

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-qsXKnqSc-1690629954062)(C:\Users\Gary\AppData\Roaming\Typora\typora-user-images\image-20230729152646371.png)]

最后启动rsyslog

systemctl restart rsyslog

查询下看看

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-TYBKtVJx-1690629954063)(C:\Users\Gary\AppData\Roaming\Typora\typora-user-images\image-20230729153003394.png)]

利用之前的搭建好的filebeat,rsyslog会不断追加日志信息到 - /var/log/baism.log

docker run --name filebeat2 -d --user root \
-v /var/log:/usr/share/filebeat/logs \
-v /usr/local/src/elk/filebeat2/config/filebeat.yml:/usr/share/filebeat/filebeat.yml \
-v /usr/local/src/elk/filebeat2/data:/usr/share/filebeat/data \
docker.elastic.co/beats/filebeat:7.6.2

启动容器化开始收集日志文件中的数据

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-W7GFnoKT-1690629954064)(C:\Users\Gary\AppData\Roaming\Typora\typora-user-images\image-20230729173013346.png)]

打开浏览器重新查看,此时 elasticsearch-head更新索引 发现新增索引

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-dCSjOWSH-1690629954064)(C:\Users\Gary\AppData\Roaming\Typora\typora-user-images\image-20230729162500014.png)]

对应的Kibana也会更新 新增了索引 我配置下新增的索引即可查看系统日志

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-IkrmKSFn-1690629954065)(C:\Users\Gary\AppData\Roaming\Typora\typora-user-images\image-20230729162642073.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Gor1lcHU-1690629954066)(C:\Users\Gary\AppData\Roaming\Typora\typora-user-images\image-20230729162855062.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-yefnSagL-1690629954066)(C:\Users\Gary\AppData\Roaming\Typora\typora-user-images\image-20230729163009254.png)]

查看日志数据

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-fi6Mhydf-1690629954066)(C:\Users\Gary\AppData\Roaming\Typora\typora-user-images\image-20230729172626038.png)]

目前默认收集路径是容器内的 /usr/share/filebeat/logs 文件夹

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-recMvkLk-1690629954067)(C:\Users\Gary\AppData\Roaming\Typora\typora-user-images\image-20230729172738432.png)]

如果有不同文件夹 可以分开收集吗?大家可以试试

启动后进入容器创建syslog文件夹 用于存放系统日志文件

docker exec -it filebeat3 bash
/usr/share/filebeat/logs
mkdir  syslog 

那么启动容器的命令改为

docker run --name filebeat3 -d --user root \
-v /home/logs:/usr/share/filebeat/logs/syslog \
-v /usr/local/src/elk/filebeat3/config/filebeat.yml:/usr/share/filebeat/filebeat.yml \
-v /usr/local/src/elk/filebeat3/data:/usr/share/filebeat/data \
docker.elastic.co/beats/filebeat:7.6.2

信息采集模板改为

filebeat.inputs:
- input_type: log
  enable: true
  paths:  # 采集日志的路径这里是容器内的path 
   - /usr/share/filebeat/logs/syslog/*.log
  multiline.pattern: '^[0-9]{4}-[0-9]{2}-[0-9]{2}'
  multiline.negate: true
  multiline.match: after
  multiline.timeout: 10s
  # 为每个项目标识,或者分组,可区分不同格式的日志
  tags: ["pre-logs3"]
  # 这个文件记录日志读取的位置,如果容器重启,可以从记录的位置开始取日志
  registry_file: /usr/share/filebeat/data/
  fields:
    logsource: node1
    logtype: pre

#-------------------------- Elasticsearch output ---------
output.elasticsearch:
    hosts: ["http://192.168.59.139:9200"]

最终验证结果

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-gZ27rqzv-1690629954068)(C:\Users\Gary\AppData\Roaming\Typora\typora-user-images\image-20230729183248733.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-10os2AXG-1690629954068)(C:\Users\Gary\AppData\Roaming\Typora\typora-user-images\image-20230729183426303.png)]

看着似乎可以 ,其实不行 关键看看这里

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-2qDuVp0J-1690629954069)(C:\Users\Gary\AppData\Roaming\Typora\typora-user-images\image-20230729185808221.png)]

rest-high-level-client整合ElasticSearch

1.导入依赖

		<!-- 修改springboot默认整合的es的版本 -->
        <properties>
            <java.version>1.8</java.version>
            <elasticsearch.version>7.6.2</elasticsearch.version>
        </properties>
    
        <!-- elasticsearch-rest-high-level-client -->
        <dependency>
            <groupId>org.elasticsearch.client</groupId>
            <artifactId>elasticsearch-rest-high-level-client</artifactId>
            <version>7.6.2</version>
        </dependency>
        
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>1.2.68</version>
        </dependency>

2.编写配置类

@Configuration
public class ElasticSearchClientConfig {
    @Bean
    public RestHighLevelClient restHighLevelClient(){
        RestHighLevelClient client = new RestHighLevelClient(
                RestClient.builder(
                        new HttpHost("自己的IP地址", 9200, "http")
                )
        );
        return client;
    }
}

3.进行es的索引操作

@Autowired
    @Qualifier("restHighLevelClient")
    private RestHighLevelClient client;
    //index名字,静态一般都是放在另一个类中的
    public static final String ES_INDEX="han_index";

    //创建索引
    @Test
    public void createIndex() throws IOException {
        //1. 创建索引
        CreateIndexRequest index = new CreateIndexRequest(ES_INDEX);
        //2. 客户端执行请求,请求后获得相应
        CreateIndexResponse response = client.indices().create(index, RequestOptions.DEFAULT);
        //3.打印结果
        System.out.println(response.toString());
    }
    //测试索引是否存在
    @Test
    public void exitIndex() throws IOException{
        //1.
        GetIndexRequest request = new GetIndexRequest(ES_INDEX);
        boolean exists = client.indices().exists(request, RequestOptions.DEFAULT);
        System.out.println("是否存在"+exists);
    }
    //删除索引
    @Test
    public void deleteIndex() throws IOException{
        DeleteIndexRequest request = new DeleteIndexRequest(ES_INDEX);
        AcknowledgedResponse response = client.indices().delete(request, RequestOptions.DEFAULT);
        System.out.println("是否删除"+response);
    }

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ESEWWtfU-1690629954070)(C:\Users\Gary\AppData\Roaming\Typora\typora-user-images\image-20230729175834562.png)]

4.es的文档操作

 @Autowired
    @Qualifier("restHighLevelClient")
    private RestHighLevelClient client;

    public static final String ES_INDEX="han_index";

    //创建文档
    @Test
    public void createDocument() throws IOException {
        //创建对象
        UserInfo userInfo = new UserInfo("张三",12);
        //创建请求
        IndexRequest request = new IndexRequest(ES_INDEX);
        //规则
        request.id("1").timeout(TimeValue.timeValueSeconds(1));
        //将数据放到请求中
        request.source(JSON.toJSONString(userInfo), XContentType.JSON);
        //客户端发送请求,获取相应的结果
        IndexResponse response = client.index(request, RequestOptions.DEFAULT);
        //打印一下
        System.out.println(response.toString());
        System.out.println(response.status());
    }

    //判断是否存在
    @Test
    public void exitDocument() throws IOException {
        GetRequest request = new GetRequest(ES_INDEX, "1");
        //不获取返回的_source 的上下文
        request.fetchSourceContext(new FetchSourceContext(false));
        request.storedFields("_none");

        boolean exists = client.exists(request, RequestOptions.DEFAULT);
        System.out.println(exists);
    }

    //获取文档信息
    @Test
    public void getDocument() throws IOException {
        GetRequest request = new GetRequest(ES_INDEX, "1");
        GetResponse response = client.get(request, RequestOptions.DEFAULT);
        System.out.println("获取到的结果"+response.getSourceAsString());
    }

    //更新文档
    @Test
    public void updateDocument() throws IOException {
        //创建对象
        UserInfo userInfo = new UserInfo("李四",12);

        UpdateRequest request = new UpdateRequest(ES_INDEX, "1");
        request.timeout("1s");

        request.doc(JSON.toJSONString(userInfo),XContentType.JSON);
        UpdateResponse response = client.update(request, RequestOptions.DEFAULT);
        System.out.println(response.status());
    }

    //删除文档
    @Test
    public void deleteDocument() throws IOException{
        DeleteRequest request = new DeleteRequest(ES_INDEX, "1");
        request.timeout("1s");

        DeleteResponse response = client.delete(request, RequestOptions.DEFAULT);
        System.out.println(response.status());
    }

    //批量添加
    @Test
    public void bulkDocument() throws IOException{
        BulkRequest request = new BulkRequest();
        request.timeout("10s");

        ArrayList<UserInfo> userInfos = new ArrayList<>();
        userInfos.add(new UserInfo("李四",1));
        userInfos.add(new UserInfo("李四",2));
        userInfos.add(new UserInfo("李四",3));
        userInfos.add(new UserInfo("李四",4));
        userInfos.add(new UserInfo("李四",5));
        userInfos.add(new UserInfo("李四",6));
        userInfos.add(new UserInfo("李四",7));

        //进行批处理请求
        for (int i = 0; i <userInfos.size() ; i++) {
            request.add(
                    new IndexRequest(ES_INDEX)
                    .id(""+(i+1))
                    .source(JSON.toJSONString(userInfos.get(i)),XContentType.JSON));
        }

        BulkResponse response = client.bulk(request, RequestOptions.DEFAULT);
        System.out.println(response.hasFailures());
    }

    //查询
    @Test
    public void SearchDocument() throws IOException{
        SearchRequest request = new SearchRequest(ES_INDEX);
        //构建搜索条件
        SearchSourceBuilder builder = new SearchSourceBuilder();

        //查询条件使用QueryBuilders工具来实现
        //QueryBuilders.termQuery 精准查询
        //QueryBuilders.matchAllQuery() 匹配全部
        MatchQueryBuilder matchQuery = QueryBuilders.matchQuery("name", "李四");
        builder.query(matchQuery);
        builder.timeout(new TimeValue(60, TimeUnit.SECONDS));

        request.source(builder);

        SearchResponse response = client.search(request, RequestOptions.DEFAULT);
        System.out.println("查询出的结果"+JSON.toJSONString(response.getHits()));
    }

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/808162.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Linux - PostgreSQL 适用于9.x 以上的 tar.gz 源码安装与理解 - 报错集锦

这里写目录标题 序言主要内容bash 配置文件个人理解关于初始化 PostgreSQL 数据库的理解 启动方法检查服务器是否在PostgreSQL中运行关闭 postgresql 数据库方法参考链接 序言 PostgreSQL 9.x 以下版本笔者没用过&#xff0c;具体操作看参考链接&#xff0c;笔者就不记录重复操…

2016年全国硕士研究生入学统一考试管理类专业学位联考写作试题——解析版

2016年1月真题&#xff1a; 四、写作&#xff1a;第56~57小题&#xff0c;共65 分。其中论证有效性分析30 分&#xff0c;论说文35分。 56、论证有效性分析&#xff1a; 分析下述论证中存在的缺陷和漏洞&#xff0c;选择若干要点&#xff0c;写一篇600字左右的文章&#xff0…

整数0 强制转化为指针

整数0强制转化为指针的巧用 在工程中看到以下代码&#xff1a; #define my_container_of(ptr,type,member) \ ((type*)((char *) (ptr) - (unsigned long)(&((type*)0)->member))) ->的优先级高于&。 因此 &((type*)0)->member)的解…

Zynq-Linux移植学习笔记之62- PL挂载复旦微flash

1、背景介绍 现在为了全国产化需要&#xff0c;之前所有的进口flash全部要换成国产flash 2、复旦微flash型号 其中EFM25QU256和EFM25QL256对标winbond的w25q256 nor flash 3、FPGA设置 复旦微flash只支持单线模式&#xff0c;当使用PL侧的IP核访问时&#xff0c;需要设置模式…

正在运行中的宝塔项目扩容阿里云购买服务器云盘(数据盘) 挂载流程

阿里云购买服务器云盘(数据盘) 正在运行中的宝塔项目 挂载流程 注意一定要进行阿里云的快照备份 在进行操作 不然丢失数据后就很无奈 注意一定要进行阿里云的快照备份 在进行操作 不然丢失数据后就很无奈 注意一定要进行阿里云的快照备份 在进行操作 不然丢失数据后就很无奈 …

6G内存运行Llama2-Chinese-7B-chat模型

6G内存运行Llama2-Chinese-7B-chat模型 Llama2-Chinese中文社区 第一步&#xff1a; 从huggingface下载 Llama2-Chinese-7b-Chat-GGML模型放到本地的某一目录。 第二步&#xff1a; 执行python程序 git clone https://github.com/Rayrtfr/llama2-webui.gitcd llama2-web…

PCIe基础知识

PCI基础知识 PCI总线的组成&#xff1a;HOST桥、PCI桥、PCI设备 PCI采用的是树型拓扑结构&#xff0c;每一个PCI device相当于树的一个结点或者叶子&#xff0c;对整个PCI Bus的遍历可以采用遍历树的算法&#xff0c;在对树进行遍历之后&#xff0c;可以获得整个PCI Bus的资源需…

海外抖音Tiktok强势来袭,有些人半年赚别人十倍工资

TikTok作为一款流行的短视频社交应用程序&#xff0c;确实在全球范围内取得了很大的成功。许多人通过在TikTok上分享有趣、创意或有吸引力的视频内容&#xff0c;获得了广泛的关注和认可。一些用户甚至能够通过TikTok赚取高额的收入&#xff0c;远远超过传统职业所能获得的工资…

[C++笔记]二叉搜索树

BSTree.h #pragma oncenamespace key {template<class K>//这里习惯用K而不是T&#xff0c;keystruct BSTreeNode {BSTreeNode<K>* _left;BSTreeNode<K>* _right;K _key;BSTreeNode(const K& key):_left(nullptr), _right(nullptr), _key(key){}};templ…

Hbuilder折叠代码时显示最后一行

之前写pc端代码时&#xff0c;都是使用vscode&#xff0c;里面的折叠代码&#xff0c;都是将开头和尾部中间的内容折叠起来&#xff0c;这样复制或者删除操作代码时&#xff0c;都很顺手&#xff0c;但是最近要用Hbuilder写移动端&#xff0c;它默认的折叠代码方式&#xff0c;…

Java的第十五篇文章——网络编程(后期再学一遍)

目录 学习目的 1. 对象的序列化 1.1 ObjectOutputStream 对象的序列化 1.2 ObjectInputStream 对象的反序列化 2. 软件结构 2.1 网络通信协议 2.1.1 TCP/IP协议参考模型 2.1.2 TCP与UDP协议 2.2 网络编程三要素 2.3 端口号 3. InetAddress类 4. Socket 5. TCP网络…

ShardingSphere-Proxy绑定表与广播表详解与实战

&#x1f680; ShardingSphere &#x1f680; &#x1f332; 算法刷题专栏 | 面试必备算法 | 面试高频算法 &#x1f340; &#x1f332; 越难的东西,越要努力坚持&#xff0c;因为它具有很高的价值&#xff0c;算法就是这样✨ &#x1f332; 作者简介&#xff1a;硕风和炜&…

【雕爷学编程】MicroPython动手做(13)——掌控板之RGB三色灯

知识点&#xff1a;什么是掌控板&#xff1f; 掌控板是一块普及STEAM创客教育、人工智能教育、机器人编程教育的开源智能硬件。它集成ESP-32高性能双核芯片&#xff0c;支持WiFi和蓝牙双模通信&#xff0c;可作为物联网节点&#xff0c;实现物联网应用。同时掌控板上集成了OLED…

STM32 UDS Bootloader开发-上位机篇-CANoe制作(2)

文章目录 前言CANoe增加NodeCAPL脚本获取GUI中的参数刷写过程诊断仪在线接收回调函数发送函数总结前言 在上一篇文章中,介绍了UDS Bootloadaer上位机软件基于CANoe的界面设计。本文继续介绍CAPL脚本的编写以实现刷写过程。 CANoe增加Node 在开始编写CAPL之前,需要在Simula…

UE4/5C++多线程插件制作(十九、异步资源读取封装,细节修改)

MTPResourceLoadManage 接口 MTPThreadInterface 添加头文件: #include "Engine/StreamableManager.h" cpp class IStreamableContainer { public:virtual ~IStreamableContainer(){}//异步//存储路径IStreamableContainer& operator>>(const TArray…

JVM | 基于类加载的一次完全实践

引言 我在上篇文章&#xff1a;JVM | 类加载是怎么工作的 中为你介绍了Java的类加载器及其工作原理。我们简单回顾下&#xff1a;我用一个易于理解的类比带你逐步理解了类加载的流程和主要角色&#xff1a;引导类加载器&#xff0c;扩展类加载器和应用类加载器。并带你深入了解…

BCNet论文精读

Title—标题 Boundary Constraint Network&#xff08;边界约束网络&#xff09; With Cross Layer Feature Integration&#xff08;跨层特征融合&#xff09; for Polyp Segmentation&#xff08;息肉分割&#xff09; 结构分析 标题结构由三部分组成&#xff0c;分别是本文…

java static修饰的静态成员

静态成员 特点&#xff1a; 1.静态成员可以被本类所有对象共享2.静态成员可以通过类名调用也可以推荐对象调用&#xff0c;但是推荐使用类名调用&#xff01;3.静态成员随着类的加载而加载&#xff0c;优先于对象存在的静态方法的注意事项&#xff1a; 1.非静态方法可以访问任…

SpringBoot运维

能够掌握SpringBoot程序多环境开发 能够基于Linux系统发布SpringBoot工程 能够解决线上灵活配置SpringBoot工程的需求 Windows打包运行 你的电脑不可能一直开着机联网作为服务器&#xff1a; 我们将我们项目打包放到外部的服务器上&#xff0c;这样其他用户才能正常访问&#x…

从0到1开发go-tcp框架【1-搭建server、封装连接与业务绑定、实现基础Router、抽取全局配置文件】

从0到1开发go-tcp框架【1-搭建server、封装连接与业务绑定、实现基础Router】 本期主要完成对Server的搭建、封装连接与业务绑定、实现基础Router&#xff08;处理业务的部分&#xff09;、抽取框架的全局配置文件 从配置文件中读取数据&#xff08;服务器监听端口、监听IP等&a…