每日一更 EFK日志分析系统

news2024/11/19 20:23:40

需要docker和docker-compose环境

下面时docker-compose.yaml文件

[root@node1 docker-EFK]# cat docker-compose.yaml 
version: '3.3'

services:

  elasticsearch:
    image: "docker.elastic.co/elasticsearch/elasticsearch:7.17.5"
    container_name: elasticsearch
    restart: always
    environment:
    - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    - "discovery.type=single-node"
    - "cluster.name=myes"
    - "node.name=jeven"
    # - xpack.security.enabled: "false"
    ulimits:
      memlock:
        soft: -1
        hard: -1 
    networks:
      myefk:
        ipv4_address: 172.29.120.10
        aliases:
        - es
        - jeven
    ports:
    - "9200:9200"
    - "9300:9300"
    volumes:
    - /home/docker-EFK/config/:/usr/share/elasticsearch/config
    - /home/docker-EFK/efk/es/data/:/usr/share/elasticsearch/data
  
  kibana:
    image: "docker.elastic.co/kibana/kibana:7.17.5"
    restart: always
    environment:
      ELASTICSEARCH_URL: http://10.23.3.2:9200
      ELASTICSEARCH_HOSTS: '["http:/10.23.3.2:9200"]'
      I18N_LOCALE: zh-CN
    networks:
      myefk:
        ipv4_address: 172.29.120.20
        aliases:
          - kibana
          - kib
    ports:
    - "5601:5601"
    links:
    - "elasticsearch"

  filebeat:
    image: "docker.elastic.co/beats/filebeat:7.17.5"
    restart: always
    networks:
      myefk:
        ipv4_address: 172.29.120.30
        aliases:
          - filebeat
          - fb
    user: root
    command: ["--strict.perms=false"]
    volumes:
    - /home/docker-EFK/efk/filebeat.yaml:/usr/share/filebeat/filebeat.yml
    - /var/lib/docker:/var/lib/docker:ro
    - /var/run/docker.sock:/var/run/docker.sock
    links:
    - "elasticsearch"
    - "kibana"
  
  elasticsearch-head:
    image: "tobias74/elasticsearch-head"
    container_name: elasticsearch-head
    restart: always
    networks:
      myefk:
        ipv4_address: 172.29.120.50
    ports:
    - "9100:9100"
    links:
    - "elasticsearch"

networks:
  myefk:
    driver: bridge
    ipam:
      config:
        - subnet: 172.29.120.0/24

使用docker-compose up -d执行

使用docker ps 看容器状态。

[root@node1 docker-EFK]# docker ps
CONTAINER ID   IMAGE                                                  COMMAND                  CREATED          STATUS                          PORTS                                                                                  NAMES
42581fc03590   tobias74/elasticsearch-head                            "/bin/sh -c 'grunt s…"   5 minutes ago    Up 5 minutes                    0.0.0.0:9100->9100/tcp, :::9100->9100/tcp                                              elasticsearch-head
ce1464dc2726   docker.elastic.co/beats/filebeat:7.17.5                "/usr/bin/tini -- /u…"   19 minutes ago   Up 19 minutes                                                                                                          docker-efk_filebeat_1
fc979274d0f1   docker.elastic.co/kibana/kibana:7.17.5                 "/bin/tini -- /usr/l…"   19 minutes ago   Up 19 minutes                   0.0.0.0:5601->5601/tcp, :::5601->5601/tcp                                              docker-efk_kibana_1
f5f94ba61d0b   docker.elastic.co/elasticsearch/elasticsearch:7.17.5   "/bin/tini -- /usr/l…"   19 minutes ago   Up 18 minutes                   0.0.0.0:9200->9200/tcp, :::9200->9200/tcp, 0.0.0.0:9300->9300/tcp, :::9300->9300/tcp   elasticsearch

elasticsearch是日志存放的数据库，elasticsearch下的索引(Index)类似于关系型的一个数据库。文档(Document)：Elasticsearch中的数据单位，可以理解为一条记录或一条消息。

elasticsearch-head就是一款能连接ElasticSearch搜索引擎，并提供可视化的操作页面对ElasticSearch搜索引擎进行各种设置和数据检索功能的管理插件。

ES相关术语

文档 Document

Document 文档就是用户存在 es 中的一些数据，它是 es 中存储的最小单元。（类似于表中的一行数据。）注意：每个文档都有一个唯一的 ID 表示，可以自行指定，如果不指定 es 会自动生成

索引 Index

索引其实是一堆文档 Document 的集合。（它类似数据库的中的一个表）

字段 Filed

在 ES 中，Document就是一个 Json Object，一个Json Object其实是由多个字段组成的，每个字段它有不同的数据类型。

ES术语总结

ES索引、文档、字段关系小结：
一个索引里面存储了很多的 Document 文档，一个文档就是一个json object，一个json object是由多个不同或相同的 filed 字段组成；

操作原理
ES的操作和我们传统的数据库操作不太一样，它是通过 RestfulAPI 方式进行对ES进行操作，其实本质上就是通过 http的方式去变更我们的资源状态。   
通过 URI 的方式指定要操作的资源，比如 Index、Document等。   
通过 Http Method 指明资源操作方法，如GET、POST、PUT、DELETE 等。

访问elasticsearch两种方式
  • curl命令本地访问
  • 安装kibana访问

kibana是一个

分析和可视化数据。搜索隐藏的见解，编制图表仪表板，仪表、地图和其他可视化显示您发现的内容，并与他人分享。
搜索、观察和保护你的数据。向你的应用或网站添加搜索框，分析日志，指标，并发现安全漏洞。
管理、监控和保护 Elastic Stack。管理您的索引和摄入管道，监控 Elastic Stack 集群的运行状况，并控制哪些用户可以访问哪些特征和数据。

kibana对es的增删改查，

kibana操作elasticsearch的索引
创建索引
#创建索引
PUT /cry_index

查看索引

#查看全部索引名 
GET _cat/indices

#查看指定索引 GET  索引名
GET filebeat-2024.06.29

PUT /ly_index 创建索引                {
                                      "acknowledged" : true,
                                      "shards_acknowledged" : true,
                                      "index" : "ly_index"
                                      }
GET /ly_index   查看索引


{
  "ly_index" : {
    "aliases" : { },
    "mappings" : { },
    "settings" : {
      "index" : {
        "routing" : {
          "allocation" : {
            "include" : {
              "_tier_preference" : "data_content"
            }
          }
        },
        "number_of_shards" : "1",
        "provided_name" : "ly_index",
        "creation_date" : "1720143452731",
        "number_of_replicas" : "1",
        "uuid" : "FRaCW3lgSny9e11v8WSUmw",
        "version" : {
          "created" : "7170599"
        }
      }
    }
  }
}
DELETE /ly_index     删除索引


{
  "acknowledged" : true
}

kibana操作elasticsearch的文档

PUT /ly_index_01       创建索引

POST /ly_index_01/_doc/1          创建索引下的文档
{
  "username": "oldxu",
  "age": 18,
  "salary": 1000000
}

_doc为文档名

oldxu_index为索引名  ，没有将会自动创建

1 为文档id  如果不指定会随机创建

指定id的，

POST /oldxu_index/_doc/1
{
  "username": "oldqiang",
  "age": 30,
  "salary": 300
}
结果：
{
  "_index" : "oldxu_index",
  "_type" : "_doc",
  "_id" : "1",
  "_version" : 1,
。。。。。。。

不指定id的

POST /oldxu_index/_doc
{
  "username": "oldqiang",
  "age": 30,
  "salary": 300
}
结果
{
  "_index" : "oldxu_index",
  "_type" : "_doc",
  "_id" : "wtKTgJAB9dAZABV53ccy",
  "_version" : 1,

查询文档

查询文档时，需要指定要查询的文档id，不指定无法查找

GET /oldxu_index/_doc/1

GET /oldxu_index/_doc/1
结果
{
  "_index" : "oldxu_index",
  "_type" : "_doc",
  "_id" : "1",
  "_version" : 1,
  "_seq_no" : 1,
  "_primary_term" : 1,
  "found" : true,
  "_source" : {
    "username" : "oldqiang",
    "age" : 30,
    "salary" : 300
  }
}

不指定id，无法查找

GET /oldxu_index/_doc

结果
{
  "error" : "Incorrect HTTP method for uri [/oldxu_index/_doc?pretty=true] and method [GET], allowed: [POST]",
  "status" : 405
}

查询，搜索所有文档，用_search

GET /oldxu_index/_search

filebeat这里就是一个测试源，可以关闭，对es没有影响，后期需要安装到收集日志的服务器上。

问题1：

创建elasticsearch 是初期没有挂在config文件夹，后期则无法更改elasticsearch.yaml文件，但是再docker-compose.yaml中加入- /home/docker-EFK/config/:/usr/share/elasticsearch/config  后elasticsearch启动一直报错，起不来。查看logs 发现无法打开/usr/share/elasticsearch/config下的文件。解决的方法是，先不映射/usr/share/elasticsearch/config，启动后docker cp 容器id:/usr/share/elasticsearch/config  （宿主机目录）/home/docker-EFK/config/ 。把容器的这个目录拷贝到宿主机，然后再在yaml中加入- /home/docker-EFK/config/:/usr/share/elasticsearch/config。这样就可以了。

问题2:elasticsearch-head 启动成功后，浏览器http://10.23.3.2:9100可以正常访问，但是连不上elasticsearch，后查了一下，需要在elasticsearch.yaml添加两行内容

http.cors.enabled: true

http.cors.allow-origin: "*"

[root@node1 config]# cat elasticsearch.yml 
cluster.name: "docker-cluster"
network.host: 0.0.0.0
http.cors.enabled: true   
http.cors.allow-origin: "*"

重启容器 docker restart es的容器id，重启后,连接成功。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1899792.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

【python】PyQt5可视化开发，如何设计鼠标显示的形状？

【python】PyQt5可视化开发，如何设计鼠标显示的形状？

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯，先赞后看哦~🎈🎈 🏆 作者简介：景天科技苑 🏆《头衔》：大厂架构师，华为云开发者社区专家博主，…
阅读更多...
Java 面向对象编程（OOP）的四大特征

Java 面向对象编程（OOP）的四大特征

Java 面向对象编程（OOP）的四大特征 1、抽象2、继承3、 封装4、多态性 💖The Begin💖点点关注，收藏不迷路💖 在Java编程中，面向对象编程（OOP）是一个核心概念。OOP的四大基…
阅读更多...
Cgi上传文件 注意事项

Cgi上传文件 注意事项

//核心代码 ofstream outfile("/opt/software/" file.getFilename(), ios::out | ios::binary); outfile << file.getData(); //错误方式&#xff1a;outfile << file.getData() <<endl; outfile.close(); 参考博客&#xff1a; https://blog.cs…
阅读更多...
设计模式探索：代理模式

设计模式探索：代理模式

1. 什么是代理模式 定义 代理模式是一种结构型设计模式&#xff0c;通过为其他对象提供一种代理以控制对这个对象的访问。代理对象在客户端和实际对象之间起到中介作用&#xff0c;可以在不改变真实对象的情况下增强或控制对真实对象的访问。 目的 代理模式的主要目的是隐…
阅读更多...
基于深度学习的软件漏洞检测模型在现实数据集上的表现

基于深度学习的软件漏洞检测模型在现实数据集上的表现

软件漏洞对日常软件系统的影响令人担忧。尽管已经提出了基于深度学习模型的漏洞检测方法&#xff0c;但这些模型的可靠性仍然是一个重大问题。先前的评估报告这些模型具有高达99%的召回率/F1分数&#xff0c;但研究发现&#xff0c;这些模型在实际应用场景下的表现并不佳&#…
阅读更多...
【Python系列】数字的bool值

【Python系列】数字的bool值

&#x1f49d;&#x1f49d;&#x1f49d;欢迎来到我的博客&#xff0c;很高兴能够在这里和您见面&#xff01;希望您在这里可以感受到一份轻松愉快的氛围&#xff0c;不仅可以获得有趣的内容和知识&#xff0c;也可以畅所欲言、分享您的想法和见解。 推荐:kwan 的首页,持续学…
阅读更多...
【Qwen2部署实战】Ollama上的Qwen2-7B：一键部署大型语言模型指南

【Qwen2部署实战】Ollama上的Qwen2-7B：一键部署大型语言模型指南

系列篇章&#x1f4a5; No.文章1【Qwen部署实战】探索Qwen-7B-Chat&#xff1a;阿里云大型语言模型的对话实践2【Qwen2部署实战】Qwen2初体验&#xff1a;用Transformers打造智能聊天机器人3【Qwen2部署实战】探索Qwen2-7B&#xff1a;通过FastApi框架实现API的部署与调用4【Q…
阅读更多...
Java | Leetcode Java题解之第218题天际线问题

Java | Leetcode Java题解之第218题天际线问题

题目&#xff1a; 题解&#xff1a; class Solution {public List<List<Integer>> getSkyline(int[][] buildings) {PriorityQueue<int[]> pq new PriorityQueue<int[]>((a, b) -> b[1] - a[1]);List<Integer> boundaries new ArrayList&l…
阅读更多...
FIND_IN_SET使用案例--[sql语句根据多ids筛选出对应数据]

FIND_IN_SET使用案例--[sql语句根据多ids筛选出对应数据]

一 FIND_IN_SET select id,system_ids from intellect_client_info where FIND_IN_SET(5, system_ids) > 0;
阅读更多...
做测试/爬虫 selenium 元素定位 谷歌浏览器 插件推荐,提高元素定位效率

做测试/爬虫 selenium 元素定位 谷歌浏览器 插件推荐,提高元素定位效率

注:插件均在谷歌应用商店 下载 1.XPath Helper 插件 作用&#xff1a;用于Html中对目标字段或者属性值进行匹配 快捷启动&#xff1a;ctrl shift x 示例图如下&#xff1a; 2. ChroPath 插件 作用&#xff1a; 提高元素定位效率 启动&#xff1a;谷歌浏览器 按 F12 -&g…
阅读更多...
NASA和IBM推出INDUS：高级科学研究的综合大模型

NASA和IBM推出INDUS：高级科学研究的综合大模型

在最近的一项研究中&#xff0c;来自美国宇航局和IBM的一组研究人员合作开发了一种模型&#xff0c;该模型可应用于地球科学&#xff0c;天文学&#xff0c;物理学&#xff0c;天体物理学&#xff0c;太阳物理学&#xff0c;行星科学和生物学以及其他多学科学科。当前的模型&am…
阅读更多...
SSM贫困生申请管理系统-计算机毕业设计源码84308

SSM贫困生申请管理系统-计算机毕业设计源码84308

摘要 随着教育信息化的不断推进&#xff0c;越来越多的高校开始借助信息技术手段提升贫困生申请管理的效率与准确性。为此&#xff0c;我们设计并实现了SSM贫困生申请管理系统&#xff0c;旨在通过信息化手段优化贫困生申请流程&#xff0c;提高管理效率&#xff0c;为贫困生提…
阅读更多...
【IT领域新生必看】Java编程中的神奇对比：深入理解`equals`与`==`的区别

【IT领域新生必看】Java编程中的神奇对比：深入理解`equals`与`==`的区别

文章目录 引言什么是操作符&#xff1f;基本数据类型的比较示例&#xff1a; 引用类型的比较示例&#xff1a; 什么是equals方法&#xff1f;equals方法的默认实现示例&#xff1a; 重写equals方法示例&#xff1a; equals与的区别比较内容不同示例&#xff1a; 使用场景不同示…
阅读更多...
LeetCode题练习与总结：排序链表--148

LeetCode题练习与总结：排序链表--148

一、题目描述 给你链表的头结点 head &#xff0c;请将其按 升序 排列并返回 排序后的链表 。 示例 1&#xff1a; 输入&#xff1a;head [4,2,1,3] 输出&#xff1a;[1,2,3,4]示例 2&#xff1a; 输入&#xff1a;head [-1,5,3,4,0] 输出&#xff1a;[-1,0,3,4,5]示例 3&am…
阅读更多...
字节码编程javassist之helloworld

字节码编程javassist之helloworld

写在前面 源码 。 本文一起来看下&#xff0c;如何使用javassist来生成一个helloworld程序。 1&#xff1a;程序 package com.dahuyou.javassist.helloworld;import javassist.*; import java.io.File; import java.io.FileOutputStream; import java.io.IOException; impor…
阅读更多...
收银系统源码-营销活动-积分商城

收银系统源码-营销活动-积分商城

1. 功能描述 营运抽奖&#xff1a;智慧新零售收银系统&#xff0c;线上商城的营销插件&#xff0c;由商户运营&#xff0c;用户通过多种渠道可以获取积分&#xff0c;不仅支持在收银端抵用&#xff0c;还可以在积分商城内兑换优惠券或者真实商品&#xff0c;提升会员活跃度&am…
阅读更多...
苹果电脑清理app垃圾高效清理，无需专业知识

苹果电脑清理app垃圾高效清理，无需专业知识

在我们的日常使用中&#xff0c;苹果电脑以其优雅的设计和强大的功能赢得了广泛的喜爱。然而&#xff0c;即便是最高效的设备&#xff0c;也无法免俗地积累各种不必要的文件和垃圾&#xff0c;特别是app垃圾。所以&#xff0c;苹果电脑清理app垃圾高效清理&#xff0c;对于大多…
阅读更多...
UE5 视频播放（自动播放和自动清除MediaTexture）

UE5 视频播放（自动播放和自动清除MediaTexture）

媒体播放器的打开时播放和媒体纹理的自动清除 。 在UE5开发视频播放时&#xff0c;遇到了闪帧的现象。合理选择这两个功能可解决。
阅读更多...
AE的合成

AE的合成

目录 合成的概念 合成设置 预设 像素长宽比 分辨率​编辑 开始时间码和持续时间 背景颜色 合成的实战理解 在AE的操作界面中&#xff0c;当我们新建了一个项目之后&#xff0c;画面中最主要的位置显示的是新建合成 合成的概念 AE是一款专业特效合成软件&#xff0c;可…
阅读更多...
Pandas数据可视化详解:大案例解析（第27天）

Pandas数据可视化详解:大案例解析（第27天）

系列文章目录 Pandas数据可视化解决不显示中文和负号问题matplotlib数据可视化seaborn数据可视化pyecharts数据可视化优衣库数据分析案例 文章目录 系列文章目录前言1. Pandas数据可视化1.1 案例解析&#xff1a;代码实现 2. 解决不显示中文和负号问题3. matplotlib数据可视化…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023