Ubuntu服务器ELK部署与实践

news2024/9/20 16:48:27

文章目录

    • 1. Docker安装
    • 2. 拉镜象
      • 2.1 ElastciSearch
      • 2.2 Kibana
      • 2.3 logstash
    • 3. 数据展示

1. Docker安装

看之前的文章
docker ubuntu完全卸载docker及再次安装
Ubuntu安装 Docker

此外，Docker偶尔会出现这种问题dial tcp: lookup registry-1.docker.io on 192.168.1.1:53: no such host

参考Docker----执行docker pull 下载镜像时报dial tcp: lookup registry-1.docker.io on 192.168.1.1:53: no such host错误的解决办法

  1. 修改“/etc/resolv.conf”， 增加几个nameserver
nameserver 8.8.8.8
nameserver 8.8.4.4
  1. 再执行如下两条命令即可
systemctl daemon-reload
systemctl restart docker

2. 拉镜象

参考https://blog.csdn.net/at1358/article/details/114921506

#下载ELK使用的镜像
docker pull elasticsearch:7.8.0
docker pull kibana:7.8.0
docker pull logstash:7.8.0
docker pull mobz/elasticsearch‐head:5

2.1 ElastciSearch

#安装elasticsearch，创建一个elk文件夹, 后面的elk日志采集系统的配置文件都放在这里面
#创建elk使用配置文件的目录
mkdir -p /data/elk

#创建es使用的目录
mkdir  /data/elk/conf -p

#配置es的配置文件
cat >/data/elk/conf/elasticsearch.yml<<'EOF'
cluster.name: "docker-cluster"
network.host: 0.0.0.0
# 访问ID限定，0.0.0.0为不限制，生产环境请设置为固定IP
transport.host: 0.0.0.0
# elasticsearch节点名称
node.name: node-1
# elasticsearch节点信息
cluster.initial_master_nodes: ["node-1"]
# 下面的配置是关闭跨域验证可以实现浏览器查看es的数据
http.cors.enabled: true
http.cors.allow-origin: "*"
EOF


#创建es使用的存储卷把数据映射出来
[root@centos7 ~]# docker volume create elasticsearch
elasticsearch


#创建并启动elasticsearch容器
docker run -di -p 9200:9200 -p 9300:9300 --name=elasticsearch -v /data/elk/conf/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml   --mount src=elasticsearch,dst=/usr/share/elasticsearch elasticsearch:7.6.0
#把宿主机的配置文件映射到es作为配置文件
/data/elk/conf/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml
#把es的容器安装目录映射到宿主机
--mount src=elasticsearch,dst=/usr/share/elasticsearch

#创建成功
[root@centos7 elasticsearch]# docker run -di -p 9200:9200 -p 9300:9300 --name=elasticsearch -v /data/elk/elasticsearch/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml   --mount src=elasticsearch,dst=/usr/share/elasticsearch elasticsearch:7.6.0
317d2a274ec64500c44a7c8c0bea60175c2183a66e8e6e8a5554bc223e836e58

#对存储卷创建软连接实现快速访问
/data/docker/volumes/elasticsearch/_data/
ln -s /data/docker/volumes/elasticsearch/_data/ /data/elk/es

Elasticsearch使用9200端口作为HTTP REST API的默认端口，用于与客户端进行通信。而9300端口是Elasticsearch节点之间进行通信的默认端口，用于集群内部的节点间通信。

接下来测试安装是否完成。注意：下面的命令有可能有问题，curl瞬间docker就炸了


#测试是否安装成功
[root@centos7 es]# curl 127.0.0.1:9200
{
  "name" : "node-1",
  "cluster_name" : "docker-cluster",
  "cluster_uuid" : "CK6xnBvaTciqRtWhjZf7WA",
  "version" : {
    "number" : "7.6.0",
    "build_flavor" : "default",
    "build_type" : "docker",
    "build_hash" : "7f634e9f44834fbc12724506cc1da681b0c3b1e3",
    "build_date" : "2020-02-06T00:09:00.449973Z",
    "build_snapshot" : false,
    "lucene_version" : "8.4.0",
    "minimum_wire_compatibility_version" : "6.8.0",
    "minimum_index_compatibility_version" : "6.0.0-beta1"
  },
  "tagline" : "You Know, for Search"
}
注意：如果需要添加插件时，需要将容器的插件目录映射到实际的路径中或者通过命令
（如安装ik分词器：docker cp ik elasticsearch:/usr/share/elasticsearch/plugins/）将其拷贝到容器中

解决方案参考docker启动es(解决9200端口访问不到)

  1. 检查docker启动的logdocker logs -f 容器id
  2. 发现虚拟内存开的太小了
  3. 修改虚拟内存参数
# 查看参数大小
cat /proc/sys/vm/max_map_count
# 设置参数
sysctl -w vm.max_map_count=262144

由于暴露端口可能导致信息泄露或者遭受攻击
（你的Elasticsearch在“裸奔”吗？），因此建议不要暴露端口

2.2 Kibana

#安装kibana
#kibana主要用于对elasticsearch的数据进行分析查看。注意选择的版本必须和elasticsearch的版本相同或者低，建议和elasticsearch的版本相同，否则会无法将无法使用kibana。

#创建配置文件
cat >/data/elk/conf/kibana.yml<<'EOF'
server.port: 5601
server.host: "0.0.0.0"
elasticsearch.hosts: ["http://127.0.0.1:9200"]
# 操作界面语言设置为中文
i18n.locale: "zh-CN"
EOF

#创建kibana使用的容器卷
docker volume create kibana

#创建并启动kibana容器
docker run -di --name kibana -p 5601:5601 -v /data/elk/conf/kibana.yml:/usr/share/kibana/config/kibana.yml --mount src=kibana,dst=/usr/share/kibana kibana:7.8.0
#把宿主机的kibana配置文件映射到容器内部
 # -v /data/elk/conf/kibana.yml:/usr/share/kibana/config/kibana.yml
#把容器内的kibana的安装目录映射到宿主机的容器卷方便管理
# --mount src=kibana,dst=/usr/share/kibana


#创建kibana容器卷的软连接方便管理
ln -s /data/docker/volumes/kibana/_data/ /data/elk/kibana

此时直接curl 127.0.0.1:5601，有可能遇到问题Kibana server is not ready yet，解决方法参考kibana解决Kibana server is not ready yet问题

20230807更新：本质问题是如何在docker中访问别的容器，参考我新的博客让ELK在同一个docker网络下通过名字直接访问

方法1（对我有效）
将配置文件kibana.yml中的elasticsearch.url改为正确的链接，默认为: http://elasticsearch:9200 或者 http://127.0.0.1:9200 ，改为http://自己的IP地址 或者 docker的地址:9200

至于为什么有效，是因为这里的localhost是容器内的localhost，如果es在另一个容器中就访问不到了。

docker0 是 Docker 引擎创建的默认网络桥接接口。当你在 Docker 中创建容器时，默认情况下，Docker 会为每个容器分配一个虚拟网络接口，并将其连接到 docker0 网桥上。

docker0 网桥充当了 Docker 主机和容器之间的网络桥梁。它的主要作用是实现容器与 Docker 主机以及其他容器之间的通信。通过 docker0 网桥，Docker 主机可以与容器进行网络通信，并提供容器之间的网络互连性。

在这里插入图片描述
我也是给改成了docker的地址变好了
在这里插入图片描述
方法2 关闭防火墙

# 关闭之后再查看防火墙状态
systemctl stop firewalld.service
systemctl status firewalld.service

# 永久关闭防火墙，重启系统也不会开启防火墙
systemctl disable firewalld.service

kibana配置密码
参考https://blog.csdn.net/IT_road_qxc/article/details/121858843
直接在yml配置即可

# 此处设置elastic的用户名和密码
elasticsearch.username: miima
elasticsearch.password: miima

2.3 logstash

logstash的配置比较复杂

1. 首先启动容器，获取配置文件

# 启动容器
docker run -d --name=logstash logstash:7.2.0

# 查看日志
docker logs -f logstash

直到最后有successfully字段即可

2. 创建所需要的挂载文件，并拷贝配置

# 创建文件夹，用于保存同步用的conf文件
mkdir -p /opt/docker/logstash/config/conf.d
# 拷贝配置
docker cp logstash:/usr/share/logstash/config /opt/docker/logstash/
docker cp logstash:/usr/share/logstash/data /opt/docker/logstash/
docker cp logstash:/usr/share/logstash/pipeline/opt/docker/logstash/

修改配置logstash.yml

http.host: "0.0.0.0"
xpack.monitoring.elasticsearch.hosts: [ "http://127.0.0.1:9200" ] # 如果在docker中，则使用docker的ip address或者服务器IP（需要保证服务器公网可以访问）
#path.config: /usr/share/logstash/config/conf.d/*.conf
path.logs: /usr/share/logstash/logs

递归为文件夹赋予权限

chmod -R 777 logstash/

3. 命令行启动
删除之前的容器，重新启动一个新的容器

docker run \
--name logstash \
--restart=always \
-p 5044:5044 \
-p 9600:9600 \
-e ES_JAVA_OPTS="-Duser.timezone=Asia/Shanghai" \
-v /opt/docker/logstash/config:/usr/share/logstash/config \
-v /opt/docker/logstash/data:/usr/share/logstash/data \
-v /opt/docker/logstash/pipeline:/usr/share/logstash/pipeline \
-d logstash:7.8.0

4. 配置mysql自动同步
首先确认是否有 logstash-input-jdbc插件，一般7.x版本都默认有。

# 进入容器
docker exec -it logstash bash

# 查询是否有 logstash-input-jdbc
./bin/logstash-plugin list --verbose

# 如果没有就安装插件(一般默认安装)
./bin/logstash-plugin install logstash-input-jdbc

# 退出容器
exit

在conf路径下创建jdbc.conf文件，格式如下

 input{
     jdbc{
          # 连接数据库
          jdbc_connection_string => "jdbc:mysql://47.108.13.175:3306/edu?serverTimezone=Asia/Shanghai&characterEncoding=utf8&useSSL=false"
          jdbc_user => "root"
          jdbc_password => "HBcloud.1024"
          # 连接数据库的驱动包
          jdbc_driver_library => "/usr/share/logstash/config/jars/mysql-connector-java-8.0.20.jar"
          jdbc_driver_class => "com.mysql.cj.jdbc.Driver"
          jdbc_paging_enabled => "true"
          jdbc_page_size => "50000"
          codec => plain { charset => "UTF-8" }

          # 数据追踪
          # 追踪的字段 
          # 在配置中，tracking_column 参数的值应该是你的数据库表中的一个列名，该列的值会随着数据的插入而递增或变化。jdbc 输入插件将使用这个列的值来确定从数据库中检索哪些新的数据。
          tracking_column => "update_time"
          # 上次追踪的元数据存放位置
          last_run_metadata_path => "/usr/share/logstash/config/lastrun/logstash_jdbc_last_run"
          # 设置时区
          jdbc_default_timezone => "Asia/Shanghai"  
          # sql 文件地址
          # statement_filepath => ""
          # sql 注意：一定需要sql_last_value
          # 这里的SQL语言需要保证和mysql中一致，比如用了MySQL的关键字定义的列名，那就需要`{列名}`的方式进行搜索
          statement => "SELECT g.merchant_id AS id,g.nickname AS nickname,g.avatar_name AS avatarName,g.`desc` AS `desc`,g.contacts AS contacts,g.province AS province,g.city AS city,g.district AS district,g.address AS address, ST_AsText(g.coordinate) AS coordinate FROM wbc_merchant g WHERE g.update_time > :sql_last_value"
          # 是否清除 last_run_metadata_path 的记录,如果为真那么每次都相当于从头开始查询所有的数据库记录
          clean_run =>false
          # 这是控制定时的，重复执行导入任务的时间间隔，第一位是分钟 不设置就是1分钟执行一次
          schedule => "* * * * *"
     }
}
output{
      elasticsearch{
                   # 要导入到的Elasticsearch所在的主机
                   hosts => "132.232.41.245:9200"
                   # 要导入到的Elasticsearch的索引的名称
                   index => "merchant_index"
                   # 类型名称（类似数据库表名）
                   document_type => "merchanteso"
                   # 主键名称（类似数据库表名），必须是唯一ID
                   # 如果想要保证你的数据库不出现重复的数值，那就要好好设置他
                   # 我的方案是和tracking_column一致，但这样可能会导致无法插入新数据，因此document_id必须得是唯一的
                   document_id => "%{id}"
      }

      stdout{
            # JSON 格式输出
            codec => json_lines
      } 
}

需要注意的是这里需要下载jar文件，可以参考这片博客不同版本mysql-connector-java的jar包下载地址。下载后将压缩包解压到本机（非docker）/opt/docker/logstash/config的路径下，并提取出jar文件。

此外，elasticsearch的hosts和yaml文件中的保持一致即可。

3. 数据展示

1. 加入索引
根据{IP}:5601访问kibana，对于刚刚插入数据库的数据进行检索。
在这里插入图片描述
输入索引，并选择时间字段。

在这里插入图片描述
在这里插入图片描述
完成上面一步就ok了

2. 展示数据
进入discover展示数据
在这里插入图片描述

注意：如果时间字段用的过去的时间，而不是插入数据库的时间，需要在搜索的时候需要格外注意时间设置，比如我用的是新闻发布的时间作为时间字段
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/840831.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

ICMP 理解

ICMP 理解

icmp 差错报告机制&#xff0c;tcp/ip协议族中重要的子协议&#xff0c;通常被ip层或者更高的&#xff08;tcp/udp&#xff09;使用&#xff0c;&#xff0c;属于网络层协议&#xff0c;主要用于在ip主机和路由器之间传递控制消息&#xff0c;用于报告主机是否可达、路由是否可…
阅读更多...
融邦JAVA面试题

融邦JAVA面试题

1. Java线程池的作用及使用方式 线程池的作用&#xff1a; (1) 降低系统资源消耗&#xff1a;通过重用已存在的线程&#xff0c;降低线程创建和销毁造成的消耗。 (2) 提高系统响应速度&#xff1a;当有任务到达时&#xff0c;无需等待新线程的创建便能立即执行。 (3) 提高线程…
阅读更多...
SpringBoot3基础用法

SpringBoot3基础用法

技术和工具「!喜新厌旧」 一、背景 最近在一个轻量级的服务中&#xff0c;尝试了最新的技术和工具选型&#xff1b; 即SpringBoot3&#xff0c;JDK17&#xff0c;IDEA2023&#xff0c;Navicat16&#xff0c;虽然新的技术和工具都更加强大和高效&#xff0c;但是适应采坑的过程…
阅读更多...
阿里云瑶池 PolarDB 开源官网焕新升级上线

阿里云瑶池 PolarDB 开源官网焕新升级上线

导读近日&#xff0c;阿里云开源云原生数据库 PolarDB 官方网站全新升级上线。作为 PolarDB 开源项目与开发者、生态伙伴、用户沟通的平台&#xff0c;将以开放、共享、促进交流为宗旨&#xff0c;打造开放多元的环境&#xff0c;以实现共享共赢的目标。 立即体验全新官网&…
阅读更多...
【测试】软件测试工具JMeter简单用法

【测试】软件测试工具JMeter简单用法

简明扼要&#xff0c;点到为止。 1. JMeter介绍 JMeter的全称是Apache JMeter&#xff0c;是一款用于软件测试的工具软件&#xff0c;其是开源免费的&#xff0c;由Apache基金会运营。 官网&#xff1a;Apache JMeter - Apache JMeter™ 2. 下载安装及运行 2.1 安装 Java8…
阅读更多...
RabbitMQ的6种工作模式

RabbitMQ的6种工作模式

RabbitMQ的6种工作模式 官方文档&#xff1a; http://www.rabbitmq.com/ https://www.rabbitmq.com/getstarted.html RabbitMQ 常见的 6 种工作模式&#xff1a; 1、simple简单模式 1)、消息产生后将消息放入队列。 2)、消息的消费者监听消息队列&#xff0c;如果队列中…
阅读更多...
深入探究Spring核心模块

深入探究Spring核心模块

&#x1f337;&#x1f341; 博主猫头虎 带您 Go to New World.✨&#x1f341; &#x1f984; 博客首页——猫头虎的博客&#x1f390; &#x1f433;《面试题大全专栏》 文章图文并茂&#x1f995;生动形象&#x1f996;简单易学&#xff01;欢迎大家来踩踩~&#x1f33a; &a…
阅读更多...
Flowise AI：用于构建LLM流的拖放UI

Flowise AI：用于构建LLM流的拖放UI

推荐&#xff1a;使用NSDT场景编辑器助你快速搭建可二次编辑的3D应用场景 什么是Flowise AI&#xff1f; Flowise AI是一个开源的UI可视化工具&#xff0c;用于帮助开发LangChain应用程序。在我们详细介绍 Flowise AI 之前&#xff0c;让我们快速定义 LangChain。LangChain是…
阅读更多...
谈谈如何使用ShellExecute的返回值

谈谈如何使用ShellExecute的返回值

之前的一篇文章中&#xff0c;我们讲到了在 16 位 Windows 中&#xff0c;实例句柄(HINSTANCE)唯一标识了一个进程。到了 32 位 Windows&#xff0c;内核得到了完全的重新设计&#xff0c;其中之一是&#xff1a;它引入了 “内核对象” 和 “安全描述符”。 在 16 位 Windows …
阅读更多...
vue项目实战-脑图编辑管理系统kitymind百度脑图

vue项目实战-脑图编辑管理系统kitymind百度脑图

前言 项目为前端vue项目&#xff0c;把kitymind百度脑图整合到前端vue项目中&#xff0c;显示了脑图的绘制&#xff0c;编辑&#xff0c;到处为json&#xff0c;png&#xff0c;text等格式的功能 文章末尾有相关的代码链接&#xff0c;代码只包含前端项目&#xff0c;在原始的…
阅读更多...
GET和POST的区别，java模拟postman发post请求

GET和POST的区别，java模拟postman发post请求

目录 一、先说一下get和post1、看一下人畜无害的w3schools怎么说&#xff1a;2、问一下文心你言哥&#xff0c;轻轻松松给你一个标准答案&#xff1a;3、卧槽&#xff0c;懂了&#xff0c;好像又没懂 二、让我们扒下GET和POST的外衣&#xff0c;坦诚相见吧&#xff01;三、我们…
阅读更多...
MySQL5.7源码编译Debug版本

MySQL5.7源码编译Debug版本

编译环境Ubuntu22.04LTS 1 官方下载MySQL源码 https://dev.mysql.com/downloads/mysql/?spma2c6h.12873639.article-detail.4.68e61a14ghILh5 2 安装基础软件 cmakeclangpkg-configperl 参考&#xff1a;https://dev.mysql.com/doc/refman/5.7/en/source-installation-prere…
阅读更多...
网络安全进阶学习第十二课——SQL手工注入3(Access数据库)

网络安全进阶学习第十二课——SQL手工注入3(Access数据库)

文章目录 注入流程&#xff1a;1、判断数据库类型2、判断表名3、判断列名4、判断列数1&#xff09;判断显示位 5、判断数据长度6、爆破数据内容 注入流程&#xff1a; 判断数据库类型 ——> 判断表名 ——> 判断列名 ——> 判断列名长度 ——> 查出数据。 asp的网…
阅读更多...
Acwing.877 扩展欧几里得算法

Acwing.877 扩展欧几里得算法

题目 给定n对正整数ai , bi&#xff0c;对于每对数&#xff0c;求出一组ai ,g&#xff0c;使其满足ai* xi bi * yi gcd(ai ,bi)。 输入格式 第一行包含整数n。 接下来n行&#xff0c;每行包含两个整数ai , bi。 输出格式 输出共n行&#xff0c;对于每组ai, bi&#xff0c…
阅读更多...
hcip的ospf综合实验

hcip的ospf综合实验

题目 拓扑图 IP地址分配及环回 R1 < Huawei>sy Enter system view, return user view with CtrlZ. [Huawei]sysname r1 [r1]int g0/0/0 [r1-GigabitEthernet0/0/0]ip add 172.16.0.1 27 Aug 6 2023 19:03:33-08:00 r1 %%01IFNET/4/LINK_STATE(l)[0]:The line protocol I…
阅读更多...
第3章 语言基础

第3章 语言基础

引言 任何语言的核心所描述的都是这门语言在最基本的层面上如何工作&#xff0c;涉及语法、操作符、数据类型以及内置功能&#xff0c;在此基础之上才可以构建复杂的解决方案 本章接下来的内容主要基于ECMAScript第6版。ES6 语法 js的语法借鉴了c/c&#xff0c;java。js是相对…
阅读更多...
如何在PCB设计过程中处理好散热

如何在PCB设计过程中处理好散热

在现代高性能电子设备中&#xff0c;散热是一个常见而重要的问题。正确处理散热问题对于确保电子设备的可靠性、稳定性和寿命至关重要。 下面将介绍在PCB设计过程中处理散热问题的方法和技巧&#xff0c;以帮助大家提高设计质量和性能。 首先&#xff0c;在处理散热问题之前&…
阅读更多...
项目部署（前后端分离）

项目部署（前后端分离）

1、前端项目 &#xff08;打包成dist文件,放到nginx的html目录下面&#xff09;&#xff0c;然后配置nginx 2、后端项目部署 使用之前的shell脚本&#xff08;然后赋予用户权限&#xff09;&#xff0c;最后运行脚本 查看进程
阅读更多...
Flutter编译一直显示Running Gradle task ‘assembleDebug‘

Flutter编译一直显示Running Gradle task ‘assembleDebug‘

&#x1f525; 目前开发的Android Studio版本 &#x1f525; &#x1f525; 当前Flutter SDK 版本 &#x1f525; Flutter 3.10.6 • channel stable • https://github.com/flutter/flutter.git Framework • revision f468f3366c (3 周前) • 2023-07-12 15:19:05 -0700 Eng…
阅读更多...
算法与数据结构-哈希表

算法与数据结构-哈希表

文章目录 什么是散列表散列函数的设计原则散列冲突的解决办法1. 开放寻址法2. 链表法 什么是散列表 散列表用的是数组支持按照下标随机访问数据的特性&#xff0c;所以散列表其实就是数组的一种扩展&#xff0c;由数组演化而来。可以说&#xff0c;如果没有数组&#xff0c;就…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023