8.1.0版本ELK搭建，不开启xpack认证机制

news2024/10/6 0:31:32

8.1.0版本ELK搭建，不开启xpack认证机制

    • 部署环境安排
    • 下载安装包
    • 服务器环境配置
    • 部署elasticsearch
    • 部署kibana
    • 部署logstash
    • 部署httpd，filebeat
    • 配置kibana页面

部署环境安排

ip部署服务
192.168.0.121kibana,elasticsearch
192.168.0.83elasticsearch,logstash
192.168.0.84elasticsearch,logstash,httpd,filebeat

下载安装包

下载elasticsearch-8-1-0
https://www.elastic.co/cn/downloads/past-releases#elasticsearch
https://www.elastic.co/cn/downloads/past-releases/elasticsearch-8-1-0
https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-8.1.0-linux-x86_64.tar.gz

下载kibana-8-1-0
https://www.elastic.co/downloads/past-releases#kibana
https://www.elastic.co/cn/downloads/past-releases/kibana-8-1-0
https://artifacts.elastic.co/downloads/kibana/kibana-8.1.0-linux-x86_64.tar.gz

下载logstash-8-1-0
https://www.elastic.co/downloads/past-releases#logstash
https://www.elastic.co/cn/downloads/past-releases/logstash-8-1-0
https://artifacts.elastic.co/downloads/logstash/logstash-8.1.0-linux-x86_64.tar.gz

下载
https://www.elastic.co/downloads/past-releases#filebeat
https://www.elastic.co/cn/downloads/past-releases/filebeat-8-1-0
https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-8.1.0-linux-x86_64.tar.gz

服务器环境配置

操作所有服务器

jdk

8.1.0版本自带jdk

关闭交换空间

swapoff -a
vim /etc/fstab #注释swap行

创建运行elasticsearch的用户elastic

useradd elastic

设置elastic用户的文件最大打开数量和最大线程使用数量

ulimit -n 65535
ulimit -u 4096
vim /etc/security/limits.conf
elastic -  nofile  65535
elastic -  nproc 4096

设置虚拟内存

sysctl -w vm.max_map_count=262144
vim /etc/sysctl.conf
vm.max_map_count=262144

创建数据目录

mkdir -p /data/elastic/data
mkdir -p /data/elastic/logs
chown -R elastic:elastic /data/elastic

mkdir -p /data/kibana/data
mkdir -p /data/kibana/logs

mkdir -p /data/logstash/data
mkdir -p /data/logstash/logs

mkdir -p /data/filebeat/data
mkdir -p /data/filebeat/logs

部署elasticsearch

操作所有服务器

tar xf elasticsearch-8.1.0-linux-x86_64.tar.gz -C /data
cd elasticsearch-8.1.0
chown -R elastic:elastic /data/elasticsearch-8.1.0
cd config
#修改jvm参数
vim jvm.options
-Xms2g
-Xmx2g

操作192.168.0.121

#192.168.0.121
vim elasticsearch.yml

cluster.name: my-application
node.name: node-1
path.data: /data/elastic/data
path.logs: /data/elastic/log
network.host: 192.168.0.121
http.port: 9200
discovery.seed_hosts: ["192.168.0.121", "192.168.0.83", "192.168.0.84"]
cluster.initial_master_nodes: ["192.168.0.121", "192.168.0.83", "192.168.0.84"]

#false 表示不开启xpack认证机制
xpack.security.enabled: false

#false 表示不开启xpack认证机制
xpack.security.enrollment.enabled: false

#上方false 下方的配置不生效
xpack.security.http.ssl:
  enabled: true
  keystore.path: certs/http.p12

xpack.security.transport.ssl:
  enabled: true
  verification_mode: certificate
  keystore.path: certs/transport.p12
  truststore.path: certs/transport.p12

操作192.168.0.83

#192.168.0.83
vim elasticsearch.yml
cluster.name: my-application
node.name: node-2
path.data: /data/elastic/data
path.logs: /data/elastic/log
network.host: 192.168.0.83
http.port: 9200
discovery.seed_hosts: ["192.168.0.121", "192.168.0.83", "192.168.0.84"]
cluster.initial_master_nodes: ["192.168.0.121", "192.168.0.83", "192.168.0.84"]


xpack.security.enabled: false

xpack.security.enrollment.enabled: false

操作192.168.0.84

#192.168.0.84
vim elasticsearch.yml
cluster.name: my-application
node.name: node-3
path.data: /data/elastic/data
path.logs: /data/elastic/log
network.host: 192.168.0.84
http.port: 9200
discovery.seed_hosts: ["192.168.0.121", "192.168.0.83", "192.168.0.84"]
cluster.initial_master_nodes: ["192.168.0.121", "192.168.0.83", "192.168.0.84"]


xpack.security.enabled: false

xpack.security.enrollment.enabled: false

操作所有服务器

cd ..
#配置启动文件
echo "nohup bin/elasticsearch > /data/elastic/log/elastic.log &" > start.sh
chmod a+x start.sh

#依次启动elasticsearch
./start.sh
tail -200f /data/elastic/log/elastic.log

#查看验证
curl 192.168.0.121:9200
{
  "name" : "node-1",
  "cluster_name" : "my-application",
  "cluster_uuid" : "wnh3f7iARXuJvA0UbFPlwg",
  "version" : {
    "number" : "8.1.0",
    "build_flavor" : "default",
    "build_type" : "tar",
    "build_hash" : "3700f7679f7d95e36da0b43762189bab189bc53a",
    "build_date" : "2022-03-03T14:20:00.690422633Z",
    "build_snapshot" : false,
    "lucene_version" : "9.0.0",
    "minimum_wire_compatibility_version" : "7.17.0",
    "minimum_index_compatibility_version" : "7.0.0"
  },
  "tagline" : "You Know, for Search"
}

curl 192.168.0.83:9200
{
  "name" : "node-2",
  "cluster_name" : "my-application",
  "cluster_uuid" : "wnh3f7iARXuJvA0UbFPlwg",
  "version" : {
    "number" : "8.1.0",
    "build_flavor" : "default",
    "build_type" : "tar",
    "build_hash" : "3700f7679f7d95e36da0b43762189bab189bc53a",
    "build_date" : "2022-03-03T14:20:00.690422633Z",
    "build_snapshot" : false,
    "lucene_version" : "9.0.0",
    "minimum_wire_compatibility_version" : "7.17.0",
    "minimum_index_compatibility_version" : "7.0.0"
  },
  "tagline" : "You Know, for Search"
}

curl 192.168.0.84:9200
{
  "name" : "node-3",
  "cluster_name" : "my-application",
  "cluster_uuid" : "wnh3f7iARXuJvA0UbFPlwg",
  "version" : {
    "number" : "8.1.0",
    "build_flavor" : "default",
    "build_type" : "tar",
    "build_hash" : "3700f7679f7d95e36da0b43762189bab189bc53a",
    "build_date" : "2022-03-03T14:20:00.690422633Z",
    "build_snapshot" : false,
    "lucene_version" : "9.0.0",
    "minimum_wire_compatibility_version" : "7.17.0",
    "minimum_index_compatibility_version" : "7.0.0"
  },
  "tagline" : "You Know, for Search"
}

curl 192.168.0.121:9200/_cat/nodes?v
ip            heap.percent ram.percent cpu load_1m load_5m load_15m node.role   master name
192.168.0.121           10          38   4    0.05    0.06     0.04 cdfhilmrstw -      node-1
192.168.0.84             7          78   4    0.12    0.10     0.05 cdfhilmrstw -      node-3
192.168.0.83            11          78   6    0.12    0.10     0.05 cdfhilmrstw *      node-2

部署kibana

操作服务器192.168.0.121

tar xf kibana-8.1.0-linux-x86_64.tar.gz -C /data
cd kibana-8.1.0/config

vim kibana.yml
server.port: 5601
server.host: "192.168.0.121"
elasticsearch.hosts: ["http://192.168.0.121:9200", "http://192.168.0.83:9200", "http://192.168.0.84:9200"]
path.data: /data/kibana/data

cd ..
echo "nohup bin/kibana --allow-root > /data/kibana/log/kibana.log &
" > start.sh
chmod a+x start.sh
./start.sh
tail -200f /data/kibana/log/kibana.log
#打开页面

部署logstash

操作服务器192.168.0.83 192.168.0.84

tar xf  logstash-8.1.0-linux-x86_64.tar.gz -C /data
cd logstash-8.1.0/config
cp logstash-sample.conf logstash.conf

vim logstash.conf
input {
  beats {
    port => 5044
  }
}

output {
  elasticsearch {
    hosts => ["http://192.168.0.121:9200", "http://192.168.0.83:9200", "http://192.168.0.83:9200"]
    index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
    #user => "elastic"
    #password => "changeme"
  }
}

cd ..
echo "nohup bin/logstash -f config/logstash.conf  > /data/logstash/log/logstash.log &" > start.sh
chmod a+x start.sh
./start.sh
tail -200f /data/logstash/log/logstash.log

部署httpd，filebeat

操作服务器192.168.0.84

yum -y install httpd
systemctl start httpd.service
systemctl status httpd.service
● httpd.service - The Apache HTTP Server
   Loaded: loaded (/usr/lib/systemd/system/httpd.service; disabled; vendor preset: disabled)
   Active: active (running) since Fri 2023-05-19 09:37:00 CST; 17s ago

ll /var/log/httpd/
total 4
-rw-r--r-- 1 root root   0 May 19 09:37 access_log
-rw-r--r-- 1 root root 679 May 19 09:37 error_log

tar xf filebeat-8.1.0-linux-x86_64.tar.gz -C /data
cd filebeat-8.1.0
vim filebeat.yml

egrep -v "^\s*$|^\s*#" filebeat.yml
filebeat.inputs:
- type: filestream
  enabled: true
  paths:
    - /var/log/httpd/*_log
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false
setup.template.settings:
  index.number_of_shards: 3
setup.kibana:
output.logstash:
  hosts: ["192.168.0.83:5044", "192.168.0.84:5044"]
processors:
  - add_host_metadata:
      when.not.contains.tags: forwarded
  - add_cloud_metadata: ~
  - add_docker_metadata: ~
  - add_kubernetes_metadata: ~
logging.level: info

echo "nohup ./filebeat -e -c filebeat.yml > /data/filebeat/log/filebeat.log &
" > start.sh
chmod a+x start.sh
./start.sh
tail -200f /data/filebeat/log/filebeat.log

访问http服务
curl 192.168.0.84
kibana可以看到filebeat的索引
在这里插入图片描述

配置kibana页面

选择kibana下方的创建视图Data Views
在这里插入图片描述
创建视图，输入filebeat的索引名称，选择时间戳@timestamp

在这里插入图片描述
发现discover可以看到新添加的视图
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/544004.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Spring boot 注解@Async不生效 无效 不起作用

Spring boot 注解@Async不生效 无效 不起作用

今天在做公司项目时，有一个发邮件的需求。所以写了一个发送邮件的方法后来发现发邮件很慢，导致接口响应也很慢。于是我便想到要使用异步调用去处理这个方法。于是我把注解Async 加到了自己service类下的一个发邮件的一个方法，后来发现并没有生…
阅读更多...
Push rejected，用Git修改已提交的注释

Push rejected，用Git修改已提交的注释

问题：有时候因注释与git规定的模板不匹配，会导致远程提交被拒绝 Push rejected 解决：修改不符合规范的注释再push即可 1、打开命令窗口 在项目根目录下右键点击出 Git批处理命令窗口。 2、查看已提交的commit 运行命令：git reba…
阅读更多...
dataease源码阅读

dataease源码阅读

源码：https://gitee.com/fit2cloud-feizhiyun/DataEase.git 文件夹目录 1.仪表盘主路由：frontend/src/views/panel |-- penel |-- index.vue |-- panel.js |-- appTemplate | |-- AppTemplateContent.vue | |-- index.vue | |-- component | |-- AppT…
阅读更多...
华为OD机试真题 Java 实现【机器人活动区域】【2023Q1 200分】

华为OD机试真题 Java 实现【机器人活动区域】【2023Q1 200分】

一、题目描述 现有一个机器人，可放置于 M N的网格中任意位置，每个网格包含一个非负整数编号。当相邻网格的数字编号差值的绝对值小于等于 1 时，机器人可在网格间移动 问题：求机器人可活动的最大范围对应的网格点数目。 说明&a…
阅读更多...
ESP32-C2开发板Homekit例程

ESP32-C2开发板Homekit例程

准备 1.1硬件ESP32 C2开发板，如图1-1所示 图1-1 ESP32 C2开发板 1.2软件 CozyLife APP可以在各大应用市场搜索下载，也可以扫描二维码下载如图1-2所示 HomeKit flash download tool 烧录工具 esp32c2 homkit演示固件 烧录教程 打开flash_download_to…
阅读更多...
每日一题161——对角线遍历

每日一题161——对角线遍历

给你一个大小为 m x n 的矩阵 mat ，请以对角线遍历的顺序，用一个数组返回这个矩阵中的所有元素。 示例 1： 输入：mat [[1,2,3],[4,5,6],[7,8,9]] 输出：[1,2,4,7,5,3,6,8,9] 示例 2： 输入：mat …
阅读更多...
【大数据学习篇8】 热门品类Top10分析

【大数据学习篇8】 热门品类Top10分析

在HBase命令行工具中执行“list”命令，查看HBase数据库中的所有数据表。学习目标/Target 掌握热门品类Top10分析实现思路 掌握如何创建Spark连接并读取数据集 掌握利用Spark获取业务数据 掌握利用Spark统计品类的行为类型 掌握利用Spark过滤品类的行为类型 掌握利用…
阅读更多...
【嵌入式烧录刷写文件】-1.4-移动Motorola S-record(S19/SREC/mot/SX)中指定地址范围内的数据

【嵌入式烧录刷写文件】-1.4-移动Motorola S-record(S19/SREC/mot/SX)中指定地址范围内的数据

案例背景（共5页精讲）： 有如下一段S19文件，将源地址范围0x9100-0x9104中数据，移动至一个“空的，未填充的”目标地址范围0xA000-0xA004。 S0110000486578766965772056312E30352EA6 S123910058595A5B5C5D5E5…
阅读更多...
调用返回风格

调用返回风格

主程序子程序 面向过程 单线程控制，把问题划分为若干个处理步骤，构件即为主程序和子程序，子程序通常可合成为模块。过程调用作为交互机制，即充当连接件的角色。调用关系具有层次性，其语义逻辑表现为主程序的正确性取…
阅读更多...
nodejs微信小程序 vue+uniapp停车场车位管理系统sringboot+python

nodejs微信小程序 vue+uniapp停车场车位管理系统sringboot+python

使用微信小程序进行应用开发，使用My SQL软件搭建数据库，管理后台数据并使用Java语言进行程序设计，借鉴国内现有的停车场管理系统，在他们的基础上进行增减和创新，使用Photoshop完成升降式停车场管理系统的界面部件设计&…
阅读更多...
Python学习30：存款买房（C）

Python学习30：存款买房（C）

描述‪‬‪‬‪‬‪‬‪‬‮‬‪‬‫‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‭‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‮‬‪‬‪‬‪‬‪‬‪‬‮‬‭‬‫‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‭‬‫‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‪‬ 你刚刚大学毕业，…
阅读更多...
龙蜥开发者说：构建软件包？不，是构建开源每一个角落！| 第 20 期

龙蜥开发者说：构建软件包？不，是构建开源每一个角落！| 第 20 期

「龙蜥开发者说」第 20 期来了！开发者与开源社区相辅相成，相互成就，这些个人在龙蜥社区的使用心得、实践总结和技术成长经历都是宝贵的，我们希望在这里让更多人看见技术的力量。本期故事，我们邀请了龙蜥社区开发者任博…
阅读更多...
JavaWeb-Ajax的学习

JavaWeb-Ajax的学习

Ajax 今日目标： 能够使用 axios 发送 ajax 请求熟悉 json 格式，并能使用 Fastjson 完成 java 对象和 json 串的相互转换使用 axios json 完成综合案例 概述 AJAX (Asynchronous JavaScript And XML)：异步的 JavaScript 和 XML。 我们先来…
阅读更多...
LED显示屏的部件组成

LED显示屏的部件组成

LED显示屏通常由以下几个主要部件组成： LED模块：LED模块是构成LED显示屏的基本单元，包含多个LED发光元件以及相应的电路和连接器。LED模块通常以方形或长方形的形式存在，可以根据需要组合成各种尺寸和形状的显示屏。免费送你Led模…
阅读更多...
【2023秋招】华为od-4.14三道题思路题解

【2023秋招】华为od-4.14三道题思路题解

2023大厂笔试模拟练习网站（含题解） www.codefun2000.com 最近我们一直在将收集到的各种大厂笔试的解题思路还原成题目并制作数据，挂载到我们的OJ上，供大家学习交流，体会笔试难度。现已录入200道互联网大厂模拟练习题&…
阅读更多...
Go Etcd 分布式锁实战

Go Etcd 分布式锁实战

1 分布式锁概述 谈到分布式锁，必然是因为单机锁无法满足要求，在现阶段微服务多实例部署的情况下，单机语言级别的锁，无法满足并发互斥资源的安全访问。常见的单机锁如Java的jvm锁Lock、synchronized，golang的Mutex等 对…
阅读更多...
mysql8之前如何实现row_number() over(partition by xxx order by xxx asc/desc)

mysql8之前如何实现row_number() over(partition by xxx order by xxx asc/desc)

文章目录 背景问题分析难点解决方案：总结公式多字段作为分组如何处理 背景 最近笔者在进行对广告业务的数据统计时遇到这种情况，业务方嫌弃离线数仓太慢，又无需太高的实时性本该使用即席查询的OLAP去做，但是当前公司调研的OLAP还…
阅读更多...
Unity 2022 版本 寻路 NavMesh

Unity 2022 版本 寻路 NavMesh

首先装包 先给地图 和 阻挡 设置为静态 然后给地上行走的地方 添加组件 可以直接bake 然后会显示蓝色的可行走路径 player 添加插件 然后给角色添加脚本 using System.Collections; using System.Collections.Generic; using UnityEngine;public class PlayerMove : Mon…
阅读更多...
SpringBoot自动配置底层源码解析

SpringBoot自动配置底层源码解析

1，配置分类 对于一个Spring项目，主要就是有两种配置 一种是类似端口号、数据库地址、用户名密码等一种是各种Bean，比如整合Mybatis需要配置的MapperFactoryBean，比如整合事务需要配置DataSourceTransactionManager SpringBoot中…
阅读更多...
Github copilot几个使用技巧，自动补全代码

Github copilot几个使用技巧，自动补全代码

一、常用快捷键 快捷键含义tab应用提示代码esc拒绝提示代码ctrlenter打开提示面板选用10个意见代码中的一个Alt]切换建议代码Alt ->逐个应用代码 这些快捷键其实就是红色框的功能，也可以通过鼠标点击操作 下面具体介绍一下常用的三个功能： 1. tab自…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023