日志收集Day001

news2025/1/18 22:39:56

1.ElasticSearch

作用:日志存储和检索

2.单点部署Elasticsearch与基础配置

rpm -ivh elasticsearch-7.17.5-x86_64.rpm

查看配置文件yy /etc/elasticsearch/elasticsearch.yml(这里yy做了别名,过滤掉空行和注释行)

yy /etc/elasticsearch/elasticsearch.yml,结果如下

path.data: /var/lib/elasticsearch      数据所在位置
path.logs: /var/log/elasticsearch     日志所在位置

修改配置yy /etc/elasticsearch/elasticsearch.yml,加入:

network.host: 0.0.0.0

discovery.seed_hosts: ["10.0.0.101"]

启动:systemctl enable --now elasticsearch.service

3.集群部署

1.将安装包分发到各个节点

scp -r elasticsearch-7.17.5-x86_64.rpm 10.0.0.103:~

scp -r elasticsearch-7.17.5-x86_64.rpm 10.0.0.102:~

2.各个节点安装Elasticsearch

rpm -ivh elasticsearch-7.17.5-x86_64.rpm

3.单点部署的节点数据清空

systemctl stop elasticsearch.service
rm -rf /var/lib/elasticsearch/* /var/log/elasticsearch/* /tmp/*

4.修改配置文件

vim /etc/elasticsearch/elasticsearch.yml 
...
# 指定ES集群的名称
cluster.name: lxc
# ES服务监听对外暴露服务的地址
network.host: 0.0.0.0
# 指定ES集群的节点IP
discovery.seed_hosts: ["10.0.0.101","10.0.0.102","10.0.0.103"]
# 指定参与master选举的节点
cluster.initial_master_nodes: ["10.0.0.101","10.0.0.102","10.0.0.103"]

5.分发配置文件

scp /etc/elasticsearch/elasticsearch.yml 10.0.0.103:/etc/elasticsearch/

scp /etc/elasticsearch/elasticsearch.yml 10.0.0.102:/etc/elasticsearch/

6.所有节点启动elasticsearch

systemctl enable --now elasticsearch

7.验证ES集群节点是否正常工作

curl 10.0.0.102:9200/_cat/nodes

带星号为主节点

4.使用oraclejdk管理es服务

解压JDK软件包
tar xf jdk-8u291-linux-x64.tar.gz -C /sortwares/

配置系统环境变量
vim /etc/profile.d/jdk.sh

#!/bin/bash
export JAVA_HOME=/sortwares/jdk1.8.0_291
export PATH=$PATH:$JAVA_HOME/bin

加载环境变量
source /etc/profile.d/jdk.sh

systemd启动脚本配置系统环境变量
vim /usr/lib/systemd/system/elasticsearch.service

Environment=ES_JAVA_HOME=/sortwares/jdk1.8.0_291

重新加载systemd

systemctl daemon-reload

重新启动es

systemctl restart elasticsearch.service

5.修改es环境的堆内存

vim /etc/elasticsearch/jvm.options

添加:

-Xms256m
-Xmx256m
重新启动之后

jmap -heap `ps -ef|grep elastic|grep jdk1.8.0_291|awk '{print $2}'`|grep MaxHeapSize

说明修改成功

6.二进制部署elasticsearch-6.8.23

原先服务器上已经有了一套rpm部署的es7,现在使用二进制部署在原先基础上增加一套集群

1.所有节点准备目录:

useradd lxc
install -d /lxc/{data,logs,softwares}/es6 -o lxc -g lxc
chown -R  lxc:lxc /lxc

2.所有节点解压elasticsearch-6.8.23.tar.gz

tar xf elasticsearch-6.8.23.tar.gz -C /lxc/softwares/es6/
chown -R  lxc:lxc /lxc

3.elk101节点修改配置文件

vim /lxc/softwares/es6/elasticsearch-6.8.23/config/elasticsearch.yml

cluster.name: lxc-es6
node.name: elk101.lxcedu.com
path.data: /lxc/data/es6
path.logs: /lxc/logs/es6
network.host: 0.0.0.0
http.port: 19200
transport.tcp.port: 19300
discovery.zen.ping.unicast.hosts: ["elk101.lxcedu.com","elk102.lxcedu.com","elk103.lxcedu.com"]
discovery.zen.minimum_master_nodes: 2

注意其他节点也需要修改,区别是node.name不一样,并且各个节点需要做好hosts解析。

5.elk101节点修改堆内存大小

vim /lxc/softwares/es6/elasticsearch-6.8.23/config/jvm.options

-Xms256m
-Xmx256m

其他节点也需要修改

6.elk101编写启动脚本

vim /usr/lib/systemd/system/es6.service

[Unit]
Description=es6
After=network.target

[Service]
Type=simple
Environment=JAVA_HOME=/sortwares/jdk1.8.0_291
ExecStart=/lxc/softwares/es6/elasticsearch-6.8.23/bin/elasticsearch
User=lxc
LimitNOFILE=131070

[Install]
WantedBy=multi-user.target

注意:其他节点也需要修改配置文件,JAVA_HOME地址需要写对,这里使用的是oraclejdk部署的地址。

7.启动服务

systemctl daemon-reload && systemctl enable --now es6

8.查看服务状态

curl 10.0.0.101:19200/_cat/nodes

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2278669.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

SW - 快捷键

文章目录 SW - 快捷键概述笔记视图缩放视图平移视图旋转END SW - 快捷键 概述 鼠标中键不好使了,导致鼠标滚轮的操作在SW中不好使。 已经拆过鼠标,清理过中键计数轮那里的灰尘。只好用几天,然后鼠标中键又不好使了。 先查一下能代替鼠标中键…

Freeswitch使用media_bug能力实现回铃音检测

利用freeswitch的media bug能力来在智能外呼时通过websocket对接智能中心的声音检测接口,来实现回铃音检测,来判断用户当前是否已响应,拒接,关机等。 1.回铃音处理流程 2.模块源码目录结构 首先新建一个freeswitch的源码的src/application目录下新建一个子目录mod_ringba…

【2024年华为OD机试】(B卷,100分)- 恢复数字序列 (Java JS PythonC/C++)

一、问题描述 题目解析 题目描述 对于一个连续正整数组成的序列,可以将其拼接成一个字符串,再将字符串里的部分字符打乱顺序。例如,序列 8 9 10 11 12 拼接成的字符串为 89101112,打乱一部分字符后得到 90811211,原…

ZNS SSD垃圾回收优化方案解读-2

四、Brick-ZNS 关键设计机制解析 Brick-ZNS 作为一种创新的 ZNS SSD 设计,聚焦于解决传统 ZNS SSDs 在垃圾回收(GC)过程中的数据迁移低效问题,其核心特色为存储内数据迁移与地址重映射功能。在应用场景中,针对如 Rock…

云消息队列 Kafka 版 V3 系列荣获信通院“云原生技术创新标杆案例”

2024 年 12 月 24 日,由中国信息通信研究院(以下简称“中国信通院”)主办的“2025 中国信通院深度观察报告会:算力互联网分论坛”,在北京隆重召开。本次论坛以“算力互联网 新质生产力”为主题,全面展示中国…

单元测试与unittest框架

🍅 点击文末小卡片 ,免费获取软件测试全套资料,资料在手,薪资嘎嘎涨 单元测试的定义 1. 什么是单元测试? 单元测试是指,对软件中的最小可测试单元在与程序其他部分相隔离的情况下进行检查和验证的工作&am…

EF Core全局查询筛选器

目录 概述 用法 添加全局查询筛选器 禁用全局查询筛选器 概述 全局查询筛选器:EF Core 会自动将这个查询筛选器应用于涉及这个实体类型的所有 LINQ 查询。 场景:软删除、多租户。 什么是软删除? 逻辑删除,并不是真正地从数…

【机器学习实战入门项目】MNIST数字分类机器学习项目

Python 深度学习项目:手写数字识别 为了使机器更加智能,开发者们正在深入研究机器学习和深度学习技术。人类通过不断练习和重复来学习执行某项任务,从而记住如何完成这些任务。然后,大脑中的神经元会自动触发,他们能够…

[Datawheel学习]用Llama-index创建Agent、数据库对话Agent和RAG接入Agent

1.Llama-index创建Agent 1.0 背景知识 什么是Llama-index? LlamaIndex(原名GPT Index)是一个专为大语言模型(LLMs)设计的数据框架,旨在帮助用户将外部数据与LLMs结合,实现更高效的数据检索和知识增强生成…

FPGA:Quartus软件与操作系统版本对照表

文章目录 1.软件概述2.软件版本3.设计流程4.支持的设备5.新特性6.版本对照 1.软件概述 Quartus软件是由英特尔(Intel)公司开发的一款功能强大的FPGA(现场可编程逻辑门阵列)设计工具,广泛应用于数字电路设计、仿真、综…

【网络协议】【http】【https】AES-TLS1.2

【网络协议】【http】【https】AES-TLS1.2 https并不是一个协议 而是在传输层之间添加了SSL/TLS协议TLS TLS 协议用于应用层协议(如 HTTP)和传输层(如 TCP)之间,增加了一层安全性来解决 HTTP 存在的问题,H…

数智化转型 | 星环科技Defensor 助力某银行数据分类分级

在数据驱动的金融时代,数据安全和隐私保护的重要性日益凸显。某银行作为数字化转型的先行者,面临着一项艰巨的任务:如何高效、准确地对分布在多个业务系统、业务库与数仓数湖中的约80万个字段进行数据分类和分级。该银行借助星环科技数据安全…

微信小程序:播放音频

在小程序开发中,音频播放是一个重要的功能。本文将详细介绍小程序音频播放的相关知识点,帮助开发者更好地掌握小程序音频播放的实现方法。 一、小程序音频播放的基本流程 在小程序中,音频播放的基本流程如下: 获取音频数据&#…

U盘被格式化后的数据救赎与防范策略

一、U盘格式化后的数据困境 在日常的工作与生活中,U盘作为数据传输与存储的重要工具,扮演着不可或缺的角色。然而,当U盘不幸遭遇格式化操作后,存储在其中的宝贵数据瞬间化为乌有,给用户带来极大的困扰。格式化后的U盘…

关于 Cursor 的一些学习记录

文章目录 1. 写在最前面2. Prompt Design2.1 Priompt v0.1:提示设计库的首次尝试2.2 注意事项 3. 了解 Cursor 的 AI 功能3.1 问题3.2 答案 4. cursor 免费功能体验5. 写在最后面6. 参考资料 1. 写在最前面 本文整理了一些学习 Cursor 过程中读到的或者发现的感兴趣…

基于Oracle与PyQt6的电子病历多模态大模型图形化查询系统编程构建

一、引言 1.1 研究背景阐述 在当今数字化时代,医疗行业正经历着深刻的变革,数字化转型的需求日益迫切。电子病历(EMR)作为医疗信息化的核心,其管理的高效性和数据利用的深度对于提升医疗服务质量、优化临床决策以及推动医学研究具有至关重要的意义。传统的电子病历管理系…

算法(蓝桥杯)贪心算法7——过河的最短时间问题解析

一、题目描述 在漆黑的夜里,N位旅行者来到了一座狭窄且没有护栏的桥边。他们只带了一只手电筒,且桥窄得只够让两个人同时过。如果各自单独过桥,N人所需的时间已知;若两人同时过桥,则所需时间是走得较慢的那个人单独行动…

《贪心算法:原理剖析与典型例题精解》

必刷的贪心算法典型例题! 算法竞赛(蓝桥杯)贪心算法1——数塔问题-CSDN博客 算法竞赛(蓝桥杯)贪心算法2——需要安排几位师傅加工零件-CSDN博客 算法(蓝桥杯)贪心算法3——二维数组排序与贪心算…

SQL2000在win10上安装的方法

安装前最好先关闭防火墙和一些杀毒软件,因为这些软件在安装过程中可能会碰到注册表等一下杀毒软件比较敏感的地带,如果违反杀毒软件的规则会被当做病毒强行终止删除 首相找到C盘下window文件中的sysWOW64文件 鼠标右键,点击属性、安全、高级 …

【12】Word:张老师学术论文❗

目录 题目 ​NO2 NO3 NO4 NO5 NO6 NO7.8 题目 NO2 布局→页面设置→纸张:A4→页边距:上下左右边距→文档网格:只指定行网格→版式:页眉和页脚:页脚距边界:1.4cm居中设置论文页码:插入…