ELK分离式日志（2）

news2024/11/22 18:35:05

目录

一.Filebeat+ELK 部署

开台服务器（192.168.233.50）下载fliebeat：

安装nginx后查看下日志文件：

设置 filebeat 的主配置文件:

关闭logstash，检测文件：

在50节点上启动filebeat：

访问页面：

二.zookeeper+kafka群集

1.什么是zookeeper

Zookeeper 工作机制：

Zookeeper 特点：

Zookeeper 应用场景：

Zookeeper 选举机制：

选举Leader规则：

二.安装 部署Zookeeper：

将解压后的目录移动改名，修改配置文件：

拷贝配置好的 Zookeeper 配置文件到其他机器上：

在每个节点上创建数据目录和日志目录：

修改环境变量：

在每个节点的dataDir指定的目录下创建一个 myid 的文件：

​编辑​编辑在每台配置 Zookeeper 启动脚本：

加权限：

设置开机自启：

查看当前状态：

2.什么是kafka

为什么需要消息队列（MQ）：

消息队列的两种模式：

kafak定义：

Kafka 系统架构：

部署 kafka 集群

修改配置文件：

配置 Zookeeper 启动脚本：

Kafka 命令行操作：

 Filebeat+Kafka+ELK:

在 Logstash 组件所在节点上新建一个 Logstash 配置文件：

检测下kafka文件：

看下kafka的详细信息：

访问kibana：

创建成功索引：

创建失败索引：

一.Filebeat+ELK 部署

filebeat的端口号：5044

开台服务器（192.168.233.50）下载fliebeat：

上传软件包 filebeat-6.7.2-linux-x86_64.tar.gz 到/opt目录：

解压：

移动目录到/usr/local：

安装nginx后查看下日志文件：

添加权限：

设置 filebeat 的主配置文件:

在 Logstash(192.168.233.40) 组件所在节点上新建一个 Logstash 配置文件:

关闭logstash，检测文件：

在50节点上启动filebeat：

查看下40节点：

访问页面：

二.zookeeper+kafka群集

1.什么是zookeeper

Zookeeper是一个开源的分布式的，为分布式框架提供协调服务的Apache项目。

Zookeeper 工作机制：

是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应。也就是说 Zookeeper = 文件系统 + 通知机制。

Zookeeper 特点：

（1）Zookeeper：一个领导者（Leader），多个跟随者（Follower）组成的集群。
（2）Zookeeper集群中只要有半数以上节点存活，Zookeeper集群就能正常服务。所以Zookeeper适合安装奇数台服务器。
（3）全局数据一致：每个Server保存一份相同的数据副本，Client无论连接到哪个Server，数据都是一致的。
（4）更新请求顺序执行，来自同一个Client的更新请求按其发送顺序依次执行，即先进先出。
（5）数据更新原子性，一次数据更新要么成功，要么失败。
（6）实时性，在一定时间范围内，Client能读到最新数据。

Zookeeper 应用场景：

提供的服务包括：统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等。


Zookeeper 选举机制：

第一次leader选举：比较服务器节点的myid，谁的myid最大就获取其它节点的选票，当选票超过服务器节点数量的半数则当选leader，其它节点为follower，即使以后再有其它myid更大的节点加入集群也不会影响之前的选举结果。

非第一次选举：如果是非leader节点故障，替换新的节点继续作follower，与现存的leader节点建立连接并同步数据
 如果是leader节点故障，则需要重新选举新的leader，先比较每个存活节点的epoch（参与选举的次数），如由epoch最大的节点则直接当选leader
                                                              若epoch有相同的节点，再比较zxid（写操作的事务id），如由zxid最大的节点则直接当选leader
                                                              若zxid也有相同的节点，继续比较sid（等同于myid），由sid最大的节点当选leader

选举Leader规则：

SID：服务器ID。用来唯一标识一台ZooKeeper集群中的机器，每台机器不能重复，和myid一致。
ZXID：事务ID。ZXID是一个事务ID，用来标识一次服务器状态的变更。

1.EPOCH大的直接胜出
2.EPOCH相同，事务id大的胜出
3.事务id相同（ZXID），服务器id（SID）大的胜出

二.安装 部署Zookeeper：

将解压后的目录移动改名，修改配置文件：

拷贝配置好的 Zookeeper 配置文件到其他机器上：

查看其他节点：

在每个节点上创建数据目录和日志目录：

修改环境变量：

在每个节点的dataDir指定的目录下创建一个 myid 的文件：

在每台配置 Zookeeper 启动脚本：

#!/bin/bash
#chkconfig: 2345 20 90
#description:Zookeeper Service Control Script
ZK_HOME='/usr/local/zookeeper'
case $1 in
start)
	echo "---------- zookeeper 启动 ------------"
	$ZK_HOME/bin/zkServer.sh start
;;
stop)
	echo "---------- zookeeper 停止 ------------"
	$ZK_HOME/bin/zkServer.sh stop
;;
restart)
	echo "---------- zookeeper 重启 ------------"
	$ZK_HOME/bin/zkServer.sh restart
;;
status)
	echo "---------- zookeeper 状态 ------------"
	$ZK_HOME/bin/zkServer.sh status
;;
*)
    echo "Usage: $0 {start|stop|restart|status}"
esac

加权限：

设置开机自启：

查看当前状态：

看出来80端口为leader。

2.什么是kafka

为什么需要消息队列（MQ）：

主要原因是由于在高并发环境下，同步请求来不及处理，请求往往会发生阻塞。比如大量的请求并发访问数据库，导致行锁表锁，最后请求线程会堆积过多，从而触发 too many connection 错误，引发雪崩效应。
我们使用消息队列，通过异步处理请求，从而缓解系统的压力。消息队列常应用于异步处理，流量削峰，应用解耦，消息通讯等场景。

当前比较常见的 MQ 中间件有 ActiveMQ、RabbitMQ、RocketMQ、Kafka、Pulsar 等。

消息队列的两种模式：

1）点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除）

消息生产者生产消息发送到消息队列中，然后消息消费者从消息队列中取出并且消费消息。消息被消费以后，消息队列中不再有存储，所以消息消费者不可能消费到已经被消费的消息。消息队列支持存在多个消费者，但是对一个消息而言，只会有一个消费者可以消费。

2）发布/订阅模式（一对多，又叫观察者模式，消费者消费数据之后不会清除消息）
消息生产者（发布）将消息发布到 topic 中，同时有多个消息消费者（订阅）消费该消息。和点对点方式不同，发布到 topic 的消息会被所有订阅者消费。
发布/订阅模式是定义对象间一种一对多的依赖关系，使得每当一个对象（目标对象）的状态发生改变，则所有依赖于它的对象（观察者对象）都会得到通知并自动更新。

kafak定义：

Kafka 是一个分布式的基于发布/订阅模式的消息队列（MQ，Message Queue），主要应用于大数据领域的实时计算以及日志收集。

Kafka 系统架构：

Broker：一台 kafka 服务器就是一个 broker。一个集群由多个 broker 组成。一个 broker 可以容纳多个 topic。


Topic：可以理解为一个队列，生产者和消费者面向的都是一个 topic。类似于数据库的表名或者 ES 的 index，物理上不同 topic 的消息分开存储。

Partition
为了实现扩展性，一个非常大的 topic 可以分布到多个 broker（即服务器）上，一个 topic 可以分割为一个或多个 partition，每个 partition 是一个有序的队列。Kafka 只保证 partition 内的记录是有序的，而不保证 topic 中不同 partition 的顺序。

Replica
副本，为保证集群中的某个节点发生故障时，该节点上的 partition 数据不丢失，且 kafka 仍然能够继续工作，kafka 提供了副本机制，一个 topic 的每个分区都有若干个副本，一个 leader 和若干个 follower。

eader
每个 partition 有多个副本，其中有且仅有一个作为 Leader，Leader 是当前负责数据的读写的 partition。
Follower
Follower 跟随 Leader，所有写请求都通过 Leader 路由，数据变更会广播给所有 Follower，Follower 与 Leader 保持数据同步。Follower 只负责备份，不负责数据的读写。

Producer
生产者即数据的发布者，该角色将消息 push 发布到 Kafka 的 topic 中。
broker 接收到生产者发送的消息后，broker 将该消息追加到当前用于追加数据的 segment 文件中。生产者发送的消息，存储到一个 partition 中，生产者也可以指定数据存储的 partition。

Consumer
消费者可以从 broker 中 pull 拉取数据。消费者可以消费多个 topic 中的数据。

Consumer Group（CG）
消费者组，由多个 consumer 组成。
所有的消费者都属于某个消费者组，即消费者组是逻辑上的一个订阅者。可为每个消费者指定组名，若不指定组名则属于默认的组。

offset 偏移量
可以唯一的标识一条消息。
偏移量决定读取数据的位置，不会有线程安全的问题，消费者通过偏移量来决定下次读取的消息（即消费位置）。
消息被消费之后，并不被马上删除，这样多个业务就可以重复使用 Kafka 的消息。

Zookeeper
存储管理kafka集群的元数据，生产和消费者动作需要zookeeper 的管理支持，生产者推送数据给kafka需要先通过zookeeper寻找kafka集群节点位，可从zookeeper获取offset上记录上一次消费的位置继续往后消费。

部署 kafka 集群

节点都安装 Kafka：

移动并改名到/usr/local下改名为kafka：

修改配置文件：

先备份：

其他节点：

其他节点：

其他节点也是一样配置。

修改环境变量：

配置 Zookeeper 启动脚本：

 

#!/bin/bash
#chkconfig:2345 22 88
#description:Kafka Service Control Script
KAFKA_HOME='/usr/local/kafka'
case $1 in
start)
	echo "---------- Kafka 启动 ------------"
	${KAFKA_HOME}/bin/kafka-server-start.sh -daemon ${KAFKA_HOME}/config/server.properties
;;
stop)
	echo "---------- Kafka 停止 ------------"
	${KAFKA_HOME}/bin/kafka-server-stop.sh
;;
restart)
	$0 stop
	$0 start
;;
status)
	echo "---------- Kafka 状态 ------------"
	count=$(ps -ef | grep kafka | egrep -cv "grep|$$")
	if [ "$count" -eq 0 ];then
        echo "kafka is not running"
    else
        echo "kafka is running"
    fi
;;
*)
    echo "Usage: $0 {start|stop|restart|status}"
esac

添加权限：

设置开机自启：

Kafka 命令行操作：

在一台服务器上创建topic：

--zookeeper：定义 zookeeper 集群服务器地址，如果有多个 IP 地址使用逗号分割，一般使用一个 IP 即可
--replication-factor：定义分区副本数，1 代表单副本，建议为 2 
--partitions：定义分区数 
--topic：定义 topic 名称

kafka-topics.sh --create --zookeeper 192.168.233.60:2181,192.168.233.70:2181,192.168.233.80:2181 --replication-factor 2 --partitions 3 --topic test

查看当前服务器中的所有 topic：

kafka-topics.sh --list --zookeeper 192.168.233.60:2181,192.168.233.70:2181,192.168.233.80:2181

其他节点看看：

查看某个 topic 的详情信息：

kafka-topics.sh --list --zookeeper 192.168.233.60:2181,192.168.233.70:2181,192.168.233.80:2181

发布消息：

kafka-console-producer.sh --broker-list 192.168.233.60:9092,192.168.233.70:9092,192.168.233.80:9092  --topic test

到另一台服务器上看消费消息：

kafka-console-consumer.sh --bootstrap-server 192.168.233.60:9092,192.168.233.70:9092,192.168.233.80:9092 --topic test --from-beginning

 Filebeat+Kafka+ELK:

在之前的filebeat节点（192.168.233.50）上修改配置文件：

添加输出到 Kafka 的配置：

在 Logstash 组件所在节点上新建一个 Logstash 配置文件：

input {
    kafka {        bootstrap_servers => "192.168.233.60:9092,192.168.233.70:9092,192.168.233.80:9092"  
        topics  => "nginx_logs"
        type => "nginx_kafka"
        codec => "json"        
        auto_offset_reset => "latest"  
        decorate_events => true
    }}

output {
  if "nginx_access" in [tags] {
    elasticsearch {
      hosts => ["192.168.233.10:9200","192.168.233.20:9200,"192.168.233.30:9200"]      index => "nginx-access-%{+YYYY.MM.dd}"
    }
  }
  if "nginx_error" in [tags] {
    elasticsearch {
      hosts => ["192.168.233.10:9200","192.168.233.20:9200,"192.168.233.30:9200"]
      index => "nginx-error-%{+YYYY.MM.dd}"
    }
  }
}

检测下kafka文件：

启动文件：

看下kafka的详细信息：

访问kibana：

访问es节点的网页：

创建成功索引：

创建失败索引：

查看索引信息：

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1405116.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

前端基础（三十八）：iframe通信、浏览器跨窗口通信

前端基础（三十八）：iframe通信、浏览器跨窗口通信

iframe通信 - MessageChannel <!-- index.html --> <h3>MessageChannel</h3> <input id"input" type"text" oninput"handleInput(this.value)" /> <hr /> <iframe src"./demo.html"></iframe&…
阅读更多...
Java 数据结构篇-实现红黑树的核心方法

Java 数据结构篇-实现红黑树的核心方法

&#x1f525;博客主页&#xff1a; 【小扳_-CSDN博客】 ❤感谢大家点赞&#x1f44d;收藏⭐评论✍ 文章目录 1.0 红黑树的说明 2.0 红黑树的特性 3.0 红黑树的成员变量及其构造方法 4.0 实现红黑树的核心方法 4.1 红黑树内部类的核心方法 &#xff08;1&#xff09;判断当前…
阅读更多...
k8s中服务器容器tcp连接数量优化

k8s中服务器容器tcp连接数量优化

netty的http1服务器在运行一段时间后会无法提供服务&#xff0c;返回客户端socket hang up 使用apipost测试抓包显示三次握手后被reset 客户端使用了大量短连接&#xff0c;如果能改成长连接就会消耗更少的连接&#xff0c;但是客户端逻辑无法掌控&#xff0c;只能修改服务器。…
阅读更多...
网络安全概述---笔记总结

网络安全概述---笔记总结

网络安全概述 网络安全---Cyberspace security 2003年美国提出网络空间的概念 --- 一个由信息基础设施组成的互相依赖的网络。我国官方文件定义&#xff1a;网络空间为继海&#xff0c;陆&#xff0c;空&#xff0c;天以外的第五大人类活动领域 发展阶段&#xff1a; 通信保…
阅读更多...
学习STM32，该用哪款开发工具？

学习STM32，该用哪款开发工具？

有很多初学者在问&#xff1a;学习STM32&#xff0c;该用哪款开发工具&#xff1f; 我首先说一下我的观点&#xff1a; 1.没有最好&#xff0c;只有适不适合&#xff0c;适合自己的才是最好的。 2.开发工具很多&#xff0c;各有各的特点&#xff0c;有优点肯定也有缺点。 本文…
阅读更多...
MySQL InnoDB 底层数据存储

MySQL InnoDB 底层数据存储

InnoDB 页记录Page Directory记录迁移 页 是内存与磁盘交互的基本单位&#xff0c;16kb。 比如&#xff0c;查询的时候&#xff0c;并不是只从磁盘读取某条记录&#xff0c;而是记录所在的页 记录 记录的物理插入是随机的&#xff0c;就是在磁盘上的位置是无序的。但是在页中…
阅读更多...
vscode连不上虚拟机，一直密码错误

vscode连不上虚拟机，一直密码错误

最近在做毕设&#xff0c;但是vscode使用连接不上虚拟机&#xff0c;我以为是网络配置的问题&#xff0c;一顿查阅没找到原因。 后来查了一下ssh的日志&#xff0c;发现ssh有消息&#xff0c;但是也提示密码错误。 没找到密码配置格式什么的&#xff0c;经查看sshd配置文件发现…
阅读更多...
easyexcel导入合并单元格解析（纵向合并，横向合并都支持）

easyexcel导入合并单元格解析（纵向合并，横向合并都支持）

1、按照开发逻辑&#xff0c;首先定义导入接收实体 package com.wang.test.excel;import com.alibaba.excel.annotation.ExcelProperty; import lombok.Data;/***/ Data public class ExcelData1 {ExcelProperty(index 0)private String name;ExcelProperty(index 1)private S…
阅读更多...
[C++] external “C“的作用和使用场景(案例)

[C++] external “C“的作用和使用场景(案例)

C中extern "C"的作用是什么&#xff1f; 在 C 中&#xff0c;extern "C" 的作用是告诉编译器按照 C 语言的规范来处理函数名和变量名。这是因为 C 编译器会对函数名和变量名进行名称修饰(name mangling)&#xff0c;以区分不同的函数和变量。而在 C 语言中…
阅读更多...
企业需要的3种供应商管理解决方案

企业需要的3种供应商管理解决方案

传统的 "管理和监控 "供应商管理解决方案是对时间和金钱的巨大浪费。准入、资格认证和细分等孤立的供应商管理流程无法与其他采购流程整合在一起。 此外&#xff0c;从多个来源获取和管理供应商数据的过程只会增加固有的复杂性。而且&#xff0c;人工操作往往会延误…
阅读更多...
【Java IO】设计模式 (装饰者模式)

【Java IO】设计模式 (装饰者模式)

Java I/O 使用了装饰者模式来实现。 装饰者模式 请参考装饰者模式详解 装饰者(Decorator)和具体组件(ConcreteComponent)都继承自组件(Component)&#xff0c;具体组件的方法实现不需要依赖于其它对象&#xff0c;而装饰者组合了一个组件&#xff0c;这样它可以装饰其它装饰者…
阅读更多...
Linux中文件IO(open、read、write、close函数使用)

Linux中文件IO(open、read、write、close函数使用)

介绍 什么是文件IO&#xff1f; 是操作系统提供的API接口函数。 POSIX接口 &#xff08;了解&#xff09; 注意&#xff1a;文件IO不提供缓冲机制 文件IO的API open close read read 文件描述符概念&#xff1a; 英文&#xff1a;缩写fd&#xff08;file descriptor&#xff…
阅读更多...
前端和后端之间的CORS 跨域和解决办法

前端和后端之间的CORS 跨域和解决办法

什么是CORS&#xff08;Cross-Origin Resource Sharing&#xff0c;跨源资源共享&#xff09; 跨源资源共享&#xff08;CORS&#xff0c;或通俗地译为跨域资源共享&#xff09;是一种基于 HTTP 头的机制&#xff0c;该机制通过允许服务器标示除了它自己以外的其他源&#xff0…
阅读更多...
go 语言中 json.Unmarshal([]byte(jsonbuff), j) 字节切片得使用场景

go 语言中 json.Unmarshal([]byte(jsonbuff), j) 字节切片得使用场景

struct_tag的使用 在上面的例子看到&#xff0c;我们根据结构体生成的json的key都是大写的&#xff0c;因为结构体名字在go语言中不大写的话&#xff0c;又没有访问权限&#xff0c;这种问题会影响到我们对json的key的名字&#xff0c;所以go官方给出了struct_tag的方法去修改…
阅读更多...
【C++杂货铺】三分钟彻底搞懂如何使用C++中max函数

【C++杂货铺】三分钟彻底搞懂如何使用C++中max函数

&#x1f308;前言 欢迎收看本期【C杂货铺】&#xff0c;这期内容&#xff0c;我们将围绕C中max函数部分进行讲解&#xff0c;包含了如何查询库函数&#xff0c;max函数的使用方法灯。如果你想学习C&#xff0c;或者刚学完C语言衔接C&#xff0c;那么这篇文章将会非常有效的帮助…
阅读更多...
Redis学习——入门篇①

Redis学习——入门篇①

Redis学习——入门篇① 1、2&#xff1a;Redis入门概述3&#xff1a;Redis安装配置10 安装Redis-cli命令 4&#xff1a;Redis——十大数据类型11 redis数据类型12 命令查阅13 key常用命令介绍14 类型大小写和帮助命令15 String 命令&#xff08;上&#xff09;16 String 命令&a…
阅读更多...
电脑摄像头设置在哪里？这3种打开方式要记好！

电脑摄像头设置在哪里？这3种打开方式要记好！

“我需要开一个视频会议&#xff0c;因此可能需要用到电脑的摄像头。但是我不知道我电脑的摄像头设置在哪里&#xff0c;有没有朋友可以告诉我一下呀&#xff1f;” 在日常办公时&#xff0c;我们可能经常要用到电脑摄像头。这不仅为用户提供了实时沟通的机会&#xff0c;还帮助…
阅读更多...
机器学习实验报告——APRIORI算法

机器学习实验报告——APRIORI算法

目录 一、算法介绍 1.1算法背景 1.2算法引入 1.3算法假设 1.4算法基本概念介绍 1.4.1关联规则 1.4.2支持度 1.4.3置信度 1.4.4频繁项集 1.4.5项目 1.4.6提升度 二、算法原理 2.1算法思想 2.2Apriori算法产生频繁项集 2.3Apriori算法的基本步骤 2.4关联分析 三、算法实现 3.1 Ap…
阅读更多...
安卓自动化 | autox.js

安卓自动化 | autox.js

介绍: 不需要Root权限 的 JavaScript 自动化软件 官方文档: http://doc.autoxjs.com/ 开发准备 安装Releases kkevsekk1/AutoX (github.com)到手机上 安装vscode插件 插件介绍中有中文的使用说明, 如何连接电脑 Usage Step 1 按 CtrlShiftP 或点击"查看"->&…
阅读更多...
司铭宇老师：房地产中介培训班：房地产中介培训课程

司铭宇老师：房地产中介培训班：房地产中介培训课程

房地产中介培训班&#xff1a;房地产中介培训课程 在竞争激烈的房地产市场中&#xff0c;成为一名杰出的中介代表不仅需要对行业有深刻的理解&#xff0c;还要具备一系列专业技能和高效的销售策略。我们的房地产中介培训课程旨在为有志于提升个人能力和业绩的中介人员提供全面、…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023