zeek集群简述

news2024/10/7 12:17:55

Zeek不是多线程的,因此,一旦达到单处理器内核的限制,当前唯一的选择就是将工作负载分散到多个内核,甚至多个物理计算机上。Zeek的集群部署场景是构建这些大型系统的当前解决方案。Zeek附带的工具和脚本提供了一种结构,可以方便地管理许多Zeek流程,这些流程检查数据包并执行相关活动,但作为一个单独的、有凝聚力的实体。本文档描述了Zeek集群体系结构。

Tap就是分流器,做镜像

Frontend:是前端流量分流器。在许多情况下,在网络(硬件上)和主机上(软件上)进行多个阶段的分流是有益的。硬件上有cPacket、OpenFlow Switches来对网络流进行流量均衡;主机上有PF_RING、AF_PACKET来对主机的流量均衡。

manager:是一个zeek进程,有两个作用:1.接收所有节点的messages和notices,这使得log会集中而不会分散;但是如果有独立的logger节点,这个logger将会代替manager接收所有的logs,我们可以知道logger节点不是必需的。2.manager支持功能和分析,这些功能和分析需要集中的、全局的查看event和data。

logger:是一个zeek进程,是可选的。从集群中的其他节点接受日志消息,目的是减少manager的负载。如果不需要logger,则manager会接管这个工作。建议使用logger。

proxy:是一个zeek进程。用来减轻数据存储或者其他任意的工作量。一个集群可能会包含多个proxy节点,但是zeek附带的默认脚本很少使用代理,因此一个代理可能就够了。使用proxy对于分割数据和负载具有更大的可扩展潜力。proxy节点通常与manager运行在相同的物理主机上。(有可能是充当均衡负载器的作用)

worker:是一个zeek进程。用来嗅探网络流量并对再次集合的流量流进行协议分析。集群的大部分工作都发生在workers上,因此workers通常代表zeek进程主体。那么worker节点的物理机的内存和CPU速度都配置最好。由于几乎所有的日志记录都是远程向manager节点(或者logger节点)进行的,通常很少写入磁盘,因此对磁盘没有特殊要求,相反manager(或者logger)所在的node对磁盘有比较高的要求。

集群准备
我们将用于设置集群的用户账户称为jupy。在设置集群时,必须在所有的主机设置jupy用户,并且jupy可以从manager以ssh方式访问集群中所有的计算机,并且在worker节点上,jupy必须以混杂模式访问目标网络接口。
所有主机需要有相同的路径,称为集群的前缀路径<prefix>,默认是/usr/local/zeek。jupy必须在所有主机有该目录的写入权力。
在同一主机上可以运行多个zeek实例,例如可以在同一主机上运行logger和manager。建议wokers和manager运行在不同的物理主机上,因为workers会消耗大量cpu资源。并且建议在机器上运行的最大数量wokers比CPU内核数少1、2个。使用负载均衡的方法(如PF_RING)和CPU固定的方法可以减少在worker机器上的负载。

基本的集群设置
在管理主机上jupy对于集群的操作。

编辑zeekControl配置文件<prefix>/etc/zeekctl.cfg,修改里面的值来适配集群环境,选项介绍。

编辑ZeekControl的node配置文件<prefix>/etc/node.cfg,去定义logger、manager、proxies、workers在哪里运行。对于集群配置,需要注释掉或者移除掉配置文件中中standalone节点,同时为集群中的每个节点(logger、manager、proxy、workers)增加节点条目。例如,我们的集群由3台物理机组成,运行了5个zeek节点,集群配置如下:

其余的移步zeekcontrol

# node.cfg文件内容
# logger、manager、proxy节点在同一台机器上面
[logger]
type=logger
host=10.0.0.10

[manager]
type=manager
host=10.0.0.10

[proxy-1]
type=proxy
host=10.0.0.10

[worker-1]
type=worker
host=10.0.0.11
interface=eth0
lb_method=pf_ring
lb_procs=10
pin_cpus=2,3,4,5,6,7,8,9,10,11

[worker-2]
type=worker
host=10.0.0.12
interface=eth0
lb_method=pf_ring
lb_procs=5
pin_cpus=0,2,3,4,5

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/195547.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

自注意力和位置编码(比较卷积神经网络、循环神经网络和自注意力)

在自注意力中&#xff0c;查询、键和值都来自同一组输入。 卷积神经网络和自注意力都拥有并行计算的优势&#xff0c;而且自注意力的最大路径长度最短。但是因为其计算复杂度是关于序列长度的二次方&#xff0c;所以在很长的序列中计算会非常慢。 为了使用序列的顺序信息&…

Nostr with NIP-05 Verification Guide

What is a NIPNIPs (Nostr Implementation Possibilities) document what MUST, what SHOULD and what MAY be implemented by Nostr-compatible relay and client software. See a complete list of nips here.NIP-05 提案是针对用户 Nostr 帐户的验证方法&#xff0c;可以将其…

The update is not applicable to your computer

在安装windows CVE-2022-44698补丁的时候出现了报错&#xff0c;"Windows Update Standalone Installer The update is not applicable to your computer" 1.找到漏洞对应的官方文章 CVE-2022-44698 - Security Update Guide - Microsoft - Windows SmartScreen S…

学术科研无从下手?27 条机器学习避坑指南,让你的论文发表少走弯路

内容一览&#xff1a;如果你刚接触机器学习不久&#xff0c;并且未来希望在该领域开展学术研究&#xff0c;那么这份为你量身打造的「避坑指南」可千万不要错过了。 关键词&#xff1a;机器学习 科研规范 学术研究 机器学习学术小白&#xff0c;如何优雅避坑坑、让自己的论文顺…

力扣sql简单篇练习(九)

力扣sql简单篇练习(九) 1 合作过至少三次的演员和导演 1.1 题目内容 1.1.1 基本题目信息 1.1.2 示例输入输出 1.2 示例sql语句 SELECT actor_id,director_id FROM ActorDirector GROUP BY actor_id,director_id HAVING count(timestamp)>31.3 运行截图 2 患某种疾病的患…

结构体内存对齐;内存优化

结构体需要根据数据类型进行内存对齐。 所有数据类型占据空间的大小&#xff0c;一定是它基础类型的倍数。 首先按照最大的数据类型格式来作为最小分割单元。 最大整数倍 struct stu {char gender;unsigned int age; }student1;int main() {printf("sizeof this struct i…

SpringCloud Config分布式配置中心

目录 一、概述 二、Config服务端配置与测试 配置读取规则 三、Config客户端配置与测试 bootstrasp.yml 四、Config客户端之动态刷新 一、概述 官网&#xff1a;Spring Cloud Config 微服务意味着要将单体应用中的业务拆分成一个个子服务&#xff0c;每个服务的粒度相对…

【Java】IDEA调试线上服务

目录IEDA打开线上服务对应的代码&#xff0c;Edit Configuration创建与远程服务的连接复制黄匡生成的参数&#xff0c;添加到服务器启动命令中服务器的服务重新启动&#xff0c;并注意调试端口5005是否被防火墙拦截本地IDEA启动&#xff0c;控制台打印如图即成功代码上加断点&a…

Linux做选择题时的要点

1.线程独有&#xff1a;栈&#xff0c;寄存器&#xff0c;信号屏蔽字&#xff0c;errno...等信息&#xff0c;因此各个线程各自有各自的栈区&#xff0c;但是堆区共用。 2.用户态线程的切换在用户态实现&#xff0c;不需要内核支持。 3.每个线程在进程虚拟地址空间中会分配拥…

部署在Docker中的iServer进行服务迁移

目录前言一&#xff1a;备份与恢复1.备份2.恢复二&#xff1a;迁移配置文件作者&#xff1a;kxj 前言 Linux 容器虚拟技术&#xff08;LXC&#xff0c;Linux Container&#xff09;是一种轻量级的虚拟化手段&#xff0c;它利用内核虚拟化技术提供轻量级的虚拟化&#xff0c;来…

【八大数据排序法】希尔排序法的图形理解和案例实现 | C++

第十七章 希尔排序法 目录 第十七章 希尔排序法 ●前言 ●认识排序 ●一、希尔排序法是什么&#xff1f; 1.简要介绍 2.图形理解 3.算法分析 ●二、案例实现 1.案例一 ●总结 前言 排序算法是我们在程序设计中经常见到和使用的一种算法&#xff0c;它主要是将一…

C++引用(特性+使用场景+常引用)

文章目录1. 概念2. 关于别名的理解3. 引用的特性1.引用必须在定义时初始化2.一个变量可以有多个别名3.引用一旦引用一个实体&#xff0c;再不能引用其他实体4.使用场景1. 引用做参数2. 引用做返回值1. 传值返回是否为n直接返回临时变量作为返回值2. 传引用返回编译器傻瓜式判断…

11、循环语句

目录 一、while语句 二、do…while语句 三、for语句 一、while语句 使用while语句可以执行循环结构&#xff0c;其一般形式如下&#xff1a; while语句的执行流程图&#xff1a; while语句首先检验一个条件&#xff0c;也就是括号中的表达式。当条件为真时&#xff0c;就执…

跟同事杠上了,用雪花算法生成的id做主键对MySQL性能有影响?

公司最近开发了一个新项目&#xff0c;设计表时由于有些字段需要对外展示&#xff0c;所以使用了雪花算法生成的id做主键。 不过有位同事对此提出了异议&#xff0c;认为雪花算法生成的id不是顺序递增的&#xff0c;会对MySQL的性能造成影响。 经过交流&#xff0c;发现持有这…

【Linux 系统运维基础】Linux目录 以及重要配置文件

Linux目录 以及重要配置文件 文本讲述了Linux中目录含义 以及我们工作中常用到的路径 1. 目录含义 2. 常用路径地址 2.1 网卡配置文件 /etc/sysconfig/network-scripts但是网卡的名称是有区别的&#xff0c;使用不同服务器生产商的名称是不同的。如下图&#xff1a; 网卡配置…

Window10下FFMPEG的安装与使用

文章目录一.FFMPEG介绍FFMPEG组成二.Windows10下FFMPEG安装三.FFMPEG的使用1.关键指令一.FFMPEG介绍 FFmpeg是一套可以用来记录、转换数字音频、视频&#xff0c;并能将其转化为流的开源计算机程序。采用LGPL或GPL许可证。它提供了录制、转换以及流化音视频的完整解决方案。它…

字节前端面试题目2

1.为什么通常在发送数据埋点请求的时候使用的是 1x1 像素的透明 gif 图片&#xff1f; 1. 没有跨域问题&#xff0c;一般这种上报数据&#xff0c;代码要写通用的&#xff1b;&#xff08;排除 ajax&#xff09; 2. 不会阻塞页面加载&#xff0c;影响用户的体验&#xff0c;只…

基于SSM的图书购物商城设计与实现

项目描述 临近学期结束&#xff0c;还是毕业设计&#xff0c;你还在做java程序网络编程&#xff0c;期末作业&#xff0c;老师的作业要求觉得大了吗?不知道毕业设计该怎么办?网页功能的数量是否太多?没有合适的类型或系统?等等。这里根据疫情当下&#xff0c;你想解决的问…

【C++】三大特性之继承

目录 一、继承的概念及定义 1.继承的概念 2. 继承定义 2.1定义格式 2.2继承关系和访问限定符 2.3继承基类成员访问方式的变化 二、基类和派生类对象赋值转换 三、继承中的作用域 四、派生类的默认成员函数 五、友元与继承 六、继承与静态成员 七、复杂的菱形继承及菱…

机器学习中的数学原理——线性不可分

这个专栏主要是用来分享一下我在 机器学习中的 学习笔记及一些感悟&#xff0c;也希望对你的学习有帮助哦&#xff01;感兴趣的小伙伴欢迎 私信或者评论区留言&#xff01;这一篇就更新一下《 白话机器学习中的数学——线性不可分》&#xff01; 目录 一、什么是线性不可分 二…