Elastic 利用由 Search AI 提供支持的自动导入功能加速 SIEM 数据导入

news2024/9/24 21:26:06

 作者:来自 Elastic Jamie Hynds, Mark Settle

Elastic 正在通过自动导入功能自动完成 SIEM 数据导入,从而加速采用 AI 驱动的安全分析。这项新功能(安全分析或 SIEM 解决方案中独一无二的功能)可自动开发自定义数据集成。Elastic Security 现在添加自定义数据源的速度比任何竞争性安全分析解决方案都要快,从而有助于实现更广泛的可见性并更轻松地实施 SIEM。

在整个企业 IT 环境中建立可见性本质上很困难,但无论攻击面如何变化(创建应用程序、添加系统、将基础设施迁移到云中),安全团队都不能盲目行事。不幸的是,导入自定义数据一直很昂贵且复杂,直到现在。

自动导入功能可自动使用生成式 AI 开发自定义数据集成,从而减少创建和验证自定义集成所需的工作量(从几天缩短到不到 10 分钟),并显著降低导入数据的学习曲线。该功能由 Elastic Search AI 平台提供支持,该平台提供与模型无关的访问权限,以利用大型语言模型 (LLMs) 中的知识,并能够使用检索增强生成 (retrieval augmentted generation - RAG) 将答案扎根于专有数据中。此外,我们还拥有丰富的专业知识,能够帮助安全团队利用任何类型的数据,并且我们的 Search AI Lake 非常灵活,这也使该功能成为可能。

在组织探索其传统 SIEM 工具的替代方案时,自动导入应运而生。收集和规范化数据是任何迁移计划的第一步,首先要利用预构建的数据集成。接下来通常是需要自定义连接器的技术,但构建每个此类集成的手动性质可能会减慢新 SIEM 的采用和旧解决方案的淘汰。自动导入解决了这些挑战。

自动导入的影响

自动导入(Automatic Import)通过自动创建自定义数据集成,扩大了我们在应用生成式 AI 加快劳动密集型 SecOps 任务方面的领导地位。此版本基于我们之前的 AI 驱动的安全分析创新,例如可自动进行警报分类的 Attack Discovery 和可回答安全问题并指导从业人员工作流程的 Elastic AI Assistant。

5 月,我们发布了 Attack Discovery,以减少每天分类数百个安全警报的辛苦。Elastic 具有独特的优势,可以缓解快速变化的环境和混乱数据所固有的安全挑战,因为我们能够大规模处理非结构化数据,并且我们通过 LLMs 和 RAG 得出相关见解的策略。

Elastic 最大的安全客户之一最近迁移了近 200 个数据源,包括许多自定义技术。未来这种规模的客户将节省数百小时的咨询时间,并节省数周至数月的实施时间。

自动导入解决了切换 SIEM 的最大难题之一:引入自定义数据源。该功能可自动开发新的数据集成,从而降低迁移的成本、复杂性和压力。

Michelle Abraham,IDC 安全与信任研究总监

Elastic 附带 400 多个预构建的数据集成和计数,而自动导入功能使将可见性扩展到不断发展的安全相关技术和应用程序成为可能。这些集成将数据标准化为 Elastic Common Schema (ECS),从而能够使用仪表板、搜索、警报、机器学习等进行统一分析。公共 LLMs 可以轻松处理和分析 ECS 格式的数据,因为它是一种流行的开源数据规范。

自动导入使构建和测试自定义数据集成变得更加容易,帮助我们快速提高整个环境的可见性。

Nate Thompson,Dana Inc. 网络安全分析与自动化高级经理

工作原理

自动导入易于使用,每个拥有企业许可证的人都可以使用。用户指定一些设置并上传示例数据,该功能将从这些数据推断出对数据源的期望。这些日志样本与 LLM 提示配对,这些提示已由 Elastic 工程师磨练过,可以可靠地生成符合要求的 Elasticsearch 摄取管道。然后,自动导入会迭代构建、测试和调整自定义摄取管道,直到满足 Elastic 集成要求。

由 Elastic Search AI 平台提供支持的自动导入

只需几分钟,该功能即可生成并验证自定义集成,将原始数据准确地映射到 ECS 和自定义字段,填充上下文信息(例如 related.* 字段)并对事件进行分类。

自动导入功能即将推出,通过 Elastic 的 Amazon Bedrock 连接器支持 Anthropic 模型,并且很快将推出其他 LLMs。它目前支持 JSON 和基于 NDJSON 的日志格式。

自动导入操作

假设你想要从 Teleport(一种用于保护对基础设施和 Web 应用程序的访问的工具)中引入审计事件。

首先导航至 Integrations -> Create new integration。

为新数据源提供名称和描述。

接下来,填写其他详细信息并提供一些示例数据(按你认为合适的方式匿名化)。

单击 “Analyze logs” 可将 Elastic 的集成详细信息、示例日志和专家编写的说明提交给指定的 LLM,后者使用生成式 AI 构建集成包。然后,自动导入会在自动反馈循环中对集成进行微调,直到验证其符合 Elastic 要求。

自动导入提供了 ECS 字段和自定义字段的推荐映射。如有必要,你可以轻松调整这些设置。

完成集成后,将其添加到 Elastic Agent 或在 Kibana 中查看。它现在可以与你的其他集成一起使用,并遵循与预构建集成相同的工作流程。

部署后,你可以立即开始分析新提取的数据。

快速迁移到 AI 驱动的安全分析

自动导入将构建和测试自定义数据集成所需的时间从几天缩短到几分钟,从而加速向 AI 驱动的安全分析的转换。此功能是在 SIEM 市场发生变化的时期推出的,许多传统 SIEM 的长期客户现在正在迁移到现代技术。

Elastic 将自动导入的独特功能与 Elastic 的深度预构建数据集成库相结合,实现更广泛的可见性和快速的数据写入。结合 Elastic AI Assistant 进行规则转换,该功能大大简化了 SIEM 迁移。

对我们的快速迁移计划感兴趣以升级到 Elastic?联系 Elastic 了解更多信息。

本文中描述的任何特性或功能的发布和时间均由 Elastic 自行决定。任何当前不可用的特性或功能可能无法按时交付或根本无法交付。

在这篇博文中,我们可能使用或提到了第三方生成 AI 工具,这些工具由其各自的所有者拥有和运营。 Elastic 无法控制第三方工具,我们对其内容、操作或使用不承担任何责任,也不对你使用此类工具可能产生的任何损失或损害承担任何责任。在使用 AI 工具处理个人、敏感或机密信息时,请谨慎行事。你提交的任何数据都可能用于 AI 培训或其他目的。我们无法保证你提供的信息会得到安全或保密。在使用任何生成式 AI 工具之前,你应该熟悉其隐私惯例和使用条款。

Elastic、Elasticsearch、ESRE、Elasticsearch Relevance Engine 和相关标志是 Elasticsearch N.V. 在美国和其他国家/地区的商标、徽标或注册商标。所有其他公司和产品名称均为其各自所有者的商标、徽标或注册商标。

原文:Elastic accelerates SIEM data onboarding with Automatic Import powered by Search AI | Elastic Blog

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1989366.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

轻松上手MYSQL:掌握MYSQL聚合函数,数据分析不再难

​🌈 个人主页:danci_ 🔥 系列专栏:《设计模式》《MYSQL》 💪🏻 制定明确可量化的目标,坚持默默的做事。 ✨欢迎加入探索MYSQL聚合函数之旅✨ 👋 大家好!文本学习和探…

240807-Gradio客户端GUI与服务端API分离代码示例

A. 客户端服务端分离的最终效果 B. 前后端核心代码 Gradio支持将前端界面(客户端)与后端逻辑(服务端)分离。通过这种方式,客户端负责用户交互和显示,而服务端负责实际的数据处理和功能实现。 以下是如何实…

买Zoho企业邮箱赠公司后缀的域名吗?

随着市场上企业邮箱服务提供商的增多,选择适合自身需求的服务变得尤为重要。其中一个常见的问题是:购买Zoho企业邮箱服务时是否会赠送公司后缀的域名?赠送域名有哪些套路?本文将详细探讨这些问题。 一、买Zoho企业邮箱赠送公司后…

让三岁小孩都能理解动态规划_来自B站罐装-蜜糖

系列文章目录 文章目录 系列文章目录一、认识算法动态规划难在哪?学习目标 二、记忆化搜索 非常直觉的处理方式注意: 三、70.爬楼梯 入门 模板通过记忆化搜索 发现动态规划四要素 四、118.杨辉三角 使用答案空间处理(题目给了返回值的样式)五…

The Ether: EvilScience (v1.0.1)打靶渗透【附代码】(权限提升)

靶机下载地址: https://www.vulnhub.com/entry/the-ether-evilscience-v101,212/ 1. 主机发现端口扫描目录扫描敏感信息获取 1.1. 主机发现 nmap -sn 192.168.7.0/24|grep -B 2 00:0C:29:7F:50:FB 1.2. 端口扫描 nmap -p- 192.168.7.172 1.3. 目录扫描 dirb http://192.16…

vm虚拟机下安装CentOS7系统

VMware16安装CentOS7 1.启动之前安装的VM 具体VMware安装过程 2.配置Linux(centos7)的镜像文件 选择安装镜像文件 4.开启虚拟机 开始读秒安装 选择安装过程中使用的语言,这里选择英文、键盘选择美式键盘。点击Continue 首先设置时间…

MySQL——数据类型、索引的建立、数据的约束

文章目录 数据类型索引的建立普通索引唯一索引使用ALTER 命令添加和删除索引使用ALTER 命令添加和删除主键显示索引信息 数据的约束非空约束:not null,值不能为null唯一约束:unique,值不能重复主键约束:primary key外键…

【实现100个unity特效之15】最简单的方法使用shader graphs实现2d非像素和像素树叶草的随风摇摆效果

文章目录 前言非像素树叶草飘动效果新建材质效果像素树叶草飘动效果参考完结 前言 本文只是实现一个简单版本的2d树叶草随风摇摆的效果,如果你想要实现更加复杂的效果,包括2d互动草,你可以参考我之前的文章: 【推荐100个unity插件…

基元检测-霍夫直线变换原理

在之前已经使用过正规方程法、梯度下降法拟合直线 1、回顾过去 梯度下降法拟合一元函数 最小二乘法的线性代数推导 现在使用一种新的直线检测方法,霍夫变换,它也可以拟合直线,接下里将说明他的原理。 2、霍夫变换 霍夫变换(…

工地安全巡检系统

在建筑施工行业,安全始终是高悬的“达摩克利斯之剑”。随着科技的日新月异,工地安全二维码巡检系统崭露头角,成为守护工地安全的强大利器。 通过凡尔码平台,工地安全巡检系统融合了先进信息技术与安全管理理念的创新成果。其功能丰…

免费的录屏软件有哪些?试试这4款巨好用的录屏软件

4个免费简单实用的录屏软件推荐,帮你解决录屏问题。 1、转转大师录屏软件 下载链接>>screencap.55.la 这是一款非会员录屏也不限制时长的免费录屏软件,操作简单,第一次用就会,必须五星推荐给你! 支持多种录制模…

数据结构——排序(1):插入排序

目录 一、排序的概念 二、排列的运用 三、常见的排序算法 四、插入排序 1.直接插入排序 (1)思路 (2)过程图示 (3)代码实现 (4)代码解释 (5)特性 2.希尔排序 (1…

【Java算法专场】位运算(上)

目录 常见位运算总结 位1的个数 算法思路 算法代码 比特位计数 算法思路 算法代码 汉明距离 算法思路 算法代码 只出现一次的数字 算法思路 算法代码 丢失的数字 算法思路 算法代码 常见位运算总结 了解位运算的一些基本操作,那么我们就来通过题目来…

STM32的USB接口介绍

STM32 USB接口是STM32微控制器系列中集成的一种通信接口,它允许STM32微控制器与外部设备或计算机进行高速的数据传输和通信。以下是STM32 USB接口的简要介绍: 1. 接口类型 STM32的USB接口通常支持USB 2.0标准,部分高端型号可能还支持USB 3.…

新手必看!剪映轻松上手,让你的视频瞬间高大上

相信现在短视频兴起的时代下,几乎人手都在学习如何剪辑出日常视频,尤其是想要走新媒体路线的小伙伴更是在尝试专业的剪辑,不过平时的vlog或者抖音短视频可以从简单的开始接触,剪映是其中的一款适合初学者上手的剪辑了,…

网络编程复习

1.网络编程基础 1.1引入 socket套接字实现主机之间的通信 cs通信模型基于socket实现,需要客户端软件来实现通信 bs通信模型基于http实现,是网页通信,不需要任何客户端软件 1.2通信协议 (1)OSI七层通信协议&#xff…

QEMU理解与分析系列(1):QEMU简介

QEMU简介 一、QEMU基本介绍1.1操作模式1.2 虚拟化方式中间代码实现方式简介源码结构分布 二、qemu tcg前端解码逻辑2.1 tcg翻译流程2.1.1 decode tree语法2.1.2 trans_xxx函数的逻辑 三、编译相关3.1 代码拉取(拉取自己想要的版本)3.2 编译参数3.3 依赖包…

Spring Boot - 在Spring Boot中实现灵活的API版本控制(上)

文章目录 为什么需要多版本管理?在Spring Boot中实现多版本API的常用方法1. URL路径中包含版本号2. 请求头中包含版本号3. 自定义注解和拦截器 注意事项 为什么需要多版本管理? API接口的多版本管理在我们日常的开发中很重要,特别是当API需要…

关于Zoho mail邮箱续费、退款、升级的说明

在使用企业邮箱服务的过程中,可能会遇到续费,退款及升级服务的情况。遇到这些情况时应该如何处理?本文将为您提供遇到邮箱情况时的详细操作步骤:邮箱续费方式及续费流程、邮箱申请退款方式、邮箱升级服务的流程。 一、Zoho邮箱如…

动态面板门槛模型及 Stata 具体操作步骤

目录 一、文献综述 二、理论原理 三、实证模型 四、稳健性检验 五、程序代码及解释 六、代码运行结果 一、文献综述 动态面板门槛模型作为一种先进的计量经济学方法,在众多领域的研究中发挥着关键作用。在经济增长领域,[学者 A]通过构建动态面板门槛…