使用 Elastic 输入包自定义你的数据摄取

news2024/11/28 12:30:38

作者:Ishleen Kaur

Elastic® 通过集成(integrations)实现了外部数据源和 Elastic Observability Solution 之间数据流的收集、转换和分析。 集成包通过封装多个组件来实现这一点,包括代理配置 (agent configuration)、数据收集输入以及摄取管道 (ingest pipelines)、数据流 (data streams)、索引模板 (index templates) 和可视化等资产。 Elastic Stack 支持的这些资产的广度日益增加。

本博客深入探讨输入包如何为高级用户提供极其通用且灵活的解决方案,以定制他们在 Elastic 中的摄取体验。

什么是输入包 - input packages?

Elastic Package 是一个工件,其中包含扩展 Elastic Stack 的资产集合,提供新功能来完成特定任务(例如与外部数据源集成)。 Elastic 包的第一个用途是集成包,它提供端到端体验 - 从配置 Elastic Agent,到从数据源收集信号,再到正确摄取信号并使用摄取后的数据。

但是,高级用户可能需要自定义数据收集,因为对于特定数据源不存在集成,或者即使存在,他们也希望收集其他信号或以不同的方式。 输入包是另一种类型的 Elastic package,它提供配置 Elastic Agent 以自定义方式使用提供的输入的功能。

让我们看一个例子

向在 Ascio Innovation 公司担任工程师的 Julia 打个招呼。 她目前正在使用 Oracle Weblogic 服务器,并希望获得一组用于监控它的指标。 她继续安装 Elastic Oracle Weblogic Integration,该集成在后端使用 Jolokia 来获取指标。

现在,她的团队想要在监控方面取得进展,有以下要求:

  1. 我们应该能够提取默认指标以外的指标,默认的 Oracle Weblogic Integration 不支持这些指标。
  2. 我们希望拥有自己的定制管道、可视化和体验。
  3. 通过将数据映射到单独的索引,我们应该能够识别来自两个不同 Weblogic 服务器实例的指标。

使用 Jolokia 输入包即可满足上述所有要求,获得定制体验。 让我们看看如何。

Julia 可以添加如下 Jolokia 输入包的配置,满足第一个要求。

hostname、要为 JVM 应用程序获取的字段的 JMX 映射,以及响应字段将映射到的 data set 名称。

Jolokia 输入包的配置参数

指标映射到 “jolokia_first_dataset” 创建的索引

Julia 可以通过编写自己的摄取管道并提供自定义映射来自定义数据。 此外,她还可以构建自己的定制仪表板,从而满足她的第二个要求。

摄取管道和映射的定制

假设现在 Julia 希望使用 Oracle Weblogic 的另一个实例并获取一组不同的指标。

这可以通过添加 Jolokia 输入包的另一个实例并指定新的 data set 名称来实现,如下面的屏幕截图所示。 生成的指标将映射到不同的 index/数据集,从而满足她的第三个要求。 这将帮助 Julia 区分来自两个不同 Oracle Weblogic 实例的指标。

查询的结果指标将被索引到新数据集,即以下示例中的 jolokia_second_dataset。

正如我们在上面所看到的,Jolokia 输入包提供了通过指定不同的 JMX 映射来获取新指标的灵活性,这在默认的 Oracle Weblogic 集成中不受支持(用户从一组预定的 JMX 映射中获取指标)。

Jolokia 输入包还可用于监视任何基于 Java 的应用程序,该应用程序通过 JMX 推送其指标。 因此,单个输入包可用于从多个 Java 应用程序/服务收集指标。

Elastic 输入包

Elastic 从 8.8.0 版本开始支持输入包。 一些输入包现已提供测试版,并将逐渐成熟:

  1. SQL 输入包:SQL 输入包允许你对任何 SQL 数据库执行查询并将结果存储在 Elasticsearch® 中。
  2. Prometheus 输入包:此输入包可以从 Prometheus 导出器(收集器)收集指标。任何将其指标导出到 Prometheus 端点的服务都可以使用它。
  3. Jolokia 输入包:此输入包从目标 JMX 服务器或专用代理服务器上运行的 Jolokia 代理收集指标。 它可用于监视任何基于 Java 的应用程序,该应用程序通过 JMX 推送其指标。
  4. Statsd 输入包:statsd 输入包生成一个 UDP 服务器并侦听 StatsD 兼容格式的指标。 此输入可用于从通过 StatsD 协议发送数据的服务收集指标。
  5. GCP Metrics 输入包:GCP Metrics 输入包可以收集任何 GCP 服务的自定义指标。

试试看!

现在你已经了解了有关输入包的更多信息,请尝试通过输入包为你的服务构建你自己的自定义集成,并开始使用 Elastic Cloud 免费试用。

我们很乐意听取你在 Elastic Discuss 论坛或 Elastic Integrations 存储库中使用输入包的体验。

本文中描述的任何特性或功能的发布和时间安排均由 Elastic 自行决定。 当前不可用的任何特性或功能可能无法按时交付或根本无法交付。

原文:Customize your data ingestion with Elastic input packages | Elastic Blog

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1055625.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

基于微信小程序的二手闲置交易市场小程序设计与实现(源码+lw+部署文档+讲解等)

文章目录 前言系统主要功能:具体实现截图论文参考详细视频演示为什么选择我自己的网站自己的小程序(小蔡coding)有保障的售后福利 代码参考源码获取 前言 💗博主介绍:✌全网粉丝10W,CSDN特邀作者、博客专家、CSDN新星计…

基于SpringBoot的仿京东商城系统

前台部分实现效果截图 后台部分实现效果截图 源码地址:https://download.csdn.net/download/qq_50954361/87647905

以太网协议介绍(ARP、UDP、ICMP、IP)

以太网协议介绍 一、ARP协议 请求: 应答: ARP协议: 0x0001 0x0800 6 4硬件类型:2个字节,arp协议不仅能在以太网上运行还能在其他类型的硬件上运行。以太网用1来表示; 协议类型:两字节。指的是a…

Xilinx AXI DataMover使用说明与测试

Xilinx AXI DataMover使用说明与测试 1 架构说明2 IP设置说明2.1 接口说明2.2 设置说明 3 测试说明3.1 S2MM测试3.2 MM2S测试 本文主要介绍Xilinx AXI DataMover的使用和测试方法。 1 架构说明 在Xilinx的数据传输总线中,AXI Memory Map接口和AXI Stream接口是最常…

Java Spring拦截器优化实践: 专注于API路径拦截

🌷🍁 博主猫头虎 带您 Go to New World.✨🍁 🦄 博客首页——猫头虎的博客🎐 🐳《面试题大全专栏》 文章图文并茂🦕生动形象🦖简单易学!欢迎大家来踩踩~🌺 &a…

Spring IOC之AnnotationConfigApplicationContext

博主介绍:✌全网粉丝近5W,全栈开发工程师,从事多年软件开发,在大厂呆过。持有软件中级、六级等证书。可提供微服务项目搭建与毕业项目实战,博主也曾写过优秀论文,查重率极低,在这方面有丰富的经验✌ 博主作品:《Java项目案例》主要基于SpringBoot+MyBatis/MyBatis-plus…

C进阶 -- 自定义类型

🏆结构体 🍭✨🎇🎆🙅‍♀️ 🍭结构体是一些值的集合,这些值称为 成员变量。结构的每个成员可以是不同的变量。 🥇 结构体类型的声明 struct Student {int age;//成员变量 }stu;/…

Rn页面滚动显示隐藏head动画

完整代码 import { View, Text, StyleSheet, Animated } from react-native export default () > {const opacity new Animated.Value(0)const handleScroll Animated.event([{ nativeEvent: { contentOffset: { y: opacity } } }],{ useNativeDriver: true })return (&l…

LSTM+CRF模型

今天讲讲LSTM和CRF模型,LSTM(长短期记忆)是一种特殊的循环神经网络(RNN)模型,用于处理序列数据、时间序列数据和文本数据等。LSTM通过引入门控机制,解决了传统RNN模型在处理长期依赖关系时的困难…

JavaSE | 初识Java(一) | JDK \ JRE \ JVM

Java初识 Java 是一门半编译型、半解释型语言。先通过 javac 编译程序把源文件进行编译,编译后生成的 .class 文件是由字节 码组成的平台无关、面向 JVM 的文件。最后启动 java 虚拟机 来运行 .class 文件,此时 JVM 会将字节码转换成平台能够理…

【C语言深入理解指针(3)】

1. 字符指针变量 在指针的类型中我们知道有⼀种指针类型为字符指针 char* ; ⼀般使⽤: int main() {char ch w;char *pc &ch;*pc w;return 0; }还有⼀种使⽤⽅式如下: int main() {const char* pstr "hello bit.";//这⾥是把⼀个字符串放到ps…

链表经典面试题(五)

求链表的公共结点 1.题目2.详细的图示3.详细注释和代码实现 1.题目 2.详细的图示 3.详细注释和代码实现 public class Solution {public ListNode getIntersectionNode(ListNode headA, ListNode headB) {//定义两个表示长度的指针,让它们指向headA和headB//我们暂时无法知道哪…

cesium 鹰眼图1

cesium 鹰眼图1 1、实现思路 用两个cesium实体来实现一个加载3维一个加载2维,在利用“viewer.scene.preRender.addEventListener”监听事件按监听实体的移动,使两个实体保持一样 2、示例代码 <!DOCTYPE html> <html lang="en"><head><

【Linux】探访环境变量的奥秘

一、概念先知 首先我们在聊【环境变量】之前知道它是什么&#x1f447; 环境变量(environment variables)&#xff1a;一般是指在操作系统在开机的时候帮我们维护系统运行时的一些动态参数读者可以回忆一下我们在学习 Java / Python 的时候&#xff0c;你们的老师是否有让你们配…

毛玻璃员工卡片悬停效果

效果展示 页面结构组成 通过效果展示图&#xff0c;我们可以看出页面布局比较常规&#xff0c;最核心的就是卡片&#xff0c;当鼠标没有悬停在卡片上时&#xff0c;文字和头像处于半透明状态&#xff0c;当鼠标悬停在卡片上是&#xff0c;底部会展示社交图标。 CSS 知识点 b…

去雨去雪去雾算法之本地与服务器的TensorBoard使用教程

在进行去雨去雾去雪算法实验时&#xff0c;需要注意几个参数设置&#xff0c;num_workers只能设置为0&#xff0c;否则会报各种稀奇古怪的错误。 本地使用TensorBoard 此外&#xff0c;发现生成的文件是events.out.tfevents格式的&#xff0c;查询了一番得知该文件是通过Tens…

postgresql-管理表空间

postgresql-管理表空间 基本概念创建表空间用户授权移动表空间 修改表空间移动表空间位置 删除表空间 基本概念 在 PostgreSQL 中&#xff0c;表空间&#xff08;tablespace&#xff09;表示数据文件的存放目录&#xff0c;这些数据文件代表了数 据库的对象&#xff0c;例如表…

Windows历史版本下载

1、微PE工具箱&#xff08;非广告本人常用&#xff09; 常用安装Windows系统的微PE工具 地址&#xff1a;https://www.wepe.com.cn/download.html 2、Windows系统下载地址&#xff08;非微软官方&#xff09; 地址&#xff1a;MSDN, 我告诉你 - 做一个安静的工具站 下载&…

郁金香2021年游戏辅助技术中级班(六)

郁金香2021年游戏辅助技术中级班&#xff08;六&#xff09; 055-ce,xdbg调试分析接任务交任务完成任务056-C,C写代码测试接任务交任务完成任务我们再来分析一下完成任务 057-C,C写代码测试交任务完成任务 055-ce,xdbg调试分析接任务交任务完成任务 创建一个新角色&#xff0c…