Elasticsearch 和 Kibana 8.16：Kibana 获得上下文和 BBQ 速度并节省开支！

news2024/11/15 6:33:04

作者：来自 Elastic Platform Product Team

Elastic Search AI 平台（Elasticsearch、Kibana 和机器学习）的 8.16 版本包含大量新功能，可提高性能、优化工作流程和简化数据管理。

  • 使用更好的二进制量化 (Better Binary Quantization - BBQ) 和生成式 AI (GenAI) 来提高热度：向量搜索中速度快、精度高、成本节省惊人
    • Elasticsearch 的新 BBQ 算法重新定义了向量量化 — 提高查询速度、排名精度和成本效率。与乘积量化 (product quantization - PQ) 等替代方案相比，实现超过 90% 的召回率，延迟更低，并将 RAM 使用率降低 95%。
  • Kibana 获得上下文：探索更智能的数据调查的力量
    • 得益于其可扩展的上下文架构，Kibana Discover 可以动态适应你正在分析的数据类型。节省时间并提高生产力，使数据探索比以往更顺畅。
  • 查询演变：Elasticsearch 查询语言 (ES|QL) 中的快速跟踪、智能堆栈和地理黑客
    • 借助 Elastic 的三个新功能（推荐查询、快速距离排序和按聚合过滤），在 ES|QL 中解锁更快、更轻松、更灵活的查询。

深入了解这些更新和更多增强功能 - 所有这些都旨在提高速度、生产力和可用性。

Elastic 8.16 中还有什么新功能？查看 8.16 公告帖子以了解更多信息 >>

GenAI 中的增强功能

在 8.16 中，Elastic 通过提高效率、可扩展性和可用性，继续在生成 AI 领域保持创新步伐。借助 BBQ，通过将内存需求减少高达 97%，实现顶级查询速度和成本节省。新推出的正式版推理 API 只需单击几下即可提供对 Elastic 强大的 AI 模型的生产就绪访问以及实时交互。借助自适应资源和灵活的分块策略，你可以在高需求时获得最佳性能，在空闲时则无需支付任何费用。

BBQ

Elasticsearch 推出了一个全新的稠密向量量化算法，在查询延迟、排名质量和所需计算资源（成本）方面取得了令人惊讶的效果。

这一算法的整体概念与 PQ（Product Quantization）相似，因为 Elasticsearch 会生成一个比原始向量小得多的预测向量。初始搜索使用的是预测向量，随后对结果进行过采样以进行重新排序，并使用原始向量对其进行排序，从而产生一组针对查询的结果。生成预测向量的方法与 PQ 完全不同，基于生成一个比原始向量更节省存储空间的比特向量，同时仍能预测正确的排名。

关键点在于，BBQ 能够提供优秀的排名效果，达到超过 90% 的召回率（相比于对原始向量进行暴力搜索/brute force），并且通过 2x 到 5x 的过采样优化查询结果。查询延迟也优于其他替代方法，包括 PQ。最重要的是，BBQ 的内存需求仅为使用 HNSW 算法处理原始向量时所需内存的 3% 到 5%，大幅降低了成本。如需了解算法的更详细描述和一些测试结果，请查阅这篇博客。

要使用它，只需将 index_options 定义为 bbq_hnsw 或 bbq_flat 类型，并且不要忘记使用 script_score 查询对完整向量进行过采样和重新排序。该功能仍处于技术预览阶段，我们暂时计划在即将发布的版本中简化使用它的体验。

推理 API 已正式发布

我们很高兴地宣布，推理 API 现已正式发布。从 8.16 开始，它现在被推荐用于生产，提供生产级稳定性、稳健性和性能。Elastic 的推理 API 集成了最先进的 AI 推理，同时提供了无与伦比的易用性。它将 Elastic 的 AI 语义搜索模型 — Elastic Learned Sparse EncodeR (ELSER) — 以及你的 Elastic 托管模型和越来越多的知名外部模型和任务整合在一起，形成统一、精简的语法，供你的 Elastic 向量数据库使用。与 semantic_text 或 Elastic 向量数据库支持的向量字段一起使用，你可以无缝轻松地执行 AI 搜索、重新排名和完成。

在 8.16 中，我们还添加了流式完成，以改进流程和实时交互以及 GenAI 体验。推理 API 为你提供最先进的 AI 推理，并提供更多服务和任务供你使用。

ELSER、e5、训练模型自适应资源和分块策略

推理需要计算资源，因此模型部署必须自动适应推理负载 — 在高负载期间（例如在摄取高峰和繁忙搜索时间）扩大规模，并在推理负载下降时缩小规模。到目前为止，你必须主动管理这部分，即使启用了 Elastic Cloud ML 自动扩展功能也是如此。你如何控制所涉及的所有参数，以便在任何时间点实现搜索和摄取需求的最佳成本/性能权衡？

从 8.16 开始，ELSER 和你在 Elastic 中使用的其他 AI 搜索和自然语言处理 (natural language processing - NLP) 模型会根据推理负载自动调整资源消耗 — 在高峰时段提供你需要的性能，并在低谷时段降低成本，在空闲时间一直降至零成本。e5 模型在 Elastic 的标准保修范围内。

此外，不需要复杂的配置。通过用户友好的用户体验，你只需单击一下即可配置针对搜索优化和针对采集优化的模型部署。优化配置在后台透明地进行。你还可以轻松规划更多动态资源以用于搜索或采集。我们将继续改善这种体验。结合 Elastic Cloud 上 ML 自动扩展的灵活性和 Elastic Cloud Serverless 的惊人弹性，你可以完全控制性能和成本。

在 8.16 中，你可以选择使用单词或基于序列的分块策略来与训练模型一起使用，还可以自定义最大大小和重叠参数。合适的分块策略可以带来收益，具体取决于你使用的模型、文本的长度和性质以及搜索查询的长度和复杂性。

多层嵌套的检索器和 GA

检索器是一种抽象，可从查询中返回排名靠前的文档。它旨在允许嵌套，并使定义查询变得更容易。检索器还允许在定义查询时具有更大的灵活性。自从我们在 8.14 中发布该功能以来，它变得越来越流行，我们收到了允许多层嵌套的请求。例如，用户请求通过 RRF 检索器组合密集向量（kNN 检索器）、ELSER 和 BM25（标准检索器），然后使用文本相似性重新排序检索器通过外部服务对它们进行重新排序，该检索器现已受支持。在 8.16 中，我们还添加了对其他搜索功能（如折叠结果和突出显示）的支持。并且我们已将包括 RRF 在内的检索器公开发布。

快速查询：ES|QL 的高级新功能

Elastic 8.16 引入了三个强大的新功能，旨在使查询更快、更轻松、更灵活。推荐的 ES|QL 查询提供即时指导，包括自动完成选项和预构建的查询建议，非常适合任何技能水平的用户。按距离排序现在可将快速地理搜索和前 N 个查询的性能提升高达 100 倍。通过每个聚合过滤，你可以为每个聚合定义唯一的过滤器，为你的分析带来精确度。

推荐的 ES|QL 查询

现在，在 ES|QL 编辑器中创建查询比以往任何时候都更容易。推荐的查询有助于简化流程，尤其是对于不熟悉语法或数据结构的用户。此功能减少了查询创建时间，并简化了新用户和有经验用户的学习曲线。你现在可以从 ES|QL 帮助菜单中快速选择推荐的查询，或使用自动完成功能更快地开始使用。

ES|QL 中按距离排序的速度更快

在 ES|QL 中展示了完整的地理搜索功能后，我们将注意力转向性能优化 — 从常见的过滤情况开始，到按距离对结果进行排序。对于涉及在距离内搜索文档和/或按距离对文档进行排序的一系列查询，我们的性能提高了 10 倍到 100 倍。这还包括在 WHERE 和 SORT 命令中使用 EVAL 命令之前定义距离函数的能力。我们的最佳结果 — 查询速度提高了大约 100 倍 — 是非常有用的 top-N 查询，对结果进行排序和限制，如我们的每夜基准测试仪表板所示：

ES|QL 中的按聚合过滤

ES|QL 中的聚合在 8.16 中变得更加灵活。现在，你可以在查询中为每个聚合定义一个过滤器，例如根据不同组（如 Web 服务器的状态代码）的不同条件计算计数统计信息：

FROM web-logs | STATS success = COUNT(*) WHERE 200 <= code AND code < 300,
redirect = COUNT(*) WHERE 300 <= code AND code < 400,
client_err = COUNT(*) WHERE 400 <= code AND code < 500,
server_err = COUNT(*) WHERE 500 <= code AND code < 600,
total_count = COUNT(*)

仪表板闪耀与数据飞跃：Kibana 8.16 的新功能

Kibana 8.16 引入了强大的新功能，提升了 Discover、仪表板和导航的用户体验，旨在提高生产力并简化数据探索。Discover 现在会根据数据类型自适应数据表，使用户更容易分析日志。仪表板新增快速访问功能，包括最近查看、收藏和使用情况分析。此外，全新的解决方案导向左侧菜单导航为搜索、可观测性和安全用户量身定制界面，提供更直观且高效的 Kibana 使用体验。

发现上下文数据呈现

Kibana 8.16 中的 Discover 现在可以根据正在探索的数据类型自动调整数据表呈现。对于使用日志的用户，相关字段（如 log levels）现在会自动显示在表格中或 Discover 文档查看器中的自定义日志概览中。这种简化的上下文感知方法通过简化数据探索和突出显示关键日志见解（无需额外配置）来提高工作效率。

轻松高效地管理仪表板

作为 Kibana 仪表板管理的一系列改进的一部分（请参阅 8.15 中的仪表板视图创建器和编辑器），我们添加了旨在提高效率和可用性的新功能。现在，你可以通过三种方式轻松对仪表板进行排序 - 保留 “Recently Viewed” 默认设置、为你最喜欢的仪表板加注星标以便快速轻松地找到，以及查看详细的使用情况统计信息。

此外，新的使用情况洞察功能允许你单击仪表板列表视图中的 “info” 图标以访问过去 90 天内仪表板视图的直方图。这可以洞察仪表板的受欢迎程度，帮助你识别和删除未使用的仪表板，最终优化你的工作区。这些更新使仪表板的管理和组织更快、更直观。

解决方案视图左侧菜单导航

Kibana 的新解决方案视图左侧菜单导航（可在 Elastic Cloud Hosted 中使用）通过将左侧菜单导航重点放在搜索、可观察性或安全性的相关功能上，为用户提供更简化的体验。这种有针对性的方法消除了混乱，使 Kibana 用户更容易找到满足其特定需求的菜单项，并使用户能够更有效地导航。从 8.16 开始，用户可以从四个视图中进行选择：Search、Observability、Security 或 Classic（保留以前的布局以保持连续性）。简化的左侧菜单导航通过仅显示每个解决方案所需的菜单项来改善日常工作流程。

Search 解决方案视图

Observability 解决方案视图

Security 安全 解决方案视图

Dev Console UX 改进

我们很高兴地宣布 Dev Console 有了新的改进 — 它是我们用户中最受欢迎的应用之一！最新的改进包括入门指南，可帮助新用户快速熟悉控制台。对于经验丰富的用户，我们引入了新功能，例如将输出复制到剪贴板以及导入或导出文件。此外，整体响应能力得到了优化，同时还进行了多项生活质量改进，以简化工作流程并提高效率。这些更新使 Dev Console 更加用户友好，增强了所有用户的入门和日常操作。

亮点之外：Elastic 8.16 的其他值得关注的更新

除了主要功能外，Elastic 8.16 还带来了众多实用的增强功能，旨在优化性能、简化工作流程并简化管理。

使用事件摄取时间进行更高效的搜索

使用 “event.ingested” 字段根据其摄取日期时间搜索数据的查询现在与使用可搜索快照时使用 “@timestamp” 的查询具有相同的性能提升。这要归功于一项优化，该优化允许根据 “event.ingested” 集群状态中存储的最小值和最大值跳过分片。

数据流最大和默认保留的全局设置

数据流对于随时间高效摄取日志和指标至关重要，而管理数据保留对于保持系统效率和成本效益至关重要。在此版本中，管理员可以访问两个新的全局设置，允许他们定义部署中所有数据流的最大和默认保留期，确保删除过时的数据，同时保持成本可控。

Interval 查询与 span 查询功能相当

Inteval 查询旨在取代 span 查询。它更易于定义；它提供接近度分数；在某些情况下，它的性能更高。这两个查询通常用于法律和专利搜索。在 8.16 中，我们在interval 查询中启用了正则表达式和范围，并将多项 interval 查询（前缀/prefix、通配符/wildcard、模糊/fuzzy、正则表达式/regexp 和范围/range）的最大子句从 128 个增加到可配置参数（与跨度查询使用的参数相同）。

日志分析仪表板面板

使用日志模式分析将日志分组为模式，以加快洞察和解决问题的时间。使用 Elastic 的人工智能 IT 运营 (AIOps) 功能，在几秒钟内处理数千个日志并识别噪音中的信号。借助仪表板内提供的日志模式分析，AIOps 越来越多地嵌入到你的工作流中。过滤模式将相应地调整仪表板的数据，或者选择过滤以在 Discover 中过渡你以进行进一步探索。

直观的 Space 设置

Kibana 8.16 简化了角色分配，允许管理员直接从 Space 设置直观地分配角色和权限。新的 “Permissions” 选项卡可以对单个或多个空间进行高效的角色管理，为访问控制带来用户友好的方法。

支持异常检测中的夏令时 (DST) 变化

在 8.16 中，我们引入了对异常检测中 DST 变化的支持。通过选择正确的时区设置 DST 日历，并将其单独或分组应用于你的异常检测作业，以方便你使用。然后，让你的异常检测模型在未来许多年内无需任何与 DST 相关的干预即可工作。不再因 DST 变化而导致异常检测误报。让你的检测不间断地完成工作。

更多关于这个的描述，请参考文章 “在 Elasticsearch 中顺利管理季节性时间变化”。

文件上传器 PDF 支持

文件上传器提供了一种简单的数据上传方式，可在几秒钟内开始使用 Elastic。现在，你可以从 PDF 文件上传数据，只需单击一下即可前往 Search Playground。使用它可快速获取数据并利用 Elastic 技术。

试试吧！

在发行说明中了解这些功能和更多内容。

现有的 Elastic Cloud Hosted 和 Elastic Cloud Serverless 客户可以直接从 Elastic Cloud 控制台访问其中的许多功能。没有利用云上的 Elastic？开始免费试用。

本文中描述的任何特性或功能的发布和时间均由 Elastic 自行决定。任何当前不可用的特性或功能可能无法按时交付或根本无法交付。

在这篇博文中，我们可能使用或提到了第三方生成 AI 工具，这些工具由其各自的所有者拥有和运营。Elastic 无法控制第三方工具，我们对其内容、操作或使用不承担任何责任，也不对你使用此类工具可能产生的任何损失或损害承担任何责任。将 AI 工具用于个人、敏感或机密信息时，请谨慎行事。你提交的任何数据都可能用于 AI 培训或其他目的。我们无法保证你提供的信息会保持安全或保密。在使用任何生成 AI 工具之前，你应该熟悉其隐私惯例和使用条款。

Elastic、Elasticsearch、ESRE、Elasticsearch Relevance Engine 及其相关标志是 Elasticsearch N.V. 在美国和其他国家/地区的商标、徽标或注册商标。所有其他公司和产品名称均为其各自所有者的商标、徽标或注册商标。

原文：Elasticsearch and Kibana 8.16: Kibana gets contextual and BBQ speed and savings! | Elastic Blog

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2240680.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

HarmonyOS Next星河版笔记--界面开发（5）

HarmonyOS Next星河版笔记--界面开发（5）

1.字符串 1.1.字符串拼接 作用&#xff1a;把两个或多个字符串&#xff0c;拼成一个字符串。&#xff08;通常是用来拼接字符串和变量&#xff09; hello world > helloworld 加好作用&#xff1a;拼接 let name:string 小明 console.log(简介信息,名字是 name) …
阅读更多...
kafka中topic的数据抽取不到hdfs上问题解决

kafka中topic的数据抽取不到hdfs上问题解决

在上一个博客中有一个案例&#xff1a; 将json文件抽取到kafka的消息队列&#xff08;topic&#xff09;中&#xff0c;再从topic中将数据抽取到hdfs https://blog.csdn.net/qq_62984376/article/details/143759037?spm1001.2014.3001.5501 我们在从kafka中topic的数据抽到hdf…
阅读更多...
scala中的case class

scala中的case class

package test_27 //Set的特点&#xff1a;唯一&#xff08;元素不同&#xff09;&#xff1b;无序 //case class定义一组数据 case class Book(var bookName:String,var author:String,var price:Double){} object caseclass {def main(args: Array[String]): Unit {//定义一个…
阅读更多...
【Excel】数据透视表分析方法大全

【Excel】数据透视表分析方法大全

数据透视表的最常用的功能是分类汇总&#xff0c;其实它还有很强大的数据分析功能。在数据透视表右键菜单的值显示方式中&#xff0c;可以看到有14个很实用的分析选项。 1、总计的百分比 作用&#xff1a;透视表中每一个数字&#xff08;包括汇总行、总计行&#xff09;占右…
阅读更多...
交互新体验：Axure动态面板下的图片拖动技巧

交互新体验：Axure动态面板下的图片拖动技巧

交互新体验&#xff1a;Axure动态面板下的图片拖动技巧 前言 在数字产品的设计过程中&#xff0c;用户体验的每一个细节都至关重要。 动态交互效果&#xff0c;如拖动按钮控制图片展示区域&#xff0c;不仅能够提升用户的参与度&#xff0c;还能增强界面的直观性和互动性。 …
阅读更多...
批量将MySQL中的MyISAM引擎，改成InnoDB引擎

批量将MySQL中的MyISAM引擎，改成InnoDB引擎

一、InnoDB和MyISAM的区别 MySQL中InnoDB和MyISAM是两种常用的存储引擎&#xff0c;具有以下不同的特点&#xff1a; 序号InnoDBMyISAM说明事务支持支持不支持InnoDB可以处理更复杂的业务逻辑&#xff0c;而MyISAM在处理大量并发写入时可能会遇到问题‌锁定机制行级锁定表级锁…
阅读更多...
力扣经典面试题

力扣经典面试题

1.本题的目标是判断字符串ransomNote是否由字符串magazine中的字符构成&#xff0c;且由magazine中的每个字符只能在ransomNote中使用一次 2.采用的方法是通过一个字典cahr_countl来统计magazine字符串中每个字符出现的次数 3.然后遍历ransomNote字符串&#xff0c;对于其中的…
阅读更多...
灵神 刷题DAY1

灵神 刷题DAY1

Python与java的刷题的区别 1. Python没有分号 2. Python不能return的时候赋值 3. Python没有小括号和花括号 4. Python的循环很奇怪&#xff0c;没有for(int i0;i<32;i)这种形式 而是直接用的是for i in range(n)这种 5. Python中没有 6. Python中没有&& 是an…
阅读更多...
Servlet三小时速成

Servlet三小时速成

Servlet三小时速成 实例驱动的速成教程。自己敲一遍的话入门还是没问题的。如有错误请读着多多包涵。 Serlet的前辈&#xff1a;CGI 通用网关接口 CGI通过调用外部程序来处理HTTP请求&#xff0c;对于每个请求都会启动一个新的进程。 这就导致了许多问题&#xff0c;首先是…
阅读更多...
Qt主线程把数据发给子线程,主线程会阻塞吗

Qt主线程把数据发给子线程,主线程会阻塞吗

演示&#xff1a; #include <QCoreApplication> #include <QThread> #include <QObject> #include <QDebug>// 子线程类 class Worker : public QObject {Q_OBJECT public slots:void processData(int data) {qDebug() << "Processing dat…
阅读更多...
「QT」文件类 之 QTemporaryFile 临时文件类

「QT」文件类 之 QTemporaryFile 临时文件类

✨博客主页何曾参静谧的博客&#x1f4cc;文章专栏「QT」QT5程序设计&#x1f4da;全部专栏「Win」Windows程序设计「IDE」集成开发环境「UG/NX」BlockUI集合「C/C」C/C程序设计「DSA」数据结构与算法「UG/NX」NX二次开发「QT」QT5程序设计「File」数据文件格式「UG/NX」NX定制…
阅读更多...
探索Python的HTTP利器：Requests库的神秘面纱

探索Python的HTTP利器：Requests库的神秘面纱

文章目录 **探索Python的HTTP利器&#xff1a;Requests库的神秘面纱**一、背景&#xff1a;为何选择Requests库&#xff1f;二、Requests库是什么&#xff1f;三、如何安装Requests库&#xff1f;四、Requests库的五个简单函数使用方法1. GET请求2. POST请求3. PUT请求4. DELET…
阅读更多...
【Java语言】String类

【Java语言】String类

在C语言中字符串用字符可以表示&#xff0c;可在Java中有单独的类来表示字符串&#xff08;就是String&#xff09;&#xff0c;现在我来介绍介绍String类。 字符串构造 一般字符串都是直接赋值构造的&#xff0c;像这样&#xff1a; 还可以这样构造&#xff1a; 图更能直观的…
阅读更多...
jmeter常用配置元件介绍总结之线程组

jmeter常用配置元件介绍总结之线程组

系列文章目录 安装jmeter jmeter常用配置元件介绍总结之线程组 1.线程组(用户)1.1线程组1.1.setUp线程组和tearDown线程组1.2.Open Model Thread Group(开放模型线程组)1.3.bzm - Arrivals Thread Group(到达线程组)1.4.jpgc - Ultimate Thread Group(终极线程组)1.5.jpgc - St…
阅读更多...
电工电子原理笔记

电工电子原理笔记

这一篇手记会记录我硬件开发过程中遇到的一些底层电学原理&#xff0c;并且结合实际场景作为“例题”&#xff08;出于篇幅和保密考虑会进行部分简化&#xff09;。 叠加定理 基本介绍 在线性电路中&#xff0c;任一支路的电流&#xff08;或电压&#xff09;可以看成是电路…
阅读更多...
Python与其他语言比较·练习题 --- 《跟着小王学Python》

Python与其他语言比较·练习题 --- 《跟着小王学Python》

Python与其他语言比较练习题 — 《跟着小王学Python》 《跟着小王学Python》 是一套精心设计的Python学习教程&#xff0c;适合各个层次的学习者。本教程从基础语法入手&#xff0c;逐步深入到高级应用&#xff0c;以实例驱动的方式&#xff0c;帮助学习者逐步掌握Python的核心…
阅读更多...
STM32 使用 STM32CubeMX HAL库实现低功耗模式

STM32 使用 STM32CubeMX HAL库实现低功耗模式

STM32 使用 HAL 库的低功耗模式测试使用 ...... 矜辰所致前言 上次画了一个 STM32L010F4 最小系统的板子&#xff0c;也做了一些基本测试&#xff0c;但是最重要的低功耗一直拖到现在&#xff0c;以前在使用 STM32L151 的时候用标准库做过低功耗的项目&#xff0c;现在都使…
阅读更多...
接口自动化代码编写规范

接口自动化代码编写规范

命名规范 文件命名&#xff1a;测试文件应该以 test_ 开头&#xff0c;以 _test.py 结尾&#xff0c;例如&#xff1a;test_my_module_test.py。 函数命名&#xff1a;测试函数应该以 test_ 开头&#xff0c;描述清楚被测试的功能或行为&#xff0c;使用下划线分隔单词&#…
阅读更多...
ESLint 使用教程（四）：ESLint 有哪些执行时机？

ESLint 使用教程（四）：ESLint 有哪些执行时机？

前言 ESLint 作为一个静态代码分析工具&#xff0c;可以帮助我们发现和修复代码中的问题&#xff0c;保持代码风格的一致性。然而&#xff0c;ESLint的最佳实践不仅仅在于了解其功能&#xff0c;更在于掌握其执行时机。本文将详细介绍ESLint在不同开发阶段的执行时机&#xff…
阅读更多...
Leetcode 存在重复元素II

Leetcode 存在重复元素II

这段代码的算法思想可以用以下步骤来解释&#xff1a; 算法思想 使用哈希表&#xff08;HashMap&#xff09;存储每个元素的索引&#xff1a; 遍历数组 nums 时&#xff0c;使用一个 HashMap 来记录每个元素的值和它的索引位置。这样可以快速查找之前出现过的相同元素的索引。…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023