Elastcsearch：通过 Serverless 提供更多服务

作者：Ken Exner

人们使用 Elasticsearch® 解决最大数据挑战的方式一直令我们感到惊讶。从超过 40 亿次下载、70,000 次提交、1,800 名贡献者以及我们全球社区的反馈中可以清楚地看出这一点。 Elastic® 在广泛的用例中发挥的作用促使我们简化复杂性，让搜索变得更容易，并充分利用我们所有的解决方案。这就是为什么我们很高兴能够通过新的无服务器 (serverless) 架构扩展 Elasticsearch 的可能性。它简化了运营职责，将 Elasticsearch 著名的高速性能扩展到可扩展的对象存储，并通过专门构建的搜索、可观察性和安全性产品体验简化了工作流程。这是将 Elastic 与我们现有的本地部署和 Elastic Cloud 部署一起使用的新方式。

只需携带你的数据，其余的均由 serverless 完成

当我们思考下一个十年时，我们认识到需要更简单的用户体验，同时仍能提供闪电般的性能。我们知道许多 Elastic 用户希望完全控制部署和扩展，但其他用户则希望更加简单。 SOC 分析师希望保护他们的组织，而不是通过扩展分片来更好地检测威胁。开发人员希望构建搜索应用程序，而不是调整基础设施以实现更快的查询。 SRE 希望确保在线可靠性，而不是通过设置配置来帮助最大限度地减少停机时间。我们可能喜欢管理集群，但你不必这样做！ Elastic 的 serverless 架构消除了运营责任，因此你可以告别管理集群、配置分片、扩展和设置 ILM。只需携带你的数据和查询，平台就会处理所有扩展和管理。

厌倦了听到这样的说法：你无法通过更长的数据保留期实现更快的可扩展性，同时仍能平衡成本并降低复杂性？好吧，现在你可以了。对于许多工作负载来说，规模和速度都很重要 —— 无论是调查 SolarWinds 等驻留时间较长的威胁，确定数百个服务中断的根本原因，还是使用向量搜索通过检索增强生成来为生成型 AI 工作负载提供动力。

这就是为什么我们的 serverless 架构基于重新设计和重新构想的 Elasticsearch，它完全将计算与存储解耦并依赖于对象存储。云对象存储提供了经济高效的可扩展性，但会带来延迟，需要新技术来提高速度。值得庆幸的是，我们在优化 Elasticsearch 和 Lucene 索引数据结构以实现高效缓存方面拥有多年的经验，再加上增强的查询时间并行化，克服了这一延迟挑战。这意味着你可以通过内置控件享受速度和规模，轻松平衡速度和成本。

面向未来的新 Elastic 架构

Elastic 的新 serverless 架构标志着 Elasticsearch 的重大重新设计。它旨在利用最新的云原生服务，并通过无忧管理提供优化的产品体验。它提供数据湖的存储容量，但具有与 Elasticsearch 相同的快速搜索性能，以及无需干预的集群管理和扩展的操作简单性。该架构基于四个关键原则：

计算和存储解耦
单独的搜索层和索引层
作为记录系统的廉价对象存储
低延迟查询

存储与计算完全解耦

为了简化集群拓扑，计算和存储现在完全解耦。 Elasticsearch 目前提供各种数据层（热、温、冷和冻结），以更好地使数据与硬件要求保持一致。在无服务器架构中，存储和计算的解耦使得数据分层变得过时，从而使操作更加简单。例如，serverless 将热层和冻结层合并在一起：冻结层索引可以存储大量搜索频率较低的数据，但与热层类似，这些数据可以随时更新和快速查询。

此外，还有简单的控制来平衡搜索性能和存储成本效率。这支持快速可靠地独立扩展任何工作负载，而不会影响性能。

单独的索引和搜索层

Elastic 的无服务器架构不依赖主实例和副本实例来管理多个工作负载，而是支持不同的索引和搜索层。这种分离意味着可以独立扩展工作负载，并且可以针对每个用例选择和优化硬件。

此外，这种方法还有效解决了搜索和索引工作负载相互干扰这一长期存在的问题。这使得优化任何搜索用例或工作负载的性能和支出变得更加容易。此属性对于希望防止大量搜索中断索引操作的大容量日志记录和安全用户，以及希望使用大量索引时间功能以获得更好的相关性和搜索性能而不影响其搜索性能的搜索用户非常重要。

经济实惠的对象存储

Serverless 架构依靠廉价的对象存储来实现更大的规模，同时降低存储成本。通过利用对象存储来实现持久性，Elasticsearch 不再需要将索引操作复制到一个或多个副本来实现持久性，从而减少索引成本和数据重复。相反，段通过对象存储进行持久化和复制。这可以提高满足各种要求的效率。例如，它通过最大限度地减少本地磁盘上存储的数据来降低索引层的存储费用。 Serverless 架构直接索引到对象存储，因此只有一小部分保留为本地数据。对于仅追加操作的场景，只需要保留特定的元数据来建立索引，从而大大减少索引所需的本地存储空间。

大规模低延迟查询

对象存储可以支持大量数据，但不以速度或低延迟而闻名。那么 Elastic 如何使用对象存储并保持良好的查询性能呢？好吧，我们引入了一些新功能来提供快速的性能。段级查询并行化可减少从对象存储检索数据时的延迟。当数据不在本地缓存中时，这使得更多请求能够快速推送到 S3 等对象存储。通过可重用性和利用每种数据类型的最佳 Lucene 索引格式，缓存也变得 “更加智能”。这些只是一些新颖的功能，这些功能可以显着提高对象存储和缓存层的性能。

使用 serverless 上的专用产品更智能地工作

我们还借此机会为无服务器架构构建定制产品，以实现搜索、可观察性和安全性。目的是通过简化的用户体验来优化每个工作流程的独特需求。这包括更快、持续的入门、更紧密的功能集成以及针对每个用例的工作优化自定义界面。每个产品的显着亮点包括：

搜索 (Search)：无服务器搜索体验的重点是确保开发人员能够快速、轻松地创建开箱即用的卓越搜索体验。 API 是最前沿和中心的位置，并结合了将数据引入 Elasticsearch 的简单方法。这些管道已经过简化，可以快速完成转型和其他任务。创建了 Java、.NET、Python 等新语言客户端，以减少初始学习曲线和完成任务所需的步骤，以及内联文档，共同创建简化的开发人员体验，帮助开发人员更快地获得价值。

可观察性 (Observability)：无服务器的可观察性使站点可靠性工程师能够专注于对他们来说重要的事情 - 确保其系统和应用程序的可靠性。实现价值的时间是一个关键原则，简化的日志登录体验可简化数据摄取流程，而机器学习/AIOps 可帮助 SRE 快速识别异常行为并快速找到根本原因。核心组件是新的托管接收服务，它可以轻松接受、处理和索引 OpenTelemetry 和 Elastic APM 数据。这些服务建立在多租户架构之上，可自动扩展以满足现代云原生可观测性的需求，并进行全面管理以始终确保可靠性和弹性。

安全性 (Security)：serverless 的安全性围绕着新的持续入门，引导用户获取安全日志、查看仪表板、启用检测规则和调查警报。内置的 “进度跟踪器” 专为优化特定用例而定制，包括安全分析/SIEM、端点安全和云安全。以安全为中心的导航使所有与安全相关的功能触手可及。每个安全项目都启用了 Elastic Security 机器学习功能。例如，基于机器学习的异常检测可用于自动检测规则或基于假设的威胁搜寻。为所有摄取的数据提供策划和临时调查和探索。