实时日志与发展：Elasticsearch 推出全新专用的 logsdb 索引模式

news2024/12/14 18:42:23

作者：来自 Elastic Mark Settle, George Kobar 及 Amena Siddiqi

Elastic 最新发布的 logsdb 索引模式是专为日志管理优化的功能，旨在提升日志数据的存储效率、查询性能以及整体可用性。这个模式专注于满足现代日志处理需求，提供更高效的日志分析体验，同时保持 Elasticsearch 的灵活性和强大能力。

更多阅读 “Observability：Elasticsearch 新的索引 mode: Logsdb 初体验”。

Elasticsearch 的新索引模式 logsdb 可将日志存储需求减少高达 65%

今天，我们宣布 Elasticsearch 的新索引模式 logsdb 正式发布，与不带 logsdb 的 Elasticsearch 最新版本相比，该模式可将日志数据的存储空间减少高达 65%。这一显著改进使可观察性和安全性团队能够在不超出预算的情况下扩大可见性，同时保持所有数据可立即访问以供分析。

Logsdb 优化了数据的排序，通过使用 synthetic _source 动态重建未存储的字段值来消除重复，并通过高级算法和编解码器提高压缩率，利用 Elasticsearch 中的列式存储实现高效的日志存储和检索。

使用 logsdb 索引模式提高存储效率，增强分析能力并降低成本

日志为检测和修复可观察性和安全性问题提供了关键信号 — 随着人工智能的进步简化了基于文本的数据的分析，日志的实用性也在不断提高 — 因此高效的存储和高性能的访问比以往任何时候都更加重要。

不幸的是，基础设施和应用程序生成的日志量不断增长，导致成本上升，迫使人们做出妥协，从而阻碍分析：限制收集、减少保留或将新数据降级到孤立的存档层。

Logsdb 直接解决了这些挑战。通过更高的存储效率，你可以收集更多数据并避免复杂的数据过滤麻烦。你可以保留更长时间的日志以支持威胁搜寻、事件响应和合规性要求。而且由于所有数据始终可搜索，因此无论你的数据集增长到多大，你都可以快速获得见解。

Logsdb 索引模式背后的技术创新

Logsdb 索引模式通过智能索引排序、synthetic _source 和高级压缩大大减少了日志数据的磁盘占用空间。与不带 logsdb 的最新版本 Elasticsearch 相比，实施它可以将日志存储需求减少多达 65%。虽然 logsdb 目前在索引过程中使用更多 CPU，但其高效的存储可降低大多数客户的总体成本。对于需要长期保留的客户，我们预计总拥有成本 (total cost of ownership - TCO) 可降低多达 50%。

智能索引排序可将存储效率提高多达 30%，并通过将相似的数据放在一起来减少某些日志数据集的查询延迟。默认情况下，它按 host.name 和 @timestamp 对索引进行排序。如果你的数据有更合适的字段，你可以改为指定它们。

高级压缩通过 Zstandard 压缩 (Zstd)、增量编码、运行长度编码和其他自动选择的智能编解码器显著降低了日志等文本密集型数据的存储要求。 Doc-values 以针对压缩和性能进行了优化的列格式存储，可高效存储和检索字段值，以进行排序、聚合和脚本编写。

Synthetic _source 使组织能够通过丢弃 _source 字段并根据需要完全或部分重建它，将存储需求再减少 20-40%。虽然该功能有时需要更多的计算来进行索引和检索，但测试表明它提供了可衡量的净效率改进。Synthetic _source 是基于近两年的生产使用情况和指标而构建的，对日志进行了大量的增强，包括对几乎所有字段类型的支持。

由此产生的存储节省会在整个索引生命周期阶段传播。热层存储减少 65% 将导致暖层、冷层和冻结层的存储同样减少，并减少在存储桶存储中存储快照的占用空间。

不影响可见性：保留所有日志以实现可观察性和安全性

日志是了解基础设施和应用程序状况的基础，为监控和故障排查提供了最简单且最重要的信号。然而，随着日志量的增长，成本也在不断上升。这一挑战迫使用户实施复杂的过滤和管理策略、过早删除数据，并将相关日志存储在需要一天或更长时间才能重新加载分析的存储中。没有完整、易于搜索且随时可用的数据集，查找和解决问题变得更加困难。

Logsdb 索引模式基于突破性的 Elasticsearch 功能（如可搜索快照和自动导入），可解决运营和安全团队的以下痛点：

降低成本：Logsdb 将日志的存储空间减少了多达 65%，使组织能够在保留更多数据的同时降低存储费用。这意味着所有存储层（从热存储到冷存储）的成本节省，以及使用此数据的可观察性和安全性团队的更高生产力。
保存有价值的数据：Logsdb 保留所有日志数据并提高运营效率，而无需依赖额外的工具或复杂的过滤器。借助 synthetic _source 等功能，无需存储整个源文档即可保留数据的价值。
扩展可见性：Logsdb 可在一个平台上高效访问所有数据，无需为可观察性、安全性和历史数据设置单独的孤岛。对于站点可靠性工程师 (SRE)，它通过分析日志以及指标、跟踪和业务数据来加速问题解决。同样，对于安全运营中心 (SOC) 团队，它通过消除盲点来加速调查和补救。
简化数据访问：Logsdb 让 SRE 团队能够高效地保留可操作数据以进行故障排除、趋势分析和分析。同样，SOC 团队可以快速搜索所有数据以进行调查和威胁搜寻，而无需承担高昂的成本。