Elasticsearch：可配置的推理 API 端点分块设置

news2025/4/21 8:25:28

作者：来自 Elastic Daniel Rubinstein

Elasticsearch 开放推理 API 现已支持可配置的分块，以便在文档摄取时处理语义文本字段。

Elasticsearch 推理 API 允许用户利用各种提供商的机器学习模型执行推理操作。其中一个常见用例是在索引中支持用于语义搜索的语义文本字段。随着文档数据量的增加，对整个数据创建嵌入可能会导致结果不够准确。此外，一些推理模型对可处理的输入大小有限制。因此，推理 API 采用了一种称为分块（chunking）的处理方式，将摄取到索引的大型文档拆分为较小且更易管理的子部分，即 “块”（chunks）。然后对每个块单独运行推理操作，并将推理结果存储在索引中。

在本篇博客中，我们将介绍分块策略，解析 Elasticsearch 如何进行文本分块，并讲解如何为推理端点配置分块设置。

更多阅读：

Elasticsearch：为推理端点配置分块设置
Elasticsearch：检索增强生成背后的重要思想

可配置的分块设置是什么？

从 8.16 版本开始，用户可以从两种分块策略中进行选择，每种策略都具备可配置的属性。

基于单词的分块策略

用户可配置的参数：

（必需）max_chunk_size：单个块的最大单词数。
（必需）overlap：相邻块之间的重叠单词数。
注意：此值不能超过 max_chunk_size 的一半。

基于单词的分块策略会根据 max_chunk_size 限制，将输入数据拆分成多个块，每个块最多包含指定数量的单词。此策略会尽可能填充一个块达到最大大小后再创建下一个块，除非已处理完整个输入数据。从第二个块开始，每个新块都会包含一部分来自前一个块的单词，其数量由 overlap 参数决定。
这种重叠的目的在于提高推理精度，防止关键上下文因分块而被切断，从而影响推理结果。

基于句子的分块策略

用户可配置的参数：

（必需）max_chunk_size：单个块的最大单词数。
（必需）sentence_overlap：相邻块之间的重叠句子数。
注意：此值只能设置为 0 或 1。

基于句子的分块策略会按照完整句子拆分输入数据。每个块仅包含完整的句子，除非某个句子超过 max_chunk_size，此时它会被拆分到多个块中。从第二个块开始，每个新块都会包含一部分来自前一个块的句子，其数量由 sentence_overlap 参数决定。

注意：

如果在 8.16 之后创建推理端点时未提供分块设置，默认使用基于句子的策略，max_chunk_size 为 250，sentence_overlap 为 1。
对于 8.16 之前创建的推理端点，默认使用基于单词的策略，max_chunk_size 为 250，overlap 为 1。

如何选择分块策略？

没有通用的最佳分块策略，最适合的策略取决于要处理的文档、使用的模型以及计算资源的限制。建议对部分数据集进行测试，尝试不同的分块策略、块大小和重叠参数，并观察它们对数据摄取时间、搜索延迟、查询结果相关性的影响。例如，可以对不同的块重叠和长度进行参数扫描，并测量其对性能的影响。

以下是一些选择分块策略时的基本原则：

选择分块策略

基于句子的分块策略能有效减少上下文信息的丢失，但由于它优先保持句子的完整性，因此可能会生成更多块，增加存储和计算成本。
基于单词的分块策略可以优化块的填充效率，通常生成更少的块，提高数据摄取和搜索的效率。

选择合适的块大小

选择块大小时，应尽量减少将有价值的上下文信息拆分到不同的块中，同时保持块内部的主题一致性。
通常，接近模型最大支持序列长度的块大小效果更好，但较长的块可能包含多个主题，降低检索的精准度。

选择合适的块重叠

较大的重叠值（最多可达块长度的一半）有助于提高检索质量，因为它减少了上下文信息的丢失。
但重叠越大，生成的块数量也会增加，导致存储和计算成本上升。因此，选择合适的重叠值需要在检索质量和计算资源之间权衡。

Elasticsearch 如何对文本进行分块？

Elasticsearch 使用 ICU4J 库 来检测单词和句子的边界。

单词边界识别

并不仅依赖空格字符来划分单词，而是遵循一系列规则来确定单词边界。
对于不使用空格的语言（如中文、日文），Elasticsearch 使用词典查找方法来识别单词边界。

句子边界识别

并不仅依赖句号（"."）等标点符号来确定句子边界，而是遵循更复杂的句子划分规则。
这可以确保不同语言的句子边界都能被准确识别，即使句子结构和断句方式不同。

额外的上下文信息

在某些情况下，简单的分块策略可能无法保留长距离的上下文信息。
如果计算资源允许，可以为块添加额外的生成式上下文，以增强理解和检索质量。
具体方法和讨论请参考这个讨论。

如何为推理端点配置分块设置？

前置要求

在配置分块设置之前，请确保满足以下条件：

持有有效的企业许可证（enterprise license）。
对于连接到第三方集成的推理端点，需设置必要的访问权限（如创建账户、获取 API 密钥等）。

在本指南中，我们将使用 Elastic 的 ELSER 模型 来配置推理端点的分块设置，因此唯一的要求是拥有有效的企业许可证。如果要为第三方集成创建推理端点，请参考 create inference endpoint API 文档获取相关信息。

步骤 1：在推理端点创建时配置分块设置

client.inference.put(
	task_type="sparse_embedding",
	inference_id="my_elser_endpoint",
	body={
"service": "elasticsearch",
    		"service_settings": {
	"num_allocations": 1,
			"num_threads": 1,
			"model_id": ".elser_model_2"
  		},
		"chunking_settings": {
			"strategy": "sentence",
			"max_chunk_size": 25,
			"sentence_overlap": 1
		}
	}
)

步骤 2：将推理端点链接到索引中的 semantic text 字段

client.indices.create(
index="my_index",
mappings={
    		"properties": {
        		"infer_field": {
            			"type": "semantic_text",
            			"inference_id": "my_elser_endpoint"
        		}
    		}
	}
)

步骤 3：将文档摄取到索引

使用 Index Document API 将文档摄取到索引：

client.index(index="my_index", document={
	"infer_field": "This is some sample document data. The data is being used to demonstrate the configurable chunking settings feature. The configured chunking settings will determine how this text is broken down into chunks to help increase inference accuracy."
})

生成的块及其相应的推理结果可以在索引中的文档下的 _inference_fields 元字段的 chunks 键中找到。要查看存储的块，可以使用搜索 API 查找索引中的所有文档：

client.search(index="my_index", body = {
    	'size' : 100,
    	'query': {
        	'match_all' : {}
    	},
       'fields': [ '_inference_fields' ]
})

在响应中可以看到这些块。在 8.18 之前，块是作为完整的文本值存储的。从 8.18 开始，块作为字符偏移值的列表存储：

...
'chunks': {
	'infer_field': [
    	{'start_offset': 0, 'end_offset': 117, 'embeddings':[...]},
    	{'start_offset': 34, 'end_offset': 198, 'embeddings':[...]},
    	{'start_offset': 120, 'end_offset': 242, 'embeddings':[...]}
	]
}
...