ElasticSearch学习篇8_Lucene之数据存储（Stored Field、DocValue、BKD Tree）

news2024/7/4 6:21:19

前言

Lucene全文检索主要分为索引、搜索两个过程，对于索引过程就是将文档磁盘存储然后按照指定格式构建索引文件，其中涉及数据存储一些压缩、数据结构设计还是很巧妙的，下面主要记录学习过程中的StoredField、DocValue以及磁盘BKD Tree的一些相关知识。

参考：

  • https://juejin.cn/post/6978437292549636132
  • https://juejin.cn/user/2559318800998141/posts
  • Lucene 原理与代码分析完整版.pdf
  • https://lucene.apache.org/core/9_9_0/core/org/apache/lucene/codecs/lucene99/package-summary.html#package.description
  • 美团外卖搜索基于 Elasticsearch 的优化实践

目录

  • Lucene数据分类
  • Lucene字段存储

1、Lucene数据分类

在Lucene中索引数据存储的逻辑层次有多个层次，从大到小依次是

  • index：索引代表了一类数据的完整存储
  • segment: 一个索引可能有一个或者多个段构成
  • doc: segment中存储的是一篇一篇的文档doc，每个segment是一个doc的集合
  • field: 每个doc都有多个field构成，filed才包含了具体的文本，类似于一个json对象的一个属性
  • term: 每个field的值可以进行分词，进而得到多个term，term是最基本的单元，每个field可以保存自己的词向量，用来计算搜索相似度

按照数据的维度整个Lucene把需要处理的数据分为这么几类

  1. PostingList,倒排表，也就是term->[doc1， doc3, doc5]这种倒排索引数据
  2. BlockTree, 从term和PostingList的映射关系，这种映射一般都用FST这种数据结构来表示，这种数据结构其实是一种树形结构，类似于Tire树，所以Lucene这里就叫BlockTree， 其实我更习惯叫它TermDict。
  3. StoredField ，一般类型的field原始数据存储。
  4. DocValue 键值数据，这种数据主要用于数值、日期类型的field，是用来加速对字段的排序、筛选的，列式存储。
  5. TermVector词向量信息，主要记一个不同term的全局出现频率等信息，用于score，如搜索的str会被分为一个个term，然后会被转为指定维度的向量，存储文档维护索引会根据当前文档、所有文档中term出现的频率以得到一个当前term的权重创建一个对应的指定维度的向量，然后就计算查询相关性score。
  6. Norms用来存储Normalisation信息， 比如给某些field加权之类的。
  7. PointValue 用来加速 range Query的信息。

一个段索引维护的数据，Lucene9_9_0版本https://lucene.apache.org/core/9_9_0/core/org/apache/lucene/codecs/lucene99/package-summary.html#package.description

  • Segment info. This contains metadata about a segment, such as the number of documents, what files it uses, and information about how the segment is sorted。其中包含有关片段的元数据，例如文档数量、它使用的文件以及有关片段排序方式的信息
  • Field names. This contains metadata about the set of named fields used in the index.包含文档fields的元数据以及名称。
  • Stored Field values. This contains, for each document, a list of attribute-value pairs, where the attributes are field names. These are used to store auxiliary information about the document, such as its title, url, or an identifier to access a database. The set of stored fields are what is returned for each hit when searching. This is keyed by document number.以文档ID作为key，存储当前文档的fields键值对。
  • Term dictionary. A dictionary containing all of the terms used in all of the indexed fields of all of the documents. The dictionary also contains the number of documents which contain the term, and pointers to the term’s frequency and proximity data.包含所有文档的所有索引字段中使用的所有term的字典。该词典还包含包含该term的文档数量，以及指向该术语的频率和邻近数据的指针。
  • Term Frequency data. For each term in the dictionary, the numbers of all the documents that contain that term, and the frequency of the term in that document, unless frequencies are omitted (IndexOptions.DOCS)。term在当前文档出现的频率以及在全部文档出现的频率，主要用于score得分，比如term在当前文档出现的频率最高，在所有文档出现的频率最低，那么搜索该term在该文档中搜索得分高。
  • Term Proximity data. For each term in the dictionary, the positions that the term occurs in each document. Note that this will not exist if all fields in all documents omit position data。term出现在所有文档的位置，可省略。
  • Normalization factors. For each field in each document, a value is stored that is multiplied into the score for hits on that field.计算相关性score的时候可为某些field字段乘以一个系数。
  • Term Vectors. For each field in each document, the term vector (sometimes called document vector) may be stored. A term vector consists of term text and term frequency. To add Term Vectors to your index see the Field constructors。每一个文档的每一个field会有一个term向量，主要根据term出现的频率计算出来，用于搜索的score分值计算。
    • TextField: Reader or String indexed for full-text search。用于全文搜索。
    • StringField: String indexed verbatim as a single token
    • IntPoint: int indexed for exact/range queries.
    • LongPoint: long indexed for exact/range queries.
    • FloatPoint: float indexed for exact/range queries.
    • DoublePoint: double indexed for exact/range queries.
    • SortedDocValuesField: byte[] indexed column-wise for sorting/faceting，按列索引，用于排序
    • SortedSetDocValuesField: SortedSet<byte[]> indexed column-wise for sorting/faceting
    • NumericDocValuesField: long indexed column-wise for sorting/faceting
    • SortedNumericDocValuesField: SortedSet indexed column-wise for sorting/faceting
    • StoredField: Stored-only value for retrieving in summary results。仅存储值。
  • Per-document values. Like stored values, these are also keyed by document number, but are generally intended to be loaded into main memory for fast access. Whereas stored values are generally intended for summary results from searches, per-document values are useful for things like scoring factors.类似StoreField，可以更快加载到内存访问，用于搜索的摘要结果，但是每个文档的值对于评分因素有很大的影响。
  • Live documents. An optional file indicating which documents are live.一个可选文件，指定哪些文档是实时的。主要用于段数据删除时候，在段外部维护一个状态记录段的最新状态。
  • Point values. Optional pair of files, recording dimensionally indexed fields, to enable fast numeric range filtering and large numeric values like BigInteger and BigDecimal (1D) and geographic shape intersection (2D, 3D).可选的一对文件，记录维度索引字段，以启用快速数值范围过滤和大数值，例如 BigInteger 和 BigDecimal (1D) 以及地理形状交集（2D、3D）。
  • Vector values. The vector format stores numeric vectors in a format optimized for random access and computation, supporting high-dimensional nearest-neighbor search.

按照数据存储的方向维度可以分为

  • 一般存储形式：按层次保存了从索引，一直到词的包含关系：索引(Index) –> 段(segment) –> 文档 (Document) –> 域(Field) –> 词(Term) ，层次结构，则每个层次都保存了本层次的信息以及下一层次的元信息。如StoredFileld、DocValue存储形式。
  • 反向存储形式：如倒排索引（PostingList + BlockTree）数据存储形式。

2、Lucene存储文件

一个索引相关的存储文件对应一个文件夹，一个段的所有文件都具有相同的名称和不同的扩展名。扩展名对应于下面描述的不同文件格式。当使用复合文件格式时（小段的默认格式），这些文件（段信息文件、锁定文件和文件夹文档文件除外）将折叠为单个.cfs文件。

  • Segments info：多个段文件名永远不会重复使用。也就是说，当任何文件保存到目录时， 以前从未使用过的文件名。这是使用简单的生成方法实现的。比如说， 第一个段文件是segments_1，然后是segments_2，依此类推。生成是连续的长 以字母数字（以36为基数）形式表示的整数。主要保存段的元信息，segments_N 保存了此索引包含多少个段，每个段包含多少篇文档，实际的数据信息保存在field和词中的。
  • Write.lock：写锁默认存储在索引目录中，名为“write.lock”。如果锁目录与索引目录不同，则写锁将被命名为“XXXX-write.lock”，其中“”是从索引目录的完整路径导出的唯一前缀。如果存在此文件，则表示编写者正在修改索引（添加或删除文档）。这个锁文件确保一次只有一个writer修改索引。
  • Fields、Field Index 、Field Data：This is keyed by document number.也就是上面说的一般存储形式，保存了此段包含了多少个field，每个field的名称及索引方式以及数据。
  • Term Vector Index、Term Vector Data：当你将字段设置为存储Term Vector时，Lucene会提取出该字段中每个词项的相关信息，并将其存储到倒排索引中。这样可以在搜索时不仅找到包含关键词的文档，还能得知每个关键词在文档中的频率和位置。因为不仅要根据倒排索引找到文档ID，还需要计算文档的相关性得分，会存储当前文档全部term的频率、位置信息，为了下一步也就是根据文档内全部的term的频率信息计算下面的vector value。
  • Vector values：根据每个文档的所有term vector data数据，为每个文档计算出一个指定的相关性vector values，然后在跟query vevtor计算相关性score。

企业微信截图_8914cb9a-4d36-4b25-b5b0-f6fcb58a9e92.png

3、Lucene数据存储

ps：学习分析Lucene版本为9_9_0

3.1、StoredField

In Lucene, fields may be stored, in which case their text is stored in the index literally, in a non-inverted manner. Fields that are inverted are called indexed. A field may be both stored and indexed.

保存字段属性信息的，过程主要关注各数据类型是如何存储的？ 最终写入索引是如何压缩的？Lucene的field数据类型有下面几大类

  • int
  • long
  • Float
  • Double
  • String
  • bytes
3.1.1、int

// TODO

3.1.2、long
3.1.3、Float
3.1.4、Double
3.1.5、String
3.1.6、bytes

3.2、DocValue

用于倒排查找的数据，加速筛选和排序的，主要关注

  • DocValue 的类型有哪些？SortedNumericDocValue?SortedSet?应用场景等。
  • DocValue是如何存储的？

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1317758.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

【数据挖掘 | 相关性分析】Jaccard相似系数详解、关于集合的相关性（详细案例、附完详细代码实现和实操、学习资源）

【数据挖掘 | 相关性分析】Jaccard相似系数详解、关于集合的相关性（详细案例、附完详细代码实现和实操、学习资源）

&#x1f935;‍♂️ 个人主页: AI_magician &#x1f4e1;主页地址&#xff1a; 作者简介&#xff1a;CSDN内容合伙人&#xff0c;全栈领域优质创作者。 &#x1f468;‍&#x1f4bb;景愿&#xff1a;旨在于能和更多的热爱计算机的伙伴一起成长&#xff01;&#xff01;&…
阅读更多...
《opencv实用探索·二十》点追踪技术

《opencv实用探索·二十》点追踪技术

前言&#xff1a; 在学习点追踪技术前需要先了解下光流发追踪目标&#xff0c;可以看上一章内容&#xff1a;光流法检测运动目标 如果以光流的方式追踪目标&#xff0c;基本上我们可以通过goodFeaturesToTrack函数计算一系列特征点&#xff0c;然后通过Lucas-Kanade算法进行一…
阅读更多...
Java智慧工地源码，智慧工地管理平台的技术架构和工作原理

Java智慧工地源码，智慧工地管理平台的技术架构和工作原理

智慧工地管理平台是将互联网的理念和技术引入建筑工地&#xff0c;从施工现场源头抓起&#xff0c;最大程度的收集人员、安全、环境、材料等关键业务数据&#xff0c;依托物联网、互联网&#xff0c;建立云端大数据管理平台&#xff0c;形成“端云大数据”的业务体系和新的管理…
阅读更多...
考虑使用自定义的序列化形式

考虑使用自定义的序列化形式

在Java中&#xff0c;有时候我们可能需要考虑使用自定义的序列化形式&#xff0c;以满足特定的需求或优化序列化过程。这通常涉及到实现Serializable接口的类&#xff0c;并自定义writeObject和readObject方法。以下是一个简单的例子&#xff0c;演示了如何使用自定义的序列化形…
阅读更多...
货物数据处理pandas版

货物数据处理pandas版

1求和 from openpyxl import load_workbook import pandas as pddef print_hi(name):# Use a breakpoint in the code line below to debug your script.print(fHi, {name}) # Press CtrlF8 to toggle the breakpoint.# Press the green button in the gutter to run the scr…
阅读更多...
vue中2种取值的方式

vue中2种取值的方式

1.url是这种方式的&#xff1a;http://localhost:3000/user/1 取得参数的方式为&#xff1a;this.$route.params.id 2.url为get方式用&#xff1f;拼接参数的&#xff1a;http://localhost:3000/user?phone131121123&companyId2ahttp://localhost:3000/ 取得参数值的方式…
阅读更多...
HTTP代理神器Fiddler的配置

HTTP代理神器Fiddler的配置

HTTP代理神器Fiddler Fiddler的简介 Fiddler是位于客户端和服务器端之间的代理&#xff0c;也是目前最常用的抓包工具之一 。它能够记录客户端和服务器之间的所有 请求&#xff0c;可以针对特定的请求&#xff0c;分析请求数据、设置断点、调试web应用、修改请求的数据&#…
阅读更多...
不是生活有意思，是你热爱生活它才有意思

不是生活有意思，是你热爱生活它才有意思

明制汉服的设计 同样是一款很重工的外套 细节上也是做到了极致 顺毛毛呢面料 领口袖口拼接仿貂毛环保毛条 前胸欧根纱刺绣圆形布 袖子贴民族风珠片刺绣织带 门襟搭配金属子母扣&#xff0c;真盘扣设计 时尚经典&#xff0c;搭配马面裙孩子穿上 真的很有气质奢华富贵 …
阅读更多...
Android hwcomposer服务启动流程

Android hwcomposer服务启动流程

Android hwcomposer服务启动流程 客户端 binder远程调用 服务端 surfaceflinger --binder--> hwcomposer .hal文件编译时生成支持binder进程间远程调用通信的cpp文件 在out/soong/.intermediates/hardware/interfaces/graphics/composer/2.1/ 目录下找…
阅读更多...
时序预测 | Python实现GRU电力需求预测

时序预测 | Python实现GRU电力需求预测

时序预测 | Python实现GRU电力需求预测 目录 时序预测 | Python实现GRU电力需求预测预测效果基本描述程序设计参考资料预测效果 基本描述 该数据集因其每小时的用电量数据以及 TSO 对消耗和定价的相应预测而值得注意，从而可以将预期预测与当前最先进的行业预测进行比较。使用该…
阅读更多...
【如何提取React项目中的公共模块，多个项目共用】

【如何提取React项目中的公共模块，多个项目共用】

文章目录 目录 前言 一、创建公共模块 二、初始化公共模块 三、给公共模块添加内容 四、添加对公共模块的依赖 五、使用公共模块里的资源 后记 前言 在工作中经常会遇到这样的需求&#xff0c;有个React项目&#xff0c;代码分为客户端&#xff0c;管理端两份&#xff…
阅读更多...
04 python函数

04 python函数

4.1 函数的快速开发体验 """ 演示&#xff0c;快速体验函数的开发和使用 """#需求&#xff0c;统计字符串的长度&#xff0c;不使用内置函数len()str1 itheima str2 itcast str3 python#定义一个计数的变量 count 0 for i in str1:count 1…
阅读更多...
【高级网络程序设计】Block1总结

【高级网络程序设计】Block1总结

这一个Block分为四个部分&#xff0c;第一部分是Introduction to Threads and Concurrency &#xff0c;第二部分是Interruptting and Terminating a Thread&#xff0c;第三部分是Keep Threads safety&#xff1a;the volatile variable and locks&#xff0c;第四部分是Beyon…
阅读更多...
RabbitMQ不公平分发问题分析及问题解决

RabbitMQ不公平分发问题分析及问题解决

1.不公平分发 1.1 不公平分发策略是什么&#xff1f; 在 RabbitMQ 中&#xff0c;不公平分发&#xff08;Unfair Dispatch&#xff09;是指当多个消费者&#xff08;Consumers&#xff09;同时订阅同一个队列&#xff08;Queue&#xff09;时&#xff0c;消息的分发机制是不公…
阅读更多...
把文化注入品牌，五粮液荣获“全国企业文化优秀成果特等奖”

把文化注入品牌，五粮液荣获“全国企业文化优秀成果特等奖”

执笔 | 萧 萧 编辑 | 扬 灵 12月15日&#xff0c;以“塑造优秀企业文化&#xff0c;凝聚企业发展力量”为主题的全国企业文化年会(2023&#xff09;首次在长江首城、中国酒都、中国动力电池之都宜宾盛大举行。 凭借“弘扬和美文化&#xff0c;谱写高质量发展新篇章”成果…
阅读更多...
2018年AMC8数学竞赛真题的典型考点和详细解析

2018年AMC8数学竞赛真题的典型考点和详细解析

从战争中学习战争最有效。前几天&#xff0c;六分成长分析了2023年、2022年、2020、2019年的AMC8的典型考题、考点和详细答案解析。今天继续为大家分享2018年的AMC8的五道典型考题。 欢迎您查看历史文章了解之前各年的真题解析&#xff0c;本系列会持续更新&#xff0c;直到大家…
阅读更多...
Linux：进程地址空间

Linux：进程地址空间

目录 1.程序地址空间 2.进程地址空间 1.程序地址空间 我们在讲C/C语言的时候&#xff0c;32位平台下&#xff0c;我们见过这样的空间布局图 我们来验证一下这张图的正确性&#xff1a; int un_gval;int init_gval100;int main(int argc, char* argv[],char* env[]){//代码…
阅读更多...
Nat. Mach. Intell. | 通过深度神经网络联合建模多个切片来构建一个三维全生物体空间图谱

Nat. Mach. Intell. | 通过深度神经网络联合建模多个切片来构建一个三维全生物体空间图谱

今天为大家介绍的是来自Angela Ruohao Wu 和Can Yang团队的一篇论文。空间转录组学&#xff08;ST&#xff09;技术正在革新探索组织空间结构的方式。目前&#xff0c;ST数据分析通常局限于单个二维&#xff08;2D&#xff09;组织切片&#xff0c;这限制了我们理解在三维&…
阅读更多...
【ArkTS】入门

【ArkTS】入门

代码结构分析 struct Index{ } 「自定义组件&#xff1a;可复用的UI单元」 xxx 「装饰器&#xff1a;用来装饰类结构、方法、变量」 Entry 标记当前组件是入口组件&#xff08;该组件可被独立访问&#xff0c;通俗来讲&#xff1a;它自己就是一个页面&#xff09;Component 用…
阅读更多...
【后端学前端】第四天 css动画 垂直轮播效果（css变量、位移缩放动画、动画延迟）

【后端学前端】第四天 css动画 垂直轮播效果（css变量、位移缩放动画、动画延迟）

1、学习信息 视频地址&#xff1a;css动画 垂直轮播效果&#xff08;css变量、位移缩放动画、动画延迟&#xff09;_哔哩哔哩_bilibili 2、源码 <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><title>Title…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023