- 倒排索引
- 文档映射
- 已有字段的Mapping修改
- 常用Mapping参数配置
- Index Template
- Dynamic Template
倒排索引
-
当数据写入 ES 时，数据将会通过 分词 被切分为不同的 term，ES 将 term 与其对应的文档列表建立一种映射关系，这种结构就是 倒排索引
-
为了进一步提升索引的效率，ES 在 term 的基础上利用 term 的前缀或者后缀构建了 term index, 用于对 term 本身进行索引
-
当我们去搜索某个关键词时，ES 首先根据它的前缀或者后缀迅速缩小关键词的在 term dictionary 中的范围，大大减少了磁盘IO的次数
- 单词词典（Term Dictionary) ：记录所有文档的单词，记录单词到倒排列表的关联关系
- 倒排列表（Posting List）：记录了单词对应的文档结合，由倒排索引项组成
- 倒排索引项（Posting）：
- 文档ID
- 词频TF：该单词在文档中出现的次数，用于相关性评分
- 位置 (Position)：单词在文档中分词的位置。用于短语搜索（match phrase query)
- 偏移 (Offset)：记录单词的开始结束位置，实现高亮显示
-
Elasticsearch 的JSON文档中的每个字段，都有自己的倒排索引
-
可以指定对某些字段不做索引
- 优点︰节省存储空间
- 缺点: 字段无法被搜索
文档映射
- Mapping类似数据库中的schema的定义，作用如下
- 定义索引中的字段的名称
- 定义字段的数据类型，例如字符串，数字，布尔等
- 字段，倒排索引的相关配置 (Analyzer)
- ES中Mapping映射可以分为动态映射和静态映射
-
动态映射：不需要定义Mapping映射（即关系型数据库的表、字段等），在文档写入Elasticsearch时，会根据文档字段自动识别类型，这种机制称之为动态映射
- 动态映射（Dynamic Mapping）的机制，使得我们无需手动定义Mappings，Elasticsearch会自动根据文档信息，推算出字段的类型
- 但是有时候会推算的不对，例如地理位置信息
- 当类型如果设置不对时，会导致一些功能无法正常运行，例如Range查询
-
静态映射：事先定义好映射，包含文档的各字段类型、分词器等，这种方式称之为静态映射
-
已有字段的Mapping修改
- 后期更改Mapping的字段类型
-
新增加字段
- dynamic设为true时，一旦有新增字段的文档写入，Mapping也同时被更新
- dynamic设为false，Mapping 不会被更新，新增字段的数据无法被索引，但是信息会出现在_source中
- dynamic设置成strict (严格控制策略)，文档写入失败，抛出异常
-
对已有字段，一旦已经有数据写入，就不再支持修改字段定义
- Lucene 实现的倒排索引，一旦生成后，就不允许修改
- 如果希望改变字段类型，可以利用 reindex API，重建索引
-
原因
- 如果修改了字段的数据类型，会导致已被索引的数据无法被搜索
- 但是如果是增加新的字段，就不会有这样的影响
-
- 对已有字段的mapping修改：实现索引的平滑过渡，并且是零停机
- 如果要推倒现有的映射, 你得重新建立一个静态索引
- 然后把之前索引里的数据导入到新的索引里
POST _reindex - 删除原创建的索引
- 为新索引起个别名, 为原索引名
PUT /user2/_alias/user
PUT /user2
{"mappings":{
"properties":{"name":{"type":"text"}}}}
POST _reindex
{"source":{"index":"user"},
"dest":{"index":"user2"}}
DELETE /user
PUT /user2/_alias/user
常用Mapping参数配置
- index: 控制当前字段是否被索引，默认为true
- 如果设置为false，该字段不可被搜索
PUT /user
{"mappings": {
"properties": {
"name":{"type":"text","index":false}}}}
- 有四种不同基本的index options配置，控制倒排索引记录的内容
- docs : 记录doc id
- freqs：记录doc id 和term frequencies（词频）
- positions: 记录doc id / term frequencies / term position
- offsets: doc id / term frequencies / term posistion / character offsets
- text 类型默认记录 postions，其他默认为 docs
- 记录内容越多，占用存储空间越大
PUT /user
{"mappings":{
"properties": {
"name":{"type":"text","index_options":"offsets"}}}}
- null_value: 需要对Null值进行搜索，只有keyword类型支持设计Null_Value才行
PUT /user
{"mappings":{
"properties": {
"name":{"type":"keyword","null_value":"NULL"}}}}
- copy_to设置：将字段的数值拷贝到目标字段，满足一些特定的搜索需求
- copy_to的目标字段不出现在_source中
PUT /user
{"mappings":{
"properties":{
"name":{"type":"text","copy_to":"full_address"}}}}
Index Template
- Index Templates可以帮助你设定Mappings和Settings，并按照一定的规则，自动匹配到新创建的索引之上
- 模版仅在一个索引被新创建时，才会产生作用。修改模版不会影响已创建的索引
- 你可以设定多个索引模版，这些设置会被“merge”在一起
- 你可以指定“order”的数值，控制“merging”的过程
- 当一个索引被新创建时
- 应用Elasticsearch 默认的settings 和mappings
- 应用order数值低的lndex Template 中的设定
- 应用order高的 Index Template 中的设定，之前的设定会被覆盖
- 应用创建索引时，用户所指定的Settings和 Mappings，并覆盖之前模版中的设定
PUT /_template/template_default
{"index_patterns": ["*"],
"order": 0,
"version": 1,
"settings": {
"number_of_shards":1,
"number_of_replicas":1}}
Dynamic Template
- Dynamic Tempate定义在某个索引的Mapping中
PUT my_index
{"mappings":{
"dynamic_templates":[{
"strings_as_boolean":{
"match_mapping_type":"string",
"match":"is*",
"mapping":{"type":"boolean"}}}]}}
![[数据集][目标检测]街道乱堆垃圾检测数据集VOC+YOLO格式94张1类别](https://i-blog.csdnimg.cn/direct/ef3fd50e82404228bbc213d6bb76aad9.png)
