Es的text和keyword类型以及如何修改类型

news2025/4/21 14:57:47

昨天同事触发定时任务发现es相关服务报了一个序列化问题,

今天早上捕获异常将异常堆栈全部打出来看,才发现是聚合的字段不是keyword类型的问题。

到kibbna命令行执行也是一样的错误

使用 /_mapping查看索引的字段类型,才发现userUniqueid是text类型

如果用text执行聚合,还必须在字段名后面加上 userUniqueid.keyword才能聚合。

需要重新建索引,指定类型!

这里说说text和keyword的区别

Text

        当一个字段是要被全文检索时,比如 Email 内容、产品描述,这些字段应该使用 text 类型。设置 text 类型以后,字段内容会被分析,在生成倒排索引之前,字符串会被分析器分成一个个词项。text类型的字段不用于排序,很少用于聚合。        

注意事项

  • 适用于全文检索:如 match 查询。
  • 文本字段会被分词。
  • 默认情况下,会创建倒排索引。
  • 自动映射器会为 Text 类型创建 Keyword 字段。

Keyword

        Keyword 类型适用于不分词的字段,如姓名、Id、数字等。如果数字类型不用于范围查找,用 Keyword 的性能要高于数值类型。

注意事项

  • Keyword 不会对文本分词,会保留字段的原有属性,包括大小写等。
  • Keyword 仅仅是字段类型,而不会对搜索词产生任何影响。
  • Keyword 一般用于需要精确查找的字段,或者聚合排序字段。
  • Keyword 通常和 Term 搜索一起用。
  • Keyword 字段的 ignore_above 参数代表其截断长度,默认 256,如果超出长度,字段值会被忽略,而不是截断,忽略指的是会忽略这个字段的索引,搜索不到,但数据还是存在的。

那怎么将text类型修改为keyword呢?es不提供单个修改索引字段类型的方法,只能先创建一个中间索引(mappings里字段类型为keyword),然后将原索引数据迁移到这个索引里,再将原索引删除,创建一个新的原索引名的索引(注意mappings保持和中间索引一致),再将中间索引的数据迁移到新的索引里。删除中间索引。

从text类型修改为keyword类型

1 创建中间索引


PUT /tmp_index
{  "mappings":{
    "properties": {
        "appendixUrl": {
            "type": "keyword",
            "index": false,
            "ignore_above": 256
        },
        "createTime": {
            "type": "date"
        },
        "department": {
            "type": "keyword",
            "ignore_above": 256
        },
        "doctorName": {
            "type": "keyword",
            "ignore_above": 256
        },
        "firmId": {
            "type": "keyword",
            "ignore_above": 256
        },
        "grantUniqueId": {
            "type": "keyword",
            "ignore_above": 256
        },
        "hospitalNumber": {
            "type": "keyword",
            "ignore_above": 256
        },
        "notifyStatus": {
            "type": "long"
        },
        "overdueSigned": {
            "type": "keyword",
            "ignore_above": 256
        },
        "patientCardNum": {
            "type": "keyword",
            "ignore_above": 256
        },
        "patientName": {
            "type": "keyword",
            "ignore_above": 256
        },
        "practicePlace": {
            "type": "keyword",
            "ignore_above": 256
        },
        "recipeInfo": {
            "type": "keyword",
            "index": false,
            "ignore_above": 256
        },
        "refuseReason": {
            "type": "keyword",
            "index": false,
            "ignore_above": 256
        },
        "selfAuthId": {
            "type": "keyword",
            "ignore_above": 256
        },
        "signTime": {
            "type": "date"
        },
        "signedPdfUrl": {
            "type": "keyword",
            "index": false,
            "ignore_above": 256
        },
        "stampLogId": {
            "type": "keyword",
            "index": false,
            "ignore_above": 256
        },
        "status": {
            "type": "long"
        },
        "subject": {
            "type": "keyword",
            "ignore_above": 256
        },
        "sysTag": {
            "type": "keyword",
            "ignore_above": 256
        },
        "tag": {
            "type": "text",
            "analyzer": "comma",
            "fielddata": true
        },
        "uniqueid": {
            "type": "keyword",
            "ignore_above": 256
        },
        "upDefault1": {
            "type": "keyword",
            "ignore_above": 256
        },
        "upDefault2": {
            "type": "keyword",
            "ignore_above": 256
        },
        "updateTime": {
            "type": "date"
        },
        "urid": {
            "type": "keyword",
            "ignore_above": 256
        },
        "userUniqueid": {
            "type": "keyword",
            "ignore_above": 256
        }
    }
}
}

但因为未指定setting还报错

{
  "error" : {
    "root_cause" : [
      {
        "type" : "mapper_parsing_exception",
        "reason" : "Failed to parse mapping [_doc]: analyzer [comma] has not been configured in mappings"
      }
    ],
    "type" : "mapper_parsing_exception",
    "reason" : "Failed to parse mapping [_doc]: analyzer [comma] has not been configured in mappings",
    "caused_by" : {
      "type" : "illegal_argument_exception",
      "reason" : "analyzer [comma] has not been configured in mappings"
    }
  },
  "status" : 400
}

需要将setting也指定

GET /索引名/_settings查看索引的setting
加上settings再创建索引
"settings" : {
        "analysis" : {
          "analyzer" : {
            "comma" : {
              "pattern" : ",",
              "type" : "pattern"
            }
          }
        }
      }
   

2 迁移数据

POST _reindex?wait_for_completion=false
{
  "source": {
    "index": "源索引名"
  },
  "dest": {
    "index": "tmp_index"
  }
}

3 删除源索引

DELETE 源索引名

4 重建相同名称的源索引名索引

同步骤1的命令


5 迁移数据

同步骤2,将源和目标索引互换一下即可

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2301611.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

1-18 GIT设置公钥

1-1 GIT如何设置公钥 1.0 注册账号 这个应该都是会的,就不做介绍了 2.0 设置公钥 PWD的作用是查看文件的路径 ssh-keygen -t ed25519 -C "Gitee SSH Key" 读取公钥文件: cat ~/.ssh/id_ed25519.pub 3.0 测试 查看绑定的用户名和邮箱&#xff1…

Pytorch深度学习教程_3_初识pytorch

欢迎来到《PyTorch深度学习教程》系列的第三篇!在前面的两篇中,我们已经介绍了Python及numpy的基本使用。今天,我们将深入探索PyTorch的核心功能,帮助你更好地理解和使用这个强大的深度学习框架。 欢迎订阅专栏: 深度…

基于Flask的艺恩影片票房分析系统的设计与实现

【Flask】基于Flask的艺恩影片票房分析系统的设计与实现(完整系统源码开发笔记详细部署教程)✅ 目录 一、项目简介二、项目界面展示三、项目视频展示 一、项目简介 该系统利用Python编程语言进行后端开发,结合Echarts进行数据的可视化展示&a…

ollama-chat-ui-vue,一个可以用vue对接ollama的开源项目,可接入deepSeek

ollama-chat-ui-vue 使用vue3 vite elementUi 搭建的前端chat,通过ollama可与模型对话,目前支持独立思考,切换模型(联网查询后续支持) github地址:ollama-chat-ui-vue 制作不易github点点star,谢谢 前置工作 安装ollama,ollama官网地址 安装完olla…

TCP开发

TCP客户端编程开发 任何的网络编程套接字开发的两种工作模式:TCP网络、UDP网络。 TCP和UDP的介绍 TCP:连接式网络通信,长连接通信或流式通信。TCP的通信一般稳定、可靠,但传输速度往往没有UDP快。其中有这样一个概念----心跳时…

Java 基于SpringBoot+Vue 的旅游网站信息化管理系统设计与实现

Java 基于SpringBootVue 的旅游网站信息化管理系统设计与实现 博主介绍:✌程序员徐师兄、8年大厂程序员经历。全网粉丝12w、csdn博客专家、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战*✌ 🍅文末获取源码联系&#x1f34…

Ubuntu:20.04更新cmake到更高版本

从输出信息可以看出,您当前的系统中已经安装了 cmake,但版本是 3.16.3,而您的项目需要 CMake 3.18 或更高版本。默认情况下,Ubuntu 20.04 的官方软件仓库中提供的 CMake 版本较低(如 3.16.3),因…

php 系统命令执行及绕过

文章目录 php的基础概念php的基础语法1. PHP 基本语法结构2. PHP 变量3.输出数据4.数组5.超全局变量6.文件操作 php的命令执行可以执行命令的函数命令执行绕过利用代码中命令(如ls)执行命令替换过滤过滤特定字符串神技:利用base64编码解码的绕…

论文笔记-WSDM2024-LLMRec

论文笔记-WSDM2024-LLMRec: Large Language Models with Graph Augmentation for Recommendation LLMRec: 基于图增强的大模型推荐摘要1.引言2.前言2.1使用图嵌入推荐2.2使用辅助信息推荐2.3使用数据增强推荐 3.方法3.1LLM作为隐式反馈增强器3.2基于LLM的辅助信息增强3.2.1用户…

计算四个锚点TOA定位中GDOP的详细步骤和MATLAB例程

该MATLAB代码演示了在三维空间中,使用四个锚点的TOA(到达时间)定位技术计算几何精度衰减因子(GDOP)的过程。如需帮助,或有导航、定位滤波相关的代码定制需求,请联系作者 文章目录 DOP计算原理MATLAB例程运行结果示例关键点说明扩展方向另有文章: 多锚点Wi-Fi定位和基站…

Lookup Join显著增强,Paimon1.0版本如何做的?

Hi,大家好,我们又满血复活了。 2025年开年更新频率不快,一方面是大模型如火如荼,也一直在补相关知识;另外一方面,新的一年里身体健康被我摆到了第一位,不会像前几年那么卷了。 后续我们的更新会…

Vue前端开发-Vant组件之Button组件

Vant 有丰富的UI组件,而基础组件是全部组件的核心,基础组件中将常用的元素做了二次的开发,封装成Vant格式组件,如按钮、图片和布局等,这些封装后的Vant组件,提供了更多面向实际应用的属性和事件&#xff0c…

DeepSeek 接入PyCharm实现AI编程!(支持本地部署DeepSeek及官方DeepSeek接入)

前言 在当今数字化时代,AI编程助手已成为提升开发效率的利器。DeepSeek作为一款强大的AI模型,凭借其出色的性能和开源免费的优势,成为许多开发者的首选。今天,就让我们一起探索如何将DeepSeek接入PyCharm,实现高效、智…

【Linux网络编程】应用层协议HTTP(请求方法,状态码,重定向,cookie,session)

🎁个人主页:我们的五年 🔍系列专栏:Linux网络编程 🌷追光的人,终会万丈光芒 🎉欢迎大家点赞👍评论📝收藏⭐文章 ​ Linux网络编程笔记: https://blog.cs…

健康养生:从生活细节开启活力之旅

在忙碌的现代生活里,健康养生不再是一个抽象概念,而是关乎生活质量的关键。其实,只要掌握日常养生要点,就能轻松开启活力满满的健康生活。 饮食是健康的基石。每日饮食需遵循 “彩虹原则”,摄入多种颜色食物。早餐时&…

DeepSeek + Mermaid编辑器——常规绘图

下面这张图出自:由清华大学出品的 《DeepSeek:从入门到精通》。 作为纯文本生成模型,DeepSeek虽不具备多媒体内容生成接口,但其开放式架构允许通过API接口与图像合成引擎、数据可视化工具等第三方系统进行协同工作,最终…

【拥抱AI】GPT Researcher的诞生

一、GPT Researcher 研究过程总结 GPT Researcher 是一个开源的自主智能体,旨在通过利用人工智能技术实现高效、全面且客观的在线研究。它通过一系列创新的设计和优化,解决了传统研究工具(如 AutoGPT)中存在的问题,如…

Redis7——基础篇(三)

前言:此篇文章系本人学习过程中记录下来的笔记,里面难免会有不少欠缺的地方,诚心期待大家多多给予指教。 基础篇: Redis(一)Redis(二) 接上期内容:上期完成了Redis的基本…

MySQL登录问题总结

不管何种数据库,使用的第一步都是先登录。 MySQL命令行登录语句:mysql -u username -P port -p -D database_name 登录MySQL的报错一般从报错信息都能得到反馈,常见报错原因分析如下,实例中的以test用户为例,登录环境为…

Redis 持久化:从零到掌握

Redis 作为一款广泛使用的内存数据库,虽然核心功能是基于内存提供高性能的数据存取,但在实际应用中,数据的持久化是不可忽视的。毕竟,内存中的数据一旦出现故障或重启,就会面临数据丢失的风险。因此,Redis …