Elasticsearch 数据类型相关总结：快速参考指南【记录】

news2024/9/24 17:36:18

在Elasticsearch中，有多种数据类型可用于定义字段。

在开始了解数据类型之前，首先要知道，在Elasticsearch中，分词处理主要针对文本字段，而对于其他类型字段（如数值、日期、布尔等），通常不会进行分词处理。这是因为文本字段需要支持全文搜索、模糊匹配和文本分析，而其他类型字段通常用于精确匹配和聚合计算，不需要进行分词。

一、了解字符串类型（string）

在ES早期版本有一个string数据类型，使用string类型时，有两种用法（通过index来区分）：


全文检索	分词	index=analysis	按单个字符匹配	被称作analyzed字符串
关键词搜索	不分词	index=not_analysis	按照整个文本进行匹配	被称为not-analyzed字符串

Elasticsearch在5.0版本中引入了text和keyword数据类型用于替代string类型。

下面我们通过一个示例来对比，ES分别如何使用string和text/keyward来创建索引：

例：假设我现在要创建名为my_index的索引，包含一个tag的字段（分词），以及一个foo的字段（不分词）：

1）在Elasticsearch2.0版本的DSL语句：

PUT /my_index
{
  "mappings": {
  	"_doc":{
	    "properties": {
	      "tag": {
	        "type": "string",
	        "index": "analyzed"
	      },
	      "foo": {
	        "type": "string",
	        "index": "not_analyzed"
	      }
	    }
	 }
  }
}

2）在Elasticsearch5.0版本的DSL语句：

PUT /my_index
{
  "mappings": {
  	"_doc":{
	    "properties": {
	      "tag": {
	        "type": "text",
	        "analyzer": "standard"
	      },
	      "foo": {
	        "type": "keyword"
	      }
	    }
	 }
  }
}

总结：简而言之，无非就是5.0版本为string找了一个替代方案，text（分词）用于全文检索，keyword（不分词）用于聚合和排序。

扩展：在Elasticsearch中，"analyzer"是用于指定文本字段如何被分析的部分。它定义了在建立索引时和搜索时如何处理文本数据的过程。在提供的示例中，"analyzer"属性指定了"standard"分析器，这意味着文本字段将使用标准分析器进行处理。标准分析器将文本分成单词，并且会根据一些规则进行标准化，例如将单词转为小写。

注意：在Elasticsearch中，在创建索引定义mapping映射时，如果您只有一个字段，可以省略"properties"，直接将字段定义放在"_doc" 下。这种情况下，您可以简化索引的创建过程。

注意：从Elasticsearch 7.0版本开始，一个索引只能包含一个类型，因此在创建索引时可以省略type。在示例中，我已经省略了type，因为在较新的Elasticsearch版本中，这是一个可选的设置。

二、简单的数据类型

1、文本类型（text）：当一个字段是要被全文检索的，比如Email内容、产品描述，应该使用text类型。设置text类型以后，字段内容会被分析，在生成倒排索引以前，字符串会被分析器分成一个一个词项。文本类型通常用于存储文本数据，支持全文搜索和分析。

2、关键字类型（keyword）：这种类型适用于结构化的字段，例如：标签、email地址、手机号等，这种类型的字段可以用作过滤、排序、聚合等。用于存储关键字数据，不会被分词，通常用于精确匹配和聚合操作。

3、Numeric类型：用于存储数值类型的数据，包括整数类型（integer、long、short、byte）和浮点数类型（float、double），Numeric类型支持范围查询、排序和聚合操作，在满足需求的情况下，优先使用范围小的字段。字段长度越短，索引和搜索的效率越高。

Integer类型（integer）：用于存储整数数据，支持有符号的32位整数，范围为-2^31到2^31-1；
Long类型（long）：用于存储长整数数据，支持有符号的64位整数，范围为-2^63到2^63-1；
Short类型（short）：占用2个字节，范围为-32,768至32,767；
Byte类型（byte）：占用1个字节，范围为-128至127；
Float类型（float）：用于存储单精度浮点数数据，占4个字节；
Double类型：用于存储双精度浮点数数据，占8个字节；

下面是一个创建数值类型字段的示例，其它字段同理：

PUT /my_index
{
  "mappings": {
    "_doc": {
      "amount": {
        "type": "integer"
      }
    }
  }
}

4、日期类型（date）：用于存储日期和时间数据，由于JSON中没有日期类型，所以es中的日期类型形式比较多样。

包含格式化日期的字符串, “2024-01-016"或"2024/01/16 12:10:30”；
代表时间毫秒数的长整型数字；
代表时间秒数的整数。

如果在Elasticsearch中未指定日期类型的格式，则默认格式是 “strict_date_optional_time||epoch_millis”。strict_date_optional_time 表示日期时间格式，epoch_millis 表示以毫秒为单位的时间戳。这意味着Elasticsearch会尝试解析日期字符串，如果失败，它将尝试解析为时间戳。

1）使用日期格式示例：

## 创建索引，添加映射
PUT my_index
{
    "mappings": {
        "_doc": {
            "pub_date": {"type": "date"}
        }
    }
}

## 添加数据
PUT my_index/_doc/11
{ "pub_date": "2018-10-10" }
## Solr中默认使用的日期格式
PUT my_index/_doc/11
{ "pub_date": "2018-10-10T12:00:00Z" }
 ## 时间的毫秒值
PUT my_index/_doc/11
{ "pub_date": "1589584930103" }

2）多种日期格式：多个格式使用双竖线||分隔, 每个格式都会被依次尝试, 直到找到匹配的。

## 添加映射
PUT my_index
{
    "mappings": {
        "_doc": {
        	"pub_date": {
                 "type": "date", ## 可以接受如下类型的格式
                 "format": "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis"
            }
        }
    }
}

5、布尔类型（boolean）：用于存储布尔值，可以接受表示真、假的字符串或数字。

真值: true、“true”、“on”、“yes”、“1”…
假值: false、“false”、“off”、“no”、“0”、“”(空字符串)、0.0、0

6、二进制型（binary）：二进制类型是Base64编码字符串的二进制值，不以默认的方式存储，且不能被搜索。用于存储二进制数据，如图片、音频或视频文件。

## 添加映射
PUT my_index
{
    "mappings": {
        "_doc": {
            "properties": {
            	"title": {"type" : "text"}
                "blob": {"type": "binary"}
            }
        }
    }
}
## 添加数据
PUT my_index/_doc/1
{
    "title": "Some binary blog",
    "blob": "hED903KSrA084fRiD5JLgY=="
}

注意：在Elasticsearch中，Base64编码的二进制值应该是连续的，不应该包含换行符\n。

7、范围类型（range）：range类型支持以下几种：

在这里插入图片描述
(1) 添加映射：

PUT /company
{
  "mappings": {
    "properties": {
      "expected_number": {
        "type": "integer_range"
      },
      "time_frame": {
        "type": "date_range",
        "format": "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis"
      },
      "ip_whitelist": {
        "type": "ip_range"
      }
    }
  }
}

(2) 添加数据：

POST /company/_doc
{
  "expected_number": {
    "gte": 100,
    "lte": 500
  },
  "time_frame": {
    "gte": "2022-01-01",
    "lte": "2023-01-01"
  },
  "ip_whitelist": "192.168.1.0/24"
}

(3) 查询数据：

GET /company/_search
{
  "query": {
    "range": {
      "expected_number": {
        "gte": 200
      }
    }
  }
}

查询结果：

{
  "took": 3,
  "timed_out": false,
  "_shards": {
    "total": 1,
    "successful": 1,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": {
      "value": 1,
      "relation": "eq"
    },
    "max_score": 1.0,
    "hits": [
      {
        "_index": "company",
        "_type": "_doc",
        "_id": "1",
        "_score": 1.0,
        "_source": {
          "expected_number": {
            "gte": 100,
            "lte": 500
          },
          "time_frame": {
            "gte": "2022-01-01",
            "lte": "2023-01-01"
          },
          "ip_whitelist": "192.168.1.0/24"
        }
      }
    ]
  }
}