ELK（四）—els基本操作

news2024/10/7 18:23:01

目录

  • elasticsearch基本概念
    • RESTful API
    • 创建非结构化索引
      • （增）创建空索引
      • （删）删除索引
      • （改）插入数据
      • （改）数据更新
      • （查）搜索数据（id）
      • （查）搜索数据（全部）
      • （查）关键字搜索数据
      • （查）DSL搜索
      • 其他（聚合）

elasticsearch基本概念

Elasticsearch 是一个分布式搜索引擎，用于全文搜索、分析和可视化大规模数据。以下是 Elasticsearch 中一些基本概念：

  1. 索引（Index）：
    • Elasticsearch 中的数据存储单元，类似于传统数据库中的数据库。每个索引包含一组相关的文档。
  2. 文档（Document）：
    • 索引中的基本信息单元，可以是 JSON、XML、或其他格式的数据。文档是 Elasticsearch 中可被索引和搜索的基本数据单元。
  3. 类型（Type）（在7.x版本之前）：
    • Elasticsearch 6.x及更早版本中，索引可以包含一个或多个类型，每个类型定义了文档的结构。从 Elasticsearch 7.x 开始，不再支持多类型，一个索引只有一个默认类型 “_doc”。
  4. 映射（Mapping）：
    • 定义了索引中的文档结构，包括每个字段的类型和属性。映射在创建索引时自动创建，也可以手动定义。
  5. 节点（Node）：
    • Elasticsearch 集群中的单个服务器，用于存储数据和执行数据操作。每个节点属于一个集群，并且有唯一的名称。
  6. 集群（Cluster）：
    • 由一个或多个节点组成的集合，共同存储数据并提供联合的搜索能力。集群有一个唯一的名称。
  7. 分片（Shard）：
    • 索引可以被分割成多个分片，每个分片是一个独立的索引。分片允许数据水平扩展，提高并发性能。
  8. 副本（Replica）：
    • 每个分片可以有零个或多个副本。副本是分片的精确拷贝，用于提高高可用性和故障恢复。
  9. 查询（Query）：
    • 用于搜索 Elasticsearch 中文档的条件。可以通过查询DSL（Domain Specific Language）来构建各种类型的查询。
  10. 聚合（Aggregation）：
    • 用于分析和统计数据的机制，可以计算平均值、总和、最小值等。
  11. 索引别名（Index Alias）：
    • 为索引提供一个可读的名称，可以用于简化索引操作和在查询中引用多个索引。
  12. 分析器（Analyzer）：
    • 用于在索引和查询阶段处理文本数据的组件，包括分词、小写化、去停用词等。
  13. 倒排索引（Inverted Index）：
    • Elasticsearch 使用倒排索引来加速搜索，它记录了每个词项出现在哪些文档中。

这些是 Elasticsearch 中一些基本的概念，了解它们有助于更好地理解和使用 Elasticsearch 进行数据存储和检索。

RESTful API

在Elasticsearch中，提供了功能丰富的RESTful API的操作，包括基本的CRUD、创建索引、删除索引等操作。

创建非结构化索引

在Lucene中，创建索引是需要定义字段名称以及字段的类型的，在Elasticsearch中提供了非结构化的索引，就是不需要创建索引结构，即可写入数据到索引中，实际上在Elasticsearch底层会进行结构化操作，此操作对用户是透明的。

（增）创建空索引

PUT /elk
{
    "settings":{
        "index":{
            "number_of_shards":"2",
            "number_of_replicas":"0"
        }
    }
}

这里我选择postman进行测试。

image.png

去elasticsearch-head看是否索引创建是否成功。

image.png

可以看到索引已经创建成功了。

（删）删除索引

DELETE /elk
{
	"acknowledged": true
}

在postman中进行删除操作

image.png

检查是否删除成功

image.png

可以看到已经删除成功了

（改）插入数据

上面我们已经学会了如何创建好删除索引，现在我们进行数据的添加操作。

URL规则：
POST /{索引}/{类型}/{id}

插入如下数据。

{
"id":1001,
"name":"王五",
"age":18,
"sex":"男"
}

image.png

postman中显示插入成功了。

浏览器上是否也是插入成功呢？

image.png

可以看到数据已经成功插入了。

（改）数据更新

在Elasticsearch中，文档数据是不为修改的，但是可以通过覆盖的方式进行更新。

{
"id":1001,
"name":"王老五",
"age":55,
"sex":"男"
}

image.png

image.png

服务器中的数据也成功更新了。

问题与探究问题与探究问题与探究

可以看到数据已经被覆盖了。问题来了，可以局部更新吗？ – 可以的。前面不是说，文档数据不能更新吗？
其实是这样的：在内部，依然会查询到这个文档数据，然后进行覆盖操作，步骤如下：

  1. 从旧文档中检索JSON
  2. 修改它
  3. 删除旧文档
  4. 索引新文档
#注意：这里多了_update标识

POST /haoke/_update/1001
{
"doc":{
"age":66
}
}

image.png

image.png

可以看到数据已经成功更新了。

我们需要id存在，否则会报错，也就是404

image.png

当id存在，我们可以往数据添加原先没有的数据。

image.png

image.png

（查）搜索数据（id）

GET /elk/_doc/id

image.png

我们也可以直接在elasticsearch中进行搜索

image.png

（查）搜索数据（全部）

GET  /elk/_search

image.png

同样的，查询全部也可以直接在elasticsearch-head中的基本查询中进行搜索。

image.png

（查）关键字搜索数据

#格式
GET /elk/_search?q=字段名:对应值



#查询年龄等于13的用户
GET /elk/_search?q=age:20

image.png

#查询年龄等于13的用户
GET /elk/_search?q=address:湖南

image.png

（查）DSL搜索

Elasticsearch的DSL（Domain-Specific Language）是一种查询语言，用于在Elasticsearch中执行搜索操作。DSL允许用户以结构化的方式构建复杂的查询，以满足不同的搜索需求。DSL查询通常以JSON格式表示，并包含各种查询和过滤条件。

以下是一些常见的DSL查询语法和查询类型的详细解释：

  1. Match Query:
    Match查询用于执行全文本搜索，它会在指定的字段中查找包含特定词语的文档。

    {
  "query": {
    "match": {
      "field_name": "search_term"
    }
  }
}

    匹配年龄为20的数据

    POST /elk/_search
#请求体
{
 "query" : {
     "match" : {
     	"age" : 23
     }
 }
}

    image.png

    匹配多个姓名数据

    POST /elk/_search
#请求数据
{
 "query" : {
     "match" : {
     	"name" : "张四 李三 王老五"
     }
 }
}

    image.png

    高亮显示

    POST /elk/_search
#请求数据
{
 "query": {
     "match": {
         "name": "王老五"
     }
 },
 "highlight": {
     "fields": {
         "name": {}
     }
 }
}

    image.png

  2. Term Query:
    Term查询用于匹配确切的词语。它通常用于精确匹配，而不进行全文本搜索。

    {
  "query": {
    "term": {
      "field_name": "exact_term"
    }
  }
}

  3. Bool Query: Bool查询允许将多个查询组合在一起，并使用逻辑运算符（must、must_not、should）来定义查询逻辑。

    {
  "query": {
    "bool": {
      "must": [
        { "match": { "field1": "value1" } },
        { "term": { "field2": "value2" } }
      ],
      "must_not": [
        { "range": { "field3": { "gte": "2022-01-01" } } }
      ],
      "should": [
        { "term": { "field4": "value3" } }
      ]
    }
  }
}

    查询年龄大于18岁的男性用户。

    POST /elk/user/_search
#请求数据
{
 "query": {
     "bool": {
         "filter": {
                 "range": {
                     "age": {
                     "gt": 18
                 }
             }
         },
         "must": {
             "match": {
             	"sex": "男"
             }
         }
     }
 }
}

  4. Range Query:
    Range查询用于匹配指定范围内的值。

    {
  "query": {
    "range": {
      "field_name": {
        "gte": "min_value",
        "lte": "max_value"
      }
    }
  }
}

  5. Wildcard Query:
    通配符查询允许使用通配符进行模糊匹配。

    {
  "query": {
    "wildcard": {
      "field_name": "search*term"
    }
  }
}

  6. Nested Query:
    Nested查询用于在嵌套文档中执行查询。

    {
  "query": {
    "nested": {
      "path": "nested_field",
      "query": {
        "match": {
          "nested_field.property": "value"
        }
      }
    }
  }
}

这些是一些基本的DSL查询示例。在实际应用中，可以将这些查询类型组合使用，以满足特定的搜索需求。此外，Elasticsearch还支持聚合（Aggregation）、排序（Sorting）、分页（Pagination）等高级功能，可以进一步扩展查询的能力。

其他（聚合）

在Elasticsearch中，支持聚合操作，类似SQL中的group by操作。

POST /elk/_search
{
    "aggs": {
        "all_interests": {
            "terms": {
                "field": "age"
            }
        }
    }
}

image.png

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1296822.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

【Copilot】Edge浏览器的copilot消失了怎么办

【Copilot】Edge浏览器的copilot消失了怎么办

这种原因，可能是因为你的ip地址的不在这个服务的允许范围内。你需要重新使用之前出现copilot的ip地址，然后退出edge的账号，重新登录一遍，最后重启edge，就能够使得copilot侧边栏重新出现了。
阅读更多...
mac苹果电脑清除数据软件CleanMyMac X4.16

mac苹果电脑清除数据软件CleanMyMac X4.16

在数字时代，保护个人隐私变得越来越重要。当我们出售个人使用的电脑，亦或者离职后需要上交电脑，都需要对存留在电脑的个人信息做彻底的清除。随着越来越多的人选择使用苹果电脑，很多人想要了解苹果电脑清除数据要怎样做才是最彻底…
阅读更多...
Endnote在word中加入参考文献及自定义参考文献格式方式

Endnote在word中加入参考文献及自定义参考文献格式方式

第一部分：在word中增加引用步骤 1、先下载对应文献的endnote引用格式，如在谷歌学术中的下载格式如下： 2、在endnote中打开存储env的格式库，导入对应下载的文件格式：file>import>file>choose,import对应文件&a…
阅读更多...
套接字应用程序

套接字应用程序

这章节是关于实现 lib_chan 库的 。 lib_chan 的代码在 TCP/IP 之上实现了一个完整的网络层，能够提供认证和Erlang 数据流功能。一旦理解了 lib_chan 的原理，就能量身定制我们自己的通信基础结构，并把它叠加在TCP/IP 之上了。 就lib_chan 本身…
阅读更多...
PSP - 计算蛋白质复合物链间接触的残基与面积

PSP - 计算蛋白质复合物链间接触的残基与面积

欢迎关注我的CSDN：https://spike.blog.csdn.net/ 本文地址：https://spike.blog.csdn.net/article/details/134884889 在蛋白质复合物中，通过链间距离，可以计算出在接触面的残基与接触面的面积，使用 BioPython 库 与 SA…
阅读更多...
在Pytorch中使用Tensorboard可视化训练过程

在Pytorch中使用Tensorboard可视化训练过程

这篇是我对哔哩哔哩up主 霹雳吧啦Wz 的视频的文字版学习笔记 感谢他对知识的分享 本节课我们来讲一下如何在pytouch当中去使用我们的tensorboard 对我们的训练过程进行一个可视化 左边有一个visualizing models data and training with tensorboard 主要是这么一个教程 那么这里…
阅读更多...
28BYJ-48步进电机的驱动

28BYJ-48步进电机的驱动

ULN2003的工作原理 28BYJ48可以用ULN2003来驱动，STM32使用开漏模式外接5V上拉电阻也可以产生5V电压，为什么不直接使用单片机的 GPIO来驱动的原因是虽然电压符合电机的驱动要求，但单片机引脚产生的驱动电流太小，因此驱动步进电机要…
阅读更多...
IBM Qiskit量子机器学习速成（四）

IBM Qiskit量子机器学习速成（四）

量子核机器学习 一般步骤 量子核机器学习的一般步骤如下 定义量子核 我们使用FidelityQuantumKernel类创建量子核，该类需要传入两个参数：特征映射和忠诚度(fidelity)。如果我们不传入忠诚度，该类会自动创建一个忠诚度。 注意各个类所属的…
阅读更多...
leaflet：经纬度坐标转为地址，点击鼠标显示地址信息（137）

leaflet：经纬度坐标转为地址，点击鼠标显示地址信息（137）

第137个 点击查看专栏目录 本示例的目的是介绍演示如何在vue+leaflet中将经纬度坐标转化为地址，点击鼠标显示某地的地址信息 。主要利用mapbox的api将坐标转化为地址，然后在固定的位置显示出来。 直接复制下面的 vue+leaflet源代码，操作2分钟即可运行实现效果 文章目录 示…
阅读更多...
UniDBGrid序号列添加标题

UniDBGrid序号列添加标题

有人想要在UniDBGrid的序号列加上标题，就是这里 可以使用如下代码 UniSession.AddJS(MainForm.UniDBGrid1.columnManager.columns[0].setText("序号"));
阅读更多...
VMware安装Ubuntu20.04并使用Xshell连接虚拟机

VMware安装Ubuntu20.04并使用Xshell连接虚拟机

文章目录 虚拟机环境准备重置虚拟网络适配器属性（可选）配置NAT模式的静态IP创建虚拟机虚拟机安装配置 Xshell连接虚拟机 虚拟机环境准备 VMware WorkStation Pro 17.5：https://customerconnect.vmware.com/cn/downloads/details?downloadGr…
阅读更多...
样本数量对问卷信度效度分析的影响及应对策略

样本数量对问卷信度效度分析的影响及应对策略

问卷调研是一种常见的数据收集方法。明确问卷的真实性和效率是保证其靠谱性和有效性的重要一步。但问卷的真实性和品质会受到样本数量的影响吗？ 一、问卷信度的认识 1、信度的概念和重要性:在问卷实验中，信度是指问卷测量值的稳定性和一致性。高信度代…
阅读更多...
go grpc高级用法

go grpc高级用法

文章目录 错误处理常规用法进阶用法原理 多路复用元数据负载均衡压缩数据 错误处理 gRPC 一般不在 message 中定义错误。毕竟每个 gRPC 服务本身就带一个 error 的返回值，这是用来传输错误的专用通道。gRPC 中所有的错误返回都应该是 nil 或者 由 status.Status 产…
阅读更多...
希尔排序详解：一种高效的排序方法

希尔排序详解：一种高效的排序方法

在探索排序算法的世界中，我们经常遇到需要对大量数据进行排序的情况。传统的插入排序虽然简单，但在处理大规模数据时效率并不高。这时，希尔排序（Shell Sort）就显得尤为重要。本文将通过深入解析希尔排序的逻辑&#xf…
阅读更多...
分享十几个适合新手练习的软件测试项目

分享十几个适合新手练习的软件测试项目

说实话，在找项目的过程中，我下载过（甚至付费下载过）N多个项目、联系过很多项目的作者，但是绝大部分项目，在我看来，并不适合你拿来练习，它们或多或少都存在着“问题”，比如…
阅读更多...
编写一个程序， 给出两个时间，计算出两个时间之差，如给出1120表示11:20,1330表示13:30, 将时间间隔以分钟为单位输出。

编写一个程序， 给出两个时间，计算出两个时间之差，如给出1120表示11:20,1330表示13:30, 将时间间隔以分钟为单位输出。

如下: #include<stdio.h>int main(){int a,b;printf("请输入第一个时间a:");scanf("%d",&a);printf("请输入第二个时间b:");scanf("%d",&b);int hour1a/100;//取小时int minute1a%100;//取分钟int hour2b/100;int minu…
阅读更多...
HCIP --- BGP 基础 （中）

HCIP --- BGP 基础 （中）

BGP的数据包 Open、Update、Notification、Keepalive、Route-refresh BGP的公共头部 Marker &#xff1a;标记 &#xff08;可以兼容字段、版本&#xff09; 全F Length&#xff1a; 标明数据包多长多大 Type&#xff1a;表明数据包类型&#xff08;可选 12345&#xff09; …
阅读更多...
如何切换用户和更改用户密码

如何切换用户和更改用户密码

https://blog.csdn.net/u012759006/article/details/89681615 https://blog.csdn.net/Z_CAIGOU/article/details/120925716 1、sudo su 切换到root用户 2、passwd 用户名 之后输入你修改后的密码两次&#xff0c;成功。 文章知识点与官方知识档案匹配&#xff0c;可 一般情…
阅读更多...
C语言 扫雷游戏

C语言 扫雷游戏

代码在一个项目里完成&#xff0c;分成三个.c.h文件(game.c,game.h,main.c) 在Clion软件中通过运行调试。 /大概想法/ 主函数main.c里是大框架(菜单,扫雷棋盘初始化&#xff0c;随机函数生成雷&#xff0c;玩家扫雷) game.h函数声明(除main函数和游戏函数外的一些函数声明) ga…
阅读更多...
Kafka安全性探究：构建可信赖的分布式消息系统

Kafka安全性探究：构建可信赖的分布式消息系统

在本文中&#xff0c;将研究Kafka的安全性&#xff0c;探讨如何确保数据在传输和存储过程中的完整性、机密性以及授权访问。通过详实的示例代码&#xff0c;全面讨论Kafka安全性的各个方面&#xff0c;从加密通信到访问控制&#xff0c;帮助大家构建一个可信赖的分布式消息系统…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023