Kibana操作Elasticsearch教程

news2024/11/26 4:39:52

文章目录

  • 简介
    • ES文档操作
      • 创建索引
      • 查看索引
      • 创建映射字段
      • 查看映射关系
      • 字段属性详解
        • type
        • index
        • store
      • 字段映射设置流程
    • 新增数据
      • 新增会随机生成id
      • 新增自定义id
      • 智能判断
    • 修改数据
    • 删除数据
    • 查询
      • 基本查询
      • 查询所有（match_all）
      • 匹配查询
      • 多字段查询
      • 词条匹配
      • 多词条精确匹配
    • 结果过滤
      • 直接指定该字段
      • 指定includes和excludes
      • 高级查询
        • 布尔组合（多条件查询）
        • 范围查询
        • 模糊查询（fuzzy）
      • 排序
        • 单字段排序（sort）
        • 多字段查询
      • 聚合（aggregations）
        • 桶(bucket)类似于数据库中的分组group_by

简介

Kibana是一个基于Node.js的Elasticsearch索引库数据统计工具，可以利用Elasticsearch的聚合功能，生成各种图表，如柱形图、线状图、饼图等。
在开始之前，需要启动Kibana和Elasticsearch
ES的访问地址：http://ip:9200
Kibana的访问地址：http://ip:5601
操作步骤：进入到Kibana后，点击左侧的Dev Tools
在这里插入图片描述

ES文档操作

ES是面向文档的，存储文档的同时对其进行索引使其能够被搜索到。

创建索引

Elasticsearch采用Rest API风格，因此其API就是一次HTTP请求，可以使用任何工具发起http请求创建索引的请求格式。由于遵循REST风格，可以很直观的想到操作名。

  • POST新增
  • GET查询
  • DELETE删除
  • PUT修改
    在这里使用Kibana简化操作
    在这里插入图片描述
    number_of_replicas：设置索引库分片副本数量
    number_of_shards: 设置索引库分片数量

查看索引

  1. 查看某一个特定索引库
   GET 索引库名
  1. 查看所有的索引库
 GET *
  1. 删除索引
DELETE 索引库名
  1. 映射配置
    索引有了，接下来就是添加数据，但是在添加数据之前必须定义映射。 映射就是定义文档的过程，文档包含哪些字段，这些字段是否保存，是否索引，是否分词等。只有配置清楚，Elasticsearch才会帮我们进行索引库的创建。

创建映射字段

请求方式依然是PUT

PUT /索引库名/_mapping/类型名称
{
  "properties": {
    "字段名": {
      "type": "类型",
      "index": true，
      "store": true，
      "analyzer": "分词器"
    }
  }
}
  • 类型名称：就是type的概念，类似于数据库中不同表字段名；任意填写，可以指定很多属性。
  • type：类型，可以是text、long、short、date、integer、object等
  • index：是否索引，默认为true
  • store：是否存储，默认为false(会自动生成一个_source备份)
  • analyzer：分词器，这里的ik_max_word即使用ik分词器

发起请求示例

PUT test/_mapping/goods
{
   "properties":{
     "title":{
     "type":"text",
     "analyzer":"ik_max_word"
     },
     "images":{
     "type":"keyword",
     "index":false
     },
     "price":{
     "type":"float"
     }
   }
}

字符串类型一共有两种，text代表进行分词，下面要加上分词器，这里使用的ik分词器中ik_max_word代表按照最大程度划分。
keyword不进行分词。

【问题】
在这里插入图片描述

  • elasticsearch创建索引时遇到analyzer[ik_max_word] not found for field[title]

【原因】
IK分词器插件未安装

查看映射关系

GET /索引库名/_mapping

字段属性详解

type

Elasticsearch中支持的数据类型非常丰富：
下面我们介绍几个关键的：
String类型，又分两种：

  • text：可分词，不可参与聚合
  • keyword：不可分词，数据作为完整字段进行匹配，可以参与聚合
    Numberical：数值类型，分两类
  • 基本数据类型：long、integer、short、byte、double、float、half_float
  • 浮点数的高精度类型：scaled_float
    需要指定一个精度因子，比如说10或者100，elasticseach会把真实值乘以这个因子存储，取出时再还原。
    Date：日期类型
    elasticsearch可以对日期格式化为字符串存储，但是建议我们存储为毫秒值，存储为long,节省空间。
index

index影响字段的索引情况

  • true：字段会被索引，则可以用来进行搜索，默认值就是true
  • false: 字段不会索引，不能用来搜索
    ** index的默认值就是true，也就是说不进行任何配置，所有字段都会被索引。**
    但是有些字段是我们不希望被索引的，比如商品的图片信息，就需要手动设置index为false。
store

是否将数据进行额外存储。
在学习lucene和solr时，我们知道如果一个字段的store的值设置为false,那么在文档列表中就不会有这个字段的值，用户的搜索结果中不会显示出来。
但是在elasticsearch中，即使store设置为false,也可以搜索到结果，
原因是Elasticsearch在创建文档索引时，会将文档中的原始数据备份，保存在一个交_source的属性中，而且我们可以通过过滤_source来选择哪些要显示，哪些不显示。
而如果设置store为true,就会在_source以外额外存储一份数据，比较多余，因此一般我们都会将store设置为false，事实上，store的默认值就是false。

字段映射设置流程

在这里插入图片描述

新增数据

新增会随机生成id

POST /索引库/类型名
{
    “key”:"value"
}

在这里插入图片描述

新增自定义id

如果我们想要自己新增的时候指定id，可以这么做

POST /索引库/类型/id值
{
}

在这里插入图片描述

智能判断

在学习Solr时我们发现，我们在新增数据时，只能使用提前配置好映射属性的字段，否则就会报错。不过在Elasticsearch中并没有这样的规定。
事实上Elasticsearch非常智能，你不需要给索引库设置任何mapping映射，它也可以根据你输入的数据来判断类型，动态添加数据映射。
在这里插入图片描述
相对上个例子来说，我这里新增了color和address两个字段。再看下索引库的映射关系。
在这里插入图片描述
color和address都被成功映射了。

修改数据

把刚才新增的请求方式改为PUT，就是修改数据操作不过修改操作必须要指定id。

  • id对应文档存在，则修改
  • id对应文档不存在，则新增
    在这里插入图片描述
    注意：如果只修改了一个字段，那么原有的其他字段都会消失，只保留当前的这次修改，相当于覆盖

删除数据

DELETE test/goods/2

查询

  • 基本查询
  • _source过滤
  • 结果过滤
  • 高级查询
  • 排序

基本查询

不能设置查询多个条件，如果需要请用后面的高级bool查询

GET /索引库名/_search
{
      "query"：{
            “查询类型”：{
                    “查询条件”：“查询条件值”
            }
      }
}

这里的query代表一个查询对象，里面可以有不同的查询属性

  • 查询类型：match_all，match，term，range等等
  • 查询条件：查询条件会根据类型的不同，写法也有差异，后面根据示例进行详细讲解。

查询所有（match_all）

在这里插入图片描述
hits:搜索结果的文档对象数组，每个元素是一条搜索到的文档信息。

  • _index：索引库
  • _type：文档类型
  • _id:文档id
  • _score:文档得分
  • _source：文档的源数据

匹配查询

在这里插入图片描述

多字段查询

multi_match与match类似，不同的是它可以在多个字段中查询

GET /test/_search
{
    "query":{
        "multi_match": {
            "query":    "小米",
            "fields":   [ "title", "subTitle" ]
        }
	}

在本例中，我们会在title和subtitle字段中查询小米这个词。

词条匹配

term查询被用于精确值匹配
这些精确值可能是数字、时间、布尔或者那些未分词的字符串(keyword)

GET /test/_search
{
    "query":{
        "term":{
            "price":2699.00
        }
    }
}

多词条精确匹配

terms查询和term查询一样，但它允许你指定多值进行匹配，如果这个字段包含了指定值中的任何一个值，那么这个文档满足条件。

GET /test/_search
{
    "query":{
        "terms":{
            "price":[2699.00,2899.00,3899.00]
        }
    }
}

结果过滤

默认情况下，elasticsearch在搜索的结果中，会把文档中保存在_source的所有字段都返回。如果我们只想获取其中的部分字段，我们可以添加_source的过滤。

直接指定该字段

GET /heima/_search
{
  "_source": ["title","price"],
  "query": {
    "term": {
      "price": 2699
    }
  }
}

指定includes和excludes

我们也可以通过下面的方法来实现过滤

  • includes：来指定想要显示的字段
  • excludes：来指定不想显示的字段
GET /test/_search
    {
      "_source": {
        "includes":["title","price"]
      },
      "query": {
        "term": {
          "price": 2699
        }
      }
    }

与下面的结果将是一样的：

    GET /test/_search
    {
      "_source": {
         "excludes": ["images"]
      },
      "query": {
        "term": {
          "price": 2699
        }
      }
    }

高级查询

布尔组合（多条件查询）
GET test/goods/_search
{
  
  "query": {
  
    "bool": {
      "must": [
        {"match": {
          "title": "小米电视"
        }}
      ],
      "must_not": [
        {
          "match": {
            "title": "电视"
          }
        }
      ]
    }
    
  }
}

查询bool里面结果全为true的情况。

范围查询

range查询找出那些落在指定区间内的数字或者时间，range允许以下操作符。

操作符说明
gt大于
gte大于等于
lt小于
lte小于等于
示例：
GET test/goods/_search
{
  "query": {
  "range": {
    "price": {
      "gte": 3000,
      "lte": 9909
    }
  }
  }
}
模糊查询（fuzzy）

fuzzy查询是term查询的模糊等价，它允许用户搜索词条与实际词条的拼写出现偏差，但是偏差的距离不得超过2.

GET /test/_search
    {
      "query": {
        "fuzzy": {
          "title": "appla"
        }
      }
    }

根据上面的示例，能够查询到apple的结果。我们也可以通过fuzziness来指定允许的编辑距离。

GET /test/_search
    {
      "query": {
        "fuzzy": {
            "title": {
                "value":"appla",
                "fuzziness":1
            }
        }
      }
    }

排序

单字段排序（sort）

sort可以让我们按照不同的字段进行排序，并且通过order指定排序的方式。
示例

GET /test/_search
{
  "query": {
    "match": {
      "title": "小米手机"
    }
  },
  "sort": [
    {
      "price": {
        "order": "desc"
      }
    }
  ]
}

sort是对查询后做的，不属于查询和过滤的条件，因此在query查询对象外面。

多字段查询

假定我们想要结合使用price和_score（得分）进行查询，并且匹配的结果首先按照价格排序，然后按照相关性得分排序。

GET test/goods/_search
{
  "query": {
    "bool": {"must": [
      {"match": {
        "title": "小米"
      }}
    ]}
  },
  "sort": [
    {
      "price": {
        "order": "desc"
      }
    },
    {
      "_score": {
        "order": "desc"
      }
    }
  ]
}

聚合（aggregations）

聚合可以让我们及其方便的实现对数据的统计分析
Elasticsearch中的聚合，包含多种类型，最常用的两种，一个叫桶，一个叫度量。

桶(bucket)类似于数据库中的分组group_by

桶的作用，是按照某种方式对数据进行分组，每一组数据在ES中被称为一个桶。Elasticsearch中提供的划分桶的方式有很多：

  • Date Histogram Aggregation:根据日期阶梯分组，例如给定阶梯为周，会自动每周分为一组。
  • Histogram Aggregation：根据数值阶梯分组，与日期类似；
  • Terms Aggregation：根据词条内容分组，词条内容完全匹配的为一组；
  • Range Aggregation：数值和日期的范围分组，指定开始和结束，然后按照阶段分组。
  • …

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1554410.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

图片标注编辑平台搭建系列教程（4）——fabric几何定制渲染

图片标注编辑平台搭建系列教程（4）——fabric几何定制渲染

背景 标注的几何，有时需要一些定制化的渲染样式，例如，线中间展示箭头，表示方向。本期教程教大家如何实现fabric几何定制化渲染。 带箭头的线 fabric提供了一些原生的几何，例如Point、Polyline、Polygon。同时提供了…
阅读更多...
【快速上手ESP32（基于ESP-IDFVSCode）】01-环境配置GPIO口延时函数（先点个灯）

【快速上手ESP32（基于ESP-IDFVSCode）】01-环境配置GPIO口延时函数（先点个灯）

前言 立创开发板之前出了个ESP32S3R8N8的开发板，当时嫖了个优惠券，九块九拿下了。 现在不仅是35.9一个，而且还没货。 如果真的想要的小伙伴可以自己去打板焊一个，人家开源了（目测难度较大，反正我是焊不上…
阅读更多...
vue-devtools 不显示的问题

vue-devtools 不显示的问题

vue 项目中浏览器右上角可以显示出插件，但是控制台却没有显示。 项目中在main.js中添加设置devtools为trueVue.config.devtools true插件显示可以使使用，控制台没有显示VUE选项 项目使用了 externals 打包优化，使用了vue的压缩版本&#x…
阅读更多...
Etcd 基本入门

Etcd 基本入门

1：什么是 Etcd ? Etcd 是 CoreOS 团队于2013年6月发起的开源项目，它的目标是构建一个高可用的分布式键值(key-value)数据库。etcd内部采用raft协议作为一致性算法，Etcd基于 Go 语言实现。 名字由来，它源于两个方面，…
阅读更多...
Intel Arc显卡安装Stable Diffusion

Intel Arc显卡安装Stable Diffusion

StableDiffusion是一种基于深度学习的文本到图像生成模型，于2022年发布。它主要用于根据文本描述生成详细图像，也可应用于其他任务，如内补绘制、外补绘制和在提示词指导下生成图像翻译。通过给定文本提示词，该模型会输出一张匹配提…
阅读更多...
Nagios工具

Nagios工具

一 nagios 相关概念 Nagios 是一款开源的免费网络监视工具，能有效监控 Windows、Linux 和 Unix 的主机状态，交换机路由器等网络设置，打印机等。在系统或服务状态异常时发出邮件或短信报警第 一时间通知网站运维人员，在状态恢复后…
阅读更多...
不愧是字节出来的，真厉害...

不愧是字节出来的，真厉害...

🍅 视频学习：文末有免费的配套视频可观看 🍅 关注公众号【互联网杂货铺】，回复 1 ，免费获取软件测试全套资料，资料在手，涨薪更快 前段时间公司缺人，也面了许多测试，一开始…
阅读更多...
互联网轻量级框架整合之JavaEE基础

互联网轻量级框架整合之JavaEE基础

不得不解释得几个概念 JavaEE SUN公司提出来的企业版Java开发中间件，主要用于企业级互联网系统的框架搭建，同时因为Java语言优质的平台无关性、可移植性、健壮性、支持多线程和安全性等优势，其迅速成为构建企业互联网平台的主流技术&#x…
阅读更多...
4T第十四届省赛模拟2

4T第十四届省赛模拟2

一、Seg 温度读取： ①温度 温度读他读出来就是有精度的所以自带小数 我们读取的时候直接强制类型转换读它的各个位也不会丢失精度 ②电压 电压是你人为的/51.0了，从char->float->char所以会有精度丢失 所以要用原始数据来换算 在原始数据上多…
阅读更多...
web布局——说清楚fixed布局

web布局——说清楚fixed布局

极限省流 想要fixed做导航页面：指定清楚top、left、right、bottom，没指定清楚布局位置就会采用默认的方式： 0）父元素的padding：fixed元素相对位移 1）同级元素是fixed元素：覆盖 2&#xff09…
阅读更多...
.NET CORE 分布式事务(三) DTM实现Saga及高并发下的解决方案

.NET CORE 分布式事务(三) DTM实现Saga及高并发下的解决方案

目录(结尾附加项目代码资源地址) 引言： 1. SAGA事务模式 2. 拆分为子事务 3. 失败回滚 4. 如何做补偿 4.1 失败的分支是否需要补偿 5. 异常 6. 异常与子事务屏障 6.1 NPC的挑战 6.2 现有方案的问题 6.3 子事务屏障 6.4 原理 7. 更多高级场景 7.1 部分…
阅读更多...
Golang-Gorm-快速上手

Golang-Gorm-快速上手

Gorm文档 GORM文档地址 安装依赖 go get -u "gorm.io/driver/mysql"go get -u "gorm.io/gorm"连接数据库 默认连接方式 func main() {// 参考 https://github.com/go-sql-driver/mysql#dsn-data-source-name 获取详情dsn : "user:passtcp(127.0.0…
阅读更多...
Django自动化测试平台项目前端框架设计

Django自动化测试平台项目前端框架设计

引言 在之前根据项目具体情况，开发了一套自动预报数据的平台，但是前端页面不耐看，久了就生厌。于是就想更换前端框架，顺便记录一下。 前端设计 原来的界面： 一键预报模块： 为了有更好的感官体验&#xf…
阅读更多...
设计模式——结构型——外观模式Facade

设计模式——结构型——外观模式Facade

处理器类 public class Cpu {public void start() {System.out.println("处理器启动了...");} } 内存类 public class Memory {public void start() {System.out.println("内存启动了...");} } 硬盘类 public class Disk {public void start() {Syste…
阅读更多...
单目图像加单点测距，求解目标位姿

单目图像加单点测距，求解目标位姿

单目图像加单点测距，求解目标位 附赠自动驾驶学习资料和量产经验：链接 单目相机通过对极约束来求解相机运动的位姿。参考了ORBSLAM中单目实现的代码，这里用opencv来实现最简单的位姿估计。 对极约束的概念可以参考我的这篇 Visual SLAM –…
阅读更多...
总结TCP各类知识点

总结TCP各类知识点

前言 本篇博客博主将详细地介绍TCP有关知识点，坐好板凳发车啦~ 一.TCP特点 1.有连接 TCP传输的过程中类似于打电话的各个过程 2.可靠传输 通过TCP自身的多种机制来保证可靠传输 3.面向字节流 内容是以字节的方式来进行发送与接收 4.缓冲区 TCP有接收缓冲区…
阅读更多...
谈一谈BEV和Transformer在自动驾驶中的应用

谈一谈BEV和Transformer在自动驾驶中的应用

谈一谈BEV和Transformer在自动驾驶中的应用 BEV和Transformer都这么火，这次就聊一聊。 结尾有资料连接 一 BEV有什么用 首先，鸟瞰图并不能带来新的功能，对规控也没有什么额外的好处。 从鸟瞰图这个名词就可以看出来，本来摄像头…
阅读更多...
使用启智OpenI平台体验Open-Sora笔记

使用启智OpenI平台体验Open-Sora笔记

OpenI准备部分 镜像代码仓 创建云脑任务 新建调试任务 镜像选择 如果不想体验整个安装配置过程的话，我准备了一个Open-Sora的环境镜像应该可以直接开箱即用 地址： 192.168.204.22:5000/default-workspace/99280a9940ae44ca8f5892134386fddb/image:Open…
阅读更多...
【C++的奇迹之旅】C++关键字命名空间使用的三种方式C++输入输出命名空间std的使用惯例

【C++的奇迹之旅】C++关键字命名空间使用的三种方式C++输入输出命名空间std的使用惯例

文章目录 📝前言🌠 C关键字(C98)🌉 命名空间🌠命名空间定义🌉命名空间使用 🌠命名空间的使用有三种方式：🌉加命名空间名称及作用域限定符🌠使用using将命名空间中某个成员…
阅读更多...
NSGA算法

NSGA算法

先给自己叠甲，记录自己的学习过程，如有内容错误欢迎指正!!!。 1. NSGA算法简介（Nondominated Sorting Genetic Algorithm） 根据标题，NSGA算法分为两个要点，Nondominated Sorting（非支配排序&a…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023