Elasticsearch跨集群检索配置

news2024/11/15 10:15:59

跨集群检索字面意思，同一个检索语句，可以检索到多个ES集群中的数据，ES集群默认是支持跨集群检索的，只需要动态的增加入节点即可，下面跟我一起来体验下ES的跨集群检索的魅力。

Elasticsearch 跨集群检索推荐的是不同集群版本是相同的。

对于 Elasticsearch 的 8.1.3 版本，跨集群检索对应的 Elasticsearch 的版本信息如下，通过看图可以知道，Elasticsearch 的 8.1 版本最多支持到 7.17 版本。

alt

图片来源：https://www.elastic.co/guide/en/elasticsearch/reference/8.1/modules-cross-cluster-search.html

跨集群检索语句等实际操作跳过环境这一节，直接跳转文章底部查看。

环境

集群一：es-docker-cluster

集群一为IP:192.168.160.245这台机器上面以docker形式部署的ES 8.1.3集群，集群名为es-docker-cluster

version: '3.8'
services:
  cerebro:
    image: lmenezes/cerebro:0.8.3
    container_name: cerebro
    ports:
     - "9000:9000"
    command:
     - -Dhosts.0.host=http://eshot:9200
    networks:
     - elastic
  kibana:
    image: docker.elastic.co/kibana/kibana:8.1.3
    container_name: kibana
    environment:
      - I18N_LOCALE=zh-CN
      - XPACK_GRAPH_ENABLED=true
      - TIMELION_ENABLED=true
      - XPACK_MONITORING_COLLECTION_ENABLED="true"
      - ELASTICSEARCH_HOSTS=http://eshot:9200
      - server.publicBaseUrl=http://192.168.160.245:5601
    ports:
      - "5601:5601"
    networks:
      - elastic
  eshot:
    image: elasticsearch:8.1.3
    container_name: eshot
    environment:
      - node.name=eshot
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=eshot,eswarm,escold
      - cluster.initial_master_nodes=eshot,eswarm,escold
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
      - xpack.security.enabled=false
      - node.attr.node_type=hot
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - D:\zuiyuftp\docker\es8.1\eshot\data:/usr/share/elasticsearch/data
      - D:\zuiyuftp\docker\es8.1\eshot\logs:/usr/share/elasticsearch/logs
      - D:\zuiyuftp\docker\es8.1\eshot\plugins:/usr/share/elasticsearch/plugins
    ports:
      - 9200:9200
      - 9300:9300
    networks:
      - elastic
  eswarm:
    image: elasticsearch:8.1.3
    container_name: eswarm
    environment:
      - node.name=eswarm
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=eshot,eswarm,escold
      - cluster.initial_master_nodes=eshot,eswarm,escold
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
      - xpack.security.enabled=false
      - node.attr.node_type=warm
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - D:\zuiyuftp\docker\es8.1\eswarm\data:/usr/share/elasticsearch/data
      - D:\zuiyuftp\docker\es8.1\eswarm\logs:/usr/share/elasticsearch/logs
      - D:\zuiyuftp\docker\es8.1\eshot\plugins:/usr/share/elasticsearch/plugins
    networks:
      - elastic
  escold:
    image: elasticsearch:8.1.3
    container_name: escold
    environment:
      - node.name=escold
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=eshot,eswarm,escold
      - cluster.initial_master_nodes=eshot,eswarm,escold
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
      - xpack.security.enabled=false
      - node.attr.node_type=cold
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - D:\zuiyuftp\docker\es8.1\escold\data:/usr/share/elasticsearch/data
      - D:\zuiyuftp\docker\es8.1\escold\logs:/usr/share/elasticsearch/logs
      - D:\zuiyuftp\docker\es8.1\eshot\plugins:/usr/share/elasticsearch/plugins
    networks:
      - elastic

# volumes:
#   eshotdata:
#     driver: local
#   eswarmdata:
#     driver: local
#   escolddata:
#     driver: local

networks:
  elastic:
    driver: bridge

集群二：zuiyu-application

集群二为IP:192.168.160.31机器上面部署的ES8.1.3集群，集群名称为zuiyu-application他们三个的配置分别如下

node1

cluster.name: zuiyu-application
node.name: node-1
path.data: D:\elasticsearch-8.1.3-windows-x86_64\elasticsearch-8.1.3/813/data
path.logs: D:\elasticsearch-8.1.3-windows-x86_64\elasticsearch-8.1.3/813/logs
network.host: 192.168.160.31
http.port: 9200
transport.port: 9300
cluster.initial_master_nodes: ["node-1"]
discovery.seed_hosts: ["192.168.160.31:9300", "192.168.160.31:9302","192.168.160.31:9303"]
xpack.security.enabled: false
xpack.security.enrollment.enabled: false
xpack.security.http.ssl:
  enabled: false
  keystore.path: certs/http.p12
xpack.security.transport.ssl:
  enabled: false
  verification_mode: certificate
  keystore.path: certs/transport.p12
  truststore.path: certs/transport.p12

node2

cluster.name: zuiyu-application
node.name: node-2
path.data: D:\elasticsearch-8.1.3-windows-x86_64\node2/813/data
path.logs: D:\elasticsearch-8.1.3-windows-x86_64\node2/813/logs
network.host: 192.168.160.31
http.port: 9202
transport.port: 9302
cluster.initial_master_nodes: [node-2"]
discovery.seed_hosts: ["192.168.160.31:9300", "192.168.160.31:9302","192.168.160.31:9303"]
xpack.security.enabled: false
xpack.security.enrollment.enabled: false
xpack.security.http.ssl:
  enabled: false
  keystore.path: certs/http.p12
xpack.security.transport.ssl:
  enabled: false
  verification_mode: certificate
  keystore.path: certs/transport.p12
  truststore.path: certs/transport.p12

node3

cluster.name: zuiyu-application
node.name: node-3
path.data: D:\elasticsearch-8.1.3-windows-x86_64\node3/813/data
path.logs: D:\elasticsearch-8.1.3-windows-x86_64\node3/813/logs
network.host: 192.168.160.31
http.port: 9203
transport.port: 9303
cluster.initial_master_nodes: ["node-3"]
discovery.seed_hosts: ["192.168.160.31:9300", "192.168.160.31:9302","192.168.160.31:9303"]
xpack.security.enabled: false
xpack.security.enrollment.enabled: false
xpack.security.http.ssl:
  enabled: false
  keystore.path: certs/http.p12
xpack.security.transport.ssl:
  enabled: false
  verification_mode: certificate
  keystore.path: certs/transport.p12
  truststore.path: certs/transport.p12

现在环境已经搭建好了，下面 进入实验环节，首先打开集群es-docker-cluster所对应的kibana

Kibana 自行安装

跨集群检索

  • 先对集群 es-docker-cluster设置跨集群检索的集群信息

    PUT _cluster/settings
{
  "persistent": {
    "cluster": {
      "remote": {
        "zuiyu-application": {
          "seeds": [
            "192.168.160.31:9300"
          ]
        }
      }
    }
  }
}

    其中zuiyu-application 为自定义的跨集群检索的名称

  • 在当前集群es-docker-cluster 中插入一条数据

    POST zfc-doc-000011/_doc/1
{
  "name":"zuiyu",
  "content":"test cluster doc 1"
}

  • 打开集群 zuiyu-application对应的Kibana，同样进行增加一条数据，使他们的 name 的值都是 zuiyu

    # 集群 zuiyu-application 中插入
POST zfc-doc-000011/_doc/1
{
  "name":"zuiyu",
  "content":"test cluster doc 2,this doc in cluster zuiyu-application"
}

    到这，基础的测试数据已经完成，开始跨集群检索

  • 指定集群进行检索

    GET /集群名:索引名/_search

    GET /zuiyu-application:zfc-doc-000011/_search
{
  "query": {
    "term": {
      "name": "zuiyu"
    }
  },
  "_source": ["name", "content"]
}

    响应结果如下，可以看到已经在集群 zuiyu-application中查询出来数据了

alt

  • 跨集群检索

    同时检索es-docker-cluster与zuiyu-application两个集群中索引为zfc-doc-000011中的内容

    GET zfc-doc-000011,zuiyu-application:zfc-doc-000011/_search
{
  "query": {
    "term": {
      "name": "zuiyu"
    }
  },
  "_source": ["name", "content"]
}

    响应结果如下

alt

因为我们是在 es-docker-cluster集群对应的Kibana中执行的，所以本集群的名称可以不用指定。如果想查询多个索引，只需要追加集群名:索引名即可。

基础的跨集群配置与检索就到此， 实际的使用中查询语句的条件等各个方法都会有限制，这个需要根据实际使用场景来进行修改了，反正现在怎么操作你会了，比着葫芦画瓢还不简单吗。

集群不可用时的处理

默认情况下，如果请求的远程集群返回错误或者不可用，跨集群检索将失败。此时我们可以使用 skip_unavailable ，设置该参数为 true，可以在远程集群不可用时跳过该集群。

修改语句如下，该语句设置将在集群 zuiyu-application 不可用时跳过该集群。

PUT _cluster/settings
{
  "persistent": {
    "cluster.remote.zuiyu-application.skip_unavailable": false
  }
}

处理网络延迟的方式

  • 最小化网络往返次数

    默认情况下，Elasticsearch 会减少与远程集群之间的网络往返次数。这就减少了网络延迟对搜索速度的影响。但是Elasticsearch 无法减少大型检索请求的网络往返次数，例如包含 scroll 或者 inner_hits 的请求。 ccs_minimize_roundtrips 的值为 true 时来使用此选项。

  • 不要最小化网络往返次数

    对于 scroll 或者 inner_hits 的请求，Elasticsearch 会向每个远程集群发送多个传入传出请求。我们可以通过修改 ccs_minimize_roundtrips 的值为 false 来使用此选项。虽然说速度会较慢，但是对于低延迟网络还是很适用的。

    对于该参数ccs_minimize_roundtrips 不了解的可以参考这篇文章

    枯燥无味的Elasticsearch检索参数字典

    打不开的复制链接地址到浏览器打开即可: https://mp.weixin.qq.com/s/DC_2sv5icjR63wZ6XmK6MA

最小化网络往返次数

图片来自官网，可点击左下角原文链接

1、向本地集群中发送跨集群检索请求，该集群中的协调节点接收并解析请求。

alt

2、协调节点向每个集群包括本地集群发送单个搜索请求。每个集群独立执行搜索请求。

alt

3、每个远程集群响应检索结果给协调节点。

alt

4、从每个集群收集结果之后，协调节点在跨集群检索请求响应中返回最终的结果。

alt

不使用最小化网络往返次数

图片来自官网，可点击左下角原文链接

1、向本地集群中发送跨集群检索请求，该集群中的协调节点接收并解析请求。

alt

2、协调节点向每个集群发送分片检索请求。

alt

3、每个远程集群将其响应发送回协调节点。此响应包含跨集群检索请求将在其集群上执行的索引和分片的信息。

alt

4、协调节点向每个分片发送检索请求，包括自己本身集群的分片。每个分片独立执行检索请求。

当网络的往返没有最小化时，因为会发送所有的分片进行检索，所以搜索的结果就好比全在协调节点中保存中一样。所以我们可以修改集群的检索设置，比如action.search.shard_count.limit, pre_filter_shard_size, max_concurrent_shard_requests，如果这些限制太低的话，检索请求可能会被直接拒绝。

对于该参数不了解的可以参考这篇文章

枯燥无味的Elasticsearch检索参数字典

打不开的复制链接地址到浏览器打开即可: https://mp.weixin.qq.com/s/DC_2sv5icjR63wZ6XmK6MA

alt

5、每个分片将检索结果返回给协调节点。

alt

6、协调节点收集所有的结果后，在跨集群检索请求响应中返回最终的响应结果。

alt

Kibana 中远程集群查看

创建完成之后的远程集群可以在Kibana中查看

alt

本文由 mdnice 多平台发布

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1144350.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

vue源码分析（一）——源码目录说明

vue源码分析（一）——源码目录说明

文章目录 一、如何下载源码（可忽略）（1）打开地址（2）复制链接（3）git clone 链接 二、源码目录说明1.可以根据你下载的源码通过package.json文件查看vue版本2.源码目录说明 一、如何下载…
阅读更多...
Java中作为数据库某个表的实体类为什么一定要实现Serializable接口

Java中作为数据库某个表的实体类为什么一定要实现Serializable接口

在Java中，实体类并不一定要实现 Serializable 接口来作为数据库的某个表的映射。这个接口的实现主要与对象的序列化和反序列化相关。序列化是指将对象的状态信息转换为可以存储或传输的形式的过程。在反序列化过程中，这些信息可以用来重构原始对象。 下面…
阅读更多...
Go学习第十五章——Gin（参数绑定bind与验证器）

Go学习第十五章——Gin（参数绑定bind与验证器）

Go web框架——Gin（参数绑定bind与验证器） 1 bind参数绑定1.1 JSON参数1.2 Query参数1.3 Uri绑定动态参数1.4 ShouldBind自动绑定 2 验证器2.1 常用验证器2.2 gin内置验证器2.3 自定义验证的错误信息2.4 自定义验证器 1 bind参数绑定 在Gin框架中&#…
阅读更多...
人工智能轨道交通行业周刊-第64期（2023.10.16-10.29）

人工智能轨道交通行业周刊-第64期（2023.10.16-10.29）

本期关键词：北斗应用、供电智能运维、5G-R、铁路职称、星火大模型 1 整理涉及公众号名单 1.1 行业类 RT轨道交通人民铁道世界轨道交通资讯网铁路信号技术交流北京铁路轨道交通网上榜铁路视点ITS World轨道交通联盟VSTR铁路与城市轨道交通RailMetro轨道世界铁路那…
阅读更多...
数据结构和算法——用C语言实现所有排序算法

数据结构和算法——用C语言实现所有排序算法

文章目录 前言排序算法的基本概念内部排序插入排序直接插入排序折半插入排序希尔排序 交换排序冒泡排序快速排序 选择排序简单选择排序堆排序 归并排序基数排序 外部排序多路归并败者树置换——选择排序最佳归并树 前言 本文所有代码均在仓库中，这是一个完整的由纯…
阅读更多...
哨兵1和2号遥感数据请求失败

哨兵1和2号遥感数据请求失败

哨兵1和2号遥感数据请求失败 问题描述 在23年10月底下载哨兵数据的时候发现，22年12月前的哨兵数据都请求失败了，但是之后的数据都能够下载，是否是哨兵数据下载也有时间限制？网站上只能保存近一年来的数据呢？ 解决方案…
阅读更多...
C# | Chaikin算法 —— 计算折线对应的平滑曲线坐标点

C# | Chaikin算法 —— 计算折线对应的平滑曲线坐标点

Chaikin算法——计算折线对应的平滑曲线坐标点 本文将介绍一种计算折线对应的平滑曲线坐标点的算法。该算法使用Chaikin曲线平滑处理的方法，通过控制张力因子和迭代次数来调整曲线的平滑程度和精度。通过对原始点集合进行切割和插值操作，得到平滑的曲线坐…
阅读更多...
基于SpringBoot+Vue的服装销售系统

基于SpringBoot+Vue的服装销售系统

基于SpringBootVue的服装销售平台的设计与实现~ 开发语言：Java数据库：MySQL技术：SpringBootMyBatisVue工具：IDEA/Ecilpse、Navicat、Maven 系统展示 主页 我的订单 登录界面 管理员界面 摘要 基于SpringBoot和Vue的服装销售系统…
阅读更多...
【Hello Algorithm】滑动窗口内最大值最小值

【Hello Algorithm】滑动窗口内最大值最小值

滑动窗口介绍 滑动窗口是一种我们想象中的数据结构 它是用来解决算法问题的 我们可以想象出一个数组 然后再在这个数组的起始位置想象出两个指针 L 和 R 我们对于这两个指针做出以下规定 L 和 R指针只能往右移动L指针不能走到R指针的右边我们只能看到L指针和R指针中间的数字 …
阅读更多...
【面向对象程序设计】Java大作业 汽车租赁管理系统V4.0

【面向对象程序设计】Java大作业 汽车租赁管理系统V4.0

前言 自己大二时候使用JavaMysql写的租车系统大作业V4.0黑窗口版的一个记录，简简单单的黑窗口，不是炫酷的前后端分离也没用GUI，但功能完善，该有都有，当时得分也还是挺不错的 技术栈 Java (jdk8)Mysql 资源包内容 …
阅读更多...
8、电路综合-基于简化实频的SRFT微带线的带通滤波器设计

8、电路综合-基于简化实频的SRFT微带线的带通滤波器设计

8、电路综合-基于简化实频的SRFT微带线的带通滤波器设计 此处介绍微带线综合的巴特沃斯带通滤波器和切比雪夫带通滤波器的设计方法。对于理查德域的网络综合技术而言，这种带通综合和低通综合在本质上并无区别，因为理查德域函数是周期的。低通滤波器的SR…
阅读更多...
一文讲明：企业知识库的作用和搭建方法

一文讲明：企业知识库的作用和搭建方法

在现代商务环境中，企业面临着大量的信息和知识流动。这些信息和知识散落在各个部门、团队甚至个人之间，难以进行有效的整合和利用。而企业知识库的出现解决了这一问题。它提供了一个统一的平台，将分散的信息汇聚到一个集中的数据库中&#xf…
阅读更多...
jenkins如何安装？

jenkins如何安装？

docker pull jenkins/jenkins:lts-centos7-jdk8 2.docker-compose.yml version: 3 services:jenkins:image: jenkins/jenkins:lts-centos7-jdk8container_name: my-jenkinsports:- "8080:8080" # 映射 Jenkins Web 界面端口volumes:- jenkins_home:/var/jenkins_h…
阅读更多...
657. 机器人能否返回原点

657. 机器人能否返回原点

657. 机器人能否返回原点 Java代码&#xff1a; class Solution {public boolean judgeCircle(String moves) {int[] x {0, 0, -1, 1};int[] y {1, -1, 0, 0};String str "UDLR";int xx 0, yy 0;for (int i 0; i < moves.length(); i) {xx x[str.indexOf(…
阅读更多...
小美的修路(最小生成树练习)

小美的修路(最小生成树练习)

本题链接&#xff1a;登录—专业IT笔试面试备考平台_牛客网 题目&#xff1a; 样例&#xff1a; 输入 3 4 1 2 3 1 1 2 2 0 1 3 1 0 2 3 3 0 输出 2 1 3 思路&#xff1a; 由题意&#xff0c;这里建造的城市需要修路&#xff0c;且每个城市之间可以联通&#xff0c;且 是 1 …
阅读更多...
网络协议--TCP的成块数据流

网络协议--TCP的成块数据流

20.1 引言 在第15章我们看到TFTP使用了停止等待协议。数据发送方在发送下一个数据块之前需要等待接收对已发送数据的确认。本章我们将介绍TCP所使用的被称为滑动窗口协议的另一种形式的流量控制方法。该协议允许发送方在停止并等待确认前可以连续发送多个分组。由于发送方不必…
阅读更多...
QA新人任务成果演示

QA新人任务成果演示

阅读更多...
安卓APP抓包环境配置

安卓APP抓包环境配置

软件下载安装 所需软件 夜神模拟器 Fiddler platform-tools 下载地址 https://wwb.lanzoum.com/b01xhmk5e 密码:hv99 配置Fiddler 由于fiddler只默认抓取HTTP的请求&#xff0c;若想抓取HTTPS的请求&#xff0c;则需要设置HTTPS的各项值 设置HTTPS各项值 在fiddler菜单项…
阅读更多...
思维模型 棘轮效应

思维模型 棘轮效应

本系列文章 主要是 分享 思维模型&#xff0c;涉及各个领域&#xff0c;重在提升认知。由俭入奢易&#xff0c;由奢入俭难&#xff0c;到底因为啥&#xff1f;棘轮效应。 1 棘轮效应的应用 1.1 恋爱中的棘轮效应 小美是一个漂亮的女孩&#xff0c;家庭条件也不错&#xff0c;…
阅读更多...
R2R 的一些小tip

R2R 的一些小tip

批次间控制器(Run-to-run Controller)&#xff0c;以应对高混合生产的挑战。将最优配方参数与各种工业特征相关联的模型是根据历史数据离线训练的。预测的最优配方参数在线用于调整工艺条件。 批次控制(R2R control)是一种先进的工艺控制技术&#xff0c;可在运行(如批次或晶圆…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023