027-从零搭建微服务-搜索服务（一）

news2024/11/27 18:39:41

写在最前

如果这个项目让你有所收获，记得 Star 关注哦，这对我是非常不错的鼓励与支持。

源码地址（后端）：https://gitee.com/csps/mingyue

源码地址（前端）：https://gitee.com/csps/mingyue-ui

文档地址：https://gitee.com/csps/mingyue/wikis

搭建 ELK 环境

Docker 安装 ELK 7.17.2

https://blog.csdn.net/csp732171109/article/details/124413138

Docker 安装 ELK 7.17.7

参考 mingyue/docker/elk 目录结构，以及 mingyue/docker/docker-compose.yml 部署 ELK

version: '3.8'
services:
	 mingyue-elasticsearch:
    image: elasticsearch:7.17.7
    container_name: mingyue-elasticsearch
    ports:
      - "9200:9200"
      - "9300:9300"
    environment:
      # 设置集群名称
      cluster.name: elasticsearch
      # 以单一节点模式启动
      discovery.type: single-node
      ES_JAVA_OPTS: "-Xms512m -Xmx512m"
    volumes:
      - ./elk/elasticsearch/plugins:/usr/share/elasticsearch/plugins
      - ./elk/elasticsearch/data:/usr/share/elasticsearch/data
      - ./elk/elasticsearch/logs:/usr/share/elasticsearch/logs

  mingyue-kibana:
    image: kibana:7.17.7
    container_name: mingyue-kibana
    ports:
      - "5601:5601"
    depends_on:
      # kibana在elasticsearch启动之后再启动
      - mingyue-elasticsearch
    environment:
      #设置系统语言文中文
      I18N_LOCALE: zh-CN
      # 访问域名
      # SERVER_PUBLICBASEURL: https://kibana.cloud.com
    volumes:
      - ./elk/kibana/config/kibana.yml:/usr/share/kibana/config/kibana.yml
    links:
      - mingyue-elasticsearch:es #可以用es这个域名访问elasticsearch服务

  mingyue-logstash:
    image: logstash:7.17.7
    container_name: mingyue-logstash
    ports:
      - "4560:4560"
    volumes:
      - ./elk/logstash/pipeline/logstash.conf:/usr/share/logstash/pipeline/logstash.conf
      - ./elk/logstash/config/logstash.yml:/usr/share/logstash/config/logstash.yml
    depends_on:
      - mingyue-elasticsearch

测试环境

  • Elasticsearch

访问：http://esIP:9200/

见到如下打印即可

{
    "name": "1cc13d88bfe7",
    "cluster_name": "elasticsearch",
    "cluster_uuid": "1vZhSxDGTA-oJd-IlqZjWQ",
    "version": {
        "number": "7.17.7",
        "build_flavor": "default",
        "build_type": "docker",
        "build_hash": "78dcaaa8cee33438b91eca7f5c7f56a70fec9e80",
        "build_date": "2022-10-17T15:29:54.167373105Z",
        "build_snapshot": false,
        "lucene_version": "8.11.1",
        "minimum_wire_compatibility_version": "6.8.0",
        "minimum_index_compatibility_version": "6.0.0-beta1"
    },
    "tagline": "You Know, for Search"
}
  • Kibana
    • 访问首页可以打开即可：http://esIP:5601/app/home#/

Easy-Es

Easy-Es（简称EE）是一款基于 ElasticSearch(简称Es)官方提供的 RestHighLevelClient 打造的 ORM 开发框架，在 RestHighLevelClient 的基础上,只做增强不做改变，为简化开发、提高效率而生,您如果有用过 Mybatis-Plus(简称MP),那么您基本可以零学习成本直接上手EE,EE 是 MP 的 Es 平替版,在有些方面甚至比 MP 更简单,同时也融入了更多 Es 独有的功能,助力您快速实现各种场景的开发。

框架架构

优势

  • 全自动索引托管: 全球开源首创的索引托管模式,开发者无需关心索引的创建更新及数据迁移等繁琐步骤,索引全生命周期皆可托管给框架,由框架自动完成,过程零停机,用户无感知,彻底解放开发者
  • 智能字段类型推断: 根据索引类型和当前查询类型上下文综合智能判断当前查询是否需要拼接.keyword 后缀,减少小白误用的可能
  • 屏蔽语言差异: 开发者只需要会 MySQL 语法即可使用 Es,真正做到一通百通,无需学习枯燥易忘的 Es 语法,Es 使用相对 MySQL 较低频,学了长期不用也会忘,没必要浪费这时间.开发就应该专注于业务,省下的时间去撸铁,去陪女朋友陪家人,不做资本家的韭菜
  • 代码量极少: 与直接使用 RestHighLevelClient 相比,相同的查询平均可以节省3-5倍左右的代码量
  • 零魔法值: 字段名称直接从实体中获取,无需输入字段名称字符串这种魔法值,提高代码可读性,杜绝因字段名称修改而代码漏改带来的Bug
  • 零额外学习成本: 开发者只要会国内最受欢迎的 Mybatis-Plus 语法,即可无缝迁移至EE,EE采用和前者相同的语法,消除使用者额外学习成本,直接上手,爽
  • 降低开发者门槛: Es 通常需要中高级开发者才能驾驭,但通过接入 EE,即便是只了解 ES 基础的初学者也可以轻松驾驭 ES 完成绝大多数需求的开发,可以提高人员利用率,降低企业成本

特性

  • 无侵入：只做增强不做改变，引入它不会对现有工程产生影响，如丝般顺滑
  • 损耗小：启动即会自动注入基本 CURD，性能基本无损耗，直接面向对象操作
  • 强大的 CRUD 操作：内置通用 Mapper，仅仅通过少量配置即可实现大部分 CRUD 操作，更有强大的条件构造器，满足各类使用需求
  • 支持 Lambda 形式调用：通过 Lambda 表达式，方便的编写各类查询条件，无需再担心字段写错段
  • 支持主键自动生成：支持2 种主键策略，可自由配置，完美解决主键问题
  • 支持 ActiveRecord 模式：支持 ActiveRecord 形式调用，实体类只需继承 Model 类即可进行强大的 CRUD 操作
  • 支持自定义全局通用操作：支持全局通用方法注入（ Write once, use anywhere ）
  • 内置分页插件：基于RestHighLevelClient 物理分页，开发者无需关心具体操作，且无需额外配置插件，写分页等同于普通 List 查询,且保持和PageHelper插件同样的分页返回字段,无需担心命名影响
  • MySQL功能全覆盖:MySQL中支持的功能通过EE都可以轻松实现
  • 支持ES高阶语法:支持高亮搜索,分词查询,权重查询,Geo地理位置查询,IP查询,聚合查询等高阶语法
  • 良好的拓展性:底层仍使用RestHighLevelClient,可保持其拓展性,开发者在使用EE的同时,仍可使用RestHighLevelClient的功能

集成 Easy-Es

新建模块 mingyue-common-es

引入依赖

<dependencies>
    <dependency>
        <groupId>cn.easy-es</groupId>
        <artifactId>easy-es-boot-starter</artifactId>
    </dependency>
</dependencies>

添加 Easy-Es 配置

@AutoConfiguration
@ConditionalOnProperty(value = "easy-es.enable", havingValue = "true")
@EsMapperScan("com.csp.mingyue.**.esmapper")
public class EasyEsConfiguration {

}

自动注入

com.csp.mingyue.common.config.EasyEsConfiguration

搜索服务

新建模块 mingyue-search、mingyue-search-api、mingyue-search-biz

引入依赖

mingyue-search-biz 引入 mingyue-common-es 模块

<dependencies>
    <!-- SpringCloud Alibaba Nacos -->
    <dependency>
        <groupId>com.alibaba.cloud</groupId>
        <artifactId>spring-cloud-starter-alibaba-nacos-discovery</artifactId>
    </dependency>

    <!-- SpringCloud Alibaba Nacos Config -->
    <dependency>
        <groupId>com.alibaba.cloud</groupId>
        <artifactId>spring-cloud-starter-alibaba-nacos-config</artifactId>
    </dependency>

    <!-- web容器 -->
    <dependency>
        <groupId>com.csp.mingyue</groupId>
        <artifactId>mingyue-common-web</artifactId>
    </dependency>

    <!-- 接口文档 -->
    <dependency>
        <groupId>com.csp.mingyue</groupId>
        <artifactId>mingyue-common-doc</artifactId>
    </dependency>

    <!-- 认证工具类 -->
    <dependency>
        <groupId>com.csp.mingyue</groupId>
        <artifactId>mingyue-common-security</artifactId>
    </dependency>

    <dependency>
        <groupId>com.csp.mingyue</groupId>
        <artifactId>mingyue-search-api</artifactId>
    </dependency>

    <!-- ES 搜索依赖 -->
    <dependency>
        <groupId>com.csp.mingyue</groupId>
        <artifactId>mingyue-common-es</artifactId>
    </dependency>
</dependencies>

添加 Document Mapper

public interface DocumentMapper extends BaseEsMapper<Document> {
}

添加 application.yml

# 端口
server:
    port: 7400

spring:
    application:
        name: @artifactId@
    profiles:
        # 环境配置
        active: @profiles.active@
    cloud:
        nacos:
            # nacos 服务地址
            server-addr: @nacos.server@
            username: @nacos.username@
            password: @nacos.password@
            discovery:
                # 注册组
                group: @nacos.discovery.group@
                namespace: ${spring.profiles.active}
            config:
                # 配置组
                group: @nacos.config.group@
                namespace: ${spring.profiles.active}
    config:
        import:
            - optional:nacos:application-common.yml
            - optional:nacos:${spring.application.name}.yml

Nacos 配置添加

新建 mingyue-search-biz.yml nacos 配置

# 搜索服务配置
easy-es:
  # 是否开启EE自动配置
  enable: true
  # es连接地址+端口 格式必须为ip:port,如果是集群则可用逗号隔开
  address : mingyue-es:9200
  # 默认为http
  schema: http
  # 注意ES建议使用账号认证 不使用会报警告日志
  # 如果无账号密码则不配置此行
  #username:
  # 如果无账号密码则不配置此行
  #password:
  # 心跳策略时间 单位:ms
  keep-alive-millis: 18000
  # 连接超时时间 单位:ms
  connectTimeout: 5000
  # 通信超时时间 单位:ms
  socketTimeout: 5000
  # 请求超时时间 单位:ms
  requestTimeout: 5000
  # 连接请求超时时间 单位:ms
  connectionRequestTimeout: 5000
  # 最大连接数 单位:个
  maxConnTotal: 100
  # 最大连接路由数 单位:个
  maxConnPerRoute: 100
  global-config:
    # 开启控制台打印通过本框架生成的DSL语句,默认为开启,生产环境建议关闭,以提升少量性能
    print-dsl: true
    # 异步处理索引是否阻塞主线程 默认阻塞 数据量过大时调整为非阻塞异步进行 项目启动更快
    asyncProcessIndexBlocking: true
    db-config:
      # 是否开启下划线转驼峰 默认为false
      map-underscore-to-camel-case: true
      # id生成策略 customize为自定义,id值由用户生成,比如取MySQL中的数据id,如缺省此项配置,则id默认策略为es自动生成
      id-type: customize
      # 字段更新策略 默认为not_null
      field-strategy: not_null
      # 默认开启,查询若指定了size超过1w条时也会自动开启,开启后查询所有匹配数据,若不开启,会导致无法获取数据总条数,其它功能不受影响.
      enable-track-total-hits: true
      # 数据刷新策略,默认为不刷新
      refresh-policy: immediate
      # 是否全局开启must查询类型转换为filter查询类型 默认为false不转换
      enable-must2-filter: false

单元测试测试 Easy-Es Api

测试新增

断言通过即可

@DisplayName("测试新增一条数据")
@Test
public void testTest() {
  // 测试插入数据
  Document document = new Document();
  document.setId("1");
  document.setTitle("登高");
  document.setContent("风急天高猿啸哀，渚清沙白鸟飞回。");
  Assertions.assertTrue(documentMapper.insert(document) > 0);
}

测试查询

断言通过即可

@DisplayName("测试查询一条数据")
@Test
public void testSelect() {
  // 测试查询 写法和MP一样 可以用链式,也可以非链式 根据使用习惯灵活选择即可
  String title = "登高";
  LambdaEsQueryWrapper<Document> wrapper = new LambdaEsQueryWrapper<>();
  wrapper.like(Document::getTitle, title);

  Document document = documentMapper.selectOne(wrapper);
  Assertions.assertEquals(title, document.getTitle());
}

执行日志如下：

2023-09-19 15:22:10.708  INFO 43316 --- [           main] easy-es                                  : ===> Execute By Easy-Es: 
index-name: document
DSL：{"size":10000,"query":{"bool":{"must":[{"wildcard":{"title":{"wildcard":"*登高*","boost":1.0}}}],"adjust_pure_negative":true,"boost":1.0}},"track_total_hits":2147483647}

测试更新

断言通过即可

@DisplayName("测试更新一条数据")
@Test
public void testUpdateById() {
  // 测试更新 更新有两种情况 1.已知id, 根据id更新;2.id未知, 根据条件更新
  Document document = new Document();
  document.setId("1");
  document.setContent("风急天高猿啸哀，渚清沙白鸟飞回。无边落木萧萧下，不尽长江滚滚来。");

  Assertions.assertTrue(documentMapper.updateById(document) > 0);
}

测试删除

断言通过即可

@DisplayName("测试删除一条数据")
@Test
public void testDeleteById() {
  // 测试删除数据 删除有两种情况:根据id删或根据条件删
  Assertions.assertTrue(documentMapper.deleteById("1") > 0);
}

小结

现在通过单元测试打通了代码与 Elasticsearch 服务，完成了增删改查。接下来通过接口的方式来支持代码对 Elasticsearch 服务的增删改查，完善服务。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1023252.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

华清远见第六课程day10作业

华清远见第六课程day10作业

保纯 //保存按钮对应的槽函数 void Widget::on_saveBtn_clicked() {QString fileName QFileDialog::getSaveFileName(this, "保存文件", "./", "All(*.*);;Images (*.png *.xpm *.jpg);;Text files(*.txt);;XML …
阅读更多...
PyG-GCN-Cora(在Cora数据集上应用GCN做节点分类)

PyG-GCN-Cora(在Cora数据集上应用GCN做节点分类)

文章目录 model.pymain.py参数设置注意事项运行图 model.py import torch.nn as nn from torch_geometric.nn import GCNConv import torch.nn.functional as F class gcn_cls(nn.Module):def __init__(self,in_dim,hid_dim,out_dim,dropout_size0.5):super(gcn_cls,self).__i…
阅读更多...
【PyTorch 攻略】（6-7/7）

【PyTorch 攻略】（6-7/7）

一、说明 本篇介绍模型模型的参数&#xff0c;模型推理和使用&#xff0c;保存加载。 二、训练参数和模型 在本单元中&#xff0c;我们将了解如何加载模型及其持久参数状态和推理模型预测。为了加载模型&#xff0c;我们将定义模型类&#xff0c;其中包含用于训练模型的神经网…
阅读更多...
CockroachDB集群部署

CockroachDB集群部署

CockroachDB集群部署 1、CockroachDB简介 CockroachDB(有时简称为CRDB)是一个免费的、开源的分布式 SQL 数据库&#xff0c;它建立在一个事务性和强一致性的键 值存储之上。它由 PebbleDB(一个受 RocksDB/leveldb 启发的 K/B 存储库)支持&#xff0c;并使用 Raft 分布式共识…
阅读更多...
利用Java EE相关技术实现一个简单的Web聊天室系统

利用Java EE相关技术实现一个简单的Web聊天室系统

利用Java EE相关技术实现一个简单的Web聊天室系统 &#xff08;1&#xff09;编写一个登录页面&#xff0c;登录信息中有用户名和密码&#xff0c;分别用两个按钮来提交和重置登录信息。 &#xff08;2&#xff09;通过请求指派来处理用户提交的登录信息&#xff0c;如果用户名…
阅读更多...
基于YOLOv8模型的烟火目标检测系统（PyTorch+Pyside6+YOLOv8模型）

基于YOLOv8模型的烟火目标检测系统（PyTorch+Pyside6+YOLOv8模型）

摘要&#xff1a;基于YOLOv8模型的烟火目标检测系统可用于日常生活中检测与定位烟火目标&#xff0c;利用深度学习算法可实现图片、视频、摄像头等方式的目标检测&#xff0c;另外本系统还支持图片、视频等格式的结果可视化与结果导出。本系统采用YOLOv8目标检测算法训练数据集…
阅读更多...
linux中的开发工具

linux中的开发工具

在刚开始使用linux的时候&#xff0c;我们需要在系统上写一些简单的代码&#xff0c;来熟悉环境以及各种指令 并且熟悉属于linux的一套开发的环境&#xff0c;而这对于c来说需要三个软件就可以进行简单的编码 和使用&#xff0c;让我们来认识一下下列工具&#xff0c;以及工具的…
阅读更多...
【Java 基础篇】Java字符打印流详解：文本数据的输出利器

【Java 基础篇】Java字符打印流详解：文本数据的输出利器

在Java编程中&#xff0c;我们经常需要将数据输出到文件或其他输出源中。Java提供了多种输出流来帮助我们完成这项任务&#xff0c;其中字符打印流是一个非常有用的工具。本文将详细介绍Java字符打印流的用法&#xff0c;以及如何在实际编程中充分利用它。 什么是字符打印流&a…
阅读更多...
电脑丢失d3dcompiler47.dll怎么办,这个四个修复方法都可以解决

电脑丢失d3dcompiler47.dll怎么办,这个四个修复方法都可以解决

d3dcompiler_47.dll 是一个与 DirectX 相关的动态链接库文件&#xff0c;它包含了 DirectX 编译器的一些函数和类&#xff0c;对于许多应用程序和游戏来说都是必需的。如果您的系统中缺失了这个文件&#xff0c;可能会导致程序无法正常运行。下面我们将介绍四个修复 d3dcompile…
阅读更多...
(图论) 1020. 飞地的数量 ——【Leetcode每日一题】

(图论) 1020. 飞地的数量 ——【Leetcode每日一题】

❓ 1020. 飞地的数量 难度&#xff1a;中等 给你一个大小为 m x n 的二进制矩阵 grid &#xff0c;其中 0 表示一个 海洋单元格、1 表示一个 陆地单元格。 一次 移动 是指从一个陆地单元格走到另一个相邻&#xff08;上、下、左、右&#xff09;的陆地单元格或跨过 grid 的边…
阅读更多...
vant 组件库的基本使用

vant 组件库的基本使用

文章目录 vant组件库1、什么是组件库2、vant组件 全部导入 和 按需导入的区别3、全部导入的使用步骤&#xff1a;4、按需导入的使用步骤&#xff1a;5、封装vant文件包 vant组件库 该项目将使用到vant-ui组件库&#xff0c;这里的目标就是认识他&#xff0c;铺垫知识 1、什么…
阅读更多...
PyG-GAT-Cora(在Cora数据集上应用GAT做节点分类)

PyG-GAT-Cora(在Cora数据集上应用GAT做节点分类)

文章目录 model.pymain.py参数设置运行图 model.py import torch.nn as nn from torch_geometric.nn import GATConv import torch.nn.functional as F class gat_cls(nn.Module):def __init__(self,in_dim,hid_dim,out_dim,dropout_size0.5):super(gat_cls,self).__init__()s…
阅读更多...
安达发APS|国货品牌崛起，制造业迎来智能排产新机遇

安达发APS|国货品牌崛起，制造业迎来智能排产新机遇

随着国货品牌的不断崛起&#xff0c;制造业的生产也面临着巨大的挑战。为应对这一挑战&#xff0c;越来越多的企业开始引入APS智能排产技术&#xff0c;以优化生产线布局、提升设备利用率、缩短生产周期、减少生产成本&#xff0c;从而增强市场竞争力。本文将为您详细解读APS智…
阅读更多...
数据结构-----栈（栈的初始化、建立、入栈、出栈、遍历、清空等操作）

数据结构-----栈（栈的初始化、建立、入栈、出栈、遍历、清空等操作）

目录 前言 栈 1.定义 2.栈的特点 3.栈的储存方式 3.1数组栈 3.2链栈 4.栈的基本操作&#xff08;C语言&#xff09; 4.1初始化 4.2判断是否满栈 4.3判断空栈 4.4 入栈 4.5 出栈 4.6获取栈顶元素 4.7遍历栈 4.8清空栈 完整代码示例 前言 大家好呀&#xff01;今天我…
阅读更多...
登录业务实现

登录业务实现

登录业务实现&#xff1a; 登录成功/失败实现 -> pinia管理用户数据及数据持久化 -> 不同登录状态的模板适配 -> 请求拦截器携带token -> 退出登录实现 -> token失效&#xff08;401响应拦截&#xff09; 1. 登录成功/失败实现 当表单校验通过时&a…
阅读更多...
华为云云耀云服务器L实例评测｜云耀云服务器L实例部署odoo开源ERP平台

华为云云耀云服务器L实例评测｜云耀云服务器L实例部署odoo开源ERP平台

华为云云耀云服务器L实例评测&#xff5c;云耀云服务器L实例部署odoo开源ERP平台 一、云耀云服务器L实例介绍1.1 云耀云服务器L实例简介1.2 云耀云服务器L实例使用场景1.3 云耀云服务器L实例特点 二、odoo介绍2.1 odoo简介2.2 odoo特点 三、本次实践介绍3.1 本次实践简介3.2 本…
阅读更多...
解决Java应用程序中的SQLException：服务器时区值未识别问题；MySQL连接问题：服务器时区值 ‘Öйú±ê׼ʱ¼ä‘ 未被识别的解决方法

解决Java应用程序中的SQLException：服务器时区值未识别问题；MySQL连接问题：服务器时区值 ‘Öйú±ê׼ʱ¼ä‘ 未被识别的解决方法

目录 ​编辑 问题背景 解决方案 问题背景 今天遇见一个这个问题&#xff0c;解决后发出来分享一下&#xff1a; java.sql.SQLException: The server time zone value is unrecognized or represents more than one time zone. You must configure either the server or J…
阅读更多...
STP介绍

STP介绍

目录 STP概述 二层环路带来的问题 1.广播风暴 2.MAC地址漂移问题 3.多帧复制---这个好理解&#xff0c;同一个数据帧被重复收到多次&#xff0c;被称为多帧复制。 802.1D生成树 STP的BPDU BPDU主要分为两大类 配置BPDU RPC COST 配置BPDU的工作过程 TCN BPDU TCN…
阅读更多...
【python爬虫】——历史天气信息爬取

【python爬虫】——历史天气信息爬取

文章目录 1、任务描述1.1、需求分析1.2 页面分析 2、获取网页源码、解析、保存数据3、结果展示 1、任务描述 1.1、需求分析 在2345天气信息网2345天气网依据地点和时间对相关城市的历史天气信息进行爬取。 1.2 页面分析 网页使用get方式发送请求&#xff0c;所需参数包括a…
阅读更多...
c语言练习63:用malloc开辟二维数组的三种办法

c语言练习63:用malloc开辟二维数组的三种办法

用malloc开辟二维数组的三种办法 使用malloc函数模拟开辟一个3*5的整型二维数组&#xff0c;开辟好后&#xff0c;使用二维数组的下标访问形式&#xff0c;访问空间。 第一种办法&#xff1a;用指针数组&#xff1a; #include<stdio.h> int main() {int** p (int**)m…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023