solr快速上手:实现从mysql定时自动同步数据(六)

news2024/11/26 9:59:14

0. 引言

上一章节我们讲解了从msyql同步数据到solr,但是我们每次同步都需要在solr-admin中点击同步按钮,这在生产环境中肯定是不可行的,那么solr是否支持自动化同步了,答案当然是可以,我们今天继续来探索如何实现solr自动从mysql同步数据

solr快速上手:solr简介及安装(一)
solr快速上手:核心概念及solr-admin界面介绍(二)
solr快速上手:managed-schema标签详解(三)
solr快速上手:创建核心/索引/core(四)
solr快速上手:配置从mysql同步数据(五)

1. 思路

首先我们要知道,我们在solr-admin中实现数据同步,是通过solr的dataimport接口来实现的,而solr本身也把该接口暴露给我们了,所以理论上我们只要定时调用对应核心的dataimport接口,即可实现定时增量同步

而调用dataimport接口,只需要通过普通的http请求即可

接口地址:

http://solr服务ip:solr服务端口/solr/核心/dataimport?command=同步类型&commit=true&clean=true

  • command 同步类型支持全量同步full-import和增量同步delta-import
  • clean 是否清除原数据,增量同步时注意设置为false
  • commit 批量同步时,是否每批次提交立即更新solr中数据

我们甚至可以直接访问接口进行同步:

全量同步接口地址:
http://192.168.244.41:8983/solr/orders/dataimport?command=full-import&commit=true&clean=true

在这里插入图片描述

增量同步接口地址:
http://192.168.244.41:8983/solr/orders/dataimport?command=delta-import&commit=true&clean=true

注:这里仅测试,未将clean设置为false,实际使用时不能设置为true,否则原数据会被清楚
在这里插入图片描述

2. 实操

我们之前讲过定时任务框架xxl-job:springcloud:快速上手定时任务框架xxl-job(十五)

那么我们可以基于之前的定时任务项目来实现定时调用同步接口,从而实现自动同步

0、在实现之前,有更加基础的配置,我们在前几章已经讲解过了,如果还不知道的同学,可以先学习一下前几章,这里我们就不再重复讲解了

1、首先基于之前的项目书写一个数据同步的定时任务,其核心处理逻辑就是调用增量同步接口

(项目地址:https://gitee.com/wuhanxue/wu_study/tree/master/demo/xxljob_demo)

@XxlJob("orderSolrImport")
    public void solrImport(){
        HashMap<String, Object> param = new HashMap<>();
        param.put("commit", true);
        param.put("command", "delta-import");
        String result = HttpUtil.get("http://192.168.244.41:8983/solr/orders/dataimport", param);
        System.out.println("同步成功:\n"+result);
    }

如上代码需要引入hutool工具包

        <dependency>
            <groupId>cn.hutool</groupId>
            <artifactId>hutool-all</artifactId>
            <version>5.8.7</version>
        </dependency>

2、然后在xxl-job管理端配置一个定时任务

在这里插入图片描述

这里我配置的是30s执行一次同步,具体可根据项目情况调整

在这里插入图片描述

3、启动任务之后,先在数据库新增两条数据

在这里插入图片描述

4、之后我们就可以在后台看到同步日志了

在这里插入图片描述
这里如果出现了增量数据再重复更新,这是因为solr安装目录/server/核心/conf/dataimport.properties文件中的增量同步时间不是当前时间导致,它会持续更新递增, 一直更新到当前时间为止,你也可以直接修改其时间为当前时间

orders.last_index_time=2023-06-08 00\:22\:00
last_index_time=2023-06-08 00\:22\:00

5、solr中也能查到刚同步的数据了

在这里插入图片描述

3. 总结

至此我们数据定时同步的简单实现就完成了,当然你也可以选择其他的定时任务框架,或实现方式,但是实现思路是不变的,同时我们这里是通过http直接调用的同步接口,实际上我们引入solr客户端后,还可以使用solr客户端提供的方法来实现,但核心原理依然相同!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/621523.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

虚拟机安装和配置红帽企业版 7.4 操作系统及相关设置

虚拟机安装和配置红帽企业版 7.4 操作系统及相关设置 当安装红帽企业版 7.4 操作系统时&#xff0c;可以按照以下步骤进行配置和设置&#xff1a; 使用 VM16.0 安装软件&#xff0c;打开虚拟机管理程序&#xff0c;并选择创建新的虚拟机。在创建虚拟机的过程中&#xff0c;选…

ChatGPT在线网页版和接口

chat gpt能写公众号文章吗 ChatGPT是一种强大的自然语言生成技术&#xff0c;它可以用来自动生成大量的、质量较高的文本。根据OpenAI官方的演示和使用案例&#xff0c;ChatGPT已经被用于文本摘要、对话生成、语言翻译、文本分类等多种应用场景。 然而&#xff0c;ChatGPT作为…

文本三剑客之 awk

awk Linux/UNIX 系统中&#xff0c;awk 是一个功能强大的编辑工具。逐行读取输入文本 以空格作为分割符&#xff0c;多个空格他会自动压缩成一个空格 AWK信息的读入也是逐行指定的匹配模式进行查找&#xff0c;对符合条件的内容进行格式化输出或者过滤处理. 1按照命令找指定…

用户档案PDF报表

用户档案PDF报表 理解数据填充的两种方式熟练构造分组报表 熟练构造Chart图形报表实现个人档案的PDF输出 数据填充 我们介绍了如何使用JasperReport来生成简单的文本报表&#xff0c;正式企业开发中动态数据展示也是报表中最重要的一 环&#xff0c;接下来我们共同研究的就是填…

FastCorrect:语音识别快速纠错模型丨RTC Dev Meetup

前言 「语音处理」是实时互动领域中非常重要的一个场景&#xff0c;在声网发起的「RTC Dev Meetup丨语音处理在实时互动领域的技术实践和应用」活动中&#xff0c;来自百度、寰宇科技和依图的技术专家&#xff0c;围绕该话题进行了相关分享。 本文基于微软亚洲研究院主管研究…

chatgpt赋能python:Python应用图标的SEO优化策略

Python应用图标的SEO优化策略 作为一门跨平台解释型编程语言&#xff0c;Python已经成为越来越多企业和开发者的首选语言之一。在Python应用的推广过程中&#xff0c;图标的设计和SEO优化也变得越来越重要。在本文中&#xff0c;我们将探讨Python应用图标的SEO优化策略&#x…

CCE集群切换OBS共享存储方案

目录 一、背景 二、创建PVC 三、同步nfs数据到OBS 四、变更无状态负载数据储存为OBS 五、卸载弹性文件服务SFS&#xff08;nfs&#xff09; 一、背景 生产环境CEE集群&#xff0c;每个K8s节点挂载同一个华为云弹性文件服务SFS(可以简单的理解为nfs)。无状态应用通过hostPath…

chatgpt赋能python:Python就业岗位:行业热门,前景广阔

Python 就业岗位&#xff1a;行业热门&#xff0c;前景广阔 作为其中一门最受欢迎的编程语言&#xff0c;Python 经常出现在各个行业的招聘需求中。无论是大企业、初创公司&#xff0c;还是政府机构和非营利组织&#xff0c;都需要 Python 专业人士来应对日益增长的数据和技术…

chatgpt赋能python:Python库使用指南

Python库使用指南 Python是一种高级编程语言&#xff0c;拥有丰富而强大的标准库和第三方库。在本文中&#xff0c;将介绍一些主要Python库的使用方法以及如何通过使用它们来提高SEO。 Requests库 Requests是一个流行的第三方库&#xff0c;用于HTTP请求和响应。可以使用它来…

【内网安全-隧道搭建】内网穿透_Spp上线(全双工通信)

目录 Spp&#xff08;特殊协议上线&#xff09; 1、简述&#xff1a; 2、用法&#xff1a; 1、准备 2、服务器 3、客户机 4、cs、msf Spp&#xff08;特殊协议上线&#xff09; 1、简述&#xff1a; 1&#xff09;支持的协议&#xff1a;tcp、udp、rudp&#xff08;可靠…

基于动力学模型的无人驾驶车辆MPC轨迹跟踪算法及carsim+matlab联合仿真学习笔记

目录 1 模型推导及算法分析 1.1 模型推导 1.1.1 车辆动力学模型 1.1.2 线性时变预测模型推导 1.2 模型预测控制器设计 1.2.1 目标函数设计 1.2.2 约束设计 2 代码解析 2.1 模板框架 2.1.1 S-Function 2.1.2 mdlInitializeSizes函数 2.1.3 mdlUpdates()函数 2.1.4 …

机器学习中的数学原理——分类的正则化

通过这篇博客&#xff0c;你将清晰的明白什么是分类的正则化。这个专栏名为白话机器学习中数学学习笔记&#xff0c;主要是用来分享一下我在 机器学习中的学习笔记及一些感悟&#xff0c;也希望对你的学习有帮助哦&#xff01;感兴趣的小伙伴欢迎私信或者评论区留言&#xff01…

Go异步任务解决方案 Asynq

今天为大家介绍一个Go处理异步任务的解决方案&#xff1a;Asynq&#xff0c;是一个 Go 库&#xff0c;用于排队任务并与 worker 异步处理它们。它由Redis提供支持&#xff0c;旨在实现可扩展且易于上手。 一、概述 Asynq 是一个 Go 库&#xff0c;用于对任务进行排队并与工作人…

Python爬虫学习-简单爬取网页数据

疫情宅家无事&#xff0c;就随便写一些随笔吧QwQ… 这是一篇介绍如何用Python实现简单爬取网页数据并导入MySQL中的数据库的文章。主要用到BeautifulSoup requests 和 pymysql。 以网页https://jbk.39.net/mxyy/jbzs/为例&#xff0c;假设我们要爬取的部分数据如下图所示&#…

【板栗糖GIS】——如何下载哔哩哔哩的视频CC字幕为不带时间节点的纯文字

【板栗糖GIS】——如何下载哔哩哔哩的视频CC字幕为不带时间节点的纯文字 目录 1. 打开edge浏览器或谷歌浏览器 2. 安装油猴插件 3. 安装字幕插件 4. 打开哔哩哔哩视频播放页面&#xff0c;点击字幕 首先在想要下载之前需要先判定视频是否有云字幕&#xff0c;如果有才可以…

xxl-job详解

什么是xxl-job&#xff1f; ​ xxl-job是一个分布式的任务调度平台&#xff0c;其核心设计目标是&#xff1a;学习简单、开发迅速、轻量级、易扩展&#xff0c;现在已经开放源代码并接入多家公司的线上产品线&#xff0c;开箱即用。xxl是xxl-job的开发者大众点评的许雪里名称的…

SpringBoot+vue 实现监控视频rtsp播放(java+Nginx+ffmpeg+flv.js)

其实原理就是: 将监控通过FFMPEG,推送给Nginx,前端通过Nginx地址拉取视频&#xff0c;就可以播放了。 1:安装FFMPEG. 2:下载并且配置nginx. 3:使用java代码实现调用cmd或者linux窗口,并且运行操作FFMPEG的命令&#xff0c;进行监控视频rtsp格式的推送&#xff0c;推送给nginx. …

模板方法设计模式的学习和使用

1、模板方法设计模式的学习 当涉及到一系列具有相似行为的算法或操作时,模板方法设计模式是一种有效的设计模式。它允许你定义一个算法的骨架,同时将某些步骤的实现细节交给子类来实现。   模板方法模式基于以下两个核心原则&#xff1a; 抽象类定义模板方法骨架&#xff1a…

chatgpt赋能python:Python将一张图片分割成多张:从理论到实践

Python将一张图片分割成多张&#xff1a;从理论到实践 简介 随着Internet的爆炸式增长&#xff0c;图片已经成为了我们生活中不可或缺的一部分。具有高质量、高清晰度的图片可以提升网站的美观程度&#xff0c;帮助网站吸引更多的用户。但是&#xff0c;有时候大型的图片并不…

chatgpt赋能python:Python并不是一门简单的编程语言

Python 并不是一门简单的编程语言 Python 是一门直观且易学的编程语言&#xff0c;这一点没有错&#xff0c;但是要说它是简单的&#xff0c;那其实是不准确的。Python 有着广泛的应用领域&#xff0c;包括人工智能、大数据分析、Web开发、自动化测试等。尽管初学者可以迅速上…