自动同步多服务器下SQL脚本2.0

news2025/3/12 22:51:55

考虑到1.0的适用场景太过苛刻,一次只支持读取至多一个版本的脚本变化,想涉及多个脚本的连续读取就有困难,于是有了2.0。

该版本支持读取多个版本的sql脚本,并且如果某一脚本出现sql问题【如重复插入相同名称的字段】,则当前版本回滚,同时hd_version表不留痕,以便下次部署的时候可以再次插入。

2.0版本主要变动就是实现类: 

考虑到随着版本的变动,后续脚本文件维护的版本过多,不采用顺序读,改用二分查找
当然,也可以一个大版本对应一个SQL文件,也可以用倒序查找,都可以的...这里只是提供一个方案。用二分单纯看上了它的时间复杂度O(logN)。

方法讲解:

主要分为两个方法:

一个是通过二分寻找到最小【未执行过sql脚本的】版本号
一个是通过当前版本号以及sql脚本,去执行sql语句。

通过二分找到最小的版本号

/**
 * 二分与倒序查询的比较:
 * 二分可以在短的时间内,快速找到目标值,但是倒序排序,理论上还是O(N)的时间复杂度
 * 如果场景是,每个迭代只进行最后一至两个版本的sql脚本,那么倒序排序更好,二分的话,时间复杂度比较稳定
 */
    @Override
    @Transactional
    public void run(ApplicationArguments args) throws Exception {
        if (!databaseAutoFillSwitch) {
            log.info("database auto fill switch is false,skip auto fill");
            return;
        }
        String basePath = "/dbVersion/MySQL.sql";
        InputStream inputStream = this.getClass().getResourceAsStream(basePath);
        String sqlScript = IoUtil.readUtf8(inputStream);
        if (null == inputStream) {
            log.info("inputStream is null");
            return;
        }
        inputStream.close();
        List<String> versionList = new ArrayList<>();
        String[] lines = sqlScript.split("\n");
        for (String line : lines) {
            if (line.toLowerCase().contains(PREFIX)) {
                versionList.add(line.substring(line.lastIndexOf("-") + 1).trim().toLowerCase());
            }
        }
        int left = 0 , right = versionList.size() - 1;
        // 最终得到的left,表示不在库中的最小版本号,如果left == list.size() 则还需要去查询库中是否真正存在
        while(left <= right){
            int mid = left + (right- left)/2;
            if( 0 == hdCommonDao.selectVersion(versionList.get(mid))){
                // 库中无对应版本号
                right = mid - 1;
            }else{
                // 库中存在对应版本号
                left = mid + 1;
            }
        }
        if(left == versionList.size()){
            return;
        }
        String result = "";
        // 现在开始,从left指针开始遍历所有的sql脚本
        while(left < versionList.size()){
            // 得到版本号整串
            String latestVersion = versionList.get(left);
            // 写入数据库的版本号前缀【过滤掉无效字符,统一版本号】
            String version = latestVersion.substring(latestVersion.lastIndexOf("-") + 1).trim().toLowerCase();
            // 获取版本号在sql脚本中的位置
            int index = sqlScript.indexOf(latestVersion);
            if (index == -1) {
                log.info("current version exception:{}", version);
                LogUtil.info(version, "current version exception");
                return;
            }
            index += latestVersion.length();
            String nextVersion = "";
            if (left + 1 < versionList.size()) {
                nextVersion = versionList.get(left + 1);
                int nextIndex = sqlScript.indexOf(nextVersion);
                if (nextIndex != -1) {
                    result = sqlScript.substring(index, nextIndex).trim();
                    ((HdSchemaExecutor)AopContext.currentProxy()).executeSqlScript(result, version);
                } else {
                    log.info("next version not found:{}", nextVersion);
                    LogUtil.info(version, "next version not found");
                }
            } else {
                // 没有下一个版本,提取剩余部分
                result = sqlScript.substring(index).trim();
                ((HdSchemaExecutor)AopContext.currentProxy()).executeSqlScript(result, version);
            }
            left++;
        }
        log.info("auto deploying sql finished...");
    }

 写库方法

根据sql脚本以及对应的版本号完成写入功能。

    @Transactional(rollbackFor = Exception.class)
    public void executeSqlScript(String sqlScript, String version) throws Exception {
        String[] resultList = sqlScript.split(";");
        for (String line : resultList) {
            if (!line.toLowerCase().contains("drop") && !line.toLowerCase().contains("delete") && line.length() > 10 && !line.contains("--")) {
                // 开始执行插入操作
                try {
                    hdCommonDao.updateSql(line.trim());
                    log.info("version:{}, start sql script:{}", version, line.trim());
                    LogUtil.info("version, sql script:", version, line.trim());
                } catch (Exception e) {
                    log.info("version:{}, sql执行异常:{}", version, line.trim());
                    LogUtil.info("sql执行异常", line.trim());
                    throw new Exception("sql auto exception:"+ line.trim());
                }
            }
        }
        // 如果所有 SQL 语句都成功执行,插入版本记录
        HdVersionEntity entity = new HdVersionEntity();
        entity.setVersion(version);
        entity.setCreated(new Date());
        hdCommonDao.insertVersion(entity);
    }

细节说明

这里主要一个点,事务失效

首先,我们在方法A去调用方法B的时候,不是简单的在方法A上加@Transactional注解就可以的,需要两步:①在启动类上开启暴露代理的开关②在调用方法B的时候,改用代理对象去调用方法B【默认是this对象】

@Order(1)
@Component
@EnableAspectJAutoProxy(exposeProxy = true)
@Slf4j
public class HdSchemaExecutor implements ApplicationRunner

 注意这里需要通过代理对象调用方法B~

((HdSchemaExecutor)AopContext.currentProxy()).executeSqlScript(result, version);

如果你想在方法B完成手动throw错误,还需要在方法B上添加事务监听的范围。

@Transactional(rollbackFor = Exception.class)
public void executeSqlScript(String sqlScript, String version) throws Exception

写在最后

Mysql不支持DDL事务,只支持DML事务....

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2313968.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

DeepSeek+Maxkb+Ollama+Docker搭建一个AI问答系统

DeepSeekMaxkbOllamaDocker搭建一个AI问答系统 文章目录 DeepSeekMaxkbOllamaDocker搭建一个AI问答系统前言一、创建同一内网的网络二、拉取两个镜像三、启动Ollama以及调试Maxkb4.Maxkb创建一个应用并建立知识库5、应用效果总结 前言 我觉得只要是使用Docker技术&#xff0c;…

江科大51单片机笔记【12】DS18B20温度传感器(上)

写在前言 此为博主自学江科大51单片机&#xff08;B站&#xff09;的笔记&#xff0c;方便后续重温知识 在后面的章节中&#xff0c;为了防止篇幅过长和易于查找&#xff0c;我把一个小节分成两部分来发&#xff0c;上章节主要是关于本节课的硬件介绍、电路图、原理图等理论…

P8662 [蓝桥杯 2018 省 AB] 全球变暖--DFS

P8662 [蓝桥杯 2018 省 AB] 全球变暖--dfs 题目 解析讲下DFS代码 题目 解析 这道题的思路就是遍历所有岛屿&#xff0c;判断每一块陆地是否会沉没。对于这种图的遍历&#xff0c;我们首先应该想到DFS。 代码的注意思想就是&#xff0c;在主函数中遍历找出所有岛屿&#xff0c…

Vue 侧边栏导航栏 el-menu单个item和多个item

在固钉的下面去写菜单导航栏。 <el-menu class"aside-menu" router :default-active"$route.path" :collapse"isCollapse" background-color"#131b27" text-color"#bfcbd9" active-text-color"#20a0ff" :defau…

Unity Dots从入门到精通之 Prefab引用 转 实体引用

文章目录 前言安装 DOTS 包实体引用Authoring 前言 DOTS&#xff08;面向数据的技术堆栈&#xff09;是一套由 Unity 提供支持的技术&#xff0c;用于提供高性能游戏开发解决方案&#xff0c;特别适合需要处理大量数据的游戏&#xff0c;例如大型开放世界游戏。 本文讲解我在…

无人机避障——XTDrone中运行VINS-Fusion+Ego-planner进行路径规划

本文聚焦于无人机避障技术领域的经典方案&#xff0c;重点探讨视觉双目VINS-Fusion建图与Ego-planner路径规划的组合应用。通过视觉双目VINS-Fusion实现精准的环境建图与自身定位&#xff0c;结合Ego-planner的高效路径规划能力&#xff0c;使无人机在复杂环境中实现自主避障飞…

【沐渥科技】氮气柜日常如何维护?

氮气柜的维护是确保其长期稳定运行、延长使用寿命和保持环境控制精度的关键。以下是沐渥氮气柜的日常维护和定期保养指南&#xff1a; 一、日常维护 柜体清洁 定期用软布擦拭柜体表面和内部&#xff0c;避免灰尘堆积。避免使用腐蚀性清洁剂&#xff0c;防止损伤密封条或传感器。…

MATLAB 控制系统设计与仿真 - 24

PID 控制器分析- 控制器的形式 连续控制器的结构&#xff1a; 为滤波时间常数&#xff0c;这类PID控制器在MATLAB系统控制工具箱称为并联PID控制器&#xff0c;可由MATLAB提供的pid函数直接输入&#xff0c;格式为&#xff1a; 其他类型的控制器也可以由该函数直接输入&#x…

linux(权限)

sudo 主要用来短暂的提权 权限 就是 >角色目标属性 这里面的角色就是---拥有者----所属组----other 所属组的目的&#xff1f; 更细化的管理 chmod 就是修改权限制 我们要是想要切换到体育的账号&#xff0c;我们可以去看一下有几个账号,我…

《OpenCV》—— dlib(换脸操作)

文章目录 dlib换脸介绍仿射变换在 dlib 换脸中的应用 换脸操作 dlib换脸介绍 dlib 换脸是基于 dlib 库实现的一种人脸替换技术&#xff0c;以下是关于它的详细介绍&#xff1a; 原理 人脸检测&#xff1a;dlib 库中包含先进的人脸检测器&#xff0c;如基于 HOG&#xff08;方向…

修改Flutter项目使用的JAVA版本

使用Android studio开发Flutter过程中&#xff0c;会默认使用Android studio自带的JDK。因为新版Android studio中的JDK版本过高&#xff0c;导致项目编译时总是无法完成&#xff0c;报【 unsupported class file major version 65】错误&#xff0c;如下&#xff1a; 解决这个…

虚拟dom的diff中的双端比较算法

‌双端比较算法是Vue中用于高效比较新旧VNode子节点的一种策略‌。该算法的核心思想是&#xff0c;通过从新旧VNode子节点的两端开始比较&#xff0c;逐步向中间靠拢&#xff0c;以找到最小的差异并据此更新DOM。以下是双端比较算法的大致流程&#xff1a; ‌初始化指针‌&…

VMware安装Windows server 2016

1、新建虚拟机&#xff0c;选择自定义模式 2、选择兼容性 4、命名虚拟机 5、固件类型 EFI 虚拟磁盘类型&#xff0c;不同电脑推荐的类型不同&#xff0c;用默认的就行 删除声卡和打印机 检查网络配置 选择本地的Windows server 2016的系统镜像&#xff0c;系统镜像可以去Window…

HippoRAG 2 原理精读

提示&#xff1a;文章写完后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 文章目录 整体流程离线索引阶段在线检索和问答阶段 总结 整体流程 从上图可以看出&#xff0c;整个流程分为两个阶段 1、离线索引阶段 2、在线检索和问答阶段 离线索引阶段…

三:FFMPEG拉流读取模块的讲解

FFMPEG拉流读取模块在远程监控项目最核心的作用是读取UVC摄像头传输的H264码流&#xff0c;并对其码流进行帧的提取&#xff0c;提取完成之后则把数据传输到VDEC解码模块进行解码。而在我们这个项目中&#xff0c;UVC推流的功能由FFMPEG的命令完成。 FFMPEG拉流读取模块的API…

《苍穹外卖》SpringBoot后端开发项目核心知识点与常见问题整理(DAY1 to DAY3)

目录 一、在本地部署并启动Nginx服务1. 解压Nginx压缩包2. 启动Nginx服务3. 验证Nginx是否启动成功&#xff1a; 二、导入接口文档1. 黑马程序员提供的YApi平台2. YApi Pro平台3. 推荐工具&#xff1a;Apifox 三、Swagger1. 常用注解1.1 Api与ApiModel1.2 ApiModelProperty与Ap…

QT系列教程(20) Qt 项目视图便捷类

视频连接 https://www.bilibili.com/video/BV1XY41127t3/?vd_source8be9e83424c2ed2c9b2a3ed1d01385e9 Qt项目视图便捷类 Qt项目视图提供了一些便捷类&#xff0c;包括QListWidget, QTableWidget&#xff0c; QTreeWidget等。我们分别介绍这几个便捷类。 我们先创建一个Qt …

动态扩缩容引发的JVM堆内存震荡:从原理到实践的GC调优指南

目录 一、典型案例&#xff1a;系统发布后的GC雪崩事件 &#xff08;一&#xff09;故障现象 1. 刚刚启动时 GC 次数较多 2. 堆内存锯齿状波动 3. GC日志特征&#xff1a;Allocation Failure &#xff08;二&#xff09;问题定位 二、原理深度解析&#xff1a;JVM内存弹…

AI智能眼镜主控芯片:技术演进与产业生态的深度解析

一、AI智能眼镜的技术挑战与主控芯片核心诉求 AI智能眼镜作为XR&#xff08;扩展现实&#xff09;技术的代表产品&#xff0c;其核心矛盾在于性能、功耗与体积的三角平衡。主控芯片作为设备的“大脑”&#xff0c;需在有限空间内实现复杂计算、多模态交互与全天候续航&#xf…

微服务拆分-远程调用

我们在查询购物车列表的时候&#xff0c;它有一个需求&#xff0c;就是不仅仅要查出购物车当中的这些商品信息&#xff0c;同时还要去查到购物车当中这些商品的最新的价格和状态信息&#xff0c;跟购物车当中的快照进行一个对比&#xff0c;从而去提醒用户。 现在我们已经做了服…