一个简单算法解决集群定时任务重复执行

news2024/11/16 19:53:48

好久不见,今天给大家分享一个非常好用的方法,来解决集群定时任务如何避免重复执行的问题。

需求描述:

大家都知道,定时任务在我们实际项目当中是会经常被使用到的,在生产环境中,为了保证服务的高可用,所以部署的服务往往都是集群架构的。

那么这里就会带来一个问题,定时任务处理的相关的业务,其实是没有必要重复去执行的,如果重复执行反而会带来更加复杂的问题,那么我们如何来防止集群架构下,定时任务重复执行呢?

解决办法:

解决的办法有很多种,可以用分布式锁数据库锁等等,但是你们不觉得用锁来解决这个问题,有点大材小用了,而且依靠其他中间服务,如果中间服务挂了,岂不是整个定时任务都不能用了?

那么我来讲讲在 Nacos 里面是如何巧妙的解决这个问题的,在 Nacos 里面也有很多后台定时任务,而 Nacos 只用了一个简单的算法,就很巧妙的解决了这个问题。

思路如下:

首先,我们需要写一个算法,这个算法会判断当前服务是否具有执行的权力。

然后在每一个服务的定时任务执行之前,需要调用这个算法,来判断自己本身需不需要执行,如果不需要就跳过,只有判断返回为 true,才会进行真正的执行。 那么这个是怎么实现的呢?

接下来给你们看看代码就很清楚了,首先在任务真正执行的时候,会调用 responsible()方法来判断,自己需不需要执行,判断返回为 true 则执行定时具体的逻辑。

  /**
     * 执行
     *
     * @param context 上下文
     */
    @Override
    public void execute(JobExecutionContext context) {
        Crontab crontab = new Crontab();
        BeanUtils.copyProperties(context.getMergedJobDataMap().get(TaskConstants.TASK_PROPERTIES), crontab);

        try {
            // 判断自己是否需要执行任务
            if (responsible(crontab.getName())) {
                before();
                doExecute(context, crontab);
                after(crontab, null);
            }
        } catch (Exception e) {
            log.error("任务执行异常:", e);
            after(crontab, e);
        }
    }

重点就在于这个算法如何实现的,先给你们讲讲实现的逻辑:

1、首先这个算法要知道,定时任务集群的数量是多少,getServerList 这个方法我会去从 Nacos 注册中心获取定时任务健康的实例数量。

2、基于定时任务集群的数量 + 定时任务名字,这个算法的特点就是哪怕你有3台、5台定时任务的集群数量,最终,只会有一个集群实例能够获取执行权限。

 /**
     * 责任计算,保证异步任务,集群下只有一个节点执行任务
     *
     * @param taskName
     * @return
     */
    private boolean responsible(String taskName) {

        // 获取定时任务健康实例信息
        List<String> servers = getServerList();

        // 如果没有可用的健康集群节点,则直接返回 false
        // 这里不能返回为 true,如果自身定时任务实例在执行,servers 就不可能为空,除非是出问题了
        // 如果这里直接返回为 true 就会带来重复执行的问题
        if (CollectionUtils.isEmpty(servers)) {
            return false;
        }

        // 获取当前服务ip地址
        String localAddress = getLocalAddress();
        int index = servers.indexOf(localAddress);
        int lastIndex = servers.lastIndexOf(localAddress);

        if (lastIndex < 0 || index < 0) {
            return true;
        }
		
		// 只会有一个集群实例,能返回 true
        int target = distroHash(taskName) % servers.size();
        return target >= index && target <= lastIndex;
    }

集群的数量我建议最好从注册中心动态去获取,这样哪怕其中的定时任务挂了,也能保证集群数量动态感知,从而能保证定时任务正常的被执行。

那我是如何知道这个算法的呢? 这个算法在 Nacos 源码里面就是这么用的,所以我只是把它灵活的运用到工作当中来,省去了使用分布式锁的成本。

看过 Nacos 源码的同学都知道,Nacos 底层源码读起来非常“清爽”,也包括了很多巧妙的设计思想,这些都很值得你学习。

感兴趣的同学可以《点击链接》查看课程,两杯奶茶钱,换你职业一生受益的知识,又何尝而不为。

哪怕是之前从来没有阅读过源码的同学,只要跟着本小册的思路和讲解,都能完全掌握,完全不用担心!同时,本小册也会讲解我们应该如何去正确地学习源码,只有掌握了正确的方式,在源码学习过程中才不会枯燥乏味,并且能够坚持下去!

大家看其他同学的一些评价:

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1084290.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

做一个物联网的后台程序与数据库设计

数据库部分 先设计一个简单的数据库。表结构如下: sql语句如下: SET NAMES utf8mb4; SET FOREIGN_KEY_CHECKS = 0;-- ---------------------------- -- Table structure for realtimedata -- ---------------------------- DROP TABLE IF EXISTS `realtimedata`

【pycharm】sqlite3:Driver class ‘org.sqlite.JDBC‘ not found

pycharm 连接sqlite3的时候&#xff0c;点击&#xff1a;Test Connection 提示&#xff1a;Driver class ‘org.sqlite.JDBC’ not found. 点击&#xff1a;Download missing driver files 点击&#xff1a;Test Connection 这样就ok了&#xff1b;

执行make menuconfig问题的解决

执行make menuconfig 出现问题 在终端输入以下命令执行。 make menuconfig在终端输入上面命令执行时&#xff0c;没有成功运行&#xff0c;出现了如下的问题。 出现这个错误提示意味着在运行 make menuconfig 命令时&#xff0c;系统找不到 ncurses 库。ncurses 是一种文本用…

Python系列:彩色日志详解

前言 在使用Python进行编程时&#xff0c;我相信很多小伙伴都有一个共通的习惯&#xff0c;就是不管在什么场景下&#xff0c;都会先使用print()将我们获取到的数据打印出来以此来确保自己的代码没有问题。虽说在pycharm中提供了DEBUG功能&#xff0c;但是还是有很多小伙伴用不…

你知道期权和期货有什么关联和区别吗?解析一下!

随着金融市场的不断发展&#xff0c;期权和期货成为了两种常见的金融衍生品&#xff0c;它们都具有规避风险和发现价格的功能。很多入门不知道期权和期货哪个更好&#xff0c;下文科普你知道期权和期货有什么关联和区别吗&#xff1f;解析一下&#xff01;本文来源&#xff1a;…

AI Web3 盛会「EDGE」在港闭幕,融云国际影响力持续提升

&#x1f446;点击报名「爱嗨游」线上发布会 9 月 25 日至 27 日&#xff0c;全球规模最大的 AI & Web3 投资盛会——EDGE 峰会在中国香港举办&#xff0c;融云作为战略合作伙伴与来自世界各地的企业家、投资人、学者和热门项目方一同完成了这一盛会。关注【融云全球互联网…

虾皮商品评论数据接口,shopee商品评论API接口,虾皮API接口

虾皮商品评论数据接口的申请步骤如下&#xff1a; 在开放平台注册账号&#xff0c;申请API调用权限。登录开放平台&#xff0c;进入API管理界面&#xff0c;在接口列表中找到“商品详情”API接口&#xff0c;点击“申请使用”。填写API申请表格&#xff0c;包括API调用用途、申…

边端小场景音视频流分发架构

备注&#xff1a;绿色线条&#xff0c;红色线条&#xff0c;蓝色线条&#xff0c;均是表示同一路流的不同的协议而已 1&#xff09;IPC本身的流媒体的能力有限&#xff0c;一般IPC支持的客户端数10~50个&#xff0c;媒体分发能力&#xff1a;10~20路&#xff0c;看设备品牌能力…

AQS简介

AQS 简介 AQS&#xff08;AbstractQueuedSynchronizer&#xff09;是Java中用于实现同步器的抽象基类。它提供了一种灵活的方式来创建自定义的同步器&#xff0c;如锁、信号量等。AQS的底层包含了一些重要的成员变量&#xff0c;其中最重要的是state&#xff0c;用于表示同步…

2.连接Cesium Ion

1.登录Cesium 打开菜单上的 Cesium->Cesium. 点击 Connect To Cesium ion,进入网站进行登录以及授权。 2.创建Token 点击Token按钮&#xff0c;弹出Token选择界面&#xff0c;如果没有Token则创建一个&#xff0c;有的话可以直接进行选择。至此&#xff0c;我们可以在Unity中…

【electron】手把手教你在 electron 环境下使用 vue-devtools,附详细报错解决办法

▒ 目录 ▒ &#x1f6eb; 问题描述环境 1️⃣ vue-devtools问题来源解决思路 2️⃣ 屏蔽electron-devtools-installer加载的代码3️⃣ 加载本地vue-devtools插件代码实现electron加载本地插件获取vue-devtools&#xff1a;【推荐】Edge下载最新插件获取vue-devtools&#xff1…

Linux Shell 实现一键部署vmtools

VMware Tools 简介 VMware Tools 中包含一系列服务和模块&#xff0c;可在 VMware 产品中实现多种功能&#xff0c;从而使用户能够更好地管理客户机操作系统&#xff0c;以及与客户机操作系统进行无缝交互。 VMware Tools 具备以下功能&#xff1a; 将消息从主机操作系统传递…

2023年中国家用照明市场发展趋势分析:家用照明市场中智能产品提升显著[图]

2016-2019年我国家用照明行业迎来初步快速发展&#xff0c;2020-2021年受疫情影响增速稍微放缓&#xff0c;2022年&#xff0c;我国家用照明行业规模为362.8亿元&#xff0c;同比增长0.58%&#xff1b;预计2023年家用照明行业表现将有明显反弹&#xff0c;市场规模将达413亿元&…

DW网页作业成品下载后导入Dreamweaver如何新建站点及导出站点

很多学生下载了HTMLhttps://blog.csdn.net/qq_41101110?spm1011.2415.3001.5343后&#xff0c;想自己进行修改图文或者文字内容&#xff0c;或者修改网页文件名称。对于基础较差的同学&#xff0c;使用Dreamweaver新建站点导入作品后再修改&#xff0c;就更简单些了。 新建站…

【深度学习】MNIST手写数字数据集的分类识别

&#x1f449;博__主&#x1f448;&#xff1a;米码收割机 &#x1f449;技__能&#x1f448;&#xff1a;C/Python语言 &#x1f449;公众号&#x1f448;&#xff1a;测试开发自动化【获取源码商业合作】 &#x1f449;荣__誉&#x1f448;&#xff1a;阿里云博客专家博主、5…

使用docker安装db2

使用docker安装db2 1. 前言1.1 关于docker的安装1.2 安装db2版本选择参考 2. 拉取镜像3. 启动镜像4. 进入容器&#xff0c;切换用户4.1 进入容器4.2 切换用户4.3 其他命令 5. 可视化工具DBeaver连接db25.1 连接5.2 简单使用 1. 前言 1.1 关于docker的安装 关于Linux上docker的…

一些常用的兼容性测试方法和技巧

兼容性测试是软件开发过程中的重要环节&#xff0c;但如何进行有效的兼容性测试是一个需要关注的问题。下面将介绍一些常用的兼容性测试方法和技巧。 首先&#xff0c;要确定兼容性测试的范围。根据软件的特点和用户的需求&#xff0c;确定需要测试的操作系统、浏览器、分辨率…

【vue3】实现数据响应式(ref、shallowRef、trigger、reactive、shallowReactive、toRef、toRefs)

一、ref、shallowRef、trigger ref支持所有类型 可以粗略理解为 ref shallowRef triggerRef 1、通过ref获取dom元素 <p ref"_ref">这是ref获取dom元素</p>import {ref,shallowRef, triggerRef} from vueconst _ref ref()console.log(_ref.value?.i…

【Linux】提权问题

目录 一、设置白名单 一、设置白名单 当我们在使用sodo的时候&#xff0c;会发现我们的普通用户是无法用这个指令的&#xff0c;这个是因为这个普通用户还没有在root下是白名单里的用户 接下来我们来看一下怎样设置白名单用户 在root下打开配置文件vim /etc/sudoers 找到第100…

[硬件基础]-555定时器-非稳态多谐振荡器配置

555定时器-非稳态多谐振荡器配置 文章目录 555定时器-非稳态多谐振荡器配置1、概述2、非稳态多谐振荡器的内部工作原理 我们已经在之前的文章中介绍了 555 定时器的单稳态和双稳态操作。 在本文中&#xff0c;我们将讨论第三种配置 - 555 定时器的非稳定模式。 我们将了解如何在…