SpringBoot分布式定时任务实战:告别重复执行的烦恼

news2025/3/29 3:49:31

场景再现:你刚部署完基于SpringBoot的集群服务,凌晨3点突然收到监控告警——优惠券发放量超出预算两倍!检查日志发现,两个节点同时执行了定时任务。这种分布式环境下的定时任务难题,该如何彻底解决?

本文将手把手带你攻克这些难题:

  • 剖析传统@Scheduled注解在分布式环境失效的根源
  • 实战演示三种主流分布式定时任务方案
  • 生产环境避坑指南与性能优化建议

一、为什么单机方案在分布式环境下失效?

当我们的服务以集群方式部署时,每个节点的定时任务都会独立运行。这会导致:

  1. 重复任务执行导致业务异常(如重复扣款)
  2. 数据库被多个节点同时操作引发锁冲突
  3. 无法实现任务的动态扩容缩容

二、五大分布式定时任务方案选型

方案实现难度可靠性功能丰富度适用场景
数据库锁★★☆☆☆★★☆☆☆★☆☆☆☆小型项目快速实现
Redis分布式锁★★★☆☆★★★☆☆★★☆☆☆轻量级任务调度
Zookeeper选举★★★★☆★★★★☆★★☆☆☆强一致性场景
Quartz集群★★★★☆★★★★☆★★★★★企业级复杂调度
Elastic-Job★★★☆☆★★★★★★★★★★互联网高并发场景

结论:推荐Elastic-Job(功能强大)或Spring Scheduler + Redis分布式锁(轻量快速)


三、方案一:Elastic-Job + SpringBoot实战

3.1 引入Maven依赖
<!-- ElasticJob-Lite -->
<dependency>
    <groupId>org.apache.shardingsphere.elasticjob</groupId>
    <artifactId>elasticjob-lite-spring-boot-starter</artifactId>
    <version>3.0.3</version>
</dependency>
3.2 配置Zookeeper注册中心
elasticjob:
  reg-center:
    server-lists: localhost:2181
    namespace: elasticjob-demo
3.3 实现定时任务类
public class OrderTimeoutJob implements SimpleJob {
    
    @Override
    public void execute(ShardingContext context) {
        // 获取当前分片参数
        int shardIndex = context.getShardingItem();
        
        // 分片策略示例:按订单ID取模分片
        List<Long> orderIds = fetchTimeoutOrders(shardIndex);
        orderIds.forEach(this::cancelOrder);
    }
    
    private List<Long> fetchTimeoutOrders(int shard) {
        // 实现分片查询逻辑
        return orderRepository.findTimeoutOrders(shard);
    }
}

关键配置参数

jobs:
  orderTimeoutJob:
    elasticJobClass: com.example.OrderTimeoutJob
    cron: 0 0/5 * * * ?
    shardingTotalCount: 3
    overwrite: true

四、方案二:Spring Scheduler + Redis分布式锁

4.1 实现Redis锁工具类
public class RedisDistributedLock {

    private static final String LOCK_PREFIX = "schedule:lock:";
    private static final int LOCK_EXPIRE = 30;

    @Autowired
    private StringRedisTemplate redisTemplate;

    public boolean tryLock(String lockKey) {
        String key = LOCK_PREFIX + lockKey;
        return redisTemplate.opsForValue()
                .setIfAbsent(key, "locked", LOCK_EXPIRE, TimeUnit.SECONDS);
    }

    public void unlock(String lockKey) {
        redisTemplate.delete(LOCK_PREFIX + lockKey);
    }
}
4.2 定时任务增强实现
@Component
public class CouponExpireJob {

    @Autowired
    private RedisDistributedLock redisLock;

    @Scheduled(cron = "0 0 3 * * ?")
    public void processExpiredCoupons() {
        if (!redisLock.tryLock("couponJob")) {
            return;
        }
        
        try {
            // 真正的业务逻辑
            couponService.processExpired();
        } finally {
            redisLock.unlock("couponJob");
        }
    }
}

五、生产环境避坑指南

  1. 时钟同步问题:所有节点必须使用NTP同步时间
  2. 锁过期时间:预估任务最大执行时间,建议设置超时时间的1.5倍
  3. 故障转移:使用Elastic-Job时开启故障转移配置
    jobs:
      myJob:
        failover: true
    
  4. 动态扩容:Elastic-Job支持运行时修改分片数量
  5. 监控告警:集成Prometheus监控任务执行情况

六、性能优化建议

  1. 分片策略优化:根据数据特征选择哈希分片或区间分片
  2. 批量处理:每次处理100-500条数据,避免大事务
  3. 异步执行:耗时操作放入线程池异步处理
  4. 索引优化:任务查询的SQL必须走索引
  5. 日志精简:关闭不必要的调试日志,保留关键操作日志

技术选型建议

  • 中小型项目:Spring Scheduler + Redis锁
  • 大型分布式系统:Elastic-Job
  • 遗留系统改造:Quartz集群

最终解决方案没有银弹,根据团队技术储备和业务场景灵活选择。建议从简单方案入手,随着业务发展逐步演进架构。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2321023.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

AI+金融 应用 使用DeepSeek、Qwen等大模型输入自然语言,得到通达信等行情软件公式代码,导入后使用

AI金融 应用 使用DeepSeek、Qwen等大模型输入自然语言&#xff0c;得到通达信等行情软件公式代码&#xff0c;导入后使用。不会编程&#xff0c;也能行情软件中实现个性化条件选股&#xff0c;个性化技术指标。 AIbxm低估值趋势选股策略&#xff0c;参考提示词&#xff1a; 编…

C++20 中的同步输出流:`std::basic_osyncstream` 深入解析与应用实践

文章目录 一、std::basic_osyncstream 的背景与动机二、std::basic_osyncstream 的基本原理三、std::basic_osyncstream 的使用方法&#xff08;一&#xff09;基本用法&#xff08;二&#xff09;多线程环境下的使用&#xff08;三&#xff09;与文件流的结合 四、std::basic_…

【嵌入式硬件】三款DCDC调试笔记

关于开关电源芯片&#xff0c;重点关注输入电源范围、输出电流、最低压降。 1.MP9943: 以MP9943为例&#xff0c;输入电压范围4-36V&#xff0c;输出最大电流3A&#xff0c;最低压降为0.3V 调整FB使正常输出为5.06V 给定6V空载、5V空载、5V带2A负载的情况&#xff1a; 6V带2A…

【FPGA开发】FPGA点亮LED灯(增加按键暂停恢复/复位操作)

目录 一、VScode下载安装 1.1 官网下载 1.2 安装插件 二、LED流水灯点亮 2.1 任务说明 2.2 新建项目 2.3 创建Verilog文件添加至顶层实体 2.4 引脚分配 2.5 选择烧录器 2.6 添加烧录文件&#xff06;下载 2.7 烧录结果 三、增加按键操作 3.1 按键暂停和恢复功能&…

Spring MVC 执行流程:一个请求在 Spring MVC 中是如何执行的?

当用户发送一个 HTTP 向 Spring MVC 应用&#xff0c;该请求在 Spring MVC 的执行流程如下&#xff1a; 当用户向 Spring MVC 发起一个 HTTP 请求&#xff0c;该请求会被 Dispatcher Servlet&#xff08;前端控制器&#xff09;拦截&#xff1b;DispatcherServlet 调用 Handler…

三主热备架构

1.要求 角色主机名软件IP地址用户client192.168.72.90keepalivedvip192.168.72.100masterserverAkeepalived, nginx192.168.72.30backupserverBkeepalived, nginx192.168.72.31backupserverCkeepalived, nginx192.168.72.32webtomcat1tomcat192.168.72.41webtomcat2tomcat192.1…

JavaScript | 爬虫逆向 | 语法基础| 01

一、摘要 实践是最好的导师 二、环境配置 在开始之前&#xff0c;需要确保你的计算机上已经安装了 Node.js。Node.js 是一个开源的、跨平台的 JavaScript 运行时环境&#xff0c;它允许你在服务器端运行 JavaScript 代码。 1. 下载 安装地址&#xff1a;https://nodejs.org…

字节跳动实习生主导开发强化学习算法,助力大语言模型性能突破

目录 禹棋赢的背景与成就 主要成就 DAPO算法的技术细节 算法优势 禹棋赢的研究历程 关键时间节点 字节跳动的“Top Seed人才计划” 计划特点 小编总结 在大模型时代&#xff0c;经验不再是唯一的衡量标准&#xff0c;好奇心、执行力和对新技术的敏锐洞察力成为推动技术…

前后端+数据库的项目实战:hbu迎新网-较复杂(下)javaweb

目录 十一、实现对内容的富文本编辑&#xff08;换行、图片颜色等等样式&#xff09; &#xff08;1&#xff09;下载富文本编辑器&#xff0c;引入资源 &#xff08;2&#xff09;将原项目的内容部分替换为富文本编辑器 1、替换添加页面 2、替换修改页面&#xff08;和添…

Redis、Memcached应用场景对比

环境 Redis官方网站&#xff1a; Redis - The Real-time Data Platform Redis社区版本下载地址&#xff1a;Install Redis | Docs Memcached官方网站&#xff1a;memcached - a distributed memory object caching system Memcached下载地址&#xff1a;memcached - a dis…

【单片机通信技术应用——学习笔记三】液晶屏显示技术,取模软件的应用

一、液晶显示技术简介 1.RGB信号线 RGB是一种色彩模式&#xff0c;是工业界的一种颜色标准&#xff0c;是通过红&#xff08;R&#xff09;、绿&#xff08;G&#xff09;、蓝&#xff08;B&#xff09;三个颜色通道的变化&#xff0c;以及它们相互之间的叠加来得到各式各样的…

MySQL颠覆版系列————MySQL新特性(开启数据库的新纪元)上篇

文章目录 前言一、窗口函数&#xff08;Window Functions&#xff09;1.1 窗口函数概念1.2 常见的窗口函数 二、公用表表达式&#xff08;Common Table Expressions, CTEs&#xff09;2.1 公用表表达式的概念2.2 常见的公用表表达式 三、JSON增强3.1 JSON增强的概念3.2 常见的J…

MySQL 调优:查询慢除了索引还能因为什么?

文章目录 情况一&#xff1a;连接数过小情况二&#xff1a;Buffer Pool 太小 MySQL 查询慢除了索引还能因为什么&#xff1f;MySQL 查询慢&#xff0c;我们一般也会想到是因为索引&#xff0c;但除了索引还有哪些原因会导致数据库查询变慢呢&#xff1f; 以下以 MySQL 中一条 S…

如何在百度搜索上删除与自己名字相关的资料

个人信息的网络足迹如同一张无形的网&#xff0c;将我们与世界的每一个角落紧密相连。然而&#xff0c;当某些与自己名字相关的资料不再希望被公众轻易检索到时&#xff0c;如何在百度搜索中有效“隐身”&#xff0c;成为了一个亟待解决的问题。面对复杂多变的网络环境&#xf…

使用外部事件检测接入 CDH 大数据管理平台告警

CDH 大数据管理平台 CDH&#xff08;Cloudera Distribution Hadoop&#xff09;是一个企业级的大数据平台&#xff0c;由 Cloudera 公司提供&#xff0c;它包含了 Apache Hadoop 生态系统中的多种开源组件&#xff0c;并对其进行了优化和集成&#xff0c;以支持大规模数据存储…

MongoDB(五) - Studio 3T 下载与安装教程

文章目录 前言一、Studio 3T 简介二、下载及安装1. 下载2. 安装 三、使用Studio 3T连接MongoDB 前言 本文旨在全面且深入地为你介绍 Studio 3T。从其丰富的功能特性、跨平台使用的便捷性&#xff0c;到详细的下载安装步骤&#xff0c;以及关键的连接 MongoDB 操作&#xff0c;…

汽车制造MES

一、整体生产工序 整车的车间主要分为4个部分&#xff1a;冲压、焊装、涂装、总装、整车入库 系统架构 二、车间概括 1.冲压车间 2.焊装车间 3.涂装车间 4.总装车间 1.整车装配的部件都要可追溯、数据实时性要求高、涉及分装与总装的协调、物流配送的协调、质量批处理的协调、…

信奥赛CSP-J复赛集训(模拟算法专题)(26):P5412 [YNOI2019] 排队

信奥赛CSP-J复赛集训(模拟算法专题)(26):P5412 [YNOI2019] 排队 题目描述 小明所在的班级要举办一场课外活动,在活动开始之前老师告诉小明:“需要把男女生分成两队,并且每一队都要按照身高从矮到高进行排序”。但是由于小明的马虎,没有把老师的安排转达给同学,导致全…

基于开源模型的微调训练及瘦身打造随身扫描仪方案__用AI把手机变成文字识别小能手

基于开源模型的微调训练及瘦身打造随身扫描仪方案__用AI把手机变成文字识别小能手 一、准备工作&#xff1a;组装你的"数码工具箱" 1. 安装基础工具&#xff08;Python环境&#xff09; 操作步骤&#xff1a; 访问Python官网下载安装包安装时务必勾选Add Python to…

在 Offset Explorer 中配置多节点 Kafka 集群的详细指南

一、是否需要配置 Zookeeper&#xff1f; Kafka 集群的 Zookeeper 依赖性与版本及运行模式相关&#xff1a; Kafka 版本是否需要 Zookeeper说明0.11.x 及更早版本✅ 必须配置Kafka 完全依赖 Zookeeper 管理元数据2.8 及以下版本✅ 必须配置Kafka 依赖外置或内置的 Zookeeper …