【powerjob】定时任务调度器 xxl-job和powerjob对比

news2024/11/19 3:26:11

文章目录

  • 同类产品对比
  • 资源及部署相关
    • 资源占用对比：
    • 部署方式：
      • xxl job :
        • 调度器：
        • 执行器：
      • powerjob：
        • 调度器：
        • 执行器：
  • 总结

背景：
目前系统的定时任务主要通过Spring框架自带的@Scheduled注解实现 ,这种方式代码简单, 能快速实现基本的定时任务需求。但随着系统规模的扩大和定时任务数量的增加, 原有实现方式暴露出以下问题:

  1. 在多实例情况下,同一定时任务会在多台服务器上都执行,导致资源浪费,且多任务间没有协调和管理。
  2. 缺乏任务调度中心,监控和管控功能较弱, 定时任务的触发时点改变，需要重新发布才能修改这些条件。

博主最近上手的项目 后续需要用到定时任务调度器 迁移定时任务， 刚好想到之前用过、听过的两款主流调度器 特此做一个调研记录。

同类产品对比

在这里插入图片描述

[1] 注： 通过for update锁表
在这里插入图片描述

[2] 注：其实可以自己实现 com.xxl.job.admin.core.alarm.JobAlarm 接口推至钉钉等。

QuartZ由于不支持分布式任务，不参与讨论。
重点针对xxl job 与 powerjob 进行对比。

下面给出更多直观的对比：

  1. PowerJob支持更多的定时信息配置 ，xxl job仅支持cron
    在这里插入图片描述
    在这里插入图片描述

  2. PowerJob支持设置任务的生命周期,xxl job不支持
    在这里插入图片描述

  3. PowerJob可以更好的查看执行器的机器信息 （注：内存为jvm内存）,xxl job不支持

在这里插入图片描述

  1. github项目最后维护时间对比：(截至目前，2023.12.01)
    在这里插入图片描述
    在这里插入图片描述

  2. 工作流支持： xxl job支持父子任务执行; powerjob可以支持多级，甚至可以针对条件判断选择执行
    在这里插入图片描述

资源及部署相关

资源占用对比：

  1. cpu使用对比： xxl job（左） powerjob(右)，powerjob整体占用较多，但CPU占用率并不高 可以忽略不计。
    在这里插入图片描述

  2. JVM 堆内存对比： xxl job（左） powerjob(右) , 因为powerjob有更多的功能 相应的资源消耗也会更多，xxl job峰值约为250M ,powerjob峰值约为700M, 且powerjob内存占用长期大于xxl job
    在这里插入图片描述

部署方式：

xxl job :

调度器：

  1. 手动执行xxl job的SQL脚本创建库表, SQL语句默认数据库名是xxl_job,用户可自己选择xxl job库表是否要和业务表放在同一个库，脚本会在xxl_job_user表中默认插入admin账号 密码为123456 ，如果后续需要修改密码，可以手动在数据库里面修改password ，数据库表的密码是MD5加密后的结果(32位小写)
    在这里插入图片描述

  2. 在xxl-job-admin application.properties修改数据源相关配置，定义accessToken （执行器的accessToken与之对应）

    xxl.job.accessToken=default_token

  3. 启动xxl-job-admin项目, java -jar xxl-admin-job.jar

执行器：

（执行器通俗点说 即我们的Java项目）

  1. 引入xxl-job-core依赖
<!-- xxl-job-core -->
<dependency>
    <groupId>com.xuxueli</groupId>
    <artifactId>xxl-job-core</artifactId>
    <version>2.4.0</version>
</dependency>
  1. yml配置：addresses为调度器地址，accessToken与上文调度器中的accessToken保持一致，更多解释见注释。
# 执行器将会使用该地址进行"执行器心跳注册"和"任务结果回调"；为空则关闭自动注册；
xxl:
  job:
    admin:
      addresses: http://192.168.31.165:8080/xxl-job-admin
    executor:
      # 执行器AppName [选填]：执行器心跳注册分组依据；为空则关闭自动注册
      appname: xxl-job-demo
      # 执行器IP [选填]：默认为空表示自动获取IP，多网卡时可手动设置指定IP，该IP不会绑定Host仅作为通讯实用；地址信息用于 "执行器注册" 和 "调度中心请求并触发任务"；
      ip:
      #执行器端口号 [选填]：小于等于0则自动获取；默认端口为9999，单机部署多个执行器时，注意要配置不同执行器端口；
      port: 9999
      # 执行器运行日志文件存储磁盘路径 [选填] ：需要对该路径拥有读写权限；为空则使用默认路径；
      logpath: E:/log/xxl-jobs/xxl-job/jobhandler
      # 执行器日志保存天数 [选填] ：值大于3时生效，启用执行器Log文件定期清理功能，否则不生效；
      logretentiondays: -1
    # 执行器通讯TOKEN [选填]：非空时启用；
    accessToken: default_token
  1. 执行器代码示例
@Component
public class WorkingStartHandler   {

    /**
     * 需要先执行db里面的sql脚本 创建库表
     */

    /**
     * 新版本注解由原来旧版本的@JobHandler类注解 变成了  @XxlJob 注解
     *  且类不需要继承IJobHandler类
     */
    @XxlJob("WorkingStartHandler")
    public ReturnT<String> execute(String s) throws Exception {
        // do something
        return ReturnT.SUCCESS;
    }
}
  1. 启动执行器
  2. 在调度器admin页面添加定时任务并执行
  3. 执行器可多实例部署，在调度器admin页面的路由策略 推荐使用轮询方式，一致性hash算法在笔者物理机Win11+虚拟机centos stream 8环境中测试发现及其不均衡 ，几乎始终只落在某一台执行器上。
    在这里插入图片描述

powerjob：

调度器：
  1. 修改powerjob-server-starter中的application配置文件的数据源配置等, jdbc URL中指定数据库
    (如果是新的数据库 即与业务库分离，需要手动创建数据库), 相关表自动创建，无需手动。
    需要手动在app_info表中，新增一条记录 填写app_name和password，appname与执行器配置的相对应

调度服务器（powerjob-server）为了支持环境隔离，分别采用了日常（application-daily.properties）、预发（application-pre.properties）和线上（application-product.properties）三套配置文件，请根据实际需求进行修改，以下为配置文件详解。

在这里插入图片描述
2. 启动powerjob-server： java -jar xxx.jar --spring.profiles.active=product

执行器：
  1. 引入powerjob starter依赖
<!-- powerjob-worker -->
<dependency>
    <groupId>tech.powerjob</groupId>
    <artifactId>powerjob-worker-spring-boot-starter</artifactId>
    <version>4.3.4</version>
</dependency>
  1. application配置文件，注意powerjob.worker.server-address，是我们调度器地址，powerjob.worker.app-name与我们调度器中提到的app_info表app_name内容相对应
# Whether to enable PowerJob Worker, default is true
powerjob.worker.enabled=true
# Turn on test mode and do not force the server connection to be verified
powerjob.worker.enable-test-mode=false
# Transport port, default is 27777
powerjob.worker.port=27778
# Application name, used for grouping applications. Recommend to set the same value as project name.
powerjob.worker.app-name=test
# Address of PowerJob-server node(s). Ip:port or domain. Multiple addresses should be separated with comma.
#powerjob.worker.server-address=127.0.0.1:7700,127.0.0.1:7701
powerjob.worker.server-address=127.0.0.1:7700
# transport protocol between server and worker
powerjob.worker.protocol=http
# Store strategy of H2 database. disk or memory. Default value is disk.
powerjob.worker.store-strategy=disk
# Max length of result. Results that are longer than the value will be truncated.
powerjob.worker.max-result-length=4096
# Max length of appended workflow context . Appended workflow context value that is longer than the value will be ignore.
powerjob.worker.max-appended-wf-context-length=4096
  1. 执行器代码示例：其中注释的代码是模拟工作流场景下的代码，如果不需要使用工作流则忽略。
@Component("WorkingStartProcessors")
public class WorkingStartProcessors implements BasicProcessor {

    @Autowired
    private WorkingStartJob workingStartJob;

    /**
     * 第一步：需要先create database powerjob
     * 第二步：在app_info表中配置 app name ，与worker (即java服务) 的appname对应, 并设置账号密码（server控制台登录密码）
     * 第三步：与xxl job类似，在控制台页面新建任务, 其中全限定类名，也可以填写bean value
     * （如本类 被@Component("WorkingStartProcessors")修饰， bean value即为WorkingStartProcessors)
     */

    /**
     * tips: cron 模式下 最小间隔为15s
     * 否则需要修改 powerjob server源码SCHEDULE_RATE数值(不建议)
     */
    @Override
    public ProcessResult process(TaskContext taskContext) throws Exception {

         // do something

//
//        WorkflowContext workflowContext = taskContext.getWorkflowContext();
//        // 模拟工作流的判断
//        if (System.currentTimeMillis() % 2 == 0) {
//
//            // 工作流注意事项：
//            // 如果有判断节点 需要在代码中声明返回结果 在控制台的流程图中 用var res = context['result']   res == "true"进行判断
//            // 流程图的每一个节点都记得要开启
//            workflowContext.appendData2WfContext("result",false);
//            System.out.println("-------------false-------------");
//        } else {
//            workflowContext.appendData2WfContext("result",true);
//            System.out.println("-------------true-------------");
//
//        }
        return new ProcessResult(true);


    }
}
  1. 启动执行器
  2. 控制台界面：
    tips: 小于15s时，会按照15s间隔执行，这是powerjob-server源码中限制的
    在这里插入图片描述
    在这里插入图片描述
    工作流示例 (用不上请忽略)：
    下图三个节点 都记得点击启用
    在这里插入图片描述
    判断节点语法：
    (key value是和上文java示例代码中定义的 : workflowContext.appendData2WfContext(“result”,true)😉
    在这里插入图片描述

总结

powerJob有后发优势 调度任务配置更加灵活， 截至目前仍在维护，功能更全面，但相应的内存占用约为xxl-job的2-3倍，

xxl job用户量会比powerJob庞大，内存占用较小

可以结合实际业务以及服务器资源空闲情况 考虑是否需要使用到灵活配置特性，如服务器资源紧张 在可预见范围内 仅需要基本的定时任务执行功能 推荐 xxl-job， 如服务器资源不紧张 为后续项目灵活性考虑 可选择powerjob。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1283158.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

SpringBoot：SpringMVC（上）

SpringBoot：SpringMVC（上）

文章目录 前言一、SpringMVC是什么&#xff1f;1.1 MVC的定义&#xff1a;1.2 MVC 和 Spring MVC 的关系 二、Spring MVC 创建和连接2.1创建springmvc2.2接下来&#xff0c;创建⼀个 UserController 类&#xff0c;实现⽤户到 Spring 程序的互联互通&#xff0c;具体实现代码如…
阅读更多...
分享77个菜单导航JS特效，总有一款适合您

分享77个菜单导航JS特效，总有一款适合您

分享77个菜单导航JS特效&#xff0c;总有一款适合您 77个菜单导航JS特效下载 链接&#xff1a;https://pan.baidu.com/s/1sfT9ONLH4ocliA1C7Z5xbQ?pwd6666 提取码&#xff1a;6666 Python采集代码下载链接&#xff1a;采集代码.zip - 蓝奏云 学习知识费力气&#xff0…
阅读更多...
数据库系统原理与实践 笔记 #11

数据库系统原理与实践 笔记 #11

文章目录 数据库系统原理与实践 笔记 #11事务管理和并发控制与恢复事务概念转账的例子 事务ACID特性ACID特性事务原子性和持久性事务隔离性调度SQL中的事务定义 可串行化事务的简化视图冲突的指令冲突可串行化 可恢复性级联回滚无级联调度 数据库系统原理与实践 笔记 #11 事务…
阅读更多...
Python中format函数用法

Python中format函数用法

嗨喽~大家好呀&#xff0c;这里是魔王呐 ❤ ~! python更多源码/资料/解答/教程等 点击此处跳转文末名片免费获取 format优点 format是python2.6新增的一个格式化字符串的方法&#xff0c;相对于老版的%格式方法&#xff0c;它有很多优点。 1.不需要理会数据类型的问题&#…
阅读更多...
pip的基本命令和使用

pip的基本命令和使用

pip 简介 pip是Python官方的包管理器&#xff0c;可以方便地安装、升级和卸载Python包。 pip 常用命令 显示版本和路径 pip --version获取帮助 pip --help升级pip和升级包 pip install --upgrade pip # Linux/macOS pip install -U pip # windowspip install…
阅读更多...
CVE-2016-2510CVE-2017-5586 BeanShell漏洞

CVE-2016-2510CVE-2017-5586 BeanShell漏洞

前言&#xff1a; 首先我们需要了解BeanShell具体是做什么&#xff1a; BeanShell 是一种轻量级的可嵌入式脚本语言&#xff0c;用于在 Java 环境中执行脚本代码。它提供了一种简单、灵活的方式来扩展和定制 Java 应用程序的行为&#xff0c;允许开发人员动态地执行和评估脚本…
阅读更多...
顺序查找、折半查找、分块查找

顺序查找、折半查找、分块查找

概念 查找表&#xff0c;分为静态查找表和动态查找表。 顺序查找 效率分析&#xff1a; 优化 折半查找 折半查找&#xff0c;又称“二分查找”仅适用于有序的顺序表。 ⭐&#xff0c;因为顺序表可以随机访问&#xff0c;链表不可以 效率分析 折半查找判定树的构造 如果&…
阅读更多...
食品加工厂污水处理设备有哪些

食品加工厂污水处理设备有哪些

食品加工厂污水处理设备是确保食品生产过程中污水能够得到有效处理和排放的重要设备。目前&#xff0c;针对食品加工厂污水处理的设备包括以下几个主要分类&#xff1a; 1. 预处理设备&#xff1a;包括格栅、沉砂池和沉淀池等。格栅主要用于去除污水中的大颗粒固体物质&#x…
阅读更多...
Ubuntu20.04安装向日葵、开机自启、解决windows系统远程黑屏（笔记）

Ubuntu20.04安装向日葵、开机自启、解决windows系统远程黑屏（笔记）

这里写目录标题 动机1. Ubuntu20.04 安装向日葵2. 设置开机自启3. 解决windows不可远程的问题4. 大公告成 动机 办公室有个工作站&#xff0c;要比我的笔记本的CPU稍微好一点&#xff0c;用来跑陆面过程。我信心满满的装了个Ubuntu20.04双系统,但是发现向日葵安装不上了。我少…
阅读更多...
一.线性表

一.线性表

一.单链表 1.定义结构体 1.1不带头结点的结构体 typedef struct node{int data;struct node *next;//struct node *prior;//双向链表需要加上指针prior }Lnode,*Linklist; 1.2带头结点的结构体 typedef struct node{int data;struct node * next; }Node;typedef struct l…
阅读更多...
一个可用于临床的食管癌远处转移预测模型（shiny APP）

一个可用于临床的食管癌远处转移预测模型（shiny APP）

一个可用于临床的食管癌远处转移预测模型&#xff08;APP&#xff09; 最近将之前构建的一个预测食管癌远处转移模型制作成了APP&#xff08;地址见文末&#xff09;&#xff0c;有一些思考&#xff0c;和大家分享如下&#xff1a; 1. 充分的说明 首先&#xff0c;对模型的…
阅读更多...
面试题：为什么数据库连接池不采用 IO 多路复用？

面试题：为什么数据库连接池不采用 IO 多路复用？

今天我们聊一个不常见的 Java 面试题&#xff1a;为什么数据库连接池不采用 IO 多路复用&#xff1f; 这是一个非常好的问题。IO多路复用被视为是非常好的性能助力器。但是一般我们在使用 DB 时&#xff0c;还是经常性采用c3p0&#xff0c;tomcat connection pool等技术来与 D…
阅读更多...
软件验收计划书

软件验收计划书

软件项目验收计划的作用主要有以下几点&#xff1a; 确保项目质量&#xff1a;通过项目验收&#xff0c;客户或相关方可以对项目的成果进行全面、系统的评估&#xff0c;以确保项目达到预期的质量标准。 发现和解决问题&#xff1a;在项目开发过程中&#xff0c;难免会存在一些…
阅读更多...
软著项目推荐 深度学习的口罩佩戴检测 - opencv 卷积神经网络 机器视觉 深度学习

软著项目推荐 深度学习的口罩佩戴检测 - opencv 卷积神经网络 机器视觉 深度学习

文章目录 0 简介1 课题背景&#x1f6a9; 2 口罩佩戴算法实现2.1 YOLO 模型概览2.2 YOLOv32.3 YOLO 口罩佩戴检测实现数据集 2.4 实现代码2.5 检测效果 3 口罩佩戴检测算法评价指标3.1 准确率&#xff08;Accuracy&#xff09;3.2 精确率(Precision)和召回率(Recall)3.3 平均精…
阅读更多...
Ant Design Pro初始化报错

Ant Design Pro初始化报错

今天按照官网步骤初始化项目&#xff0c;第一次报错 fatal: unable to access https://github.com/ant-design/ant-design-pro/: SSL certificate problem: unable to get local issuer certificate 致命&#xff1a;无法访问https://github.com/ant-design/ant-design-pro/&…
阅读更多...
深入解析Linux内核网络-拥塞控制系列(一）

深入解析Linux内核网络-拥塞控制系列(一）

谈起网络拥塞控制&#xff0c;大家可能很熟悉八股文中的"加法增大“、”乘法减小“、”慢开始“、“拥塞避免”、“快重传”、“快恢复”等概念。没错&#xff0c;这是一种经典网络拥塞控制算法的基础理论&#xff0c;但在实际的实现时不同的拥塞控制算法&#xff0c;有很…
阅读更多...
2、Linux_远程操作

2、Linux_远程操作

远程操作 1.配置ifconfig 1.1输入 ifconfig 查看 ip 的命令( ifconfig ) 1.2搜索 ifconfig 命令&#xff08;yum search ifconfig&#xff09; 1.3配置网卡 进入如下目录配置网卡 cd /etc/syscofig/network-scripts编辑 ifcfg-ens33 vi ifcfg-ens33按 i 键进入编辑模式 按 …
阅读更多...
minio服务端搭建使用

minio服务端搭建使用

一.minio文件服务搭建 非docker环境部署(Linux部署) 1.官网下载安装包&#xff1a;MinIO | Code and downloads to create high performance object storage 2、上传安装包文件到目录(这个可以自由选择) /home/minio/ 3、为minio添加权限 sudo chmod x minio 4、 创建mini…
阅读更多...
【C语言】扫雷小游戏初学者版

【C语言】扫雷小游戏初学者版

成功的秘诀就是每天都比别人多努力一点。 今天给大家带来一款非常经典的小游戏——扫雷的实现和讲解 这里是目录 前言整体框架1.打印菜单2.创建二维数组3.初始化棋盘4.打印棋盘5.布置棋盘中的雷6.排查雷和统计雷总体代码test.cgame.cgame.h 进阶&#xff08;递归展开&#xff0…
阅读更多...
【arduino库之TroykaDHT（针对DHT系列温湿度传感器）】

【arduino库之TroykaDHT（针对DHT系列温湿度传感器）】

该库允许您从 DHT 系列传感器读取温度和湿度。 该库允许获取以摄氏度、开尔文和华氏度为单位的相对湿度和温度数据。支持的传感器&#xff1a;DH11、DHT21、DHT22。 TroykaDHT库的的使用非常简单&#xff0c;它包含7个函数&#xff1a; begin //初始化接口&#xff0c;做好…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023