项目使用PowerJob

news2025/1/19 11:32:20

新一代的定时任务框架——PowerJob

简介

PowerJob是基于java开发的企业级的分布式任务调度平台，与xxl-job一样，基于web页面实现任务调度配置与记录，使用简单，上手快速，其主要功能特性如下：

  • 使用简单：提供前端Web界面，允许开发者可视化地完成调度任务的管理（增、删、改、查）、任务运行状态监控和运行日志查看等功能。

  • 定时策略完善：支持 CRON 表达式、固定频率、固定延迟和API四种定时调度策略。

  • 执行模式丰富：支持单机、广播、Map、MapReduce 四种执行模式，其中 Map/MapReduce 处理器能使开发者寥寥数行代码便获得集群分布式计算的能力。

  • 工作流支持：支持在线配置任务依赖关系（DAG），以可视化的方式对任务进行编排，同时还支持上下游任务间的数据传递，以及多种节点类型（判断节点 & 嵌套工作流节点）。

  • 执行器支持广泛：支持 Spring Bean、内置/外置 Java 类，另外可以通过引入官方提供的依赖包，一键集成 Shell、Python、HTTP、SQL 等处理器，应用范围广。

  • 运维便捷：支持在线日志功能，执行器产生的日志可以在前端控制台页面实时显示，降低 debug 成本，极大地提高开发效率。

  • 依赖精简：最小仅依赖关系型数据库（MySQL/PostgreSQL/Oracle/MS SQLServer…）

  • 高可用 & 高性能：调度服务器经过精心设计，一改其他调度框架基于数据库锁的策略，实现了无锁化调度。部署多个调度服务器可以同时实现高可用和性能的提升（支持无限的水平扩展）。

  • 故障转移与恢复：任务执行失败后，可根据配置的重试策略完成重试，只要执行器集群有足够的计算节点，任务就能顺利完成。

相对于其他定时任务框架具有无锁化设计，更强悍的性能支撑，我们通过官网的产品对比可以了解详情：

项目QuartZxxl-jobSchedulerX 2.0PowerJob
定时类型CRONCRONCRON、固定频率、固定延迟、OpenAPICRON、固定频率、固定延迟、OpenAPI
任务类型内置Java内置Java、GLUE Java、Shell、Python等脚本内置Java、外置Java（FatJar）、Shell、Python等脚本内置Java、外置Java（容器）、Shell、Python等脚本
分布式任务无静态分片MapReduce 动态分片MapReduce 动态分片
在线任务治理不支持支持支持支持
日志白屏化不支持支持不支持支持
调度方式及性能基于数据库锁，有性能瓶颈基于数据库锁，有性能瓶颈不详无锁化设计，性能强劲无上限
报警监控无邮件短信邮件，提供接口允许开发者扩展
系统依赖关系型数据库（MySQL、Oracle…）MySQL人民币任意 Spring Data Jpa支持的关系型数据库（MySQL、Oracle…）
DAG 工作流不支持不支持支持支持

官网文档：http://www.powerjob.tech/

定时任务类型

与传统的定时任务框架对比，powerJob支持更多的定时任务类型：

  • API: 通过客户端提供的api接口触发，服务端不会主动调度，适用于与业务服务上下连接或只调度一次的业务场景

  • CRON: 通过cron表达式调度，这是多数定时任务框架都支持的

  • 固定频率：每隔多少毫秒执行一次。

  • 固定延迟：延迟多少毫秒执行一次

  • 工作流：配合工作流进行调度，服务端不会主动调度，当工作流节点执行到该任务时运行。

安装

PowerJob支持两种安装方式，一是通过jar包运行，一是通过docker安装

docker的安装较为简单，且官网有详细说明，这里就不单独讲解了，大家可参考官方文档：

  • https://www.yuque.com/powerjob/guidence/docker-compose

如何通过jar形式运行的

1、首先我们可以在github上下载源码，可以自己编译打包

  • https://github.com/PowerJob/PowerJob

可以在releases中下载指定版本

2、在IDE中打开后，我们powerjob-server就是我们要的服务端源码，可以直接编译，而powerjob-worker-samples就是springboot下的使用示例

3、在运行编译服务端之前，我们需要先创建数据库，在指定的数据库下创建即可

CREATE DATABASE IF NOT EXISTS `powerjob-daily` DEFAULT CHARSET utf8mb4

4、然后将powerjob-server/powerjob-server-starter下的application-daily.properties配置文件中的数据库配置改成你服务器的

其中daily,pre,product 表示日常、预生产、生产环境下的配置，与我们常见的dev, test, prod类似，可以根据需要进行调整

图片

其中还有邮箱及其他配置，如果有需要也可以调整，服务端的参数配置可参考官网文档。

5、我们先来本地运行启动类PowerJobServerApplication一下试试，启动成功后，访问http://localhost:7700，出现登陆页则说明运行成功

图片

6、先注册一个执行器，注意这里的应用名称不能顺便取，下文在客户端的配置的app-name要与该名称保持一致

7、然后用该执行器名和密码登录

8、如下，我们就登录成功了

图片

9、如果需要发布到服务器或虚拟机上运行，可以进行编译打包操作：

1）点击mvn install 将依赖包打包到本地仓库

图片

注意，如果这里报错

Please refer to /Library/project/study/java/PowerJob-4.3.2/powerjob-server/powerjob-server-starter/target/surefire-reports for the individual test results.

那么可以将maven的健康检查关闭

点击如图所示按钮，并且看到test置灰，则表示关闭

图片

2）执行mvn package打包项目

图片

10、在powerjob-server-starter的target目录下即可看到打包出来的jar，将其上传到指定服务器，通过java -jar指令即可运行

图片

定时任务创建

1、创建一个springboot项目，用于定时任务客户端，引入客户端依赖，如果是spring或其他java项目引入，可参考官网文档：

  • https://www.yuque.com/powerjob/guidence/ygonln

<dependency>
    <groupId>tech.powerjob</groupId>
    <artifactId>powerjob-worker-spring-boot-starter</artifactId>
    <version>4.3.2</version>
</dependency>

2、修改配置文件

powerjob:
  worker:
    enabled: true
    enable-test-mode: false
    # 数据传输端口，默认27777
    port: 27777
    # 应用名称，与服务端创建的应用账号的名称保持一致
    app-name: powerjob-agent-test
    # 服务端地址，多个用,隔开
    server-address: 127.0.0.1:7700
    # 通讯协议，4.3.0之后支持http和akka，4.3.0之前仅支持akka，官方推荐http
    protocol: http
    # 任务返回结果信息的最大长度，超过该值将被截断
    max-result-length: 4096
    # 同时运行的轻量级任务数量上限
    max-lightweight-task-num: 1024
    # 同时运行的重量级任务数量上限
    max-heavy-task-num: 64

3、启动类上添加注解@EnableScheduling

4、通过申明BasicProcessor接口，实现process方法来书写一个简单的定时任务示例类，注意要声明为bean

/**
 * @author benjamin_5
 * @Description 简单任务执行器
 * @date 2023/5/3
 */
@Component
public class SimpleJobServer implements BasicProcessor {

    @Override
    public ProcessResult process(TaskContext taskContext) throws Exception {
        String jobParams = taskContext.getJobParams();
        System.out.println("参数: " + jobParams);

        System.out.println("定时任务执行");

        return new ProcessResult(true, "定时任务执行成功");
    }
}

5、启动客户端项目，运行成功后，可以在服务端首页看到机器实例

图片

6、服务端任务管理点击新建任务

其中处理器配置是通过书写处理器的全类路径名来声明的，比如我这里是com.example.powerjobdemo.job.SimpleJobServer

图片

7、创建成功后，可以在列表看到新建的任务

图片

8、打开客户端控制台，也能看到输出的参数和执行打印，说明任务执行成功

图片

9、同时我们可以在运行记录中看到执行日志

图片

图片

至此，针对powerjob的最简单使用就完成了，接下来我们继续来看关于powjob的配置详解

3. 任务配置参数详解

创建任务时我们可以看到如下图所示的配置：

图片

定时信息：

主要选择定时任务类型，支持API, CRON，固定频率、固定延迟、工作流、每日固定间隔等几种定时任务类型。

生命周期：

这是比其他任务框架更便捷的功能，指定了任务的生效周期，如果该任务是预定某时间段内执行的，可以通过该参数配置

执行配置：

  • 执行类型支持单机执行、广播执行、Map执行、MapReduce执行

  • 单机执行表示只需要有一个节点执行任务即可的场景

  • 广播执行表示需要全部节点一同执行的场景，比如清除机器日志、各节点数据统计

  • Map与MapReduce执行都是表示分布式、分批执行，用来拆分计算量、耗时较大的任务，区别在于Map执行是一种简单的数据处理逻辑，特点是将输入数据拆分成多个子块，并交给多个分布式节点同时执行，以提高数据处理效率，适用于简单的数据处理场景

  • MapReduce执行是一种大数据处理框架，处理逻辑是将复杂的数据处理拆分成Map和Reduce阶段进行处理，通过数据分组计算后合并来提供数据处理效率，更适合复杂的大数据场景

运行时配置：

  • 支持HEALTH_FIRST和RANDOM，即第一个健康节点和随机，用于选择执行处理器节点的策略。

  • 最大实例数用于控制处理器节点数量，线程并发度用于控制并发，运行时间限制

更多说明，可在官方文档中查看：

  • https://www.yuque.com/powerjob/guidence/ysug77

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1357761.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

CEC2017（Python）：七种算法（PSO、RFO、DBO、HHO、SSA、DE、GWO）求解CEC2017

CEC2017（Python）：七种算法（PSO、RFO、DBO、HHO、SSA、DE、GWO）求解CEC2017

一、7种算法简介 1、粒子群优化算法PSO 2、红狐优化算法RFO 3、蜣螂优化算法DBO 4、哈里斯鹰优化算法HHO 5、麻雀搜索算法SSA 6、差分进化算法DE 7、灰狼优化算法GWO 二、CEC2017简介 参考文献&#xff1a; [1]Awad, N. H., Ali, M. Z., Liang, J. J., Qu, B. Y., &am…
阅读更多...
华为云Stack 8.X流量模型分析（六）

华为云Stack 8.X流量模型分析（六）

八、基础云专线流量模型分析 ​ 华为官方对云专线定义是&#xff1a;用户数据中心通过运营商的物理专线&#xff08;MPLS/VPN&#xff0c;以太专线&#xff09;访问云内资源&#xff0c;云内资源呈现真实IP&#xff0c;通过设置的专线路由实现三层互通。 ​ 通过云专线直接访…
阅读更多...
LeetCode(36)有效的数独 ⭐⭐

LeetCode(36)有效的数独 ⭐⭐

请你判断一个 9 x 9 的数独是否有效。只需要 根据以下规则 &#xff0c;验证已经填入的数字是否有效即可。 数字 1-9 在每一行只能出现一次。数字 1-9 在每一列只能出现一次。数字 1-9 在每一个以粗实线分隔的 3x3 宫内只能出现一次。&#xff08;请参考示例图&#xff09; 注…
阅读更多...
ssm基于web的网络游戏交易平台信息管理系统的设计与实现论文

ssm基于web的网络游戏交易平台信息管理系统的设计与实现论文

摘 要 传统办法管理信息首先需要花费的时间比较多&#xff0c;其次数据出错率比较高&#xff0c;而且对错误的数据进行更改也比较困难&#xff0c;最后&#xff0c;检索数据费事费力。因此&#xff0c;在计算机上安装网络游戏交易平台软件来发挥其高效地信息处理的作用&#x…
阅读更多...
SecOC中新鲜度值和MAC都按照完整的值来生成，但是在发送和认证的时候只会截取一部分。这边截取的部分一般取多长？由什么参数设定？

SecOC中新鲜度值和MAC都按照完整的值来生成，但是在发送和认证的时候只会截取一部分。这边截取的部分一般取多长？由什么参数设定？

新鲜度值（Freshness Value, FV）和消息验证码（Message Authentication Code, MAC）是SecOC协议中用于保证数据的真实性和新鲜度的重要信息。它们的长度取决于不同的因素，如加密算法、安全级别、通信带宽等。 一般来说，FV和MAC的长度越长，安全性越高，但也会占用更多的通信…
阅读更多...
Kibana 自定义索引连接器告警

Kibana 自定义索引连接器告警

一、 创建索引 PUT ipu-cbs-warning-info{"settings" : {"number_of_shards" : 1},"mappings" : {"properties" : {"timestamp": {"type": "date"},"rule_id" : { "type" : "…
阅读更多...
面试官：CSS3新增了哪些新特性？

面试官：CSS3新增了哪些新特性？

面试官&#xff1a;CSS3新增了哪些新特性&#xff1f; 一、是什么 css&#xff0c;即层叠样式表&#xff08;Cascading Style Sheets&#xff09;的简称&#xff0c;是一种标记语言&#xff0c;由浏览器解释执行用来使页面变得更美观 css3是css的最新标准&#xff0c;是向后兼…
阅读更多...
十、基本对话框大集合（Qt5 GUI系列）

十、基本对话框大集合（Qt5 GUI系列）

目录 一、设计需求 二、实现代码 三、代码解析 四、总结 一、设计需求 Qt提供了很多标准的对话框。例如标准文件对话框(QFileDialog)、标准颜色对话框(QColorDialog)、标准字体对话框 (QFontDialog)、标准输入对话框 (QInputDialog) 及消息对话框 (QMessageBox)。本文展示各…
阅读更多...
编写.NET的Dockerfile文件构建镜像

编写.NET的Dockerfile文件构建镜像

创建一个WebApi项目&#xff0c;并且创建一个Dockerfile空文件&#xff0c;添加以下代码&#xff0c;7.0代表的你项目使用的SDK的版本&#xff0c;构建的时候也需要选择好指定的镜像tag FROM mcr.microsoft.com/dotnet/aspnet:7.0 AS base WORKDIR /app EXPOSE 80 EXPOSE 443F…
阅读更多...
[论文笔记] Megtron_LM 0、报错：vscode调试无法传进去参数 launch.json文件获取args参数

[论文笔记] Megtron_LM 0、报错：vscode调试无法传进去参数 launch.json文件获取args参数

解决方法&#xff1a; 配置好launch.json文件后&#xff0c;应该点运行和调试里面的运行按钮。而不是直接点文件右上角的debug。 可以看到terminal中&#xff0c;如果没有正常加载launch.json&#xff0c;则参数中没有args的参数。 如果正常加载&#xff0c;可以看到args的很多…
阅读更多...
docker镜像仓库详解（Docker Registry）

docker镜像仓库详解（Docker Registry）

本片文章主要是对docker的镜像仓库进行了详解。其中包含了一些常用了 docker 指令&#xff0c;通过举例进行详解。也详细解释了镜像仓库的工作机制和常见的镜像仓库。也实际拉去和运行了一些镜像。希望本篇文章会对你有所帮助&#xff01; 文章目录 一、什么是Docker Registry …
阅读更多...
Python Selenium如何下载网页中的图片到本地？（Base64编码的图片下载）

Python Selenium如何下载网页中的图片到本地？（Base64编码的图片下载）

前言&#xff1a; 在网页上&#xff0c;图片有时会以Base64编码的形式嵌入在HTML中&#xff0c;而不是作为单独的文件提供。这种方式的优点是可以减少HTTP请求的数量&#xff0c;因为图片数据直接包含在HTML中&#xff0c;不需要额外的请求来获取图片文件。这对于小图片…
阅读更多...
如何解决vscode中文路径的问题

如何解决vscode中文路径的问题

首先我们进入设备 搜索“区域”&#xff0c;选择“区域设置” 点击管理语言设置 点击更改系统区域设置&#xff0c;勾选“Beta 版: 使用 Unicode UTF-8 提供全球语言支持(U)”&#xff0c;电脑会叫你重启&#xff0c;你重启就行了
阅读更多...
mysql四大引擎、账号管理以及建库

mysql四大引擎、账号管理以及建库

目录 一.数据库存储引擎1.1存储引擎的查看1.2InnoDB1.3MyISAM1.4 MEMORY1.5 Archive 二.数据库管理2.1元数据库分类2.2 操作2.3 MySQL库 三.数据表管理3.1三大范式3.2 整形3.3 实数3.4 字符串3.5 text&blob3.6 日期类型3.7 选中标识符 四.数据库账号管理4.1 查询用户4.2查看…
阅读更多...
某音关键词搜索商品接口，某音关键词搜索商品列表接口，宝贝详情页接口，某音商品比价接口接入方案

某音关键词搜索商品接口，某音关键词搜索商品列表接口，宝贝详情页接口，某音商品比价接口接入方案

要接入API接口以采集电商平台上的商品数据&#xff0c;可以按照以下步骤进行&#xff1a; 1、找到可用的API接口&#xff1a;首先&#xff0c;需要找到支持查询商品信息的API接口。这些信息通常可以在电商平台的官方文档或开发者门户网站上找到。 2、注册并获取API密钥&#x…
阅读更多...
DRF从入门到精通九（权限控制）

DRF从入门到精通九（权限控制）

文章目录 一、权限控制模型1) ACL(Access Control List,访问控制列表)2) RBAC(Role-Based Access Control,基于角色的访问控制)应用前后台权限控制实操 3) ABAC(Attribute-Based Access Control,基于属性的访问控制) 一、权限控制模型 1) ACL(Access Control List,访问控制列表…
阅读更多...
dart 学习 区分好setter，getter和一般的函数

dart 学习 区分好setter，getter和一般的函数

看看代码可以很好的分析 setter &#xff0c;getter 和普通的函数有什么区别 void main() {car a new car("奔驰", 12);print(a.name);a.age 100;print(a.age);a.setname "宝马"; // 调用 setterprint(a.getage); // 调用gettera.setter("雷克萨斯…
阅读更多...
React Hooks中useState的介绍，并封装为useSetState函数的使用

React Hooks中useState的介绍，并封装为useSetState函数的使用

useState 允许我们定义状态变量&#xff0c;并确保当这些状态变量的值发生变化时&#xff0c;页面会重新渲染。 useState 返回值 const [state, setState] useState(initialState);useState 返回一个长度为 2 的数组。通常&#xff0c;我们这样定义状态变量&#xff1a; co…
阅读更多...
经纬度的作用

经纬度的作用

当我们在手机上使用导航软件或者在网上查找地址时&#xff0c;经常会发现一个选项&#xff0c;就是显示当前位置的经纬度。那么&#xff0c;什么是经纬度&#xff0c;它有什么作用呢&#xff1f; 经纬度是用来确定地球上任何一个点位置的坐标系统。它由两个数值组成&#xff0…
阅读更多...
华为DriveONE电机控制器拆解实拍

华为DriveONE电机控制器拆解实拍

如果说之前的问界M5、M7&#xff0c;华为让我们看到其在智能化上确实拥有遥遥领先的能力&#xff0c;那么在智界S7上&#xff0c;则让我们看到华为在动力、底盘这些硬件执行层面&#xff0c;竟然也有不输给很多车企的实力。1、华为电驱&#xff0c;全球第一&#xff1f;在智界S…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023