分布式任务调度框架Power-Job

news2024/11/16 11:47:05

分布式任务调度框架的由来及对比

在大型业务业务系统中，不可避免会出现一些需要定时执行需求的场景，例如定时同步数据，定时清洗数据，定时生成报表，大量机器一同执行某个任务，甚至有些需要分布式处理的任务例如需要更新一大批数据，单机耗时太长需要进行任务分发，利用集群的计算能力等等

现今为止，市面上流行的作业调度框架有老牌的Quartz、基于Quartz的elastic-job和原先基于Quartz后面移除依赖的xxl-job，Quartz可以视为第一代任务调度框架，基本上是现有所有分布式调度框架的“祖宗”。它不提供Web界面，只能通过API完成任务的配置，使用起来不够方便和灵活，同时它仅支持单机执行，无法有效利用整个集群的计算能力。

xxl-job可以视为第二代任务调度框架，在一定程度上解决了Quartz的不足，在过去几年中是个非常优秀的调度框架，不过放到今天来看，还是存在着一些不足的：

  • 例如数据库支持单一： 仅支持MySQL，使用其他DB需要自己改代码
  • 有限的分布式计算能力： 仅支持静态分片，无法很好的完成复杂任务的计算
  • 不支持工作流： 无法配置各个任务之间的依赖关系，不适用于有DAG需求的场景

PowerJob可以被认为是第三代任务调度框架，它是新一代分布式任务调度与计算框架，支持CRON、API、固定频率、固定延迟等调度策略，提供工作流来编排任务解决依赖关系，能让您轻松完成作业的调度与繁杂任务的分布式计算，在任务调度的基础上，还额外提供了分布式计算和工作流功能，其主要特性如下：

  • 使用简单： 提供前端Web界面，允许开发者可视化地完成调度任务的管理（增、删、改、查）、任务运行状态监控和运行日志查看等功能
  • 定时策略完善： 支持CRON表达式、固定频率、固定延迟和API四种定时调度策略
  • 执行模式丰富：支持单机、广播、Map、MapReduce四种执行模式，其中Map/MapReduce处理器能使开发者寥寥数行代码便获得集群分布式计算的能力
  • DAG工作流支持： 支持在线配置任务依赖关系，可视化得对任务进行编排，同时还支持上下游任务间的数据传递
  • 执行器支持广泛： 支持SpringBean、内置/外置Java类、Shell、Python等处理器，应用范围广
  • 运维便捷：支持在线日志功能，执行器产生的日志可以在前端控制台页面实时显示，降低debug成本，极大地提高开发效率
  • 依赖精简：最小仅依赖关系型数据库（MySQL/PostgreSQL/Oracle/MS SQLServer…），同时支持所有Spring Data JPA所支持的关系型数据库
  • 高可用&高性能：调度服务器经过精心设计，一改其他调度框架基于数据库锁的策略，实现了无锁化调度。部署多个调度服务器可以同时实现高可用和性能的提升（支持无限的水平扩展）
  • 故障转移与恢复： 任务执行失败后，可根据配置的重试策略完成重试，只要执行器集群有足够的计算节点，任务就能顺利完成
QuartZxxl-jobSchedulerX2.0Power-job
定时类型CRONCRONCRON、固定频率、固定延迟、OpenAPICRON、固定频率、固定延迟、OpenAPI
任务类型内置Java内置Java、GLUE Java、Shell、Python等脚本内置Java、外置Java(FatJar)、Shell、Python等脚本内置Java、外置Java(容器)、Shell、Python等脚本
分布式任务无静态分片MapReduce动态分片MapReduce动态分片
在线任务治理不支持支持支持支持
日志白屏化不支持支持不支持支持
调度方式及性能基于数据库锁、有性能瓶颈基于数据库锁、有性能瓶颈—无锁化设计、性能空间极大
系统依赖JDBC支持的关系型数据库类似于MySQL、Oracle等MySQL公测期间免费、增加需付费任意Spring Data Jpa支持的关系型数据库
报警监控无邮件短信邮件且提供了可扩展接口
DAG工作流不支持不支持支持支持

Power-Job分布式任务调度框架

在这里插入图片描述

Power-Job项目初始化

Administrator@DESKTOP-173DTHK MINGW64 /d/E/Programs
$ git clone https://github.com/KFCFans/PowerJob.git
Cloning into 'PowerJob'...
remote: Enumerating objects: 28221, done.
remote: Counting objects: 100% (423/423), done.
remote: Compressing objects: 100% (147/147), done.
remote: Total 28221 (delta 121), reused 422 (delta 121), pack-reused 27798
Receiving objects: 100% (28221/28221), 18.96 MiB | 286.00 KiB/s, done.
Resolving deltas: 100% (11330/11330), done.

Administrator@DESKTOP-173DTHK MINGW64 /d/E/Programs

导入 IDE，源码结构如下，我们需要启动调度服务器（powerjob-server），同时在 samples 工程中编写自己的处理器代码
在这里插入图片描述

PowerJob由调度服务器（powerjob-server）和执行器(powerjob-worker)两部分组成，powerjob-server负责提供Web服务和完成任务的调度，powerjob-worker则负责执行用户所编写的任务代码，同时提供分布式计算能力

启动调度服务器

  1. 创建数据库（仅需要创建数据库）：create database `powerjob-daily` default character set utf8mb4 collate utf8mb4_general_ci;
  2. 修改配置文件，配置文件的说明官方文档写的非常详细，需要修改的地方(路径: PowerJob/powerjob-server/powerjob-server-starter/src/main/resources/application-daily.properties)为数据库配置：
    • spring.datasource.core.jdbc-url
    • spring.datasource.core.username
    • spring.datasource.core.password
    • mongoDB 的同学也可以修改spring.data.mongodb.uri

powerjob-server 日常环境配置文件：application-daily.properties

oms.env=DAILY
logging.config=classpath:logback-dev.xml

####### 外部数据库配置（需要用户更改为自己的数据库配置） #######
spring.datasource.core.driver-class-name=com.mysql.cj.jdbc.Driver
spring.datasource.core.jdbc-url=jdbc:mysql://localhost:3306/powerjob-daily?useUnicode=true&characterEncoding=UTF-8&serverTimezone=Asia/Shanghai
spring.datasource.core.username=root
spring.datasource.core.password=No1Bug2Please3!
spring.datasource.core.hikari.maximum-pool-size=20
spring.datasource.core.hikari.minimum-idle=5

####### mongoDB配置，非核心依赖，通过配置 oms.mongodb.enable=false 来关闭 #######
oms.mongodb.enable=true
spring.data.mongodb.uri=mongodb://localhost:27017/powerjob-daily

####### 邮件配置（不需要邮件报警可以删除以下配置来避免报错） #######
spring.mail.host=smtp.163.com
spring.mail.username=zqq@163.com
spring.mail.password=GOFZPNARMVKCGONV
spring.mail.properties.mail.smtp.auth=true
spring.mail.properties.mail.smtp.starttls.enable=true
spring.mail.properties.mail.smtp.starttls.required=true

####### 资源清理配置 #######
oms.instanceinfo.retention=1
oms.container.retention.local=1
oms.container.retention.remote=-1

####### 缓存配置 #######
oms.instance.metadata.cache.size=1024

如果你暂时没有可用的数据库进行测试，那么可以使用以下数据库配置来一键启动 server

spring.datasource.core.driver-class-name=org.h2.Driver
spring.datasource.core.jdbc-url=jdbc:h2:file:~/h2/powerjob-daily-test
spring.datasource.core.username=sa
spring.datasource.core.password=
  1. 完成配置文件的修改后，可以直接通过启动类 tech.powerjob.server.PowerJobServerApplication 启动调度服务器（注意：需要使用 daily 配置文件启动，可自行百度搜索“SpringBoot 指定配置文件启动”），观察启动日志，查看是否启动成功～启动成功后，访问 http://127.0.0.1:7700/ ，如果能顺利出现 Web 界面，则说明调度服务器启动成功！
  2. 注册应用：点击主页应用注册按钮，填入 powerjob-agent-test 和控制台密码（用于进入控制台），注册示例应用（当然你也可以注册其他的 appName，只是别忘记在示例程序中同步修改～）

在这里插入图片描述

编写示例代码

进入示例工程（powerjob-worker-samples），修改配置文件连接powerjob-server并编写自己的处理器代码

  1. 修改 powerjob-worker-samples 的 application.properties，将 powerjob.worker.app-name 改为刚刚在控制台注册的名称
server.port=8081

spring.jpa.open-in-view=false

########### powerjob-worker 配置 ###########
# akka 工作端口，可选，默认 27777
powerjob.worker.akka-port=27777
# 接入应用名称，用于分组隔离，推荐填写 本 Java 项目名称
powerjob.worker.app-name=powerjob-agent-test
# 调度服务器地址，IP:Port 或 域名，多值逗号分隔
powerjob.worker.server-address=127.0.0.1:7700,127.0.0.1:7701
# 持久化方式，可选，默认 disk
powerjob.worker.store-strategy=disk
# 任务返回结果信息的最大长度，超过这个长度的信息会被截断，默认 8192
powerjob.worker.max-result-length=4096
# 单个任务追加的工作流上下文最大长度，超过这个长度的会被直接丢弃，默认 8192
powerjob.worker.max-appended-wf-context-length=4096
  1. 编写自己的处理器：随便找个地方新建类，继承你想要使用的处理器（各个处理器的介绍可见官方文档官方文档，文档非常详细），这里为了简单演示，选择使用单机处理器 BasicProcessor，以下是代码示例
@Slf4j
@Component
public class StandaloneProcessorDemo implements BasicProcessor {

    @Override
    public ProcessResult process(TaskContext context) throws Exception {

        // PowerJob 在线日志功能，使用该 Logger 打印的日志可以直接在 PowerJob 控制台查看
        OmsLogger omsLogger = context.getOmsLogger();
        omsLogger.info("StandaloneProcessorDemo start process,context is {}.", context);
        
        return new ProcessResult(true, "process successfully~");
    }
}
  1. 启动示例程序，即直接运行主类 tech.powerjob.samples.SampleApplication，观察控制台输出信息，判断是否启动成功。

任务的配置与运行

调度服务器与示例工程都启动完毕后，再次前往Web页面（ http://127.0.0.1:7700/ ），进行任务的配置与运行

  1. 在首页输入框输入配置的应用名称，成功操作后会正式进入前端管理界面
    在这里插入图片描述

  2. 点击任务管理 -> 新建任务（右上角），开始创建任务

在这里插入图片描述
● 任务名称：名称
● 任务描述：描述
● 任务参数：任务处理时能够获取到的参数（即各个 Processor 的 process 方法入参 TaskContext 对象的jobParams 属性）（进行一次处理器开发就能理解了）
● 定时信息：该任务的触发方式，由下拉框和输入框组成
○ API -> 不需要填写任何参数，表明该任务由OpenAPI触发，不会被调度器主动调度执行
○ CRON -> 填写 CRON 表达式（在线生成）
○ 固定频率 -> 任务以固定的频率执行，填写整数，单位毫秒
○ 固定延迟 -> 任务以固定的延迟执行，填写整数，单位毫秒
○ 工作流 -> 不需要填写任何参数，表明该任务由工作流（workflow）触发
● 执行配置：由执行类型（单机、广播和 MapReduce ）、处理器类型和处理器参数组成，后两项相互关联。
○ 内置Java处理器 -> 填写该处理器的全限定类名（eg, tech.powerjob.samples.processors.MapReduceProcessorDemo）
○ Java容器 -> 填写容器ID#处理器全限定类名（eg，1#cn.edu.zju.oms.container.ContainerMRProcessor）
○ SHELL、Python、SQL 、HTTP 等任务的执行：官方处理器的使用教程
● 运行配置
○ 最大实例数：该任务同时执行的数量，0 代表不限制实例数量
○ 单机线程并发数：该实例执行过程中每个 Worker 使用的线程数量（MapReduce 任务生效，其余无论填什么，都只会使用必要的线程数）
○ 运行时间限制：限定任务的最大运行时间，超时则视为失败，单位毫秒，0 代表不限制超时时间（不建议不限制超时时间）。
● 重试配置：
○ Instance 重试次数：实例级别，失败了整个任务实例重试，会更换 TaskTracker（本次任务实例的Master节点），代价较大，大型Map/MapReduce慎用
○ Task 重试次数：Task 级别，每个子 Task 失败后单独重试，会更换 ProcessorTracker（本次任务实际执行的 Worker 节点），代价较小，推荐使用
○ 注：请注意同时配置任务重试次数和子任务重试次数之后的重试放大，比如对于单机任务来说，假如任务重试次数和子任务重试次数都配置了 1 且都执行失败，实际执行次数会变成 4 次！推荐任务实例重试配置为 0，子任务重试次数根据实际情况配置
● 机器配置：用来标明允许执行任务的机器状态，避开那些摇摇欲坠的机器，0 代表无任何限制
○ 最低 CPU 核心数：填写浮点数，CPU 可用核心数小于该值的 Worker 将不会执行该任务
○ 最低内存（GB）：填写浮点数，可用内存小于该值的 Worker 将不会执行该任务
○ 最低磁盘（GB）：填写浮点数，可用磁盘空间小于该值的 Worker 将不会执行该任务
● 集群配置
○ 执行机器地址：指定集群中的某几台机器执行任务（ debug 的好帮手），多值英文逗号分割，如192.168.1.1:27777,192.168.1.2:27777
○ 最大执行机器数量：限定调动执行的机器数量
● 报警配置：选择任务执行失败后报警通知的对象，需要事先录入

  1. 完成任务创建后，即可在控制台看到刚才创建的任务，如果觉得等待调度太过于漫长，可以直接点击运行按钮，立即运行本任务

在这里插入图片描述

  1. 前往任务示例边栏，查看任务的运行状态和在线日志

在这里插入图片描述

更多功能示例可见官方文档，工作流、MapReduce、容器等高级特性官方视频

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/452405.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

中继器+js组件化GIS地图

中继器+js组件化GIS地图

虽然可以使用JavaScript注入的方式将GIS地图嵌入Axure，但每次使用地图都需要重复嵌入并修改代码，不太方便。那么，能不能实现组件化呢？我们可以使用中继器（repeater）将常用的地图参数提取出来，通…
阅读更多...
力扣题库刷题笔记406-根据身高重建队列

力扣题库刷题笔记406-根据身高重建队列

1、题目如下： 2、个人Python代码实现 这里需要单独备注一下截图中第21行代码： 上图可以看到，已经对[5, 2]等元素进行了遍历循环，且[5, 2]左侧确实只存在[7, 0][6, 1]两个元素身高高于他，但是继续[5,0]循环完成后&#…
阅读更多...
@Async异步线程：Spring 自带的异步解决方案

@Async异步线程：Spring 自带的异步解决方案

前言 在项目应用中，使用MQ异步调用来实现系统性能优化，完成服务间数据同步是常用的技术手段。如果是在同一台服务器内部，不涉及到分布式系统，单纯的想实现部分业务的异步执行，这里介绍一个更简单的异步方法调用。 对于…
阅读更多...
FreeRTOS - 计数信号量

FreeRTOS - 计数信号量

一.任务功能 1、修改按键功能，模拟停车位出入功能 2、当按键按下 获取车位 3、当按键抬起 释放车位 二.API接口 函数原型SemaphoreHandle_t xSemaphoreCreateCounting( ①UBaseType_t uxMaxCount,②UBaseType_t uxInitialCount );功能概述创建计数信号量&#xff0c…
阅读更多...
详解空气质量API 使用

详解空气质量API 使用

引言 空气污染是当今世界面临的一大环境问题，而空气质量监测数据是制定环境政策和公众健康计划的重要依据。通过提供空气质量查询 API，开发人员可以方便地获取中国境内多个城市的空气质量数据，从而更好地监测和管理空气质量。 本文将介绍的…
阅读更多...
Redis入门学习笔记【一】

Redis入门学习笔记【一】

目录 一、redis是什么 二、Redis数据结构 2.1 Redis 的五种基本数据类型 2.1.1String（字符串） 2.1.2字符串列表（lists） 2.1.3字符串集合（sets） 2.1.5哈希（hashes） 2.2 Red…
阅读更多...
设计模式详解-软件设计（五十六)

设计模式详解-软件设计（五十六)

原创 真题详解(UML图)-软件设计（五十五)https://blog.csdn.net/ke1ying/article/details/130311994 创建型、结构型、行为型 抽象工厂（Abstruct Factory） 提供一个创建系列相关或相互依赖的接口，无须指定他们具体的类。 适用于&…
阅读更多...
07-Node.js—包管理工具

07-Node.js—包管理工具

目录 1、概念介绍1.1 包是什么1.2 包管理工具1.3 常用的包管理工具 2、npm2.1 npm 的安装2.2 npm 基本使用2.2.1 初始化2.2.2 搜索包2.2.3 下载安装包2.2.4 require 导入 npm 包基本流程 2.3 生产环境与开发环境2.4 生产依赖与开发依赖2.5 全局安装2.5.1 修改 windows 执行策略…
阅读更多...
CorelDRAW 2023版本更新内容及安装详细教程

CorelDRAW 2023版本更新内容及安装详细教程

这里是CorelDRAW 2023版本更新内容及安装详细教程: CorelDRAW 2023是最新更新版本,在界面和功能上做了较大提升与优化: 1. 简洁界面:采用全新设计界面,简约而不简单。菜单和工具栏进行了整合与重组,更加直观。拥有自动标记和提示,易于上手使用。 2. 全新工作空间:提供“轻量…
阅读更多...
Qt — Graphics/View框架

Qt — Graphics/View框架

文章目录 前言一、Qt图形系统介绍二、Graphics/View框架 前言 Qt的Graphics/View框架被用来存放、显示二维图形元素，处理那些对图形元素进行操作的交互命令。 一、Qt图形系统介绍 Qt 应用程序的图形界面包含各种控件，比如窗口、按钮、滚动条等。所有这…
阅读更多...
三谈ChatGPT（ChatGPT可以解决问题的90%）

三谈ChatGPT（ChatGPT可以解决问题的90%）

这是我第三次谈ChatGPT，前两篇主要谈了ChatGPT的概念，之所以火的原因和对人们的影响，以及ChatGPT可能存在的安全风险和将面临的监管问题。这一篇主要讲讲ChatGPT的场景和处理问题的逻辑。 这一次我特意使用了ChatGPT中文网页版体验了一番。并…
阅读更多...
3个月，从功能测试进阶到自动化测试涨薪10k，我悟了....

3个月，从功能测试进阶到自动化测试涨薪10k，我悟了....

因为我最近在分享自动化测试技术，经常被问到： 功能测试想转自动化，请问应该怎么入手？有没有好的资源推荐？ 那么，接下来我就结合自己的经历聊一聊我是如何在工作中做自动化测试的。（学习路线和…
阅读更多...
EIGRP配置 路由过滤和汇总，以及默认路由

EIGRP配置 路由过滤和汇总，以及默认路由

1.4.1 实验目的 通过对 EIGRP 路由过滤，汇总以及默认路由配置的实验的练习，从而掌握 EIGRP 路由过 滤的方法，EIGRP 路由汇总的方法和作用，以及如何为 EIGRP 配置默认路由。 1.4.2 实验拓扑 1.4.3 实验步骤 配置 R1&#xff0c…
阅读更多...
【深度学习】计算分类模型的分类指标，计算accuracy_top-1、accuracy_top-5、precision、recall和f1_score

【深度学习】计算分类模型的分类指标，计算accuracy_top-1、accuracy_top-5、precision、recall和f1_score

计算accuracy_top-1、accuracy_top-5、precision、recall和f1_score： （1）accuracy_top-1 np.sum(np.argmax(preds, axis1) np.argmax(actual, axis1)) / actual.shape[0] accuracy_top-1指标是假设预测数据中，最大值的index就是…
阅读更多...
自动控制原理模拟卷8

自动控制原理模拟卷8

自动控制原理模拟题八 Question1 求解以下电网络和机械系统的传递函数，并证明下图的电网络和机械系统有相同的数学模型。 解： 【图 ( a ) ({\rm a}) (a)系统传递函数】 根据复数阻抗的方法可得电网络的传递函数为：
阅读更多...
为啥运维人员更喜欢 NeoVim 而不是 Vim？这8个原因或许是答案，命令对比一目了然！

为啥运维人员更喜欢 NeoVim 而不是 Vim？这8个原因或许是答案，命令对比一目了然！

在 Linux 系统中，编辑器是开发和系统管理的必备工具。而在众多编辑器中，Vim 作为一款经典的文本编辑器，一直备受欢迎。然而，随着时间的推移，NeoVim 的出现逐渐成为了 Linux 运维人员的首选。那么，为什么 Li…
阅读更多...
Opencv+Python笔记（七）边缘检测原理

Opencv+Python笔记（七）边缘检测原理

注意:梯度计算总是由右边减去左边 目录 一、边缘检测原理二、Sobel算子（基于搜索）三、Laplacian算子（基于零穿越）四、Candy边缘检测算法1.消除噪声2. 计算图像的亮度梯度值3.减除虚假边缘（非极大值抑制NMS&#xff09…
阅读更多...
OSCP-Sirol（docker容器到宿主机）

OSCP-Sirol（docker容器到宿主机）

目录 扫描 WEB 提权 扫描 sudo nmap 192.168.64.54 -p- -sS -sVPORT STATE SERVICE VERSION 22/tcp open ssh OpenSSH 7.4p1 Debian 10+deb9u7 (protocol 2.0) 53/tcp closed domain 80/tcp open http Apache httpd 2.4.25 ((Debian)) 3306…
阅读更多...
Spring更简单的存取方法

Spring更简单的存取方法

Spring存对象 在Spring的创建和使用篇章里，提到了用bean标签来将对象标识到Spring里面，但是这样的方法过于麻烦，下面我们来介绍使用类注解来存储对象。 五大类注解存对象 Spring里面有五大类注解： Controller、Service、Repos…
阅读更多...
NeRF必读五：NeRF in the wild

NeRF必读五：NeRF in the wild

前言 NeRF从2020年发展至今，仅仅三年时间，而Follow的工作已呈井喷之势，相信在不久的将来，NeRF会一举重塑三维重建这个业界，甚至重建我们的四维世界（开头先吹一波）。NeRF的发展时间虽短&#xf…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023