分布式任务调度与计算框架PowerJob

news2024/9/20 20:40:45

PowerJob是一款基于Java开发的企业级分布式任务调度与计算框架，它旨在为企业级应用提供统一的调度中心和分布式计算能力，从而简化任务调度的复杂性并降低分布式计算的门槛。

以下是对PowerJob的详细介绍：

一、主要功能特性

使用简单：
- 提供前端Web界面，允许开发者可视化地完成调度任务的管理（增、删、改、查）、任务运行状态监控和运行日志查看等功能。
- 用户可以通过简单的拖拽操作在前端页面编排任务，解决复杂任务依赖的烦恼。
定时策略完善：
- 支持CRON表达式、固定频率、固定延迟和API四种定时调度策略。
- 用户还可以通过OpenAPI轻松定制自己的调度策略，扩展PowerJob的调度层。
执行模式丰富：
- 支持单机、广播、Map、MapReduce四种执行模式。
- 其中Map/MapReduce处理器能使开发者通过寥寥数行代码便获得集群分布式计算的能力。
工作流支持：
- 支持在线配置任务依赖关系（DAG），以可视化的方式对任务进行编排。
- 支持上下游任务间的数据传递，以及多种节点类型（判断节点&嵌套工作流节点）。
执行器支持广泛：
- 支持Spring Bean、内置/外置Java类，另外可以通过引入官方提供的依赖包，一键集成Shell、Python、HTTP、SQL等处理器，应用范围广。
运维便捷：
- 支持在线日志功能，执行器产生的日志可以在前端控制台页面实时显示，降低debug成本，极大地提高开发效率。
- 提供在线运维功能，方便用户进行任务管理和系统维护。
依赖精简：
- 最小仅依赖关系型数据库（MySQL/PostgreSQL/Oracle/MS SQLServer等），同时支持所有Spring Data JPA所支持的关系型数据库。
高可用&高性能：
- 调度服务器经过精心设计，实现了无锁化调度，避免了传统调度框架基于数据库锁的策略带来的性能瓶颈。
- 部署多个调度服务器可以同时实现高可用和性能的提升（支持无限的水平扩展）。
故障转移与恢复：
- 任务执行失败后，可根据配置的重试策略完成重试，只要执行器集群有足够的计算节点，任务就能顺利完成。

二、部署与使用

PowerJob支持通过jar包和docker两种方式进行部署。用户可以根据自己的需求选择合适的部署方式。部署完成后，用户可以通过前端Web界面进行任务配置和管理。

环境准备：
- 确保本地环境和生产环境都已安装JDK和Maven。JDK版本需符合PowerJob的要求。
- 准备数据库环境，如MySQL、PostgreSQL、Oracle等，根据实际需求创建相应的数据库实例（如powerjob-product或powerjob-daily），并设置正确的字符集（如utf8mb4）。
下载PowerJob包：
- 从PowerJob的GitHub仓库下载最新版本的PowerJob包，建议选择稳定版本。
解压PowerJob包：
- 将下载的PowerJob包解压到指定目录，例如/app/xwsoft/PowerJob-x.x.x。
配置数据库连接：
- 根据实际情况选择配置文件（application-product.properties或application-daily.properties）。
- 修改数据库连接配置，包括数据库驱动、URL、用户名和密码等。
打包与部署：
- 进入PowerJob Server的源代码目录（如/app/xwsoft/PowerJob-x.x.x/powerjob-server/powerjob-server-starter）。
- 使用Maven进行编译打包：mvn clean package -U -Pdev -DskipTests。
- 打包完成后，会在target目录下生成jar包。
- 将jar包上传至生产环境，并使用nohup java -jar powerjob-server-starter-x.x.x.jar --spring.profiles.active=xxx &命令启动Server。
启动Server：
- 使用上述命令启动PowerJob Server，其中xxx应替换为实际的配置文件名（如product或daily）。
- 查看启动日志，确认Server是否成功启动并监听在指定端口（默认为7700）。
访问控制台：
- 通过浏览器访问http://<server-ip>:7700/，进入PowerJob的控制台页面。
- 首次访问可能需要注册应用（App）并设置相应的应用名称和密码。
配置Worker：
- 在Worker端配置application.properties或相应的配置文件，设置应用的名称、调度服务器地址等。
- 如果需要，可以创建多个Worker实例，并配置不同的服务端口和Akka端口。
启动Worker：
- 在Worker的源代码目录中使用Maven或IDE启动Worker应用。
- Worker启动后会自动注册到Server，并等待任务调度。
编写任务并发布：
- 在Worker项目中编写具体的任务处理逻辑，并继承相应的处理器接口（如StandaloneProcessor、BroadcastProcessor等）。
- 在PowerJob的控制台页面上发布任务，并配置任务的执行模式、执行时间等参数。