XXL-JOB分布式任务调度框架详解（全网最详细！！！）

news2024/11/20 12:40:18

引言

第一部分：XXL-JOB概述

第二部分：架构与组件

第三部分：使用教程

第四部分：源码分析

第五部分：最佳实践

引言

在分布式系统中，任务调度是一项基础而又关键的服务，它涉及到定时任务的管理和执行、负载均衡、容错处理等多个方面。XXL-JOB正是这样一款轻量级、高效且易于使用的分布式任务调度框架，它由大众点评的许雪里（XXL）开源，旨在解决分布式环境下定时任务的执行难题。本教案将从XXL-JOB的起源、架构设计、核心功能、使用教程、源码解析、最佳实践以及典型应用场景进行全面深入的讲解，帮助开发者理解和掌握XXL-JOB的精髓。

第一部分：XXL-JOB概述

1.1 起源与发展

XXL-JOB起源于大众点评内部的分布式任务调度需求，自2016年起开始接入线上产品线，至今已迭代数十个版本，广泛应用于互联网、金融、教育、物流等多个行业。其核心设计目标是“开发迅速、学习简单、轻量级、易扩展”，并且提供开箱即用的体验。

1.2 核心设计理念

XXL-JOB通过将调度行为与任务执行解耦的设计思想，形成了两个核心组件：调度中心和执行器。调度中心负责任务的调度策略、触发时机及调度请求的发起，而执行器则负责接收调度请求并执行具体的任务逻辑。

第二部分：架构与组件

2.1 架构图解析

  • 调度中心：作为大脑，维护调度信息（任务信息、执行器信息等），并按照预设策略触发任务调度请求。
  • 执行器：作为手脚，部署在业务服务器上，负责接收调度中心的任务调度请求并执行任务，执行完毕后将执行结果返回给调度中心。
  • 数据库：存储任务配置、执行日志、调度记录等数据，保证调度中心与执行器之间的信息同步。

2.2 核心组件功能

  • 任务管理：通过Web界面进行任务的增删改查操作，支持多种调度类型（cron、固定频率、手动触发等）。
  • 执行器管理：管理执行器节点，包括注册、心跳检测、负载均衡等功能。
  • 日志管理：记录任务执行日志，便于问题排查和审计。
  • 报警策略：支持任务执行失败后的邮件、短信等报警通知。
第三部分：使用教程

3.1 快速入门

环境准备：Java开发环境、Maven、MySQL数据库。

<!-- http://repo1.maven.org/maven2/com/xuxueli/xxl-job-core/ -->
<dependency>
    <groupId>com.xuxueli</groupId>
    <artifactId>xxl-job-core</artifactId>
    <version>1.8.2</version>
</dependency>

下载与安装：从GitHub上下载XXL-JOB源码，解压后分别启动调度中心与执行器。

https://github.com/xuxueli/xxl-job

数据库初始化：执行提供的SQL脚本，创建必要的数据库表。

请下载项目源码并解压，获取 “调度数据库初始化SQL脚本” 并执行即可。

位置：/xxl-job/doc/db/tables_xxl_job.sql 共8张表

xxl_job_lock：任务调度锁表；
xxl_job_group：执行器信息表，维护任务执行器信息；
xxl_job_info：调度扩展信息表：用于保存XXL-JOB调度任务的扩展信息，如任务分组、任务名、机器地址、执行器、执行入参和报警邮件等等；
xxl_job_log：调度日志表：用于保存XXL-JOB任务调度的历史信息，如调度结果、执行结果、调度入参、调度机器和执行器等等；
xxl_job_log_report：调度日志报表：用户存储XXL-JOB任务调度日志的报表，调度中心报表功能页面会用到；
xxl_job_logglue：任务GLUE日志：用于保存GLUE更新历史，用于支持GLUE的版本回溯功能；
xxl_job_registry：执行器注册表，维护在线的执行器和调度中心机器地址信息；
xxl_job_user：系统用户表；

配置调度中心与执行器：通过application.properties文件配置数据库连接、执行器地址等。

### 调度中心部署根地址 [选填]：如调度中心集群部署存在多个地址则用逗号分隔。执行器将会使用该地址进行"执行器心跳注册"和"任务结果回调"；为空则关闭自动注册；
xxl.job.admin.addresses=http://127.0.0.1:8080/xxl-job-admin
### 执行器通讯TOKEN [选填]：非空时启用；
xxl.job.accessToken=
### 执行器AppName [选填]：执行器心跳注册分组依据；为空则关闭自动注册
xxl.job.executor.appname=xxl-job-demo
### 执行器注册 [选填]：优先使用该配置作为注册地址，为空时使用内嵌服务 ”IP:PORT“ 作为注册地址。从而更灵活的支持容器类型执行器动态IP和动态映射端口问题。
xxl.job.executor.address=
### 执行器IP [选填]：默认为空表示自动获取IP，多网卡时可手动设置指定IP，该IP不会绑定Host仅作为通讯实用；地址信息用于 "执行器注册" 和 "调度中心请求并触发任务"；
xxl.job.executor.ip=
### 执行器端口号 [选填]：小于等于0则自动获取；默认端口为9999，单机部署多个执行器时，注意要配置不同执行器端口；
xxl.job.executor.port=9999
### 执行器运行日志文件存储磁盘路径 [选填] ：需要对该路径拥有读写权限；为空则使用默认路径；
xxl.job.executor.logpath=/data/applogs/xxl-job/jobhandler
### 执行器日志文件保存天数 [选填] ： 过期日志自动清理, 限制值大于等于3时生效; 否则, 如-1, 关闭自动清理功能；
xxl.job.executor.logretentiondays=30

创建任务：登录Web界面，添加任务，配置任务执行逻辑、触发策略等。

调度中心访问地址：http://localhost:8080/xxl-job-admin (该地址执行器将会使用到，作为回调地址)

用户名和密码：admin/123456


至此“调度中心”项目已经部署成功。

3.2 进阶配置

  • 分布式部署：多节点部署调度中心，实现高可用。
  • 执行器集群：部署多个执行器实例，实现任务的负载均衡与故障转移。
  • 自定义JobHandler：编写自定义任务处理器，实现业务逻辑。
第四部分：源码分析

4.1 核心模块

  • xxl-job-admin：调度中心模块，包含Web管理界面、调度逻辑等。
  • xxl-job-core：核心模块，包含任务调度模型、执行器与调度中心通信协议等。
  • xxl-job-executor-samples：执行器示例模块，包含多种框架下的执行器实现。

4.2 关键技术点

  • 任务调度算法：分析XXL-JOB如何实现高效的任务调度算法，包括时间轮、延迟队列等。
  • 通讯机制：深入理解HTTP长轮询、MQ等通讯方式在XXL-JOB中的应用。
  • 容错与重试：分析XXL-JOB的失败重试策略、故障转移机制。
第五部分：最佳实践

搭建springboot项目(执行器)

新建项目：在test模块下新建xxl-job-demo子模块

（1）pom文件

 <dependencies>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>

        <!--xxl-job-->
        <dependency>
            <groupId>com.xuxueli</groupId>
            <artifactId>xxl-job-core</artifactId>
            <version>2.3.0</version>
        </dependency>
    </dependencies>

(2)配置application.yml

# web port
server.port=8881
# no web
#spring.main.web-environment=false

# log config
logging.config=classpath:logback.xml


### xxl-job admin address list, such as "http://address" or "http://address01,http://address02"
xxl.job.admin.addresses=http://127.0.0.1:8080/xxl-job-admin

### xxl-job, access token
xxl.job.accessToken=default_token

### xxl-job executor appname
xxl.job.executor.appname=xxl-job-executor-test
### xxl-job executor registry-address: default use address to registry , otherwise use ip:port if address is null
xxl.job.executor.address=
### xxl-job executor server-info
xxl.job.executor.ip=
xxl.job.executor.port=9999
### xxl-job executor log-path
xxl.job.executor.logpath=/data/applogs/xxl-job/jobhandler
### xxl-job executor log-retention-days
xxl.job.executor.logretentiondays=30

检查执行器中appname是否为：xxl_job_sharding_sample

(3)引导类：

package com.xxl.job;

import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;

@SpringBootApplication
public class XxlJobApplication {

    public static void main(String[] args) {
        SpringApplication.run(XxlJobApplication.class,args);
    }
}

（4）添加xxl-job配置

添加配置类：

这个类主要是创建了任务执行器，参考官方案例编写，无须改动

package com.xxl.job.config;


import com.xxl.job.core.executor.impl.XxlJobSpringExecutor;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

/**
 * xxl-job config
 */
@Configuration
public class XxlJobConfig {
    private Logger logger = LoggerFactory.getLogger(XxlJobConfig.class);

    @Value("${xxl.job.admin.addresses}")
    private String adminAddresses;

    @Value("${xxl.job.accessToken}")
    private String accessToken;

    @Value("${xxl.job.executor.appname}")
    private String appname;

    @Value("${xxl.job.executor.address}")
    private String address;

    @Value("${xxl.job.executor.ip}")
    private String ip;

    @Value("${xxl.job.executor.port}")
    private int port;

    @Value("${xxl.job.executor.logpath}")
    private String logPath;

    @Value("${xxl.job.executor.logretentiondays}")
    private int logRetentionDays;


    @Bean
    public XxlJobSpringExecutor xxlJobExecutor() {
        logger.info(">>>>>>>>>>> xxl-job config init.");
        XxlJobSpringExecutor xxlJobSpringExecutor = new XxlJobSpringExecutor();
        xxlJobSpringExecutor.setAdminAddresses(adminAddresses);
        xxlJobSpringExecutor.setAppname(appname);
        xxlJobSpringExecutor.setAddress(address);
        xxlJobSpringExecutor.setIp(ip);
        xxlJobSpringExecutor.setPort(port);
        xxlJobSpringExecutor.setAccessToken(accessToken);
        xxlJobSpringExecutor.setLogPath(logPath);
        xxlJobSpringExecutor.setLogRetentionDays(logRetentionDays);

        return xxlJobSpringExecutor;
    }
}

 （5）创建任务

package com.xxl.job.config;


import com.xxl.job.core.biz.model.ReturnT;
import com.xxl.job.core.handler.annotation.XxlJob;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.stereotype.Component;

import java.time.LocalDateTime;


@Component
public class HelloJob {

    @Value("${server.port}")
    private String port;

    @XxlJob("demoJobHandler")
    public ReturnT helloJob() {
        System.out.println("简单任务执行了。。。。" + port);
        return  ReturnT.SUCCESS;
    }
}

@XxlJob(“demoJobHandler”)这个一定要与调度中心新建任务的JobHandler的值保持一致！

 配置执行器

在任务调度中心，点击进入"执行器管理"界面, 如下图:

1、此处的AppName,会在创建任务时被选择，每个任务必然要选择一个执行器。

2、“执行器列表” 中显示在线的执行器列表, 支持编辑删除。

以下是执行器的属性说明：
AppName  ：是每个执行器集群的唯一标示AppName, 执行器会周期性以AppName为对象进行自动注册：可通过该配置自动发现注册成功的执行器, 供任务调度时使用;
名称 ： 执行器的名称, 因为AppName限制字母数字等组成,可读性不强, 名称为了提高执行器的可读性;
排序 ： 执行器的排序, 系统中需要执行器的地方,如任务新增, 将会按照该排序读取可用的执行器列表;
注册方式  ：调度中心获取执行器地址的方式；
机器地址  ：注册方式为"手动录入"时有效，支持人工维护执行器的地址信息；

具体操作：

（1）新增执行器： xxl-job-executor-test

（2）在调度中心新建任务
在任务管理->新建，填写以下内容

测试

（1）首先启动调度中心，xxl-job-admin

（2）启动xxl-job-demo项目

（3）启动任务：任务调度中心

（4）打开idea控制台，查看任务执行情况：

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1881724.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

如何玩单机版：QQ音速

如何玩单机版：QQ音速

前言 我是研究单机的老罗&#xff0c;今天教大家带来一款怀旧游戏QQ音速 的教程。根据我的文章&#xff0c;一步一步就可以玩了。 如今市面上的资源参差不齐&#xff0c;大部分的都不能运行&#xff0c;本人亲自测试&#xff0c;运行视频如下&#xff1a; QQ音速 搭建教程 此…
阅读更多...
甘特图：项目管理中的任务分解工具

甘特图：项目管理中的任务分解工具

项目管理中是将大的项目目标划分为各个小阶段任务&#xff0c;将复杂的项目拆分为简单的任务&#xff0c;它可让事情依照一定规则或关系&#xff0c;通过一层一层来分解&#xff0c;这样要做的目标可以变为小任务。 任务分解的标准 管理项目时&#xff0c;要学会分解任务&am…
阅读更多...
【计算机毕业设计】061互助学习微信小程序

【计算机毕业设计】061互助学习微信小程序

&#x1f64a;作者简介&#xff1a;拥有多年开发工作经验&#xff0c;分享技术代码帮助学生学习&#xff0c;独立完成自己的项目或者毕业设计。 代码可以私聊博主获取。&#x1f339;赠送计算机毕业设计600个选题excel文件&#xff0c;帮助大学选题。赠送开题报告模板&#xff…
阅读更多...
微波消解罐TFM内罐适配新拓XT9906微波消解仪主控罐副罐

微波消解罐TFM内罐适配新拓XT9906微波消解仪主控罐副罐

我厂可定制的各个厂家微波消解仪内罐如下&#xff1a; 美国CEM、迈尔斯通、安东帕、耶拿、上海新仪、上海新拓、上海屹尧、北分瑞利、北京祥鹄、山东海能等&#xff0c;我厂特殊研发的生产工艺保证特别厂家&#xff08;如CEMMARS5、MARS6、XPRESS&#xff09;的超长罐的光洁度…
阅读更多...
Quectel EM05-CE 模块测试

Quectel EM05-CE 模块测试

作者简介&#xff1a; 一个平凡而乐于分享的小比特&#xff0c;中南民族大学通信工程专业研究生在读&#xff0c;研究方向无线联邦学习 擅长领域&#xff1a;驱动开发&#xff0c;嵌入式软件开发&#xff0c;BSP开发 作者主页&#xff1a;一个平凡而乐于分享的小比特的个人主页…
阅读更多...
windows下启动redisSentinel

windows下启动redisSentinel

如果已经安装redis的就继续往下看&#xff0c;还没安装redis&#xff0c;先安装一下redis 安装完redis之后&#xff0c;打开redis的目录。 新建一个sentinel.conf文件 # 端口号 port 26379# Sentinel 监控的主节点信息&#xff0c;格式为 <master-name> <ip> &l…
阅读更多...
用Lobe Chat部署本地化， 搭建AI聊天机器人

用Lobe Chat部署本地化， 搭建AI聊天机器人

Lobe Chat可以关联多个模型&#xff0c;可以调用外部OpenAI, gemini,通义千问等, 也可以关联内部本地大模型Ollama, 可以当作聊天对话框消息框来集成使用 安装方法参考&#xff1a; https://github.com/lobehub/lobe-chat https://lobehub.com/zh/docs/self-hosting/platform/…
阅读更多...
R语言数据分析案例39-合肥市AQI聚类和多元线性回归

R语言数据分析案例39-合肥市AQI聚类和多元线性回归

一、研究背景 随着全球工业化和城市化的迅速发展&#xff0c;空气污染问题日益凸显&#xff0c;已成为影响人类健康和环境质量的重大挑战。空气污染不仅会引发呼吸系统、心血管系统等多种疾病&#xff0c;还会对生态系统造成不可逆转的损害。因此&#xff0c;空气质量的监测和…
阅读更多...
第3章：数据结构

第3章：数据结构

树 对稀疏矩阵的压缩方法有三种&#xff1a; 1、三元组顺序表 2、行逻辑连接的顺序表 3、十字链表 同义词才会占用同个位置&#xff0c;从而需要进行多次比较。这些关键字的第一个可以不是e的同义词&#xff0c;可以是排在e之前的关键字正好占了那个位置。 Dijkstra算法主要特点…
阅读更多...
【想起就补】整理了一些SSH中常用的命令

【想起就补】整理了一些SSH中常用的命令

希望文章能给到你启发和灵感&#xff5e; 如果觉得文章对你有帮助的话&#xff0c;点赞 关注 收藏 支持一下博主吧&#xff5e; 阅读指南 开篇说明一、基础环境说明1.1 硬件环境1.2 软件环境 二、常用命令类型2.1 远程登录相关2.2 文件操作命令2.3 权限和所有权操作命令2.4 文…
阅读更多...
强化学习的数学原理：课程梗概与基本概念

强化学习的数学原理：课程梗概与基本概念

Overview 从上图可以看见&#xff0c;整个强化学习被分为两个板块&#xff1a;一个是基础的工具&#xff0c;一个是基本的算法和方法。 基础工具包括&#xff1a;基本的概念、贝尔曼公式、贝尔曼最优公式。 算法和方法包括&#xff1a;值迭代、策略迭代、蒙特卡洛方法、时序差…
阅读更多...
【初阶数据结构】深入解析队列:探索底层逻辑

【初阶数据结构】深入解析队列:探索底层逻辑

&#x1f525;引言 本篇将深入解析队列:探索底层逻辑&#xff0c;理解底层是如何实现并了解该接口实现的优缺点&#xff0c;以便于我们在编写程序灵活地使用该数据结构。 &#x1f308;个人主页&#xff1a;是店小二呀 &#x1f308;C语言笔记专栏&#xff1a;C语言笔记 &#…
阅读更多...
四.iOS核心动画 - 图层的视觉效果

四.iOS核心动画 - 图层的视觉效果

引言 在前几篇博客中我们讨论了图层的frame,bounds,position以及让图层加载图片。但是图层事实上不仅可以显示图片&#xff0c;或者规则的矩形块&#xff0c;它还有一系列内建的特性来创建美丽优雅的页面元素。在这篇博客中我们就来探索一下CALayer的视觉效果。 视觉效果 图…
阅读更多...
喜讯！安全狗荣获“2023年网络安全技术支撑优秀单位”称号

喜讯！安全狗荣获“2023年网络安全技术支撑优秀单位”称号

6月6日&#xff0c;由中共厦门市委网络安全和信息化委员会办公室&#xff08;以下简称“厦门市委网信办”&#xff09;主办的2023年网络安全技术支撑优秀单位颁奖仪式在厦门成功举行。 作为国内云原生安全领导厂商&#xff0c;安全狗受邀出席此次活动。 会上&#xff0c;安全狗…
阅读更多...
DEBOPIE框架：打造最好的ChatGPT交易机器人

DEBOPIE框架：打造最好的ChatGPT交易机器人

本文介绍了如何利用 DEBOPIE 框架并基于 ChatGPT 创建高效交易机器人&#xff0c;并强调了在使用 AI 辅助交易时需要注意的限制以及操作步骤。原文: Build the Best ChatGPT Trading Bots with my “DEBOPIE” Framework 如今有大量文章介绍如何通过 ChatGPT 帮助决定如何以及在…
阅读更多...
做工作室项目重要还是运营重要

做工作室项目重要还是运营重要

做工作室项目重要还是运营重要&#xff0c;先说答案&#xff0c;项目好是基础&#xff0c;然后才能谈运营&#xff01; 90%的工作室活不过一年&#xff0c;这句话是有数据支撑的&#xff0c;因为就工商注册的公司而言&#xff0c;一年内倒闭的就是这么个数据&#xff0c;所以工…
阅读更多...
在AvaotaA1全志T527开发板上烧录AvaotaOS固件

在AvaotaA1全志T527开发板上烧录AvaotaOS固件

烧写到 TF 卡上 材料准备 首先需要准备的材料有: SD-Card Formatter&#xff1a;balenaEtcherAvaota Pi - A1开发板 x1TF-Card ( 不小于4Gb ) x112V-DC电源适配器 x1TF读卡器 x1USBTTL Splitter x1&#xff08;可选&#xff09;HDMI 采集卡 x1 &#xff08;可选&#xff09;…
阅读更多...
input调用手机摄像头实现拍照功能vue

input调用手机摄像头实现拍照功能vue

项目需要一个拍照功能&#xff0c;实现功能如下图所示:若使用浏览器则可以直接上传图片&#xff0c;若使用手机则调用手机摄像头拍照。 1.代码结构 <!--input标签--> <input ref"photoRef"type"file"accept"image/*"capture"envir…
阅读更多...
DM表级触发器

DM表级触发器

可以理解为行变动级 触发体中写逻辑 这是表修改时调用存储过程 感谢大哥分享: https://blog.csdn.net/WuLex/article/details/83181449 感谢大哥分享: https://blog.csdn.net/ChennyWJS/article/details/131913198
阅读更多...
前置章节-熟悉Python、Numpy、SciPy和matplotlib

前置章节-熟悉Python、Numpy、SciPy和matplotlib

目录 一、编程环境-使用jupyter notebook 1.下载homebrew包管理工具 2.安装Python环境 3.安装jupyter 4.下载Anaconda使用conda 5.使用conda设置虚拟环境 二、学习Python基础 1.快排的Python实现 (1)列表推导-一种创建列表的简洁方式 (2)列表相加 2.基本数据类型及运…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023