目录标题
- 1、自定义单线程
- 2、JDK ScheduledExecutorService
- 3、 Spring Task
- 4、Quartz
- 5、Elastic-job
- 6、xxl-job
- 最后:思考更上一层
- 1. 高性能
- 2. 高并发
- 3. 高可用
- 设计方案
1、自定义单线程
上图中,我们启动一个线程,该线程无限循环执行,每隔20毫秒执行业务代码。
这种方式非常简单易用,在很多中间件中得到广泛应用。
优点:
- 简单易用,易于实现。
- 适用于小规模、低并发的应用场景。
缺点:
- 缺乏容错能力,一旦线程出错,整个任务可能会中断。
- 不支持并发执行,性能受限。
2、JDK ScheduledExecutorService
ScheduledExecutorService 是 Java 标准库提供的一个用于调度定时任务的接口。它提供了一种相对简单的方式来执行定时任务,不需要引入额外的库。
在上述例子中:
- 创建了一个ScheduledExecutorService 实例,它使用了一个线程池,其中包含一个线程用于执行定时任务。
- 定义了一个简单的Runnable任务,输出当前时间。
- 使用scheduleAtFixedRate方法安排任务,指定了任务的启动延迟时间和执行间隔时间。
- 主线程等待一段时间,然后关闭ScheduledExecutorService,确保定时任务不再执行。
这是一个基本的使用例子,你可以根据需求调整延迟时间、执行间隔、线程池大小等参数。ScheduleExecutorService 因其简单易用且性能优异,在各大开源中间件项目(比如 RocketMQ等)中被广泛的使用。
优点:
- 标准库提供的功能,无需额外依赖。
- 支持线程池管理,可以灵活配置线程数量。
- 支持固定频率和固定延迟的任务调度。
缺点:
- 仍然需要手动管理线程池和任务调度。
- 在高并发场景下,线程池的配置需要仔细考虑。
适用场景:
- 中小型应用,对并发有一定要求。
3、 Spring Task
在Spring框架中,你可以使用@Scheduled注解来创建定时任务。以下是Spring定时任务的基本用法:
-
配置类: 创建一个配置类,通常使用 @EnableScheduling 注解启用 Spring 的定时任务功能。
-
定时任务方法: 在你的服务类或组件类中创建一个方法,并使用 @Scheduled 注解来指定定时任务的触发条件。
在上述例子中,@Scheduled 注解允许你指定定时任务的执行规则,可以是固定频率(fixedRate)、固定延迟(fixedDelay)、或者使用cron表达式。
优点:
- 集成Spring框架,易于配置和使用。
- 支持多种调度方式(固定频率、固定延迟、Cron表达式)。
- 可以方便地集成到Spring应用中。
缺点:
- 需要Spring框架的支持。
- 对于复杂的任务调度,配置较为繁琐。
适用场景:
- Spring应用,需要集成定时任务功能。
4、Quartz
Quartz是一款 Java 开源任务调度框架。
下面我们展示如何使用:
-
添加依赖
-
Job(任务:你要做什么事)
-
Trigger(触发器:什么时候去做)
-
scheduler(任务调度:你什么时候需要做什么事)将 job 与 Trigger 进行整合。
下面是一个例子:
这里需要强调的是,Quartz 支持集群模式,持久化方式是 JDBC ,需要创建如下表。
Quartz 集群模式对于业务数据库有侵入性,需要考虑业务场景慎重使用。
优点:
- 成熟稳定的开源框架,支持多种调度方式。
- 支持集群和持久化,适用于高可用场景。
- 强大的插件系统,可以扩展各种功能。
缺点:
- 配置和使用相对复杂。
- 需要额外的数据库支持。
适用场景:
- 大型企业级应用,需要高可用和复杂调度功能。
5、Elastic-job
ElasticJob 定位为轻量级无中心化解决方案,使用 jar 的形式提供分布式任务的协调服务。
应用内部定义任务类,实现 SimpleJob 接口,编写自己任务的实际业务流程即可。
举例:应用A有五个任务需要执行,分别是A,B,C,D,E。任务E需要分成四个子任务,应用部署在两台机器上。
应用A在启动后, 5个任务通过 Zookeeper 协调后被分配到两台机器上,通过Quartz Scheduler 分开执行不同的任务。
ElasticJob 从本质上来讲 ,底层任务调度还是通过 Quartz ,相比Redis分布式锁 或者 Quartz 分布式部署 ,它的优势在于可以依赖 Zookeeper 这个大杀器 ,将任务通过负载均衡算法分配给应用内的 Quartz Scheduler容器。
优点:
- 轻量级无中心化解决方案,易于部署。
- 支持分布式任务协调,适用于大规模集群。
- 依赖Zookeeper进行任务分配,保证任务的均匀负载。
缺点:
- 需要Zookeeper支持。
- 配置和使用相对复杂。
适用场景:
- 分布式应用,需要大规模任务协调。
6、xxl-job
XXL-JOB 是一个使用最广泛的分布式任务调度平台。
业务系统和调度平台分开部署,我们在调度平台上配置应用以及其定时任务,当任务需要执行时,调度平台会触发业务系统的任务,业务系统执行完任务之后,反馈给调度平台任务执行的结果。
接下来,我们使用 xxl-job 开发第一个任务 “Hello World”。
-
新建任务:登录调度中心,点击下图所示“新建任务”按钮,新建示例任务。然后,参考下面截图中任务的参数配置,点击保存。
-
应用任务开发
-
触发执行
请点击任务右侧 “执行” 按钮,可手动触发一次任务执行(通常情况下,通过配置Cron表达式进行任务调度触发)。 -
查看日志
请点击任务右侧 “日志” 按钮,可前往任务日志界面查看任务日志。 在任务日志界面中,可查看该任务的历史调度记录以及每一次调度的任务调度信息、执行参数和执行信息。运行中的任务点击右侧的“执行日志”按钮,可进入日志控制台查看实时执行日志。
优点:
- 提供了强大的可视化管理界面。
- 支持多种调度方式,易于管理和监控。
- 支持分布式部署,适用于大规模应用。
缺点:
- 需要额外部署调度中心。
- 配置和使用相对复杂。
适用场景:
- 大型企业级应用,需要强大的任务管理和监控功能。
最后:思考更上一层
1. 高性能
- 并发执行:使用线程池管理任务执行,确保任务可以并行处理。
- 优化任务逻辑:减少任务中的计算开销,优化数据库查询等操作。
- 异步处理:对于耗时较长的任务,采用异步处理机制。
2. 高并发
- 负载均衡:使用负载均衡技术将任务分发到多个节点执行。
- 分布式调度:使用分布式调度框架(如Elastic-Job、XXL-JOB)进行任务分配。
- 弹性扩展:根据任务负载动态调整线程池大小。
3. 高可用
- 故障恢复:设计任务重试机制,确保任务失败时可以自动恢复。
- 集群部署:使用集群部署,确保单个节点故障不影响整体任务执行。
- 持久化和备份:使用持久化机制(如Quartz的JDBC持久化)确保任务状态的持久化。
- 监控和报警:建立完善的监控体系,及时发现并处理任务执行中的问题。
设计方案
-
任务调度层:
- 使用XXL-JOB或Elastic-Job作为任务调度框架。
- 配置可视化管理界面,便于管理和监控。
-
任务执行层:
- 使用Spring Boot应用作为任务执行节点。
- 配置线程池,确保任务可以并行执行。
- 优化任务逻辑,减少不必要的计算开销。
-
分布式协调层:
- 使用Zookeeper进行任务分配和协调。
- 配置负载均衡策略,确保任务均匀分配到各个节点。
-
持久化和备份:
- 使用数据库(如MySQL)进行任务状态的持久化。
- 定期备份任务数据,确保数据安全。
-
监控和报警:
- 使用Prometheus和Grafana进行任务执行情况的监控。
- 配置报警机制,通过邮件或短信及时通知管理员。