异步任务池

news2024/11/26 14:24:55

Java中的线程池设计得非常巧妙，可以高效并发执行多个任务，但是在某些场景下需要对线程池进行扩展才能更好地服务于系统。例如，如果一个任务仍进线程池之后，运行线程池的程序重启了，那么线程池里的任务就会丢失。另外，线程池只能处理本机的任务，在集群环境下不能有效地调度所有机器的任务。所以，需要结合线程池开发一个异步任务处理池。下图异步任务池设计图。

在这里插入图片描述

`任务池`的主要处理流程是，`每台机器会启动一个任务池` ，`每个任务池里有多个线程池` ，当某台机器将一个任务交给任务池后，任务池会先将这个任务`保存到数据库中`，然后某台机器上的任务池会从数据库中`获取`待执行的任务，再`执行`这个任务。
每个任务有几种状态，分别是创建（`NEW`）、执行中（`EXECUTING`）、重试（`RETRY`）、挂起（`SUSPEND`）、中止（`TEMINER`）和执行完成（`FINISH`）。
·创建：`提交`给任务池之后的状态。
·执行中：任务池从数据库中`拿到`任务执行时的状态。
·重试：当执行任务时出现错误，程序`显式`地告诉任务池这个任务需要`重试`，并`设置`下一次`执行时间`。
·挂起：当一个任务的执行`依赖`于其他任务完成时，可以将这个任务`挂起`，当`收到`消息后，再开始`执行`。
·中止：任务执行`失败`，让任务池`停止`执行这个任务，并设置`错误消息`告诉调用端。
·执行完成：任务执行`结束`。

`任务池的任务隔离` 。异步任务有很多种类型，比如`抓取网页任务`、`同步数据任务`等，不同类型的任务优先级不一样，但是系统资源是有限的，如果低优先级的任务非常多，高优先级的任务就可能得不到执行，所以必须对任务进行`隔离执行`。使用不同的线程池处理不同的任务，或者不同的线程池处理不同优先级的任务，如果任务类型`非常少`，建议用`任务类型来隔离`，如果任务类型非常多，比如`几十个`，建议采用`优先级方式来隔离`。

`任务池的重试策略` 。根据不同的任务类型设置不同的重试策略，有的任务对实时性要求高，那么每次的`重试间隔`就会非常短，如果对实时性要求不高，可以采用默认的重试策略，重试间隔随着次数的增加，时间不断增长，比如间隔几秒、几分钟到几小时。每个任务类型可以设置执行该任务类型线程池的最小和最大`线程数`、最大`重试次数`。

`使用任务池的注意事项` 。任务必须无状态：任务不能在执行任务的机器中`保存数据`，比如某个任务是处理上传的文件，任务的属性里有文件的上传路径，如果文件上传到机器1，机器2获取到了任务则会处理失败，所以上传的文件必须存在其他的集群里，比如OSS或SFTP。

`异步任务的属性` 。包括`任务名称`、`下次执行时间`、`已执行次数`、`任务类型`、`任务优先级`和执行时的`报错信息`（用于快速定位问题）。