黑马头条Day10-定时计算热点文章、xxl-job

news2024/12/23 9:59:22

一、今日内容

1. 需求分析

目前实现的思路:从数据库直接按照发布时间倒序查询

问题:

  • 如果访问量比较大,直接查询数据库,压力较大
  • 新发布的文章会展示在前面,并不是热点文章

2. 实现思路

解决方案:把热点数据存入redis进行展示

判断文章是否是热点,有几项标准:点赞数量、评论数量、阅读数量、收藏数量

计算文章热度,有两种方案:

  • 定时计算文章热度
  • 实时计算文章热度

3. 定时计算

根据文章的行为(点赞、评论、阅读、收藏)计算文章的分值,利用定时任务每天完成一次计算

把分值较大的文章数据存入到redis中

App端用户查询文章列表的时候,优先从redis中查询热度较高的文章数据。

4. 定时任务框架 - xxljob

spring传统的定时任务@Scheduled,但是这样存在一些问题:

  • 做集群任务时的重复执行问题
  • cron表达式定义在代码之中,修改不方便
  • 定时任务失败了,无法重试也没有统计
  • 如果任务量过大,不能有效的分片执行

解决这些问题的方案为:xxl-job分布式任务调度框架。

5. 学习目录

  • xxl-job概述
  • xxl-job入门案例
  • xxl-job高级部分
  • 热点文章定时计算
  • 查询文章接口改造

二、分布式任务调度

1. 什么是分布式任务调度

在分布式架构下,一个服务往往会部署多个实例来运行我们的服务,如果在这种分布式系统环境下运行任务调度,我们称之为分布式任务调度

将任务调度程序分布式构建,这样就可以具有分布式系统的特点,并且提高任务的调度处理能力:

1. 并行任务调度

并行任务调度实现靠多线程,如果有大量任务需要调度,此时光靠多线程就会有瓶颈了,因为一台计算机CPU的处理能力是有限的。

如果将任务调度程序分布式部署,每个结点还可以部署为集群,这样就可以让多台计算机共同去完成任务调度,我们可以将任务分割为若干个分片,由不同的实例并行执行,来提高任务调度的处理效率。

2. 高可用

若某一个实例宕机,不影响其他实例来执行任务。

3. 弹性扩容

当集群中增加实例就可以提高并行任务的处理效率。

4. 任务管理与监测

对系统中存在的所有定时任务进行统一的管理及监测。让开发人员及运维人员能够时刻了解任务执行情况,从而做出快速的应急处理响应。

分布式任务调度面临的问题:

当任务调度以集群方式部署,同一个任务调度可能会执行多次,例如:电商系统定期发放优惠券,就可能重复发放优惠券,对公司造成损坏,信用卡还款提醒就会重复执行多次,给用户造成烦恼,所以我们需要控制相同的任务在多个运行实例上只执行一次。常见解决方案:

  • 分布式锁:多个实例在任务执行前首先需要获取锁,如果获取失败那么就证明有其他服务已经在运行,如果获取成功那么证明没有服务在运行定时任务,那么就可以执行。
  • Zookeeper选举:利用Zookeeper对Leader实例执行定时任务,执行定时任务的时候判断自己是否是Leader,如果不是则不执行,如果是则执行业务逻辑,这样也能达到目的。

2. xxl-job简介

XXL-JOB是一个分布式任务调度平台,其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品,开箱即用。

特性说明
简单灵活
  • 提供Web页面对任务进行管理,管理系统支持用户管理、权限控制;
  • 支持容器部署;
  • 支持通过HTTP提供跨平台任务调度
丰富的任务管理功能
  • 支持页面对任务CRUD操作;
  • 支持在页面编写脚本任务、命令行任务、Java代码任务并执行;
  • 支持任务级联编排,父任务执行结束后触发子任务执行;
  • 支持设置指定任务执行节点路由策略,包括轮询、随机、广播、故障转移、忙碌转移等;
  • 支持Cron方式、任务依赖、调度中心API接口方式触发任务执行
高性能
  • 任务调度流程全异步化设计实现,如异步调度、异步运行、异步回调等,有效对密集调度进行流量削峰
高可用
  • 任务调度中心、任务执行节点均集群部署,支持动态扩展、故障转移;
  • 支持任务配置路由故障转移策略,执行器节点不可用时自动转移到其他节点执行
  • 支持任务处理阻塞策略:调度当任务执行节点忙碌时来不及执行任务的处理测试,包括:串行、抛弃、覆盖策略
易于监控运维
  • 支持设置任务失败邮件告警,预留接口支持短信、钉钉告警;
  • 支持实时查看任务执行运行数据统计图表、任务进度监控数据、任务完整执行日志

源码地址:xxl-job: 一个分布式任务调度平台,其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线,开箱即用。

文档地址:分布式任务调度平台XXL-JOB

同类产品:

名称说明
TBSchedule淘宝推出,多年未更新,文档缺失严重,缺少维护
Elastic-job当当网借鉴TBSchedule并基于quartz二次开发的弹性分布式任务调度系统
Saturn唯品会开源的一个分布式任务调度平台,基于Elastic-job

3. xxl-job环境搭建

3.1 调度中心环境要求

  • Maven 3+
  • jdk 1.8+
  • Mysql 5.7+

3.2 源码仓库地址

源码仓库地址Release Dowmload
https://github.com/xuxueli/xxl-jobhttps://github.com/xuxueli/xxl-job/releases
http://gitee.com/xuxueli0323/xxl-jobxxl-job 发行版 - Gitee.com

也可以使用资料文件夹中的源码,解压到IDEA工作目录下,用IDEA打开

根据自己的情况修改maven配置

3.3 初始化“调度数据库”

作用:统一管理任务调度平台上调度任务,负责触发调度执行,并且提供任务管理平台。

步骤:调度数据库初始化SQL脚本执行

位置:xxl-job/doc/db/tables_xxl_job.sql 共八张表

- xxl_job_lock:任务调度锁表;

- xxl_job_group:执行器信息表,维护任务执行器信息;

- xxl_job_info:调度扩展信息表,用于保存XXL-JOB调度任务的扩展信息,如任务分组、任务名、机器地址、执行器、执行入参和报警右键等;

- xxl-job-log:调度日志表,用于保存XXL-JOB任务调度的历史信息,如调度结果、执行结果、调度入参、调度机器和执行器等;

- xxl_job_logglue:任务GLUE日志,用于保存GLUE更新历史,用于支持GLUE的版本回溯功能;

- xxl_job_registry:执行器注册表,维护在线的执行器和调度中心机器地址信息;

- xxl_job_user:系统用户表

调度中心支持集群部署,集群情况下各节点务必连接同一个mysql实例;

如果mysql做主从,调度中心集群节点务必强制走主库。

3.4 调度中心配置

配置文件位置:xxl-job/xxl-job-admin/src/main/resources/application.properties

(根据自己的情况,修改数据库连接密码)

步骤:启动调度中心XxlJobAdminApplication,默认登录账号"admin/123456",登录后运行界面如下图所示。

http://localhost:8080/xxl-job-admin/toLogin

4. 配置部署调度中心 - docker安装

docker安装:

步骤①:创建mysql容器,初始化xxl-job的SQL脚本

docker run -p 3306:3306 --name mysql57 \
-v /opt/mysql/conf:/etc/mysql \
-v /opt/mysql/logs:/var/log/mysql \
-v /opt/mysql/data:/var/lib/mysql \
-e MYSQL_ROOT_PASSWORD=123456\
-d mysql:5.7

步骤②:拉取镜像

docker pull xuxueli/xxl-job-admin:2.3.0

步骤③:创建容器

docker run -e PARAMS="--spring.datasource.url=jdbc:mysql://192.168.200.130:3306/xxl_job?Unicode=true&characterEncoding=UTF-8 \
--spring.datasource.username=root \
--spring.datasource.password=123456" \
-p 8888:8080 -v /tmp:/data/applogs \
--name xxl-job-admin --restart=always  -d xuxueli/xxl-job-admin:2.3.0

http://192.168.200.130:8888/xxl-job-admin/toLogin

5. xxl-job入门案例 - Bean模式任务(方法形式)

步骤①:登录调度中心,点击下图所示“新建任务”按钮,新建示例任务

步骤②:创建xxljob-demo项目,导入依赖

<dependencies>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-web</artifactId>
    </dependency>

    <!--xxl-job-->
    <dependency>
        <groupId>com.xuxueli</groupId>
        <artifactId>xxl-job-core</artifactId>
        <version>2.3.0</version>
    </dependency>
</dependencies>

步骤③:application.yml配置

server:
  port: 8881
xxl:
  job:
    admin:
      addresses: http://192.168.200.130:8888/xxl-job-admin
    executor:
      appname: xxl-job-executor-sample
      port: 9999

步骤④:新建配置类

package com.heima.xxljob.config;

import com.xxl.job.core.executor.impl.XxlJobSpringExecutor;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

@Configuration
public class XxlJobConfig {
    
    private Logger logger = LoggerFactory.getLogger(XxlJobConfig.class);
    
    @Value("${xxl.job.admin.addresses}")
    private String adminAddresses;
    
    @Value("${xxl.job.executor.appname}")
    private String appName;
    
    @Value("${xxl.job.executor.port}")
    private int port;
    
    @Bean
    public XxlJobSpringExecutor xxlJobSpringExecutor() {
        logger.info(">>>>>>>> xxl-job config init.");
        XxlJobSpringExecutor xxlJobSpringExecutor = new XxlJobSpringExecutor();
        xxlJobSpringExecutor.setAdminAddresses(adminAddresses);
        xxlJobSpringExecutor.setAppname(appName);
        xxlJobSpringExecutor.setPort(port);
        
        return xxlJobSpringExecutor;
    }
}

步骤⑤:添加任务代码,重要注解:@XxlJob("JobHandler")

package com.heima.xxljob.job;

import com.xxl.job.core.handler.annotation.XxlJob;
import org.springframework.stereotype.Component;

@Component
public class HelloJob {

    @XxlJob("demoJobHandler")
    public void helloJob() {
        System.out.println("简单任务执行了。。。。。。");
    }
}

步骤⑥:测试-单节点

启动微服务

package com.heima.xxljob;

import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;

@SpringBootApplication
public class XxlJobApplication {
    public static void main(String[] args) {
        SpringApplication.run(XxlJobApplication.class, args);
    }
}

在xxl-job的调度中心启动任务

6. 任务详解 - 执行器

  • 执行器:任务绑定的执行器,任务触发调度时将会自动发现注册成功的执行器,实现任务自动发现功能;
  • 另一方面,也可以方便的进行任务分组。每个任务必须绑定一个执行器。

以下是执行器属性的说明:

属性名称说明
AppName每个执行器集群的唯一标识AppName,执行器会周期性以AppName为对象进行自动注册。可以通过该配置自动发现注册成功的执行器,供任务调度时使用
名称执行器的名称,因为AppName限制字母数字等组成,可读性不强,名称为了提高执行器的可读性
排序执行器的排序,系统中需要执行器的地方,如任务新增,将会按照该排序读取可用的执行器列表
注册方式调度中心获取执行器地址的方式
机器地址注册方式为“手动录入”时有效,支持人工维护执行器的地址信息

自动注册和手动注册的区别和配置:

7. 任务详解 - 基础配置

基础配置:

基础配置说明
执行器每个任务必须绑定一个执行器,方便给任务进行分组
任务描述任务的描述信息,便于任务管理
负责人任务的负责人
报警邮件任务调度失败时邮件通知的邮箱地址,支持配置多个邮箱地址,配置多个邮箱地址时用逗号分隔

调度配置:

调度类型说明
该类型不会主动触发调度
CRON该类型将会通过CRON,触发任务调度
固定速度该类型将会以固定速度,触发任务调度;按照固定的时间间隔,周期性触发

任务配置:

运行模式

说明

BEAN模式任务以JobHandler方式维护在执行器端;需要结合“JobHandler"属性匹配执行器中的任务
JobHandler运行模式以”BEAN模式"时生效,对应执行器中新开发的JobHandler类“@JobHandler”注解自定义的value值
执行参数任务执行所需的参数

阻塞处理策略:

阻塞处理策略:调度过于密集执行器来不及处理时的处理策略;

阻塞处理策略说明
单机串行(默认)调度请求进入单机执行器后,调度请求进入FIFO(First Input  First Output)队列并以串行方式运行
丢弃后续调度调度请求进入单机执行器后,发现执行器存在运行的调度任务,本次请求将会被丢弃并标记为失败
覆盖之前调度调度请求进入单机执行器后,发现执行器存在运行的调度任务,将会终止运行中的调度任务并清空队列,然后运行本地调度任务

路由策略:

当执行器集群部署时,提高丰富的路由策略,包括:

路由策略说明
FIRST(第一个)固定选择第一个机器
LAST(最后一个)固定选择最后一个机器
ROUND(轮询)
RANDOM(随机)随机选择在线的机器
CONSISTENT_HASH(一致性HASH)每个任务按照Hash算法固定选择某一台机器,且所有任务均匀散列在不同机器上;
LEAST_FREQUENTLY_USED(最不经常使用)使用频率最低的机器优先被选举
LEAST_RECENTLY_USED(最近最久未使用)最久未使用的机器优先被选举
FAILOVER(故障转移)按照顺序依次进行心跳检测,第一个心跳检测成功的机器选定为目标执行器并发起调度
BUSYOVER(忙碌转移)按照顺序依次进行空闲检测,第一个空闲检测成功的机器选定为目标执行器并发起调度
SHARDING_BROADCAST(分片广播)广播触发对应集群中所有机器执行一次任务,同时系统自动传递分片参数;可根据分片参数开发分片任务

8. 路由策略 - 轮询

步骤①:修改任务路由策略为轮询

步骤②:修改application.yml配置文件

server:
  port: ${port:8881}
xxl:
  job:
    admin:
      addresses: http://192.168.200.130:8888/xxl-job-admin
    executor:
      appname: xxl-job-executor-sample
      port: ${executor.port:9999}

步骤③:启动多个微服务,每个微服务轮询地去执行任务

package com.heima.xxljob.job;

import com.xxl.job.core.handler.annotation.XxlJob;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.stereotype.Component;

@Component
public class HelloJob {

    @Value("${server.port}")
    private String port;

    @XxlJob("demoJobHandler")
    public void helloJob() {
        System.out.println("简单任务执行了。。。。。。" + port);
    }
}

9. 路由策略 - 分片广播

执行器集群部署时,任务路由策略选择“分片广播”的情况下,一次任务调度将会广播触发对应集群中所有执行器执行一次任务。

案例:

需求:让两个节点同时执行10000个任务,每个节点分别执行5000个任务

步骤①:创建分片执行器

步骤②:创建任务,路由策略为分片广播

步骤③:分片广播代码

修改application.yml配置

server:
  port: ${port:8881}
xxl:
  job:
    admin:
      addresses: http://192.168.200.130:8888/xxl-job-admin
    executor:
      appname: xxl-job-sharding-executor
      port: ${executor.port:9999}

修改HelloJob代码

package com.heima.xxljob.job;

import com.xxl.job.core.context.XxlJobHelper;
import com.xxl.job.core.handler.annotation.XxlJob;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.stereotype.Component;

import java.util.ArrayList;
import java.util.List;

@Component
public class HelloJob {

    @Value("${server.port}")
    private String port;

    @XxlJob("demoJobHandler")
    public void helloJob() {
        System.out.println("简单任务执行了。。。。。。" + port);
    }
    
    @XxlJob("shardingJobHandler")
    public void shardingJobHandler() {
        // 分片参数
        int shardIndex = XxlJobHelper.getShardIndex();
        int shardTotal = XxlJobHelper.getShardTotal();
        
        // 业务逻辑
        List<Integer> list = getList();
        for (Integer integer : list) {
            if(integer % shardTotal == shardIndex) {
                System.out.println("当前第" + shardIndex + "分片执行了,任务项为:" + integer);
            }
        }
    }
    
    public List<Integer> getList() {
        List<Integer> list = new ArrayList<>();
        for (int i = 0; i < 10000; i++) {
            list.add(i);
        }
        
        return list;
    }
}

步骤④:启动多个微服务进行测试,一次执行可以执行多个任务

三、热点文章 - 定时计算

1. 需求分析

为每个频道缓存热度较高的30条文章优先展示

判断文章热度较高的标准:阅读量、点赞、评论、收藏

2. 实现思路

3. 实现步骤

分值计算不涉及到前端工程,也无需提高api接口,是一个纯后台的功能的开发。

3.1 频道列表远程接口准备

计算完成新热数据后,需要给每个频道缓存一份数据,所以需要查询所有频道信息

步骤①:在heima-leadnews-feign-api定义远程接口

package com.heima.apis.wemedia;

import com.heima.model.common.dtos.ResponseResult;
import org.springframework.cloud.openfeign.FeignClient;
import org.springframework.web.bind.annotation.GetMapping;

@FeignClient("leadnews-wemedia")
public interface IWemediaClient {

    @GetMapping("/api/v1/channel/list")
    public ResponseResult getChannels();
}

步骤②:在heima-leadnews-wemedia端提供接口

package com.heima.wemedia.feign;

import com.heima.apis.wemedia.IWemediaClient;
import com.heima.model.common.dtos.ResponseResult;
import com.heima.wemedia.service.WmChannelService;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;

@RestController
public class WemediaClient implements IWemediaClient {

    @Autowired
    private WmChannelService wmChannelService;

    @GetMapping("/api/v1/channel/list")
    @Override
    public ResponseResult getChannels() {
        return wmChannelService.findAll();
    }
}

步骤③:在ApArticleMapper类新增如下:

    /**
     * 查询最近5天的文章
     * @param dayParam
     * @return
     */
    List<ApArticle> findArticleListByLast5days(@Param("dayParam") Date dayParam);

在ApArticleMapper.xml新增丰富

<select id="findArticleListByLast5days" resultMap="resultMap">
    SELECT
    aa.*
    FROM
    `ap_article` aa
    LEFT JOIN ap_article_config aac ON aa.id = aac.article_id
    <where>
        and aac.is_delete != 1
        and aac.is_down != 1
        <if test="dayParam != null">
            and aa.publish_time <![CDATA[>=]]> #{dayParam}
        </if>
    </where>
</select>

3.2 热文章业务层

步骤①:定义业务接口HotArticleService

package com.heima.article.service;

public interface HotArticleService {
    /**
     * 计算热点文章
     */
    public void computeHotArticle();
}

步骤②:创建一个vo接收计算分值后的对象

package com.heima.model.article.vos;

import com.heima.model.article.pojos.ApArticle;
import lombok.Data;

@Data
public class HotArticleVo extends ApArticle {
    /**
     * 文章分值
     */
    private Integer score;
}

步骤③:业务实现层

package com.heima.article.service.impl;

import com.alibaba.fastjson.JSON;
import com.heima.apis.wemedia.IWemediaClient;
import com.heima.article.mapper.ApArticleMapper;
import com.heima.article.service.HotArticleService;
import com.heima.common.constants.ArticleConstants;
import com.heima.common.redis.CacheService;
import com.heima.model.article.pojos.ApArticle;
import com.heima.model.article.vos.HotArticleVo;
import com.heima.model.common.dtos.ResponseResult;
import com.heima.model.wemedia.pojos.WmChannel;

import lombok.extern.slf4j.Slf4j;
import org.joda.time.DateTime;
import org.springframework.beans.BeanUtils;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;
import org.springframework.transaction.annotation.Transactional;

import java.util.ArrayList;
import java.util.Comparator;
import java.util.Date;
import java.util.List;
import java.util.stream.Collectors;


@Service
@Slf4j
@Transactional
public class HotArticleServiceImpl implements HotArticleService {

    @Autowired
    private ApArticleMapper apArticleMapper;
    @Autowired
    private IWemediaClient wemediaClient;
    @Autowired
    private CacheService cacheService;

    /**
     * 计算热点文章
     */
    @Override
    public void computeHotArticle() {
        // 1. 查询前5天的文章数据
        Date dateParam = DateTime.now().minusDays(50).toDate();
        List<ApArticle> apArticleList = apArticleMapper.findArticleListByLast5days(dateParam);

        // 2. 计算文章的分值
        List<HotArticleVo> hotArticleVoList = computeHotArticle(apArticleList);

        // 3. 为每个频道缓存30条分值较高的文章
        cacheTagToRedis(hotArticleVoList);

    }

    /**
     * 为每个频道缓存30条分值较高的文章
     * @param hotArticleVoList
     */
    private void cacheTagToRedis(List<HotArticleVo> hotArticleVoList) {
        // 1. 每个频道缓存30条分值较高的文章
        ResponseResult responseResult = wemediaClient.getChannels();
        if(responseResult.getCode().equals(200)) {
            String channelJson = JSON.toJSONString(responseResult.getData());
            List<WmChannel> wmChannels = JSON.parseArray(channelJson, WmChannel.class);

            // 检索出每个频道的文章
            if(wmChannels != null && wmChannels.size() > 0) {
                for (WmChannel wmChannel : wmChannels) {
                    List<HotArticleVo> hotArticleVos = hotArticleVoList.stream().filter(x ->
                        x.getChannelId().equals(wmChannel.getId())
                    ).collect(Collectors.toList());

                    // 给文章进行排序,取30条分值较高的文章存入redis key:频道id value:30条分值较高的文章
                    sortAndCache(hotArticleVos, ArticleConstants.HOT_ARTICLE_FIRST_PAGE + wmChannel.getId());
                }
            }
        }

        // 2. 设置推荐数据
        sortAndCache(hotArticleVoList, ArticleConstants.HOT_ARTICLE_FIRST_PAGE + ArticleConstants.DEFAULT_TAG);
    }

    /**
     * 排序且缓存数据
     * @param hotArticleVos
     * @param key
     */
    private void sortAndCache(List<HotArticleVo> hotArticleVos, String key) {
        // 1. 排序
        hotArticleVos = hotArticleVos.stream()
                .sorted(Comparator.comparing(HotArticleVo::getScore).reversed())
                .collect(Collectors.toList());

        // 2. 截取前30条
        if(hotArticleVos.size() > 0) {
            hotArticleVos = hotArticleVos.subList(0, 30);
        }

        // 3. 缓存数据
        cacheService.set(key, JSON.toJSONString(hotArticleVos));
    }

    /**
     * 计算文章分值
     * @param apArticleList
     * @return
     */
    private List<HotArticleVo> computeHotArticle(List<ApArticle> apArticleList) {
        List<HotArticleVo> hotArticleVoList = new ArrayList<>();
        if(apArticleList != null && apArticleList.size() > 0) {
            for (ApArticle apArticle : apArticleList) {
                HotArticleVo hot = new HotArticleVo();
                BeanUtils.copyProperties(apArticle, hot);
                Integer score = computeScore(apArticle);
                hot.setScore(score);
                hotArticleVoList.add(hot);
            }
        }

        return hotArticleVoList;
    }

    /**
     * 计算文章的具体分值
     * @param apArticle
     * @return
     */
    private Integer computeScore(ApArticle apArticle) {
        Integer score = 0;
        if(apArticle.getLikes() != null) {
            score += apArticle.getLikes() * ArticleConstants.HOT_ARTICLE_LIKE_WEIGHT;
        }

        if(apArticle.getViews() != null) {
            score += apArticle.getViews();
        }

        if(apArticle.getComment() != null) {
            score += apArticle.getComment() * ArticleConstants.HOT_ARTICLE_COMMENT_WEIGHT;
        }

        if(apArticle.getCollection() != null) {
            score += apArticle.getCollection() * ArticleConstants.HOT_ARTICLE_COLLECTION_WEIGHT;
        }

        return score;
    }
}

步骤④:在数据库中准备数据

package com.heima.article.service.impl;

import com.heima.article.ArticleApplication;
import com.heima.article.service.HotArticleService;
import org.junit.jupiter.api.Test;
import org.junit.runner.RunWith;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.test.context.junit4.SpringRunner;

import static org.junit.jupiter.api.Assertions.*;

@SpringBootTest(classes = ArticleApplication.class)
@RunWith(SpringRunner.class)
public class HotArticleServiceImplTest {
    
    @Autowired
    private HotArticleService hotArticleService;

    @Test
    public void computeHotArticle() {
        hotArticleService.computeHotArticle();
    }
}

如果运行单元测试时出现以下问题,在编辑运行配置,添加Shorten comman line

3.3 xxl-job定时计算

步骤①:在heima-leadnews-article中的pom文件中新增依赖

<!--xxl-job-->
<dependency>
    <groupId>com.xuxueli</groupId>
    <artifactId>xxl-job-core</artifactId>
    <version>2.3.0</version>
</dependency>

步骤②:在xx--job-admin中新建执行器和任务

新建执行器:leadnews-hot-article-executor

新建任务:路由策略为轮询,Cron表达式:0 0 2 * * ?

步骤③:在leadnews-article中集成xxl-job

package com.heima.article.config;

import com.xxl.job.core.executor.impl.XxlJobSpringExecutor;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

/**
 * xxl-job config
 *
 * @author xuxueli 2017-04-28
 */
@Configuration
public class XxlJobConfig {
    private Logger logger = LoggerFactory.getLogger(XxlJobConfig.class);

    @Value("${xxl.job.admin.addresses}")
    private String adminAddresses;

    @Value("${xxl.job.executor.appname}")
    private String appname;

    @Value("${xxl.job.executor.port}")
    private int port;


    @Bean
    public XxlJobSpringExecutor xxlJobExecutor() {
        logger.info(">>>>>>>>>>> xxl-job config init.");
        XxlJobSpringExecutor xxlJobSpringExecutor = new XxlJobSpringExecutor();
        xxlJobSpringExecutor.setAdminAddresses(adminAddresses);
        xxlJobSpringExecutor.setAppname(appname);
        xxlJobSpringExecutor.setPort(port);
        return xxlJobSpringExecutor;
    }


}

在nacos配置中心的leadnews-article.yml添加以下配置:

xxl:
  job:
    admin:
      addresses: http://192.168.200.130:8888/xxl-job-admin
    executor:
      appname: leadnews-hot-article-executor
      port: 9999

步骤④:在article微服务中新建任务类

package com.heima.article.job;

import com.heima.article.service.HotArticleService;
import com.xxl.job.core.handler.annotation.XxlJob;
import lombok.extern.slf4j.Slf4j;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Component;

@Component
@Slf4j
public class ComputeHotArticleJob {
    @Autowired
    private HotArticleService hotArticleService;
    
    @XxlJob("computeHotArticleJob")
    public void handle() {
        log.info("热文章分值计算调度任务开始执行。。。。。。");
        hotArticleService.computeHotArticle();
        log.info("热文章分值计算调度任务结束。。。。。。");
    }
}

四、查询文章接口改造

1. 思路分析

2. 功能实现

2.1 在ApArticleService中新增方法

步骤①:ApArticleService

    /**
     * 加载文章列表
     * @param dto
     * @param type 1:加载更多 2:加载最新
     * @param firstPage true:首页 false:非首页
     * @return
     */
    public ResponseResult load2(ArticleHomeDto dto, short type, boolean firstPage);

ApArticleServiceImpl

    /**
     * 加载文章列表
     * @param dto
     * @param type 1:加载更多 2:加载最新
     * @param firstPage true:首页 false:非首页
     * @return
     */
    @Override
    public ResponseResult load2(ArticleHomeDto dto, short type, boolean firstPage) {
        if(firstPage) {
            String jsonStr = cacheService.get(ArticleConstants.HOT_ARTICLE_FIRST_PAGE + dto.getTag());
            if(StringUtils.isNotBlank(jsonStr)) {
                List<HotArticleVo> hotArticleVoList = JSON.parseArray(jsonStr, HotArticleVo.class);
                ResponseResult responseResult = ResponseResult.okResult(hotArticleVoList);
                
                return responseResult;
            }
        }
        return load(dto, type);
    }

2.2 修改控制器

ArticleHomeContrller

    /**
     * 加载首页
     * @param dto
     * @return
     */
    @ApiOperation("加载首页")
    @PostMapping("/load")
    public ResponseResult load(@RequestBody ArticleHomeDto dto) {
        return apArticleService.load2(dto, ArticleConstants.LOADTYPE_LOAD_MORE, true);
    }

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1953646.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Android 列表或网格形式展示大量数据:RecyclerView(二):缓存复用

一、缓存复用 为什么要了解这个呢&#xff1f;当我们rv出现卡顿&#xff0c;出现闪烁的时候&#xff0c;你应该如何优化呢&#xff1f; 为什么有时候onCreateViewHolder会被调用&#xff1f;onBindVilewHolder会被调用呢&#xff1f; visiable的使用&#xff0c;会导致重新绘制…

《“王栎鑫变张艺兴”?娱乐圈乌龙背后梦幻联动与未来合作遐想》

在这个充满惊喜与欢笑的娱乐圈里&#xff0c;每一个不经意的瞬间都可能成为网友热议的焦点&#xff0c;而《快乐老友记》的最新花絮&#xff0c;无疑为这个多彩的世界又添上了一抹亮丽的色彩。当“王栎鑫被路人认成张艺兴”这一话题如春风般拂过网络&#xff0c;不仅让两位才华…

【初阶数据结构】复杂度算法题篇

旋转数组 力扣原题 方案一 循环K次将数组所有元素向后移动⼀位&#xff08;代码不通过) 时间复杂度O(n2) 空间复杂度O(1) void rotate(int* nums, int numsSize, int k) {while (k--) {int end nums[numsSize - 1];for (int i numsSize - 1; i > 0; i--) {nums[i] num…

JAVAWeb实战(前端篇)

项目实战一 0.项目结构 1.创建vue3项目&#xff0c;并导入所需的依赖 npm install vue-router npm install axios npm install pinia npm install vue 2.定义路由&#xff0c;axios&#xff0c;pinia相关的对象 文件&#xff08;.js&#xff09; 2.1路由(.js) import {cre…

【数据结构】详解二叉树及其操作

无论你觉得自己多么的了不起&#xff0c;也永远有人比你更强。&#x1f493;&#x1f493;&#x1f493; 目录 ✨说在前面 &#x1f34b;知识点一&#xff1a;二叉树的遍历 • &#x1f330;1.创建一棵二叉树 • &#x1f330;2.二叉树的遍历 •&#x1f525;前序遍历 •&a…

LLM:归一化 总结

一、Batch Normalization 原理 Batch Normalization 是一种用于加速神经网络训练并提高稳定性的技术。它通过在每一层网络的激活值上进行归一化处理&#xff0c;使得每一层的输入分布更加稳定&#xff0c;从而加速训练过程&#xff0c;并且减轻了对参数初始化的依赖。 公式 …

计算机导论速成笔记

【拯救者】计算机导论速成&#xff08;基础真题&#xff09;期末/升本均适用 ©无忌教育 ❀适⽤于所有 计算机导论 课本 目录&#xff1a; 好评&#xff1a; 特色&#xff1a; ①先讲本章考点, ②接着下节就讲对应的考题 观看地址&#xff1a;

太美了!智能汽车触摸屏中控让驾驶员和乘客目不转睛

太美了&#xff01;智能汽车触摸屏中控让驾驶员和乘客目不转睛 引言 艾斯视觉作为行业ui设计和前端开发领域的从业者&#xff0c;其观点始终认为&#xff1a;智能汽车已经成为现代交通的新宠。其中&#xff0c;触摸屏中控系统以其美观、智能、人性化的特点&#xff0c;为驾驶…

GEE:多面板同步缩放查看多源数据,并实现交互选点构建NDVI曲线

一. 目标 ①构建三个面板&#xff0c;分别显示不同来源数据&#xff1b; ②面板1显示哨兵数据面版2显示谷歌高清数据面板3实现用户任意交互选点&#xff0c;并以该点为中心构建正方形&#xff0c;随后生成该正方形的区域NDVI平均值长时序曲线&#xff1b; ③保证前两个面板可…

第 3 章 数据和 C

目录 3.1 示例程序 3.1.1 程序中的新元素 3.2 变量与常量数据 3.3 数据: 数据类型关键字 3.3.1 整数和浮点数 3.3.2 整数 3.3.3 浮点数 3.4 C 语言基本数据类型 3.4.1 int 类型 1. 声明 int 变量 2. 初始化变量 3. int 类型常量 4. 打印 int 值 5. 八进制和十六进…

找工作准备刷题Day8 二叉树 (卡尔41期训练营 7.22)

第一题&#xff1a;Leetcode235. 二叉搜索树的最近公共祖先 题目描述 题解1——递归法 class Solution { public:TreeNode* lowestCommonAncestor(TreeNode* root, TreeNode* p, TreeNode* q) {if (root nullptr)return nullptr;if (root->val > p->val &&…

01、爬虫学习入门

爬虫&#xff1a;通过编写程序&#xff0c;来获取获取互联网上的资源 需求&#xff1a;用程序模拟浏览器&#xff0c;输入一个网址&#xff0c;从该网址获取到资源或内容 一、入门程序 #使用urlopen来进行爬取 from urllib.request import urlopen url "http://www.ba…

网络地址转换-NAT

前言&#xff1a;本博客仅作记录学习使用&#xff0c;部分图片出自网络&#xff0c;如有侵犯您的权益&#xff0c;请联系删除 一、相关知识 网络地址转换&#xff08;Network Address Translation&#xff0c;NAT&#xff09;的基本作用是实现内网 IP 地址与外网 IP 地址的转换…

求职学习day11背八股

本质上我和早睡早上起来玩一早上的游戏没有区别&#xff0c;甚至学习状态更差。得想个办法 12 点睡觉。 第三次 hr 面&#xff0c;为德科和华为的工作效率感到无语。 下周一两场面试。真是要死&#xff0c;这五天时间基本没学什么。八股、项目、手撕。。没一个有能力的感觉。…

代码随想录算法训练营第22天-leetcode-回溯算法part01:

#回溯算法理论基础 能解决的问题&#xff1a; 组合问题&#xff1a;N个数里面按一定规则找出k个数的集合切割问题&#xff1a;一个字符串按一定规则有几种切割方式子集问题&#xff1a;一个N个数的集合里有多少符合条件的子集排列问题&#xff1a;N个数按一定规则全排列&…

[023-2].第2节:SpringBoot中接收参数相关注解

我的后端学习大纲 SpringBoot学习大纲 1.1.基本介绍&#xff1a; SpringBoot接收客户端提交的数据、参数会使用的一些注解&#xff1a; 1.PathVarible2. RequestHeader3.RequestParam4.CookieValue5.RequestBody6.RequestAttribute 1.2.接收参数相关注解与应用实例&#xff1a;…

VirtualBox7.0.18报: IPv6 prefix is not unicast.

VirtualBox7.0.18 报: IPv6 prefix is not unicast. VirtualBox7.0.18 在设置 “NAT网络(Nat Network)” 的IPv6时, 报 IPv6 prefix x::x is not unicast. IPv6 prefix x::x is not unicast. 意思是 x::x 不是IPv6的单播地址 解决办法是: 改为 fcxx 或 fdxx 开头, 如 fc00 ,…

QT Creator下载安装详细教程(保姆级教程)

qt下载安装 1.下载网址 通过清华大学开源软件镜像站进行下载&#xff1a;链接: https://mirrors.tuna.tsinghua.edu.cn/qt/development_releases/online_installers/ 这里我选的是4.4版本的&#xff0c;也可以选择4.7版本&#xff0c;问题不大。 根据电脑系统选择下载linux…

一天一个Harmony Next APP

历史的车轮已经来到太平洋东海岸。 此时如果还不会撸Harmony APP&#xff0c;注定要被碾压。 鸿蒙开发正在如火如荼的开展&#xff0c;抽空看一看吧。 一看就会&#xff0c;一做就废。 这里是一个看废的demo。 主要通过arkts实现鸿蒙关系数据库的封装&#xff0c;实现数据…

搭建自己的金融数据源和量化分析平台(一):系统架构设计

0x00 前言 由于某得的数据实在是太贵&#xff0c;某花顺免费版又不提供专业的数据分析工具&#xff0c;Tushare也开始收费&#xff0c;因此决定基于python和MySQL搭建一个自己的金融数据库。期望做到仅依靠交易所、巨潮资讯网等官方的公开数据实现&#xff0c;尽量不依靠某花顺…