电商项目part03 电商支撑服务梳理

news2024/9/22 9:55:37

分布式任务调度系统

1、contab指令快速实现简单的定时任务

在Linux机器上直接使用crontab -e指令,就可以编辑一个简单的调度任务,适用于请求量不是很大的情况

* * * * * echo "timer">/root/test.out

缺点:只能在本机上执行;只能做到分钟级别的
在这里插入图片描述
在配置每一个部分的表达式时,可以指定具体的数值,比如分钟位设置为0,表示每次第0分钟执行一
次。在这些基础数字之外,还允许几个特殊的字符:

  • 表示所有可能的值。
  • 表示指定范围。例如在day位配置 1-10,表示每个月的第1天到第10天
  • ,表示枚举。例如minute位配置 3,5 表示第3分钟和第5分钟执行。
  • / 表示指定增量。例如在minute位配置0/15表示从0分钟开始,每15分钟执行一次。3/20表示第三分钟开始,每20分钟执行一次。

另外还有几个用得比较少的特殊符号。例如对于day和week位置。为了避免可能的冲突,就可以将其中一个值设为?

xxljob快速实现轻量级分布式任务调度

实现定时任务的框架有很多,目前在国内用得比较多的是elasticjob和xxljob。这两个项目都有非常多的运用场景。其中elasticjob依赖zookeeper进行分布式任务协调,而xxljob则只需要通过数据库进行协调即可。

案例

package com.xxl.job.service.handler;
import com.xxl.job.core.context.XxlJobHelper;
import com.xxl.job.core.handler.IJobHandler;
import java.io.BufferedReader;
import java.io.InputStreamReader;
import java.net.HttpURLConnection;
import java.net.URL;
public class HttpJobHandler extends IJobHandler {
	@Override
	public void execute() throws Exception {
		String target = XxlJobHelper.getJobParam();
		XxlJobHelper.log("received job target:"+target);
		boolean isPostMethod= false;
		// request
		HttpURLConnection connection = null;
		BufferedReader bufferedReader = null;
		try {
			// connection
			URL realUrl = new URL(target);
			connection = (HttpURLConnection) realUrl.openConnection();
			connection.setDoOutput(isPostMethod);
			connection.setDoInput(true);
			connection.setUseCaches(false);
			connection.setReadTimeout(5 * 1000);
			connection.setConnectTimeout(3 * 1000);
			connection.setRequestProperty("connection", "Keep-Alive");
			connection.setRequestProperty("Content-Type","application/json;charset=UTF-8");
			connection.setRequestProperty("Accept-Charset","application/json;charset=UTF-8");
			// do connection
			connection.connect();
			// valid StatusCode
			int statusCode = connection.getResponseCode();
			if (statusCode != 200) {
			throw new RuntimeException("Http Request StatusCode(" +
			statusCode + ") Invalid.");
			}
			// result
			bufferedReader = new BufferedReader(new
			InputStreamReader(connection.getInputStream(), "UTF-8"));
			StringBuilder result = new StringBuilder();
			String line;
			while ((line = bufferedReader.readLine()) != null) {
				result.append(line);
			}
			String responseMsg = result.toString();
			XxlJobHelper.log(responseMsg);
			return;
		} catch (Exception e) {
			XxlJobHelper.log(e);
			XxlJobHelper.handleFail();
			return;
		} finally {
			try {
				if (bufferedReader != null) {
					bufferedReader.close();
				}
				if (connection != null) {
					connection.disconnect();
				}
			} catch (Exception e2) {
				XxlJobHelper.log(e2);
			}
		}
	}
}

在这个实现中,访问的目标地址target,是作为任务参数传入的。因此,接下来只要在xxljob的任务配置界面将URL以参数形式配置即可。
在这里插入图片描述

定时任务的核心-时间轮算法

时间轮算法可以简单的看成由一个循环数组+双向链表数据结构实现。循环数组构成一个环形结构,指针每隔tickDuration时间就走一步。而数组中每个节点上挂载了一个双向链表结构的定时任务列表。
在这里插入图片描述
双向链表上的任务有个属性为remainingRounds,表示当前任务剩下的轮次是多少。每当指针走到该任务对应的数据节点上时,remainingRounds就减少1,直到remainingRounds为0时,就触发当前定时任务。从这个原理中可以看到,tickDuration越小,定时任务就越精确,但是响应的,系统的计算负担就越重

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/901930.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

7-9 奇偶分家

分数 10 全屏浏览题目 切换布局 作者 陈越 单位 浙江大学 给定N个正整数,请统计奇数和偶数各有多少个? 输入格式: 输入第一行给出一个正整N(≤1000);第2行给出N个非负整数,以空格分隔。 输…

【C# 基础精讲】Task和Task<T>的应用

当涉及异步编程时&#xff0c;Task 和 Task<T> 是C#中的重要概念。它们不仅是处理异步操作的关键类型&#xff0c;还提供了一些强大的功能和方法&#xff0c;使异步编程更加高效和灵活。在本文中&#xff0c;我们将深入探讨 Task 和 Task<T> 的应用&#xff0c;从创…

C++中function,bind,lambda

c11之前&#xff0c;STL中提供了bind1st以及bind2nd绑定器 首先来看一下他们如何使用&#xff1a; 如果我们要对vector中的元素排序&#xff0c;首先会想到sort&#xff0c;比如&#xff1a; void output(const vector<int> &vec) {for (auto v : vec) {cout <&l…

【C# 基础精讲】异步和同步的区别

异步&#xff08;Asynchronous&#xff09;和同步&#xff08;Synchronous&#xff09;是在编程中经常遇到的两种执行模式。它们涉及到程序中任务的执行方式以及对资源的管理方式。在本文中&#xff0c;我们将深入探讨异步和同步的区别、使用场景以及在 C# 中如何实现异步编程。…

|个人信息保护影响评估的概念与实践-二

一、什么是“个人信息保护影响评估” “个人信息保护影响评估”或“隐私影响评估”等相关概念最早起源于加拿大、澳大利亚等数据保护相关条例较为发达的国家&#xff0c;在广泛推行和应用之后成为一项对个人信息必要的保护准则。 我国在2017年发布的《信息安全技术 个人信息安…

EMO实战:使用EMO实现图像分类任务(二)

文章目录 训练部分导入项目使用的库设置随机因子设置全局参数图像预处理与增强读取数据设置Loss设置模型设置优化器和学习率调整策略设置混合精度&#xff0c;DP多卡&#xff0c;EMA定义训练和验证函数训练函数验证函数调用训练和验证方法 运行以及结果查看关于EMA设置为True时…

机器学习之概率论

最近&#xff0c;在了解机器学习相关的数学知识&#xff0c;包括线性代数和概率论的知识&#xff0c;今天&#xff0c;回顾了概率论的知识&#xff0c;贴上几张其他博客的关于概率论的图片&#xff0c;记录学习过程。

【Freertos基础入门】深入浅出freertos互斥量

文章目录 前言一、互斥量是什么&#xff1f;二、互斥量的使用场景三、互斥量的使用1.创建 2.删除互斥量3.give和take四、示例代码总结 前言 FreeRTOS是一款开源的实时操作系统&#xff0c;提供了许多基本的内核对象&#xff0c;其中包括互斥锁&#xff08;Mutex&#xff09;。…

Jmeter性能测试 —— 压力模式

压力模式 性能测试中的压力模式有两种。 第一种是并发用户模式&#xff08;虚拟用户模式&#xff09;并发用户是指虚拟并发用户数&#xff0c;从业务角度&#xff0c;也可以理解为同时在线的用户数。 从客户端的角度出发&#xff0c;摸底业务系统各节点能同时承载的在线用户…

RK3588平台开发系列讲解(内存篇)伙伴系统如何分配页面

文章目录 一、通过接口找到内存节点二、开始分配三、准备分配页面的参数四、快速分配路径五、慢速分配路径沉淀、分享、成长,让自己和他人都能有所收获!😄 📢分配物理内存页面的过程很好推理:首先要找到内存节点,接着找到内存区,然后合适的空闲链表,最后在其中找到页…

WebGL的剪裁空间

推荐&#xff1a;使用NSDT场景编辑器助你快速搭建可二次编辑的3D应用场景 什么是WebGL的剪裁空间 WebGL的剪裁空间&#xff08;Clipping Space&#xff09;是在图形渲染过程中处理视图体积裁剪的一种特定空间。它是指定义在3D世界坐标系和屏幕窗口之间的虚拟空间&#xff0c;用…

windows下redis设置redis开机自启动方法(保姆级)

1.找到Redis所在的目录&#xff0c;在文件路径框中输入cmd: 2.进入到控制台下的Redis所在目录,输入下列命令: redis-server --service-install redis.windows-service.conf --loglevel verbose 3.找到redis.windows-service.conf文件,双击打开设置redis服务的密码: (不想设置密…

JavaScript对象知识总结

一、创建对象的三种方式 1、字面量创建对象 2、new关键字&#xff0b;构造函数创建对象 3、Object.create()创建对象 二、查看对象属性和更改对象值的两种方式 1、形如&#xff1a;obj.keyvalue 2、形如&#xff1a;obj[key]value 三、删除对象属性 1、delete obj.key …

【Redis从头学-5】Redis中的List数据类型实战场景之天猫热销榜单

&#x1f9d1;‍&#x1f4bb;作者名称&#xff1a;DaenCode &#x1f3a4;作者简介&#xff1a;啥技术都喜欢捣鼓捣鼓&#xff0c;喜欢分享技术、经验、生活。 &#x1f60e;人生感悟&#xff1a;尝尽人生百味&#xff0c;方知世间冷暖。 &#x1f4d6;所属专栏&#xff1a;Re…

ModaHub魔搭社区:WinPlan经营大脑简介

WinPlan是面向企业经营场景的EPM平台(企业绩效管理),帮助企业解决经营不透明、决策拍脑袋、执行不到位、绩效凭感觉等问题,让销售、财务、生产、组织等有机地协同工作,提升企业的经营管理效率。 WinPlan平台面向各个行业,提供了丰富的经营样板间。 企业经营决策系统 算力…

linux设备驱动模型:kobject、kobj_type

内核版本发展 2.4版本之前内核没有统一的设备驱动模型&#xff0c;但是可以用&#xff08;例如先前的led字符设备驱动实验&#xff0c;使用前需要手动调用mknod命令创建设备文件&#xff0c;从而进一步控制硬件&#xff09;。 2.4~2.6版本内核使用devfs&#xff0c;挂载在/dev目…

第9次获得微软最有价值专家(MVP)奖励

Microsoft 最有价值专家 (MVP) 是热情地与社区分享知识的技术专家群体。他们总是处于技术前沿&#xff0c;并且有不可阻挡的冲劲&#xff0c;想要获得令人兴奋的新技术。他们对 Microsoft 产品和服务有深入的了解&#xff0c;同时还能够将各种平台、产品和解决方案整合在一起&a…

使用Arthues分析高CPU问题

Arthas是阿里开源的 Java 诊断工具&#xff0c;相比 JDK 内置的诊断工具&#xff0c;要更人性化&#xff0c;并且功能强大&#xff0c;可以实现许多问题的一键定位&#xff0c;而且可以一键反编译类查看源码&#xff0c;甚至是直接进行生产代码热修复&#xff0c;实现在一个工具…

async/await 编程理解

博客主要是参考 Asynchronous Programming in Rust &#xff0c;会结合简单的例子&#xff0c;对 async 和 await 做比较系统的理解&#xff0c;如何使用 async 和 await 是本节的重点。 async 和 await 主要用来写异步代码&#xff0c;async 声明的代码块实现了 Future 特性&a…

嵌入式设备应用开发(qt界面开发)

【 声明:版权所有,欢迎转载,请勿用于商业用途。 联系信箱:feixiaoxing @163.com】 linux界面开发有很多的方案可以选。比如说lvgl、minigui、ftk之类的。但是,这么多年来,一直屹立不倒的还是qt。相比较其他几种方案,qt支持多个平台,这里面就包括了linux平台。此…