场景:如何做数据清理

news2024/11/25 0:27:47

如果数据清理简单粗暴按时间进行清理,同时时间字段并没有增加索引就会出问题

如果没有增加索引,他就会进行全表扫描,并且会给全表的数据上一个x锁

会阻塞其他的线程

解决方案参考阿里云DMS数据清理方案

这个SQL查询的目的是从名为`table_hollis`的表中选择`id`,但它有一个特定的条件。让我们逐步分析这个查询:

1. 子查询(别名为`t`)是从同一张表中选择`gmt_create`字段。它选择的行是`id`在100到100000之间的前1000行(由于有`limit 1000`)。

2. 这个子查询还检查这些行的`gmt_create`日期是否早于当前日期(`CURDATE()`)减去300天(`SUBDATE(CURDATE(),INTERVAL 300 DAY)`)。如果有至少一个行满足这个条件(即,存在一个记录创建时间小于当前日期300天的记录),则子查询将返回至少一个结果。

3. 外层查询选择`id`字段,但仅当子查询(`hasNeedDelItem`)返回结果时。这意味着如果至少有一个`gmt_create`早于当前日期300天的记录,它将返回所有100到100000之间`id`的前1000条记录。如果没有任何记录符合子查询的条件,则不返回任何记录。

总结一下,这个SQL查询检查在`table_hollis`表中`id`介于100到100000之间的记录中,是否存在至少一个其`gmt_create`日期小于当前日期300天的记录。如果存在,它将选择`id`在100到100000之间的前1000条记录。如果不存在,它什么也不选择。

总结:查询一批id内有没有可能过期的id

再将这批id进行挨个检查 删除

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1591518.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

2024年mathorcup数学建模思路及论文助攻

题目C题 物流网络分拣中心货量预测及人员排班 电商物流网络在订单履约中由多个环节组成,图1是一个简化的物流网络示意图。其中,分拣中心作为网络的中间环节,需要将包裹按照不同流向进行分拣并发往下一个场地,最终使包裹到达消费者…

Towards Street-Level Client-Independent IP Geolocation(2011年)(第一部分)

被引次数:306 Wang Y, Burgener D, Flores M, et al. Towards {Street-Level}{Client-Independent}{IP} Geolocation[C]//8th USENIX Symposium on Networked Systems Design and Implementation (NSDI 11). 2011. Abstract 一个高度精确的客户端独立的地理定位服务将是互联…

电商广告中的OCPC是什么?OCPC原理是什么?

1.定义: OCPC是指optimized cost per click(以目标转化为优化方式的点击出价),本质还是按照cpc付费。 2.三大特点:抢流量、避免无效流量、提高转化; 3.放量原理: 通过捕捉用户行为、行业数据…

数组算法——查询位置

需求 思路 使用二分查找找到第一个值,以第一个值作为界限,分为左右两个区间在左右两个区间分别使用二分查找找左边的7,:找到中间位置的7之后,将中间位置的7作为结束位置,依次循环查找,知道start>end,返回…

股票价格预测 | Python使用LSTM预测股票价格

文章目录 效果一览文章概述代码设计效果一览 文章概述 Python使用LSTM预测股票价格 代码设计 import pandas as pd import matplotlib.pyplot as plt import numpy as np import tensorflowfrom numpy import

mui和uniapp跳转外部链接

Hbuilder开发的app&#xff0c;会涉及到跳转H5页面 mui <!DOCTYPE html> <html><head><meta charset"utf-8"><meta name"viewport" content"initial-scale1.0, maximum-scale1.0, user-scalableno" /><link …

明明设置数字居中对齐,为什么excel的数字却不居中?

有时候在excel里&#xff0c;选中数据&#xff0c;设置对齐方式 左右居中&#xff0c;然而&#xff0c;数字却怎么都不居中&#xff0c;为什么呢&#xff1f; 1.按快捷键Ctrl1&#xff0c;打开单元格自定义格式对话框&#xff0c;看到是初始界面是在数字的会计专用&#xff0c;…

浮点数加减运算、强制类型转换

目录 王道考研ppt总结&#xff1a; 二、个人理解 浮点数加减运算步骤&#xff1a;1、对阶2、尾数加减3、规格化&#xff08;左规和右规&#xff09;4、舍入5、判断溢出 三、数据类型转换 王道考研ppt总结&#xff1a; 二、个人理解 浮点数加减运算步骤&#xff1a; 1、对…

Suno AI

Suno is the latest big name in AI, but what is it? Keep reading to learn everything you need to know about Suno AI, including what it is, what it can do, and how much it costs. Suno AI是一款由Anthropic公司开发的人工智能音乐生成器&#xff0c;它利用先进…

C语言什么是指针? 什么是指针变量?

一、问题 指针是 C 语⾔中的⼀个重要概念&#xff0c;也是 C 语⾔中的⼀个重要特⾊。它的身影在整个 C 语⾔体系中都会出现&#xff0c;⽽且其概念也⼗分复杂&#xff0c;需要多加注意和思考。 二、解答 为了更好地弄清指针的概念&#xff0c;这⾥不得不先提到地址以及数据在内…

2024年助理工程师职称申报时间是什么时候?

2024年助理工程师职称评审申报仅有10天时间 2024年助理职称申报条件&#xff1a;1.学历满足专三或者本一2.工程类专业毕业3.中专毕业满足5年 如果有学历条件不符合的话&#xff0c;可以跟甘建二这边协商&#xff0c;帮你解决 继续教育要求&#xff1a;中专毕业或⼤学专科毕业…

GAN:对抗式生成网络之图片生成

对抗式生成网络(Adversarial Generative Network, AGN)这一术语在您提供的信息中并未直接出现。通常,在深度学习文献和实践中,与“对抗”和“生成”概念相结合的网络架构指的是生成式对抗网络(Generative Adversarial Networks, GANs)。GANs由Ian Goodfellow等人于2014年…

Golang | Leetcode Golang题解之第26题删除有序数组中的重复项

题目&#xff1a; 题解&#xff1a; func removeDuplicates(nums []int) int {n : len(nums)if n 0 {return 0}slow : 1for fast : 1; fast < n; fast {if nums[fast] ! nums[fast-1] {nums[slow] nums[fast]slow}}return slow }

M12设备端面板安装连接器板后安装(前锁)L扣

M12设备端面板安装连接器板后安装(前锁)L扣 优势 -100% 电气测试及插拔测试-对于紧凑型设备&#xff1a;可在有限空间内传输很高的功率-密封圈受过度拧紧保护&#xff0c;实现长期可靠的密封 标准 IEC61076-2-111 锁紧方式 螺纹锁紧 订单料号 P/N: L-KYF12K4Z-PG9-M-L0.…

SpringBoot启动流程分析之准备应用上下文refreshContext()

文章目录 源码入口1、准备刷新1.1、子类prepareRefresh()方法1.2 父类prepareRefresh&#xff08;&#xff09;方法 2、通知子类刷新内部bean工厂3、准备bean工厂4、允许上下文子类对bean工厂进行后置处理 源码入口 org.springframework.boot.SpringApplication#run(java.lang…

Linux中磁盘的分区,格式化,挂载和文件系统的修复

一.分区工具 1.分区工具介绍 fdisk 2t及以下分区 推荐 (分完区不保存不生效&#xff0c;有反悔的可能) gdisk 全支持 推荐 parted 全支持 不推荐 ( 即时生效&#xff0c;分完立即生效) 2.fdisk 分区,查看磁盘 格式:fdisk -l [磁盘设备] fdisk -l 查看…

【研发日记】CANoe自动化测试的配置方式(三)——SystemVariables数组方式

文章目录 前言 一、例程功能 二、仿真ECU 三、SystemVariables数组&#xff1a; 四、测试模块 五、测试运行效果 六、分析和应用 总结 前言 近期在做的一个自动化测试项目&#xff0c;尝试了一种以前没用过的测试配置方式&#xff0c;感觉效果还不错。然后又回顾了一下以…

Trl: llama2-7b-hf使用QLora 4bit量化后ds zero3加上flash atten v2单机多卡训练(笔记)

目录 一、环境 1.1、环境安装 1.2、安装flash atten 二、代码 2.1、bash脚本 2.2、utils.py 注释与优化 2.3、train.py 注释与优化 2.4、模型/参数相关 2.4.1、量化后的模型 a) 量化后模型结构 b) 量化后模型layers 2.4.2、参数 a) training args b) peft args c) model arg…

安装一个在线VS Code 随时随地在线编辑代码 code server搭建教程

code-server是一款在线的 VS Code&#xff0c;只需将其部署到服务端&#xff0c;就可以在浏览器上使用 VS Code&#xff0c;本文将介绍 code-server 安装和使用方法。 首先我们需要准备一台Linux服务器&#xff0c;这里我推荐伍六七云&#xff1a;https://www.vps567.com/ 香港…

卫星图像10个开源数据集资源汇总

文章目录 1、UC Merced Land-Use 2、Indian Pines 3、KSC 4、Washington DC 5、BigEarthNet 6、水体卫星图像的图像 7、城市航拍图像分割数据集 8、游泳池和汽车卫星图像检测 9、人工月球景观数据集 10、马萨诸塞州道路数据集 1、UC Merced Land-Use 数据集下载地址&am…