MySQL 中删除重复数据 SQL 写法

news2025/1/12 9:43:55

要在 MySQL 中删除重复的数据并只保留一条,可以使用下面的方法(要用的时候直接复制小改下条件和表名称即即可)

方法一:使用 left join + 子查询删除重复数据(推荐)

温馨提示:本人在 500w 数据下执行此 SQL 耗费 15s-30s 左右

使用 left join (推荐方法删除重复数据,添加唯一组合索引,可以使用,数据量大的也可以)

// 先把历史数据删除,才能够添加唯一的组合索引
DELETE u1
FROM uf_cs_record_batch_detail u1
LEFT JOIN (
    SELECT MIN(id) AS min_id
    FROM uf_cs_record_batch_detail
    GROUP BY cs_contact_name, cs_safe_remark
) u2
ON u1.id = u2.min_id
WHERE u2.min_id IS NULL;

另外在附上添加唯一组合索引的 SQL 写法(很实用):

// 添加组合的唯一索引
ALTER TABLE uf_cs_record_batch_detail ADD UNIQUE KEY idx_uni_contact_safe_stat (cs_contact_name, cs_safe_remark);

方法二:创建临时表(需分多步执行,逻辑清晰,但会改变ID值)

这种方法假设你有一个表 your_table,并且你要基于某些列来判断哪些数据是重复的。
例如,如果你想删除基于 column1column2 的重复记录,只保留一条记录,你可以按照以下步骤操作:

  • 使用 CREATE TABLE 语句创建一个临时表,用于存储唯一的记录。
  • 使用 INSERT INTO ... SELECT 语句将唯一的记录插入到临时表中。
  • 删除原始表中的所有记录。
  • 使用 INSERT INTO ... SELECT 语句将临时表中的记录插入回原始表。
  • 删除临时表。

以下是一个完整的 SQL 例子:

-- 创建临时表 SQL 参考
CREATETABLE temp_table AS
SELECT*FROM your_table

-- 将不重复的数据临时存在这个 temp_table 临时表中
INSERTINTO temp_table
SELECT*FROM your_table t1
WHERE t1.id = (
    SELECTMIN(t2.id)
    FROM your_table t2
    WHERE t1.column1 = t2.column1
    AND t1.column2 = t2.column2
);

-- 然后将源表中的数据删除
DELETEFROM your_table whereWHERE 字段1=;

-- 再将临时表中不重复数据重新写回到源表中
INSERTINTO your_table
SELECT*FROM temp_table;

-- 最后删除临时表
DROPTABLE temp_table;

这样,你就成功地删除了原始表中的重复记录,只保留了一条唯一记录。

注意:但是这种方法会改变原来的数据 ID ,所以这种方法看场合使用

方法三:使用 JOIN 自连查询(需要注意性能问题)

为了避免改变原来的数据 ID,我们可以使用一个不同的方法,通过使用自连接来标记重复的数据并删除多余的记录。这种方法在保留原始 ID 的情况下删除重复记录。

假设你的表结构如下:

  • 表名:your_table
  • 列名:id (主键), column1, column2, 以及其他列。

你可以使用以下 SQL 来删除重复记录,只保留一条(通常是保留 ID 最小的那一条):

-- Step 1: 标记要删除的重复记录
DELETE t1
FROM your_table t1
INNER JOIN your_table t2 
WHERE 
    t1.id > t2.id
    AND t1.column1 = t2.column1
    AND t1.column2 = t2.column2;

-- Step 2: 确认删除成功,查看剩余数据
SELECT * FROM your_table;

解释:

-标记要删除的重复记录:我们使用自连接 INNER JOIN 来找到重复的记录,并且使用 WHERE t1.id > t2.id 来确保只删除 id 较大的记录,从而保 留 id 最小的记录。

  • 确认删除成功:通过 SELECT 语句查看剩余的数据,确保删除操作正确。这个方法的优点是:不会改变原始数据的 ID。保留每组重复记录中 ID 最小的一条记录。操作简单且高效。

小总结

  • 使用 left join 删除重复数据(推荐使用),适合大数据量,性能 OK
  • 创建临时表 适合需要重建数据表的场景,适合数据量中等的情况,不过比较繁琐
  • 自连查询 能保留最小 ID,适合不想改变 ID 的情况下删除重复数据。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2275436.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【计算机网络】lab3 802.11 (无线网络帧)

🌈 个人主页:十二月的猫-CSDN博客 🔥 系列专栏: 🏀计算机网络_十二月的猫的博客-CSDN博客 💪🏻 十二月的寒冬阻挡不了春天的脚步,十二点的黑夜遮蔽不住黎明的曙光 目录 1. 前言 2.…

机器人碳钢去毛刺,用大扭去毛刺主轴可轻松去除

在碳钢精密加工的最后阶段,去除毛刺是确保产品质量的关键步骤。面对碳钢这种硬度较高的材料,采用大扭矩的SycoTec去毛刺主轴,成为了行业内的高效解决方案。SycoTec作为精密加工领域的领军品牌,其生产的高速电主轴以其卓越的性能&a…

【漫话机器学习系列】042.提前停止训练的优势(Early Stopping Advantages)

提前停止训练(Early Stopping)的优势 提前停止是一种有效的正则化技术,在训练模型时通过监控验证集的性能来决定训练的结束点,从而避免过拟合。以下是提前停止的主要优势: 1. 防止过拟合 提前停止通过在验证集性能开…

ROS2快速入门0--节点

0:安装 wget http://fishros.com/install -O fishros && . fishros1:运行第一个机器人 ros2 run turtlesim turtlesim_node使用方向健进行控制(在另一个终端) ros2 run turtlesim turtle_teleop_key 2原理解析 打开另一个终端-->输入rqt-->Plugins-->Intr…

10.STM32F407ZGT6-内部温度传感器

参考: 1.正点原子 前言: 本笔记的主要目的和意义就是,再次练习ADC的使用。 32.1 内部温度传感器简介 STM32F407 有一个内部的温度传感器,可以用来测量 CPU 及周围的温度(TA)。对于STM32F407 系列来说,该温度传感器在…

新车月交付突破2万辆!小鹏汽车“激活”智驾之困待解

首次突破月交付2万辆规模的小鹏汽车,稳吗? 本周,高工智能汽车研究院发布的最新监测数据显示,2024年11月,小鹏汽车在国内市场(不含出口)交付量(上险口径,下同&#xff09…

【2024年华为OD机试】 (A卷,100分)- 租车骑绿岛(Java JS PythonC/C++)

一、问题描述 题目描述 部门组织绿岛骑行团建活动。租用公共双人自行车,每辆自行车最多坐两人,最大载重 M。 给出部门每个人的体重,请问最多需要租用多少双人自行车。 输入描述 第一行两个数字 m、n,分别代表自行车限重&#…

AI在零售行业中的应用:提升顾客体验与运营效率

你知道吗?零售行业正悄悄发生着一场革命!AI正在改变我们的购物方式,提升体验的同时,还让商家们的运营更高效! 1、个性化推荐 AI通过分析你的购物历史和兴趣,精准推荐你喜欢的商品,再也不怕刷到…

人才选拔中,如何优化面试流程

在与某大型央企的深入交流中,随着该企业的不断壮大与业务扩张,对技术人才的需求急剧上升,尽管企业加大了招聘力度并投入了大量资源,但招聘成效却不尽如人意。经过项目组细致调研与访谈,问题的根源逐渐浮出水面&#xf…

Deepin20.9 搭建 JDK 8 开发环境(VS Code)

一、安装指令 sudo apt-get install openjdk-8-jdk 二、切换 java 版本(可选) sudo update-alternatives --config java sudo update-alternatives --config javac sudo update-alternatives --config javadoc三、查看 java 与 javac 的版本 jav…

可靠的人形探测,未完待续(III)

一不小心,此去经年啊。问大家新年快乐! 那,最近在研究毫米波雷达模块嘛,期望用在后续的产品中,正好看到瑞萨的活动送板子,手一下没忍住。 拿了板子就得干活咯,我一路火花带闪电,开整…

论文笔记:FDTI: Fine-grained Deep Traffic Inference with Roadnet-enriched Graph

2023 PKDD 1 intro 一些交通预测下游任务对预测结果的粒度非常敏感,例如交通信号控制、拥堵发现和路径规划 然而,现有的深度学习方法主要关注粗粒度的交通数据,而在细粒度设置下利用深度学习方法解决交通预测任务的研究仍未被探索在细粒度设…

如何BugReport和PowerMonitor图形结合分析功耗问题

一、什么是BugReport和PowerMonitor图形结合呢? Battery Historian是支持PowerMonitor电流图显示的,具体显示效果如下:我们移动鼠标到PowerMonitor的电流波形时就会显示这个时刻的电流情况。 BugReport和PowerMonitor图形结合好处&#xff…

外部获取nVisual所在层级方法

Iframe嵌入nVisual,在iframe渲染完成之后,以后通过增加window.addEventListener()方法监听message事件,来获取nvisual当前的所在层级以及所选中的节点列表以及线缆列表。 nVisualPatrolDiagramIdList 变量是获取nVisual当前所在的层级的ID值…

UI自动化测试框架playwright--初级入门

一、背景:UI自动化的痛点: 1、设计脚本耗时: 需要思考要如何模拟用户的操作,如何触发页面的事件,还要思考如何设计脚本,定位和操作要交互的元素、路径、位置,再编写代码逻辑,往复循…

开放词汇检测新晋SOTA:地瓜机器人开源DOSOD实时检测算法

在计算机视觉领域,目标检测是一项关键技术,旨在识别图像或视频中感兴趣物体的位置与类别。传统的闭集检测长期占据主导地位,但近年来,开放词汇检测(Open-Vocabulary Object Detection-OVOD 或者 Open-Set Object Detec…

Jupyter Notebook 安装PyTorch

1、判断当前环境 通过如下命令可以看出是Anaconda 环境 2、Anaconda 环境安装 PyTorch 2.1 要执行的命令 如果你使用的是 Anaconda 环境,可以使用以下命令来安装 PyTorch: conda install pytorch -c pytorch 2.2 执行遇到的问题:没有权…

如何将json字符串格式化

文章目录 如何对json字符串进行格式化显示hutool方案的示例和不足使用fastjson的方案 如何对json字符串进行格式化显示 将json字符串内容进行格式化的输出显示。本文介绍 hutool的方案和alibaba 的fastjson方案 hutool方案的示例和不足 引入依赖 <dependency><grou…

C#使用OpenTK绘制3D可拖动旋转图形三棱锥

接上篇,绘制着色矩形 C#使用OpenTK绘制一个着色矩形-CSDN博客 上一篇安装OpenTK.GLControl后,这里可以直接拖动控件GLControl 我们会发现GLControl继承于UserControl //// 摘要:// OpenGL-aware WinForms control. The WinForms designer will always call the default//…

【Git原理和使用】Git 分支管理(创建、切换、合并、删除、bug分支)

一、理解分支 我们可以把分支理解为一个分身&#xff0c;这个分身是与我们的主身是相互独立的&#xff0c;比如我们的主身在这个月学C&#xff0c;而分身在这个月学java&#xff0c;在一个月以后我们让分身与主身融合&#xff0c;这样主身在一个月内既学会了C&#xff0c;也学…