mysql中的group by用法详解

news2025/4/21 9:58:27

MySQL中的GROUP BY是数据聚合分析的核心功能,主要用于将结果集按指定列分组,并结合聚合函数进行统计计算。以下从基本语法到高级用法进行详细解析:


一、基本语法与核心功能

SELECT 分组列, 聚合函数(计算列)
FROM 表名
[WHERE 条件]
GROUP BY 分组列
[HAVING 分组过滤条件]
[ORDER BY 排序列];

核心功能

  1. 数据分组:按一列或多列的值将数据划分为逻辑组。
  2. 聚合计算:对每个分组应用聚合函数(如COUNTSUMAVGMAXMIN)进行统计。
  3. 结果过滤:通过HAVING对分组后的结果进行筛选(区别于WHERE的分组前过滤)。

二、基础用法示例

1. 单列分组统计

统计每个部门的员工数量和平均工资:

SELECT department, COUNT(*) AS emp_count, AVG(salary) AS avg_salary
FROM employees
GROUP BY department;  -- 
2. 多列组合分组

按部门和职位统计员工数量:

SELECT department, job_title, COUNT(*) 
FROM employees
GROUP BY department, job_title;  -- 
3. 与WHERE结合使用

仅统计薪资超过2000元的员工部门平均工资:

SELECT department, AVG(salary)
FROM employees
WHERE salary > 2000
GROUP BY department;  -- 

三、高级特性与扩展

1. HAVING子句过滤分组

筛选员工数量超过5人的部门:

SELECT department, COUNT(*) AS emp_count
FROM employees
GROUP BY department
HAVING emp_count > 5;  -- 
2. WITH ROLLUP生成汇总行

生成部门及职位的薪资小计和总计:

SELECT department, job_title, SUM(salary)
FROM employees
GROUP BY department, job_title WITH ROLLUP;  -- 
3. GROUP_CONCAT合并列值

统计每个用户购买的所有产品(逗号分隔):

SELECT user_id, GROUP_CONCAT(product_name SEPARATOR ', ') 
FROM orders
GROUP BY user_id;  -- 
4. 按表达式/函数分组

按年份统计订单数量:

SELECT YEAR(order_date) AS year, COUNT(*)
FROM orders
GROUP BY YEAR(order_date);  -- 

四、注意事项与常见错误

  1. ONLY_FULL_GROUP_BY模式
    MySQL 8.0+默认启用该模式,要求SELECT中的非聚合列必须出现在GROUP BY中,否则报错。

    -- 错误示例(salary未聚合且未分组)
    SELECT department, salary FROM employees GROUP BY department;
    
    -- 修正方法:添加聚合函数或分组字段
    SELECT department, MAX(salary) FROM employees GROUP BY department;
    
  2. WHERE与HAVING的区别

    • WHERE在分组前过滤行数据,不可使用聚合函数。
    • HAVING在分组后过滤组数据,必须与聚合条件结合。
  3. 性能优化建议

    • 在分组列上创建索引(如ALTER TABLE employees ADD INDEX(department))。
    • 避免对大表直接分组,可先通过临时表或子查询缩小数据范围。

五、经典案例场景

1. 按时间维度聚合

统计每月的销售总额:

SELECT YEAR(sale_date) AS year, MONTH(sale_date) AS month, SUM(amount)
FROM sales
GROUP BY year, month;  -- 
2. 多层级统计

分析每个客户每年的订单总金额及平均金额:

SELECT customer_id, YEAR(order_date), 
       SUM(total_amount), AVG(total_amount)
FROM orders
GROUP BY customer_id, YEAR(order_date);  -- 
3. 数据去重

查找重复邮箱的用户:

SELECT email, COUNT(*) 
FROM users 
GROUP BY email 
HAVING COUNT(*) > 1;  -- 

六、聚合效率优化

在MySQL中优化GROUP BY聚合效率需要从索引设计、查询逻辑、执行引擎特性等多维度入手。以下基于最新优化实践和数据库引擎特性,总结9大核心优化策略:


1、索引优化策略
  1. 复合索引精准匹配分组列
    • 创建与GROUP BY顺序完全匹配的复合索引(如GROUP BY a,b则创建(a,b)索引),可触发松散索引扫描,减少90%以上的磁盘I/O。
    • 典型案例:当对(department, job_title)分组时,复合索引idx_dept_job可使查询跳过全表扫描,直接通过索引完成分组。

  2. 覆盖索引避免回表
    • 确保SELECT列与聚合函数涉及的列均包含在索引中。例如索引(category, sales),查询SELECT category, SUM(sales)时可直接通过索引完成计算,无需访问数据行。

  3. 利用函数索引应对复杂分组
    • 对含表达式的分组(如YEAR(date_col)),创建虚拟列或函数索引(MySQL 8.0+支持)。例如:

    ALTER TABLE orders ADD COLUMN year_date INT AS (YEAR(order_date)) VIRTUAL;
    CREATE INDEX idx_year ON orders(year_date);
    

2、查询设计与执行优化
  1. 减少分组字段数量与复杂度
    • 每增加一个分组字段,排序复杂度呈指数级增长。优先合并相关字段(如将provincecity合并为region字段)。
    • 避免在GROUP BY中使用函数,否则索引失效。需改写为基于原字段分组,如将GROUP BY DATE(created_at)改为GROUP BY created_at_date预计算列。

  2. 分阶段过滤与聚合
    • 先通过子查询过滤无关数据再分组:

    SELECT department, AVG(salary) 
    FROM (SELECT * FROM employees WHERE salary > 5000) AS filtered 
    GROUP BY department;  -- 比直接HAVING效率提升40%
    
  3. 内存排序与临时表优化
    • 调整tmp_table_sizemax_heap_table_size参数(建议设置为物理内存的20%),避免临时表落盘。
    • 监控Created_tmp_disk_tables状态变量,若频繁出现磁盘临时表,需优化索引或拆分查询。


3、高级优化技术
  1. 分区表加速大数据处理
    • 按时间或业务维度分区(如按月分区),使GROUP BY仅扫描特定分区。例如对10亿级日志表按event_date分区后,月度统计耗时从分钟级降至秒级。

  2. 物化视图与结果缓存
    • 对高频聚合查询使用物化视图(如通过CREATE TABLE mv AS SELECT...定期刷新),减少实时计算压力。
    • 应用层缓存重复查询结果(如Redis缓存日汇总数据),降低数据库负载。

  3. 并行查询(MySQL 8.0+)
    • 启用parallel_query功能,通过多线程处理复杂分组:

    SET SESSION optimizer_switch='parallel_query=on';
    SELECT region, SUM(revenue) FROM sales GROUP BY region;  -- 利用多核CPU加速
    

4、诊断工具与注意事项

执行计划分析
使用EXPLAIN FORMAT=JSON观察using_index(是否用索引)、using_temporary(是否用临时表)、filesort(排序方式)等关键指标。

严格模式规避错误
启用ONLY_FULL_GROUP_BY模式,防止非聚合列误用导致结果不稳定。


性能优化对比案例
场景优化前耗时优化手段优化后耗时
百万级用户行为分析12.8s创建(user_id,action_time)覆盖索引1.2s
十亿级日志日聚合3分钟按日分区+并行查询8秒

通过上述策略组合,可系统性解决GROUP BY性能瓶颈。实际应用中建议结合EXPLAIN分析和A/B测试,选择最适合业务场景的优化方案。

七、扩展知识

  • NULL值的处理GROUP BYNULL视为独立分组。
  • 排序结合:分组后使用ORDER BY对结果排序(如按平均工资降序)。
  • 动态分组:通过CASE WHEN实现条件分组(如按薪资区间统计)。

通过灵活组合这些功能,GROUP BY可满足复杂的数据分析需求。实际应用中需结合索引优化和查询逻辑设计,以提升执行效率。


在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2339350.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

java基础从入门到上手(九):Java - List、Set、Map

一、List集合 List 是一种用于存储有序元素的集合接口,它是 java.util 包中的一部分,并且继承自 Collection 接口。List 接口提供了多种方法,用于按索引操作元素,允许元素重复,并且保持插入顺序。常用的 List 实现类包…

从malloc到free:动态内存管理全解析

1.为什么要有动态内存管理 我们已经掌握的内存开辟方法有: int main() {int val 20;//在栈空间上开辟四个字节char arr[20] { 0 };//在栈空间上开辟10个字节的连续空间return 0; }上述开辟的内存空间有两个特点: 1.空间开辟的时候大小已经固定 2.数组…

AutoSAR从概念到实践系列之MCAL篇(二)——Mcu模块配置及代码详解(上)

欢迎大家学习我的《AutoSAR从概念到实践系列之MCAL篇》系列课程,我是分享人M哥,目前从事车载控制器的软件开发及测试工作。 学习过程中如有任何疑问,可底下评论! 如果觉得文章内容在工作学习中有帮助到你,麻烦点赞收藏评论+关注走一波!感谢各位的支持! 根据上一篇内容中…

【数据库】事务

目录 1. 什么是事务? 2. 事务的ACID特性 3. 为什么使用事务? 4. 如何使用事务 4.1 查看支持事务的存储引擎 4.2 语法 4.3 保存点 4.4 自动/手动提交事务 5. 事物的隔离性和隔离级别 5.1 什么是隔离性 5.2 隔离级别 5.3 查看和设置隔离级别 1…

使用Redis实现实时排行榜

为了实现一个实时排行榜系统,我们可以使用Redis的有序集合(ZSet),其底层通常是使用跳跃表实现的。有序集合允许我们按照分数(score)对成员(member)进行排序,因此非常适合…

6. 字符串

1.反转字符串 2.替换数字 3.反转字符串中的单词 4.KMP算法 5.重复的子字符串(看具体证明) 太6了(真不是人做的)

Redis ④-通用命令

Redis 是一个 客户端-服务器 结构的程序,这与 MySQL 是类似的,这点需要牢记!!! Redis 固然好,但也不是任何场景都适合使用 Redis,一定要根据当前的业务需求来选择是否使用 Redis Redis 通用命令…

卷积神经网络(CNN)与VGG16在图像识别中的实验设计与思路

卷积神经网络(CNN)与VGG16在图像识别中的实验设计与思路 以下从基础原理、VGG16架构解析、实验设计步骤三个层面展开说明,结合代码示例与关键参数设置,帮助理解其应用逻辑。 一、CNN与VGG16的核心差异 基础CNN结构 通常包含33~55个…

玩机搞机基本常识-------小米OLED屏幕机型怎么设置为永不休眠_手机不息屏_保持亮屏功能 拒绝“烧屏” ?

前面在帮一位粉丝解决小米OLED机型在设置----锁屏下没有永不休眠的问题。在这里,大家要明白为什么有些小米机型有这个设置有的没有的原因。区分OLED 屏幕和 LCD屏幕的不同。从根本上拒绝烧屏问题。 OLED 屏幕的一些优缺点💝💝💝 …

2021-11-14 C++三七二十一数

缘由c编程怎么写&#xff0c;紧急求解-编程语言-CSDN问答 void 三七二十一数() {//缘由https://ask.csdn.net/questions/7566632?spm1005.2025.3001.5141int n 0, a 0, b 0, p 1;std::cin >> n;while (n--){std::cin >> a >> b;while (a<b){if (a %…

安全生产责任制考核方案与风险评估

安全生产责任制考核方案旨在通过有效落实国家安全生产法律法规&#xff0c;确保煤矿及相关单位的安全管理机制建立与运行&#xff0c;减少生产安全事故的发生。方案强调通过定期的量化考核和系统化评估&#xff0c;确保安全生产责任的有效落实。考核涉及集团公司各单位及相关人…

强制重装及验证onnxruntime-gpu是否正确工作

#工作记录 我们经常会遇到明明安装了onnxruntime-gpu或onnxruntime后&#xff0c;无法正常使用的情况。 一、强制重新安装 onnxruntime-gpu 及其依赖 # 强制重新安装 onnxruntime-gpu 及其依赖 pip install --force-reinstall --no-cache-dir onnxruntime-gpu1.18.0 --extra…

设计模式 --- 外观模式

外观模式是一种结构型设计模式&#xff0c;为复杂子系统提供​​统一的高层接口​​&#xff0c;通过定义一个外观类来​​简化客户端与子系统的交互​​&#xff0c;降低系统耦合度。这种模式隐藏了子系统的复杂性&#xff0c;将客户端与子系统的实现细节隔离开来&#xff0c;…

用python脚本怎么实现:把一个文件夹里面.png文件没有固定名称,复制到另外一个文件夹按顺序命名?

环境&#xff1a; python3.10 Win10 问题描述&#xff1a; 用python脚本怎么实现&#xff1a;怎么把一个文件夹里面.png文件没有固定名称&#xff0c;复制到另外一个文件夹按顺序命名&#xff1f; 解决方案&#xff1a; 1.新建一个脚本文件&#xff0c;内容如下&#xff1…

山东大学软件学院创新项目实训开发日志(20)之中医知识问答自动生成对话标题bug修改

在原代码中存在一个bug&#xff1a;当前对话的标题不是现有对话的用户的第一段的前几个字&#xff0c;而是历史对话的第一段的前几个字。 这是生成标题的逻辑出了错误&#xff1a; 当改成size()-1即可

ZYNQ笔记(十):XADC (PS XDAC 接口)

版本&#xff1a;Vivado2020.2&#xff08;Vitis&#xff09; 任务&#xff1a;通过 PS XADC 接口读取XADC测量的芯片温度、供电电压&#xff0c;并通过串口打印出来 目录 一、介绍 二、硬件设计 三、软件设计 四、效果 一、介绍 XADC&#xff08;Xilinx Analog-to-Digital…

【C++】多态 - 从虚函数到动态绑定的核心原理

&#x1f4cc; 个人主页&#xff1a; 孙同学_ &#x1f527; 文章专栏&#xff1a;C &#x1f4a1; 关注我&#xff0c;分享经验&#xff0c;助你少走弯路 文章目录 1. 多态的概念2. 多态的定义及实现2.1 多态的构成条件2.1.1实现多态还有两个必须重要条件&#xff1a;2.1.2 虚…

免费图片软件,可矫正倾斜、调整去底效果

软件介绍 有个超棒的软件要给大家介绍一下哦&#xff0c;它就是——ImgTool&#xff0c;能实现图片漂白去底的功能&#xff0c;而且重点是&#xff0c;它是完全免费使用的呢&#xff0c;功能超强大&#xff01; 软件特点及使用便捷性 这软件是绿色版本的哟&#xff0c;就像一…

Kubernetes(k8s)学习笔记(二)--k8s 集群安装

1、kubeadm kubeadm 是官方社区推出的一个用于快速部署 kubernetes 集群的工具。这个工具能通过两条指令完成一个 kubernetes 集群的部署&#xff1a; 1.1 创建一个 Master 节点$ kubeadm init 1.2 将一个 Node 节点加入到当前集群中$ kubeadm join <Master 节点的 IP 和…

【论文阅读笔记】模型的相似性

文章目录 The Platonic Representation Hypothesis概述表征收敛的依据表征收敛的原因实验依据未来发展的局限性 Similarity of Neural Network Representations Revisited概述问题背景相似性度量s的性质可逆线性变换不变性正交变换不变性各向同性缩放不变性典型度量满足的性质 …