MySQL45讲 第十四讲 count(*)这么慢,我该怎么办?

news2024/11/5 15:33:51

文章目录

  • MySQL45讲 第十四讲 count(*)这么慢,我该怎么办?
    • 一、count (*) 实现方式及性能问题
      • (一)不同引擎的实现差异
      • (二)InnoDB 的优化措施
    • 二、计数方案探讨
      • (一)缓存系统保存计数
      • (二)数据库保存计数
    • 三、count 不同用法的性能差别
      • (一)语义解释
      • (二)性能对比
    • 四、总结

MySQL45讲 第十四讲 count(*)这么慢,我该怎么办?


一、count (*) 实现方式及性能问题

(一)不同引擎的实现差异

  1. MyISAM 引擎将表的总行数存储在磁盘上,执行count (*)时可直接返回,效率高。但 MyISAM 不支持事务。如果加了where 条件的话,MyISAM表也是不能返回得这么快的。
  2. 在实际应用中,InnoDB 引擎使用更为广泛。InnoDB引擎执行 count (*)时,需逐行读取数据并累积计数,这是因为在多版本并发控制(MVCC)机制下,不同事务对表总行数的 “可见性” 不同。例如,在一个同时有事务插入数据的场景中,不同时刻启动的事务查询 count (*) 可能得到不同结果,所以 InnoDB只能逐行判断每行记录是否对当前查询可见,进而确定总行数。

(二)InnoDB 的优化措施

  1. InnoDB 是索引组织表,普通索引树比主键索引树小。对于 count (*) 操作:
    • MySQL优化器会选择遍历最小的索引树以减少扫描数据量。然而,即便如此,随着表中记录数增多,直接使用 count (*) 仍会导致性能问题。
    • show table status 命令虽执行快,但其中的TABLE_ROWS 值是通过采样估算得来,误差可达 40% - 50%,不能准确替代 count (*) 使用。

二、计数方案探讨

(一)缓存系统保存计数

  1. 对于更新频繁的库,可使用 Redis 等缓存系统保存表的总行数,表数据插入或删除时相应更新 Redis 计数。但这种方式存在问题:
    • 缓存系统可能丢失更新。即使将 Redis 数据持久化存储,仍可能因异常重启等情况丢失计数更新操作
    • 逻辑上不精确。在并发系统中,由于操作顺序难以精确控制,可能出现数据不一致情况,如页面显示的记录与 Redis 计数不匹配。

(二)数据库保存计数

  1. 将计数直接存于数据库单独的计数表 C 中,利用 InnoDB 支持事务的特性,可解决崩溃丢失问题。在事务执行过程中,通过合理的事务隔离机制,可确保计数与表数据在逻辑上的一致性,避免了缓存系统中因并发操作导致的计数不精确问题。

三、count 不同用法的性能差别

(一)语义解释

  1. count () 是聚合函数,对于返回结果集逐行判断,参数非 NULL 时累计值加 1。count (*)、count (主键 id) 和 count (1) 都返回满足条件结果集的总行数,count (字段) 返回满足条件数据行中参数 “字段” 不为 NULL 的总个数。

(二)性能对比

  1. 对于 count (主键 id),InnoDB 引擎遍历整张表取每行 id 值返回给 server 层,server 层判断非空后累加,涉及解析数据行和拷贝字段值操作:
    • count (1) 则遍历整张表但不取值,server 层每行放数字 “1” 判断非空后累加,所以 count (1) 比 count (主键 id) 执行快。
    • count (字段) 若字段定义为 not null,逐行读取判断非空累加,若字段允许为 null,还需取值进一步判断,性能较差。
    • count (*) 专门优化不取值,按行累加,效率较高。建议尽量使用 count (*)
  2. 按照效率排序的话,count(字段)<count(主键id)<count(1)≈count(*),所以尽量使用count(*)

四、总结

  1. MySQL 中不同引擎 count (*) 实现方式不同,InnoDB 因 MVCC 机制不能像 MyISAM 直接返回总行数
  2. 在处理频繁变更且需统计表行数的需求时,Redis缓存系统保存计数虽读写快但存在丢失更新和逻辑不精确问题。而在数据库中利用事务特性,把这个计数直接放到数据库里单独的一张计数表C中,保存计数可解决一致性问题。
  3. 同时,了解 count 不同用法性能差别有助于优化查询语句,count(字段)<count(主键id)<count(1)≈count(*),在实际应用中应根据具体需求选择合适的计数方案,充分发挥 InnoDB 引擎事务特性简化业务逻辑,确保数据的准确性和系统性能。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2233654.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

安装fpm,解决*.deb=> *.rpm

要从生成 .deb 包转换为 .rpm 包&#xff0c;可以按照以下步骤修改打包脚本 1. 使用 fpm 工具 fpm 是一个强大的跨平台打包工具&#xff0c;可以将 .deb 包重新打包成 .rpm&#xff0c;也可以直接从源文件打包成 .rpm。 安装 fpm sudo apt-get install ruby-dev sudo gem in…

分布式光伏管理办法

随着分布式光伏项目的不断增加&#xff0c;传统的管理方式已经难以满足高效、精准的管理需求。光伏业务管理系统作为一种集信息化、智能化于一体的管理工具&#xff0c;正在逐步成为分布式光伏项目管理的重要支撑。 光伏业务管理系统通过数字化手段实现对光伏业务全流程的精细化…

数据结构:LRUCache

什么是LRUCache 首先我们来看看什么是cache 缓存&#xff08;Cache&#xff09;通常用于两个速度不同的介质之间&#xff0c;以提高数据访问的速度和效率。这里有几个典型的应用场景&#xff1a; 处理器和内存之间&#xff1a; 处理器&#xff08;CPU&#xff09;的运算速度远…

智能提醒助理系列-springboot项目彩虹日志+TraceID

本系列文章记录“智能提醒助理”产品建设历程&#xff0c;记录实践经验、巩固知识点、锻炼总结能力。 本篇介绍如何让springboot启动日志“彩打” 提升日志识别度&#xff0c;同时增加TraceID&#xff0c;便于同一请求&#xff0c;全链路的追踪。 一、需求出发点 提升日志识别度…

窨井监测遥测终端RTU IP68防水强信号穿透力

在窨井的潮湿 黑暗和腐蚀性环境中 常规物联网设备往往难以生存 如何突破层层环境挑战 轻松应对极端条件 确保信号 24h不掉线&#xff0c;不延迟 不仅是对技术的突破 更是对恶劣环境的征服 ↓↓↓ 坚守 ——严苛环境下的工业设备 计讯物联工业级设备&#xff0c;专为恶劣环境设计…

150道MySQL高频面试题,学完吊打面试官--如何实现索引机制

前言 本专栏为150道MySQL大厂高频面试题讲解分析&#xff0c;这些面试题都是通过MySQL8.0官方文档和阿里巴巴官方手册还有一些大厂面试官提供的资料。 MySQL应用广泛&#xff0c;在多个开发语言中都处于重要地位&#xff0c;所以最好都要掌握MySQL的精华面试题&#xff0c;这也…

基于Matlab 模拟停车位管理系统【源码 GUI】

系统对进入停车位的车辆进行车牌识别&#xff0c;将识别出来的车牌号显示出来&#xff1b;然后对车主进行人脸识别&#xff0c;框出车主照片的人脸部分作为车主信息的标记&#xff0c;记录在系统库中。车辆在库期间&#xff0c;系统使用者可以随意查看车辆与车主信息的获取过程…

微信小程序 https://pcapi-xiaotuxian-front-devtest.itheima.net 不在以下 request 合法域名

微信小程序在调用接口的时候出现以上报错&#xff0c;接口没有问题&#xff0c;是因为小程序自动校验了合法域名 打开本地设置&#xff1a; 勾选不校验合法域名&#xff0c;即可 效果如下&#xff1a;

数据治理,数据提取,大数据中心建设,大数据治理总体解决方案书(word,ppt原件)

1. 数据管理的现状 2. 数据治理的概述 1.1数据治理概念 2.2数据治理目标 3. 数据治理体系 4. 数据治理核心领域 1.1 数据模型 1.2 数据生命周期 &#xff08;1&#xff09;数据生成及传输 &#xff08;2&#xff09;数据存储 &#xff08;3&#xff09;数据处理和应用…

电机控制储备知识 二:电磁学理论知识

一&#xff1a;磁场的发现过程和和一些实验现象 古代发现&#xff1a;公元前七世纪&#xff0c;中国和古希腊的学者就已经发现了磁石。 吉尔伯特的研究&#xff1a;1600年&#xff0c;英国女王御臣威廉吉尔伯特&#xff08;William Gilbert&#xff09;发表了《地磁论》&#…

Java:数组的定义和使用(万字解析)

目录 1. 数组的概念 2. 数组的基础知识 2.1 数组的创建 \1. 基础创建格式&#xff1a; \2. 类似C语言的创建格式&#xff1a; 【错误的创建(初始化)格式】 2.2 数组的数据类型 2.3 数组的初始化 —— 两种方式 \1.动态初始化&#xff1a;(完全默认初始化) \2. 静态初…

ProLightsfx新的出发–从CSDN到WordPress

原文链接&#xff1a;ProLightsfx新的出发--从CSDN到WordPress_ProLightsfx的技术分享 &#xff08;https://www.prolightsfxjh.com/article/article-new-start/&#xff09; 大概有差不多2年时间没有在csdn发布文章了。可能主要是最近几年工作有些疲惫、精神有些懈怠&#xff…

【react】Redux基础用法

1. Redux基础用法 Redux 是一个用于 JavaScript 应用的状态管理库&#xff0c;它不依赖于任何 UI库&#xff0c;但常用于与 React 框架配合使用。它提供了一种集中式的状态管理方式&#xff0c;将应用的所有状态保存在一个单一的全局 Store&#xff08;存储&#xff09;中&…

VMware虚拟机Debian扩展磁盘

一、 版本 VMware&#xff1a;Workstation 17 Pro虚拟机&#xff1a;Debian11 二、 VMware虚拟机扩展 虚拟机关机状态快照或者备份&#xff1a;以免扩容失败导致文件丢失虚拟机——设置——硬盘——磁盘使用工具——扩展——扩展磁盘容量——设置为想要的大小 三、 虚拟机…

软件设计师-上午题-16 算法(4-5分)

算法题号一般为62-65题(数据结构与算法题号为57-65&#xff0c;共9分)&#xff0c;分值一般为4-5分。 目录 1 回溯法 1.1 N皇后问题 1.2 非递归求解N皇后问题 1.3 递归求解N皇后问题 1.4 真题 2 分治法 2.1 最大字段和问题 2.2 真题 3 动态规划 3.1 0-1背包问题 3.…

【react如何在chrome浏览器里面调试?】

react如何在chrome浏览器里面调试&#xff1f; 1. 首先在在工作区关联源码 2. 安装react的chrome插件。 3. 切换到插件的标签&#xff0c;然后选中你要调试的页面元素&#xff0c;再点击右边的按钮&#xff0c;切换到对应的源码 4. 可以在源码任意位置打断点运行。

【Mysql NDB Cluster 集群(CentOS 7)安装笔记一】

Mysql NDB Cluster 集群(CentOS 7)安装笔记 NDB集群核心概念 NDBCLUSTER(也称为NDB)是一个内存存储引擎,提供高可用性和数据保存功能。 NDBCLUSTER存储引擎可以配置一系列故障转移和负载平衡选项,但从集群级别的存储引擎开始是最容易的。NDB集群的NDB存储引擎包含一整套…

在Microsoft Outlook日历中添加多个时区

在Microsoft Outlook日历中添加多个时区 1.单击Outlook中的文件选项卡&#xff0c;单击选项 2.左侧菜单中选择日历 3.向下滚动到时区部分&#xff0c;并标记当前时区&#xff0c;比如China 4.选中“显示第二个时区”框 5.选择第二个时区并给它一个标签&#xff0c;比如Germa…

考公人数攀升?地信、测绘、地质、遥感等专业,能报考哪些单位

近年来&#xff0c;考公人数持续飙升&#xff0c;国考报名人数更逐年攀升。2025年国家公务员考试共有341.6万人通过资格审查&#xff0c;报录比达86:1。国考报名人数再创新高。 国家公务员考试时间安排 地理学相关岗位分析 地信属于地理科学类&#xff0c;测绘类中不包括地信&…

大华乐橙设备私有平台EasyCVR视频设备轨迹回放平台支持哪些摄像机?摄像机如何选型?

在现代安全监控系统中&#xff0c;视频监控设备扮演着至关重要的角色。视频设备轨迹回放平台EasyCVR以其卓越的兼容性和灵活性&#xff0c;支持接入多种品牌和类型的摄像机。这不仅为用户提供了广泛的选择空间&#xff0c;也使得视频监控系统的构建和管理变得更加高效和便捷。本…