MySQL 优化方案

news2025/4/21 10:56:18

一、MySQL 查询过程

MySQL 查询过程是指从客户端发送 SQL 语句到 MySQL 服务器，再到服务器返回结果集的整个过程。这个过程涉及多个组件的协作，包括连接管理、查询解析、优化、执行和结果返回等。
在这里插入图片描述

1.1 查询过程的关键组件
  1. 连接管理器：管理客户端连接。
  2. 解析器：解析 SQL 语句。
  3. 优化器：生成执行计划。
  4. 执行引擎：执行查询。
  5. 存储引擎：存储和检索数据。
1.2 查询过程的详细步骤

  1. 客户端发送查询请求

    • 客户端（如应用程序、命令行工具）通过 MySQL 协议（如 TCP/IP）向 MySQL 服务器发送 SQL 查询请求。
    • 请求内容可以是 SELECT、INSERT、UPDATE、DELETE 等 SQL 语句。

  2. 连接管理

    • MySQL 服务器接收到请求后，首先由 连接管理器 处理。
    • 连接管理器负责：
      • 验证客户端的用户名和密码。
      • 检查客户端的权限（是否有权限执行该查询）。
      • 分配一个线程来处理该请求（MySQL 是多线程架构，每个连接由一个线程处理）。

  3. 查询缓存（MySQL 8.0 之前）

    • 在 MySQL 8.0 之前，服务器会检查查询缓存（Query Cache）。
      • 如果查询缓存中已经存在该查询的结果，则直接返回缓存结果。
      • 如果查询缓存未命中，则继续后续步骤。
    • 在MySQL 8.0 移除了查询缓存功能，因为在高并发场景下，查询缓存可能成为性能瓶颈。

  4. 查询解析

    • 解析器（Parser） 对 SQL 语句进行词法分析和语法分析。
      • 词法分析：将 SQL 语句拆分为关键字、表名、列名、操作符等 token。
      • 语法分析：检查 SQL 语句是否符合 MySQL 的语法规则。
    • 如果 SQL 语句有语法错误，解析器会返回错误信息。

  5. 查询优化

    • 查询优化器（Optimizer） 对 SQL 语句进行优化，生成一个高效的执行计划。
      • 优化器会考虑以下因素：
        • 使用哪些索引。
        • 表的连接顺序（JOIN 的顺序）。
        • 是否可以使用覆盖索引。
        • 是否可以使用索引合并（Index Merge）。
      • 优化器会生成多个可能的执行计划，并选择成本最低的一个。
    • 可以通过 EXPLAIN 命令查看优化器生成的执行计划。

  6. 查询执行

    • 执行引擎（Execution Engine） 根据优化器生成的执行计划，调用存储引擎的接口执行查询。
      • 执行引擎负责：
        • 打开表。
        • 读取数据（通过索引或全表扫描）。
        • 执行排序、分组、聚合等操作。
        • 处理 JOIN 操作。
      • 执行引擎与存储引擎（如 InnoDB、MyISAM）交互，获取数据。

  7. 存储引擎处理

    • 存储引擎（Storage Engine） 负责数据的存储和检索。
      • 存储引擎根据执行引擎的请求，从磁盘或内存中读取数据。
      • 存储引擎会将数据返回给执行引擎。

  8. 结果返回

    • 执行引擎将处理后的数据返回给客户端。
      • 如果查询涉及排序、分组或聚合，执行引擎会在返回结果前完成这些操作。
      • 结果集通过 MySQL 协议发送给客户端。
    • 客户端接收到结果后，可以继续处理数据（如显示、存储或进一步计算）。

  9. 日志记录

    • MySQL 会根据配置记录相关日志：
      • 二进制日志（Binlog）：记录所有修改数据的操作（如 INSERT、UPDATE、DELETE），用于主从复制和数据恢复。
      • 慢查询日志（Slow Query Log）：记录执行时间超过阈值的查询，用于性能分析。
      • 通用日志（General Log）：记录所有查询请求，用于调试。

  10. 连接关闭

    • 查询完成后，客户端可以选择关闭连接或继续发送新的查询请求。
    • 如果连接空闲时间超过 wait_timeout，MySQL 会自动关闭连接以释放资源。

二、SQL 优化方案

2.1 索引优化

索引是提高查询性能的核心手段，但需要合理使用。

  1. 创建合适的索引
    • 单列索引：对经常用于 WHERE、JOIN、ORDER BY 和 GROUP BY 的列创建索引。
      CREATE INDEX idx_name ON table_name(column_name);
    • 复合索引：对多个列的组合查询创建复合索引。
      CREATE INDEX idx_name ON table_name(column1, column2);
    • 前缀索引：对文本列的前缀创建索引，减少索引大小。
      CREATE INDEX idx_name ON table_name(column_name(10));
  2. 避免过度索引
    • 索引会增加写操作（INSERT、UPDATE、DELETE）的开销，因此不要为不常用的列创建索引。
    • 删除未使用或重复的索引。
      DROP INDEX idx_name ON table_name;
  3. 使用覆盖索引
    • 如果查询只需要从索引中获取数据，而不需要回表查询数据行，可以显著提升性能。
      SELECT column1, column2 FROM table_name WHERE column1 = 'value';
-- 确保 (column1, column2) 上有索引
  4. 避免索引失效
    1. 避免在索引列上使用函数或表达式
      • 示例：
        -- 索引失效
SELECT * FROM users WHERE YEAR(created_at) = 2023;
      • 原因：MySQL 无法对 YEAR(created_at) 使用索引，因为它需要对每一行的 created_at 进行计算。
      • 优化方法：
        -- 优化后
SELECT * FROM users WHERE created_at >= '2023-01-01' AND created_at < '2024-01-01';
    2. 避免在索引列上使用 NOT、!= 或 <>
      • 示例：
        -- 索引失效
SELECT * FROM users WHERE status != 'active';
      • 原因：NOT、!= 或 <> 需要扫描所有不等于条件的值，无法有效利用索引。
      • 优化方法：尽量避免使用 !=，尝试改写查询逻辑。
    3. 避免在索引列上使用 OR 条件
      • 示例：
        -- 索引失效
SELECT * FROM users WHERE age = 25 OR name = 'John';
      • 原因：如果 name 列没有索引，MySQL 无法使用 age 列的索引。
      • 优化方法：
        -- 优化后
SELECT * FROM users WHERE age = 25
UNION
SELECT * FROM users WHERE name = 'John';
    4. 避免在索引列上使用 LIKE 以通配符开头
      • 示例：
        -- 索引失效
SELECT * FROM users WHERE name LIKE '%John%';
      • 原因：当通配符%出现在查询字符串的开头时，MySQL无法利用索引的前缀部分来加速查询。
      • 优化方法：
        • 尽量避免以 % 开头的模糊查询。
        • 如果必须使用，考虑全文索引（FULLTEXT）或其他搜索引擎（如 Elasticsearch）。
    5. 避免数据类型不匹配
      • 示例：
        -- 索引失效
SELECT * FROM users WHERE phone = 123456789;
      • 原因：如果 phone 列是字符串类型，而查询条件是数字类型，MySQL 会对索引字段进行隐式类型转换，导致索引失效。
      • 优化方法：
        -- 优化后
SELECT * FROM users WHERE phone = '123456789';
    6. 避免复合索引未遵循最左前缀原则
      • 示例：
        -- 创建复合索引
CREATE INDEX idx_name_age ON users(name, age);

-- 索引失效
SELECT * FROM users WHERE age = 25;
      • 原因：没有遵循最左前缀原则，MySQL 无法利用复合索引的有序性，从而导致索引失效。
      • 优化方法：确保查询条件包含复合索引的最左列。
        -- 优化后
SELECT * FROM users WHERE name = 'John' AND age = 25;
    7. 避免在低区分度的字段上建索引
      • 示例：
        -- 索引失效
SELECT * FROM users WHERE sex = '男';
      • 原因：在低区分度的字段上，索引树中每个键值对应的数据行数非常多。查询时，MySQL 需要扫描大量数据行，索引的效果几乎等同于全表扫描。
      • 优化方法：尽量避免对低选择性的列创建索引。
2.2 查询重构

优化查询语句本身可以显著提升性能。

  1. 避免 SELECT *

    • 只选择需要的列，减少数据传输和内存占用。
      -- 不推荐
SELECT * FROM table_name;
-- 推荐
SELECT column1, column2 FROM table_name;

  2. 使用 LIMIT 时避免高偏移量

    • 当 OFFSET 值很大时，MySQL 需要扫描大量数据才能找到起始位置，导致性能下降。
      -- 不推荐
SELECT * FROM table_name LIMIT 10 OFFSET 100000;
-- 推荐
SELECT * FROM table_name WHERE id > 100000 ORDER BY id LIMIT 10;

  3. 避免子查询

    • 子查询的内部执行计划是先执行子查询再执行外层查询，由于每次执行子查询都需要创建并删除临时表，会消耗大量资源，从而影响数据库性能。
      -- 不推荐
SELECT * FROM table_name WHERE column1 IN (SELECT column1 FROM table2);
-- 推荐
SELECT t1.* FROM table_name t1 JOIN table2 t2 ON t1.column1 = t2.column1;

  4. JOIN 查询优化

    • 确保 JOIN 列上有索引：JOIN 条件中的列（通常是外键列）必须有索引。
    • 小表驱动大表：MySQL 通常会选择较小的表作为驱动表，以减少扫描的行数。
    • 过滤数据：在 JOIN 之前，使用 WHERE 条件减少参与 JOIN 的数据量。
      SELECT * FROM table1 t1
JOIN table2 t2 ON t1.id = t2.id
WHERE t1.column = 'value';

  5. 合理使用 IN 和 EXISTS

    • IN
      • 用法：用于判断某个值是否在子查询返回的结果集中。
      • 适用场景：当子查询返回的结果集较小时，IN 的性能较好。
      • 执行过程：
        1. 执行子查询，获取结果集。
        2. 将结果集加载到内存中。
        3. 对外部查询的每一行，检查是否在结果集中。
    • EXISTS
      • 用法：用于判断子查询是否返回任何行。如果子查询返回至少一行，EXISTS 返回 TRUE，否则返回 FALSE。
      • 适用场景：当子查询返回的结果集较大时，EXISTS 的性能较好。
      • 执行过程：
        • 对外部查询的每一行，执行子查询。
        • 如果子查询返回至少一行，则返回 TRUE。

  6. 使用 EXPLAIN 分析查询

    • 使用 EXPLAIN 查看查询执行计划，找出性能瓶颈。
    • 关注 type（访问类型）、key（使用的索引）、rows（扫描的行数）等字段。
      EXPLAIN SELECT * FROM table_name WHERE column1 = 'value';
2.3 表结构优化
  1. 选择合适的数据类型
    • 使用最小的数据类型存储数据，例如：
      • 使用 INT 而不是 BIGINT。
      • 使用 VARCHAR 而不是 TEXT。
    • 避免使用 NULL，尽量使用默认值。
  2. 规范化与反规范化
    • 规范化：减少数据冗余，提高数据一致性。
    • 反规范化：在查询频繁的场景下，适当冗余数据以减少 JOIN 操作。
  3. 分区表
    • 对大表进行分区，提升查询性能。
      CREATE TABLE table_name (
	id INT,
	created_at DATE
) PARTITION BY RANGE (YEAR(created_at)) (
	PARTITION p0 VALUES LESS THAN (2020),
	PARTITION p1 VALUES LESS THAN (2021),
	PARTITION p2 VALUES LESS THAN (2022)
);
2.4 配置优化
  1. 调整缓冲区大小
    • 增加 innodb_buffer_pool_size，使其足够容纳常用数据。
      SET GLOBAL innodb_buffer_pool_size = 1G;
  2. 调整查询缓存
    • 在 MySQL 8.0 之前，可以启用查询缓存（适用于读多写少的场景）。
      SET GLOBAL query_cache_size = 64M;
  3. 调整连接数
    • 增加最大连接数，避免连接耗尽。
      SET GLOBAL max_connections = 500;
  4. 调整日志配置
    • 关闭不必要的日志（如慢查询日志、二进制日志）以减少 I/O 开销。
      SET GLOBAL slow_query_log = OFF;
2.5 其他优化技巧
  1. 批量操作
    • 使用批量插入或更新，减少单条语句的开销。
      INSERT INTO table_name (column1, column2) VALUES ('value1', 'value2'), ('value3', 'value4');
  2. 使用缓存
    • 使用 Redis 或 Memcached 缓存热点数据，减少数据库压力。
  3. 分库分表
    • 对于超大规模数据，考虑分库分表（如使用 ShardingSphere 或 MyCat）。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2314496.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

智能对话小程序功能优化day1-登录鉴权

智能对话小程序功能优化day1-登录鉴权

目录 1.数据库表构建。 2.完善登录相关的实例对象。 3.登录相关功能实现。 4.小程序效果。 最近尝试下trae加入claude3.7后的读图生成代码功能&#xff0c;可以看到简单的页面一次性生成确实准确率高了不少&#xff0c;想起来之前笔记中开发的智能问答小程序功能还是有些简…
阅读更多...
MinIO的预签名直传机制

MinIO的预签名直传机制

我们传统使用MinIo做OSS对象存储的应用方式往往都是在后端配置与MinIO的连接和文件上传下载的相关接口&#xff0c;然后我们在前端调用这些接口完成文件的上传下载机制&#xff0c;但是&#xff0c;当并发量过大&#xff0c;频繁访问会对后端的并发往往会对服务器造成极大的压力…
阅读更多...
Qt开源控件库（qt-material-widgets）的编译及使用

Qt开源控件库（qt-material-widgets）的编译及使用

项目简介 qt-material-widgets是一个基于 Qt 小部件的 Material Design 规范实现。 项目地址 项目地址&#xff1a;qt-material-widgets 本地构建环境 Win11 家庭中文版 VS2019 Qt5.15.2 (MSVC2019) 本地构建流程 克隆后的目录结构如图&#xff1a; 直接使用Qt Crea…
阅读更多...
用python批量生成文件夹

用python批量生成文件夹

问题描述 当批量生成文件夹时&#xff0c;手动右键创建文件夹是一个繁琐的过程&#xff0c;尤其是文件夹的命名过程。假设从3月10日到3月19日&#xff0c;每天要为某个日常工作创建一个名为2025031x的文件夹&#xff0c;手动创建文件夹并命名费时费力。 百度给出了以下四种方法…
阅读更多...
【MySQL】基本操作 —— DDL

【MySQL】基本操作 —— DDL

目录 DDLDDL 常用操作对数据库的常用操作查看所有数据库创建数据库切换、显示当前数据库删除数据库修改数据库编码 对表的常用操作创建表数据类型数值类型日期和时间类型字符串类型 查看当前数据库所有表查看指定表的创建语句查看指定表结构删除表 对表结构的常用操作给表添加字…
阅读更多...
游戏引擎学习第152天

游戏引擎学习第152天

仓库:https://gitee.com/mrxiao_com/2d_game_3 回顾昨天的内容 这个节目展示了我们如何从零开始制作一款完整的游戏。我们不使用任何游戏引擎或库&#xff0c;而是从头开始创建一款游戏&#xff0c;整个开发过程都会呈现给大家。你将能够看到每一行代码的编写&#xff0c;了解…
阅读更多...
考研数学非数竞赛复习之Stolz定理求解数列极限

考研数学非数竞赛复习之Stolz定理求解数列极限

在非数类大学生数学竞赛中&#xff0c;Stolz定理作为一种强大的工具&#xff0c;经常被用来解决和式数列极限的问题&#xff0c;也被誉为离散版的’洛必达’方法&#xff0c;它提供了一种简洁而有效的方法&#xff0c;使得原本复杂繁琐的极限计算过程变得直观明了。本文&#x…
阅读更多...
故障诊断——neo4j入门

故障诊断——neo4j入门

文章目录 neo4jQuickStartDemo neo4j QuickStart 详情可见博客&#xff1a;https://www.cnblogs.com/nhdlb/p/18703804&#xff0c;使用docker拉取最近的一个版本进行创建 docker run -it -d -p 7474:7474 -p 7687:7687 \ -v /disk5/neo4j_docker/data:/data \ -v /disk5/ne…
阅读更多...
【JavaWeb】快速入门——HTMLCSS

【JavaWeb】快速入门——HTMLCSS

文章目录 一、 HTML简介1、HTML概念2、HTML文件结构3、可视化网页结构 二、 HTML标签语法1、标题标签2、段落标签3、超链接4、换行5、无序列表6、路径7、图片8、块1 盒子模型2 布局标签 三、 使用HTML表格展示数据1、定义表格2、合并单元格横向合并纵向合并 四、 使用HTML表单收…
阅读更多...
若依框架-给sys_user表添加新字段并获取当前登录用户的该字段值

若依框架-给sys_user表添加新字段并获取当前登录用户的该字段值

目录 添加字段 修改SysUser类 修改SysUserMapper.xml 修改user.js 前端获取字段值 添加字段 若依框架的sys_user表是没有age字段的&#xff0c;但由于业务需求&#xff0c;我需要新添加一个age字段&#xff1a; 修改SysUser类 添加age字段后&#xff0c;要在SysUser类 …
阅读更多...
前端监测窗口尺寸和元素尺寸变化的方法

前端监测窗口尺寸和元素尺寸变化的方法

前端监测窗口尺寸变化和元素尺寸变化的方法 window.resize 简介 window.resize事件是浏览器提供的一种事件&#xff0c;用于监听窗口大小的改变。这意味着当用户调整浏览器窗口大小时&#xff0c;相关的JavaScript代码将被触发执行。这为开发者提供了一种机制&#xff0c;可…
阅读更多...
ubuntu 部署deepseek

ubuntu 部署deepseek

更新 apt update 升级 apt upgrade 格式化硬盘 mkfs.ext4 /dev/sdb 安装nginx 查看端口 一、安装Ollama Ollama是一个开源的大型语言模型&#xff08;LLM&#xff09;推理服务器&#xff0c;为用户提供了灵活、安全和高性能的语言模型推理解决方案。 ollama/docs/linux.m…
阅读更多...
MySQL库和表的操作详解：从创建库到表的管理全面指南

MySQL库和表的操作详解：从创建库到表的管理全面指南

目录 一、MySQL库的操作详解 〇、登录MySQL 一、数据库的创建与字符集设置 1. 创建数据库的语法 2. 创建数据库示例 查看创建出来的文件: bash下查看MySQL创建的文件 二、字符集与校验规则 1. 查看系统默认设置 2. 查看支持的字符集与校验规则 3. 校验规则对查询的影响…
阅读更多...
PyTorch 系列教程：使用CNN实现图像分类

PyTorch 系列教程：使用CNN实现图像分类

图像分类是计算机视觉领域的一项基本任务&#xff0c;也是深度学习技术的一个常见应用。近年来&#xff0c;卷积神经网络&#xff08;cnn&#xff09;和PyTorch库的结合由于其易用性和鲁棒性已经成为执行图像分类的流行选择。 理解卷积神经网络&#xff08;cnn&#xff09; 卷…
阅读更多...
Java 大视界 -- Java 大数据中的数据可视化大屏设计与开发实战（127）

Java 大视界 -- Java 大数据中的数据可视化大屏设计与开发实战（127）

&#x1f496;亲爱的朋友们&#xff0c;热烈欢迎来到 青云交的博客&#xff01;能与诸位在此相逢&#xff0c;我倍感荣幸。在这飞速更迭的时代&#xff0c;我们都渴望一方心灵净土&#xff0c;而 我的博客 正是这样温暖的所在。这里为你呈上趣味与实用兼具的知识&#xff0c;也…
阅读更多...
「Unity3D」UGUI将元素固定在，距离屏幕边缘的某个比例，以及保持元素自身比例

「Unity3D」UGUI将元素固定在，距离屏幕边缘的某个比例，以及保持元素自身比例

在不同分辨率的屏幕下&#xff0c;UI元素按照自身像素大小&#xff0c;会发生位置与比例的变化&#xff0c;本文仅利用锚点&#xff08;Anchors&#xff09;使用&#xff0c;来实现UI元素&#xff0c;固定在某个比例距离的屏幕边缘。 首先&#xff0c;将元素的锚点设置为中心&…
阅读更多...
Deep research深度研究：ChatGPT/ Gemini/ Perplexity/ Grok哪家最强？（实测对比分析）

Deep research深度研究：ChatGPT/ Gemini/ Perplexity/ Grok哪家最强？（实测对比分析）

目前推出深度研究和深度检索的AI大模型有四家&#xff1a; OpenAI和Gemini 的deep research&#xff0c;以及Perplexity 和Grok的deep search&#xff0c;都能生成带参考文献引用的主题报告。 致力于“几分钟之内生成一份完整的主题调研报告&#xff0c;解决人力几小时甚至几天…
阅读更多...
关于sqlalchemy的ORM的使用

关于sqlalchemy的ORM的使用

关于sqlalchemy的ORM的使用 二、创建表三、使用数据表、查询记录三、批量插入数据四、关于with...as...:的使用 二、创建表 使用Mapped来映射字段 from sqlalchemy.ext.declarative import declarative_base from sqlalchemy.orm import sessionmaker,Mapped,mapped_columnBa…
阅读更多...
【leetcode hot 100 148】排序序列

【leetcode hot 100 148】排序序列

解法一&#xff1a;&#xff08;双重循环&#xff09;第一个循环head&#xff0c;逐步将head的node加入有序列表&#xff1b;第二个循环在有序列表中找到合适的位置&#xff0c;插入node。 /*** Definition for singly-linked list.* public class ListNode {* int val;* …
阅读更多...
【Linux】在VMWare中安装Ubuntu操作系统(2025最新_Ubuntu 24.04.2)#VMware安装Ubuntu实战分享#

【Linux】在VMWare中安装Ubuntu操作系统(2025最新_Ubuntu 24.04.2)#VMware安装Ubuntu实战分享#

今天田辛老师为大家带来一篇关于在VMWare虚拟机上安装Ubuntu系统的详细教程。无论是学习、开发还是测试&#xff0c;虚拟机都是一个非常实用的工具&#xff0c;它允许我们在同一台物理机上运行多个操作系统。Ubuntu作为一款开源、免费且用户友好的Linux发行版&#xff0c;深受广…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023