项目实战-MySQL极佳优化方案---前缀索引

news2024/10/7 10:17:32
一、应用背景

由于公司项目数据量较大，开发小程序和APP过程中，SQL查询超过1.5s以上的等待时间，因此需要对SQL或者数据表结构设计进行优化。就不讲SQL语句优化啦，而是记录一下数据表结构设计优化的前缀索引实现。

二、MySQL索引
作用：
  • 加速查询：索引能够显著减少数据库系统需要扫描的数据量，从而加快查询速度。
  • 支持排序和分组：通过使用索引，数据库可以更快地执行排序和分组操作，因为索引已经对数据进行了排序。
  • 保证数据的唯一性：通过创建唯一索引，可以确保表中每一行数据的某列或多列组合是唯一的。
类型：
  • 主键索引（PRIMARY KEY）：数据表只能包含一个主键索引，且不允许有空值（NULL）。在InnoDB存储引擎中，主键索引也被称为聚簇索引，表中的数据行实际上是按照主键索引的顺序存储的。
  • 唯一索引（UNIQUE）：与主键索引类似，唯一索引也要求索引列的值是唯一的，但允许有空值（NULL）。
  • 普通索引（INDEX 或 KEY）：最基本的索引类型，没有任何限制。
  • 全文索引（FULLTEXT）：用于全文搜索，只有MyISAM和InnoDB存储引擎支持全文索引。
  • 空间索引（SPATIAL）：用于地理空间数据类型，只有MyISAM存储引擎支持空间索引。
  • 前缀索引：只索引列值的前缀字符。
  • 复合索引：在表的多个列上创建索引。
三、前缀索引
介绍

对文本的前几个字符建立索引，具体是几个字符在建立索引时去指定，比如：以产品名称的前 10 位来建索引，这样建立起来的索引更小，查询效率更快。有点类似于 Oracle 中对字段使用 Left 函数来建立函数索引，只不过 MySQL 的这个前缀索引在查询时是内部自动完成匹配的，并不需要使用 Left 函数。

优点

当某个字段的数据量太大，而且查询又非常的频繁时，使用前缀索引能有效的减小索引文件的大小，让每个索引页可以保存更多的索引值，从而提高索引查询的速度。比如，客户店铺名称，有的名称很长，有的很短，如果完全按照全覆盖来建索引，索引的存储空间可能会非常的大，有的表如果索引创建的很多，甚至会出现索引存储的空间都比数据表的存储空间大很多，因此对于这种文本很长的字段，可以截取前几个字符来建索引，在一定程度上，既能满足数据的查询效率要求，又能节省索引存储空间。

缺点

MySQL 中无法使用前缀索引进行 ORDER BY 和 GROUP BY，也无法用来进行覆盖扫描，当字符串本身可能比较长，而且前几个字符完全相同，这个时候前缀索引的优势就不明显，也就没有创建前缀索引的必要。

应用

当某个字段内容的前几位区分度很高的时候，这个时候采用前缀索引，可以在查询性能和空间存储方面达到一个很高的性价比。

创建

建立前缀索引

ALTER TABLE table_name ADD KEY(column_name(prefix_length));

其中prefix_length这个参数，就是前缀长度的意思，通常通过如下方式进行确认，步骤如下：
第一步，先计算某字段全列的区分度。

SELECT COUNT(DISTINCT column_name) / COUNT(*) FROM table_name;

第二步，然后再计算前缀长度为多少时和全列的区分度最相似

SELECT COUNT(DISTINCT LEFT(column_name, prefix_length)) / COUNT(*) FROM table_name;

之后不断地调整prefix_length的值，直到和全列计算出区分度相近，最相近的那个值，就是prefix_length想要的值。

实践

新建测试表，数据体量在 100 万以上，表结构如下：

CREATE TABLE `tb_test` (
  `id` bigint(20) unsigned NOT NULL AUTO_INCREMENT,
  `name` varchar(100) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8mb4;

在这里插入图片描述
数据内容：
在这里插入图片描述
测试正常的带name条件查询，效率如下：

select * from tb_test where name like '1805.59281427%'

在这里插入图片描述
SQL查询耗时：0.29秒
在这里插入图片描述
接下来，以name字段为例，创建前缀索引，找出最合适的prefix_length值。大致计算一下name字段全列的区分度。

select count(distinct name) / count(*) from tb_test;

在这里插入图片描述
结果为 0.9945，即全局不相同的数据率在99.45%这个比例。

接下来计算在不同的prefix_length值下，对应的数据不重复比例。

  • 当prefix_length为5，区分度为 0.2237
select count(distinct left(name, 5)) / count(*) from tb_test;

在这里插入图片描述

  • 当prefix_length为10，区分度为 0.9944
select count(distinct left(name, 10)) / count(*) from tb_test;

在这里插入图片描述

  • 当prefix_length为11，区分度为 0.9945
select count(distinct left(name, 11)) / count(*) from tb_test;

在这里插入图片描述
通过对比发现当prefix_length为11，最接近全局区分度，因此可以为name创建一个长度为11的前缀索引，创建索引语句如下：

alter table tb_test add key(name(11));

再试试上面那个语句查询， 并查看运行效率：
在这里插入图片描述
很明显，创建前缀索引之后，查询效率倍增，达到0.00032秒。

四、注意事项

不是所有的字段都适合用前缀索引。当某个索引的字符串列很大时，创建的索引也就变得很大，为减小索引体积，提高索引的扫描速度，使用索引的前部分字符串作为索引值，这样索引占用的空间就会大大减少，并且索引的选择性也不会降低很多，这时前缀索引显现的作用就会非常明显，前缀索引本质是索引查询性能和存储空间的一种平衡。
对于 BLOB 和 TEXT 列进行索引，或者非常长的 VARCHAR 列，就必须使用前缀索引，因为 MySQL 不允许索引它们的全部长度。
如果某个字段内容，比如前缀部分相似度很高，此时的前缀索引显现效果就不会很明显，采用覆盖索引效果会更好。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1889421.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Transformer拆积木

Transformer拆积木

文章目录 ConceptsEmbeddingEncoderDecoderSelf-Attention matric calculationFinal Linear and Softmax LayerLoss function 参考 学一下已经问鼎中原七年之久的Transformer Concepts 开始拆积木！ Embedding Encoder Decoder Self-Attention matric calculati…
阅读更多...
Springboot+MySQL 公寓报修管理系统源码

Springboot+MySQL 公寓报修管理系统源码

功能结构图 效果图：
阅读更多...
PHP房产小程序微信小程序系统源码

PHP房产小程序微信小程序系统源码

🏠—— 购房租房，一“指”搞定🏡 🔍【开篇：房产新视界，尽在掌握】 在这个信息爆炸的时代，找房子不再是一场漫长的奔波。有了“房产微信小程序”，无论是购房还是租房，都…
阅读更多...
如何从Salesforce顾问转型为解决方案架构师？

如何从Salesforce顾问转型为解决方案架构师？

在充满活力的Salesforce咨询领域，许多专业人士都希望从顾问转型为解决方案架构师。这种转型不仅需要掌握新技能，还需要从根本上改变思维方式。关键在于摆脱顾问典型的以职能为中心的思维模式，拥抱更广阔、更具战略性的视角。 从“如何”到“…
阅读更多...
手把手教你在QQ微信上AI变声器安装和使用（软件下载）

手把手教你在QQ微信上AI变声器安装和使用（软件下载）

获取方式：点击下载 你相信互联网上还有真的东西么？我反正越来越不相信了！ 比如，和你在网上眉来眼去语音撩骚的小姐姐，可能就是一个抠脚大汉。 而抠脚大汉，也可以是一个漂亮的小姐姐。 o(*￣︶…
阅读更多...
发表EI论文相当于SCI几区？

发表EI论文相当于SCI几区？

EI（工程索引）本身并不进行分区，它是一个收录工程领域高质量文献的数据库，与SCI（科学引文索引）的分区制度不同。然而，在非正式的学术评价中，有时人们会将EI与SCI的分区进行比较。 虽…
阅读更多...
西南交通大学【算法分析与设计实验2】

西南交通大学【算法分析与设计实验2】

实验2.3 m_Coloring算法时间复杂性分析 实验目的 （1）实验比较数据输入规模对算法执行时间的影响。 （2）实验比较不同算法对问题求解时间的影响。 （3）掌握算法时间效率的分析方法。 实验任务 &#xff0…
阅读更多...
SwinIR: Image Restoration Using Swin Transformer（ICCV 2021）含代码复现

SwinIR: Image Restoration Using Swin Transformer（ICCV 2021）含代码复现

目录 一、Introduction 1 Motivation 2 Contribution 二、原理分析 1 Network Architecture 1）Shallow feature extraction 2) deep feature extraction 3) image reconsruction modules 4) loss function 2 Residual Swin Transformer Block 三、实验结果…
阅读更多...
认识String类

认识String类

文章目录 String类字符串的遍历字符串的比较字符串的替换字符串的转换字符串的切割字符串的切片字符串的查找 总结 String类 在C语言中已经涉及到字符串了，但是在C语言中要表示字符串只能使用字符数组或者字符指针，可以使用标准库提 供的字符串系列函数完…
阅读更多...
vue3实现echarts——小demo

vue3实现echarts——小demo

版本&#xff1a; 效果&#xff1a; 代码&#xff1a; <template><div class"middle-box"><div class"box-title">检验排名TOP10</div><div class"box-echart" id"chart1" :loading"loading1"&…
阅读更多...
WAF的新选择，雷池 SafeLine-安装动态防护使用指南

WAF的新选择，雷池 SafeLine-安装动态防护使用指南

什么是 WAF WAF 是 Web Application Firewall 的缩写&#xff0c;也被称为 Web 应用防火墙。 区别于传统防火墙&#xff0c;WAF 工作在应用层&#xff0c;对基于 HTTP/HTTPS 协议的 Web 系统有着更好的防护效果&#xff0c;使其免于受到黑客的攻击&#xff1b; 通俗来讲&#…
阅读更多...
什么是 MySQL 锁等待？

什么是 MySQL 锁等待？

本文基于 MySQL 8.0.32 源码&#xff0c;存储引擎为 InnoDB。 1. 先排队 不管是加表锁&#xff0c;还是加行锁&#xff0c;如果不能立即获得锁&#xff0c;加锁事务都需要进入锁等待状态。 事务进入锁等待状态&#xff0c;需要用锁结构来排队。和立即获得锁时的锁结构一样&am…
阅读更多...
【Python+微信小程序】学生考勤签到系统（已开源）

【Python+微信小程序】学生考勤签到系统（已开源）

1. 简介 &#x1f61d; 这个项目是一款基于微信小程序和Flask框架开发的应用&#xff0c;旨在帮助学校管理学生的考勤和课程信息。系统通过集成数据库管理、API开发以及前后端交互&#xff0c;实现了便捷的学生考勤记录、课程表管理和教师交互功能。其主要特点包括&#xff1a…
阅读更多...
intellij idea中使用R语言plot画图无图像问题

intellij idea中使用R语言plot画图无图像问题

1、在intellij idea中使用R语言plot函数时&#xff0c;会遇到各种各样的问题&#xff0c;会出现图片不显示问题&#xff0c; 可以看到&#xff0c;目前我电脑r语言版本为4.2.1&#xff0c;输入下面代码&#xff1a; # # 安装包 # install.packages(ggplot2) # library(ggplot2…
阅读更多...
AI是在帮助开发者还是取代他们

AI是在帮助开发者还是取代他们

目录 1.概述 1.1.AI助力开发者 1.2.AI对开发者的挑战 2.AI工具现状 2.1. GitHub Copilot 2.2. TabNine 2.3.小结 3.AI对开发者的影响 3.1.对开发者的影响 3.2.开发者需要掌握的新技能 3.3.在AI辅助的环境中保持竞争力的策略 4.AI开发的未来 5.总结 1.概述 生成式…
阅读更多...
【VScode】常用配置

【VScode】常用配置

1.indenticator 增加白色竖条&#xff0c;显示方法范围 2.Git Graph 给git变换分支增添颜色区分 3.Vue 系列 vue 系列&#xff1a;给纯白色代码添加 颜色区分 3.eslint eslint警告&#xff0c;比如{ } 只写了半个会标红提示错误 等错误信息提示 需要配置js等页面 非下…
阅读更多...
使用CiteSpace软件对知网文献进行关键词共现/聚类/突现分析

使用CiteSpace软件对知网文献进行关键词共现/聚类/突现分析

&#x1f935;‍♂️ 个人主页&#xff1a;艾派森的个人主页 ✍&#x1f3fb;作者简介&#xff1a;Python学习者 &#x1f40b; 希望大家多多支持&#xff0c;我们一起进步&#xff01;&#x1f604; 如果文章对你有帮助的话&#xff0c; 欢迎评论 &#x1f4ac;点赞&#x1f4…
阅读更多...
【前端】vue 报错：The template root requires exactly one element

【前端】vue 报错：The template root requires exactly one element

【前端】vue 报错&#xff1a;The template root requires exactly one element 写在最前面Prettier - Code formatter插件解决 Vue 报错&#xff1a;The template root requires exactly one element错误原因示例 解决方法更复杂的示例使用 Fragment 解决问题 小结 &#x1f3…
阅读更多...
深度学习——卷积神经网络（convolutional neural network）CNN详解（一）——概述. 步骤清晰0基础可看

深度学习——卷积神经网络（convolutional neural network）CNN详解（一）——概述. 步骤清晰0基础可看

在CNN的学习过程中我会提供相应的手算例子帮助理解训练过程。 其他关于神经网络的学习链接如下&#xff1a; 一、了解卷积神经网络 卷积神经网络的作用 总的来说&#xff0c;卷积神经网络的第一个主要作用是对图像进行特征提取&#xff0c;所谓特征提取&#xff0c;就是明白…
阅读更多...
亚马逊测评策略全攻略：详析各方案优势与局限，你精通了吗？

亚马逊测评策略全攻略：详析各方案优势与局限，你精通了吗？

亚马逊测评&#xff0c;一个绕不开的话题。不管是对于新手卖家还是资深卖家来说&#xff0c;它都是提升产品销量和排名的有效手段之一。接下来&#xff0c;我将为大家详细解析亚马逊测评的各种方式和注意事项。 一、精准筛选真人测评资源 在寻找真人测评资源时&#xff0c;许多…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023