mysql优化之索引

news2024/11/20 8:27:46

索引官方定义:索引是帮助mysql高效获取数据的数据结构。

索引的目的在于提高查询效率,可以类比字典。

可以简单理解为:排好序的快速查找数据结构

在数据之外,数据库系统还维护着满足特定查找算法的数据结构,这种数据结构以某种方式(引用)指向数据。
这样就可以在这些数据结构的基础上实现高级查找算法,这种数据结构就是索引。

例如将id加索引,在mysql数据库里开辟一块存储空间来存放索引数据,查询的时候如果根据id去查询,就要走这个索引库,在索引库找到之后,就能定位这条数据,因为索引库的每一项和数据库的物理地址是绑定的,你能找到这条索引,就能找到这条数据所对应的物理地址,就可以直接获取这条数据。

在这里插入图片描述
一般来说索引本身也很大,不可能全部存储在内存中,因此索引往往以索引文件的形式存储在磁盘上。

索引结构

我们平常所说的索引,如果没有特别指明,都是指B树(多路搜索树,并不一定是二叉的)结构组织的索引。
其中聚集索引,次要索引,覆盖索引,复合索引,前缀索引,唯一索引默认都是使用B+树索引,统称索引。
当然,除了B+树这种类型的索引外,还有哈希索引等。

BTree索引、hash索引、full-text全文索引、R-Tree索引,我们只关注BTree索引

BTree索引检索原理

在这里插入图片描述
在这里插入图片描述

索引数据为什么快?

  1. 索引数据存放是有规则的,顺序的,
  2. 查询的时候是有些算法的,例如最简单的折半
    例如索引1-26,我们找16,
    折半先找13,16比13大,就找13-26的中间值,19,
    19比16大,就找13-19的中间值,16,就找着了

如果不使用索引,就是一条条找,得找16次才能找到

索引的优缺点

  • 优点
  1. 提高数据检索的效率,降低数据库的io成本
  2. 通过索引列对数据进行排序,降低数据排序的成本,降低了cpu的消耗
  • 缺点
  1. 实际上索引也是一张表,该表保存了主键与索引字段,并指向实体表的记录,所以索引列也是要占用空间的
    索引需要占物理空间,除了数据表占数据空间之外,每一个索引还要占一定的物理空间,如果要建立聚簇索引,那么需要的空间就会更大。

  2. 虽然索引大大提高了查询速度,却会降低更新表的速度,如对表进行增删改。
    因为更新表时,mysql不仅要保存数据,还要更新添加了索引列的字段,也会调整因为更新所带来的键值变化后的索引信息

  3. 创建索引和维护索引要耗费时间,这种时间随着数据量的增加而增加。
    索引只是提高效率的一个因素,如果你的mysql有大数据量的表,就需要花时间研究建立最优秀的索引,或优化查询

    例如我们猜测客户可能会按照这样的字段去查询,就把索引建到这个字段上面,但是后面根据点击率分析和客户所筛选的条件发现,经常查询另一个字段,索引就需要优化和调整。

什么时候需要/不需要创建索引?

需要创建索引

  • 主键自动建立唯一索引
  • 频繁作为查询条件的字段应该创建索引
  • 查询中排序、统计、分组的字段
  • 查询中与其他表关联的字段,外键关系建立字段

不需要创建索引

  • 表记录太少

  • 更新非常频繁的字段不适合创建索引

    除了更新数据本身外还需要更新BTree树,数据量大的话是很耗费资源的。

  • Where条件里用不到的字段不创建索引

  • 唯一性太差(字段好多都是同一个值)(在查询的时候会索引失效)的字段不适合单独(可以使用联合索引)创建索引,即使频繁作为查询条件;

索引能够极大的提高数据检索效率,也能够改善排序分组操作的性能,但是我们不能忽略的一个问题就是索引是完全独立于基础数据之外的一部分数据,更新数据会带来的IO量和调整索引所致的计算量的资源消耗。

在这里插入图片描述

索引分类

  1. 单值索引:一个索引只包含一个列,一个表可以有多个单列索引
  2. 唯一索引:索引列的值必须唯一(身份证号),但允许有空值
  3. 复合索引:一个索引包含多列
# 创建
CREATE [UNIQUE] INDEX indexName on myTable(columnname(length));
ALTER mytable ADD [UNIQUE] INDEX [indexName] ON (columnname(length));

# 删除
DROP INDEX [indexName] ON mytable;

# 查看
SHOW INDEX FROM tableName;




# 四种方式来添加数据表的索引

# 添加一个主键,代表索引值必须是唯一的,且不能为null
ALTER TABLE tbl_name ADD PRIMARY KEY(column_list);

# 索引值必须是唯一的(除了null外,null可能会出现多次)
ALTER TABLE tbl_name ADD UNIQUE index_name(column_list);

# 添加普通索引,索引值可重复
ALTER TABLE tbl_name ADD INDEX index_name(column_list);

# 指定索引为FULLTEXT,用于全文索引
ALTER TABLE tbl_name ADD FULLTEXT index_name(column_list);

性能分析前提知识

mysql query optimizer mysq查询优化器

在这里插入图片描述

mysql常见瓶颈

在这里插入图片描述

explain 解释,查看sql执行计划

在这里插入图片描述
作用

  1. 表的读取顺序
  2. 数据读取操作的操作类型
  3. 哪些索引可以使用(哪些索引被实际使用)
  4. 表之间的引用
  5. 每张表有多少行被优化器查询

使用

mysql> explain select * from tbl_emp;
+----+-------------+---------+------------+------+---------------+------+---------+------+------+----------+-------+
| id | select_type | table   | partitions | type | possible_keys | key  | key_len | ref  | rows | filtered | Extra |
+----+-------------+---------+------------+------+---------------+------+---------+------+------+----------+-------+
|  1 | SIMPLE      | tbl_emp | NULL       | ALL  | NULL          | NULL | NULL    | NULL |    8 |   100.00 | NULL  |
+----+-------------+---------+------------+------+---------------+------+---------+------+------+----------+-------+
1 row in set, 1 warning (0.00 sec)


# id(表的读取顺序)
# 	select查询的序列号,包含一组数字,表示查询中执行select子句或操作表的顺序。
#	id相同,执行顺序由上至下(就是说先加载的是tbl_dept表)
#		执行顺序和sql的编写顺序有没有关系暂时未知,测试的话是没有关系的
# 	id越大越先被执行,(如果是子查询,id的序号会递增)
#	id有相同有不同
# 		在一个sql语句中,id既有相同的,也有不同的
#		id相同,顺序执行,id越大越先被执行
#		出现这种情况实际上就是有一张虚表,就是查出一张表来给它取个别名,但是我和老师的sql一模一样就是结果不一样,有时间再看这个吧
mysql> explain select * from tbl_emp te, tbl_dept td where te.deptId=td.id;
+----+-------------+-------+------------+------+---------------+------+---------+------+------+----------+----------------------------------------------------+
| id | select_type | table | partitions | type | possible_keys | key  | key_len | ref  | rows | filtered | Extra                                              |
+----+-------------+-------+------------+------+---------------+------+---------+------+------+----------+----------------------------------------------------+
|  1 | SIMPLE      | td    | NULL       | ALL  | PRIMARY       | NULL | NULL    | NULL |    5 |   100.00 | NULL                                               |
|  1 | SIMPLE      | te    | NULL       | ALL  | fk_dept_id    | NULL | NULL    | NULL |    8 |    20.00 | Using where; Using join buffer (Block Nested Loop) |
+----+-------------+-------+------------+------+---------------+------+---------+------+------+----------+----------------------------------------------------+
2 rows in set, 1 warning (0.00 sec)




mysql> explain select * from tbl_dept where id=(select deptId from tbl_emp where id=1);
+----+-------------+----------+------------+-------+---------------+---------+---------+-------+------+----------+-------+
| id | select_type | table    | partitions | type  | possible_keys | key     | key_len | ref   | rows | filtered | Extra |
+----+-------------+----------+------------+-------+---------------+---------+---------+-------+------+----------+-------+
|  1 | PRIMARY     | tbl_dept | NULL       | const | PRIMARY       | PRIMARY | 4       | const |    1 |   100.00 | NULL  |
|  2 | SUBQUERY    | tbl_emp  | NULL       | const | PRIMARY       | PRIMARY | 4       | const |    1 |   100.00 | NULL  |
+----+-------------+----------+------------+-------+---------------+---------+---------+-------+------+----------+-------+
2 rows in set, 1 warning (0.00 sec)




# select_type,表示select_type语句的类型(数据读取操作的操作类型)
#	simple,表示简单查询,其中不包含连接查询和子查询
#	primary,表示主查询,或者是最外面的查询语句(最后加载的那个)
# 	subquery,在select或where列表中包含了子查询
# 	derived,from列表包含的子查询,mysql会递归执行这些子查询,把结果放在临时表里。
#	union,若第二个select出现在union之后,则被标记为union;
#		若union包含在from子句的子查询中,外层select将被标记为derived
# union result 从union表获取结果的select





# type,访问类型,显示查询使用了何种类型
# 从最好到最差依次是(以下是常见的,除此之外还有很多种):
# 一般来说,得保证查询至少打到range级别,最好能达到ref
# system > const > eq_ref > ref > range > index > all
#	system 表只有一行记录(等于系统表),这是const类型的特例,平时不会出现,可以忽略不记

#	const 表示通过索引一次就找到了,const用于比较primary key或者unique索引。
#		因为只匹配一行数据,所以很快
#		如将主键置于where列表中,mysql就能将该查询转换为一个常量。

#	eq_ref 唯一性索引扫描,对于每个索引键,表中只有一条记录与之匹配。常见于主键或唯一索引扫描
#		例如两表连接,对外键设置索引,此时两表连接查询只查询到一条记录
#		例如员工表和部门表,而此时查的部门是ceo办公室,自然就只有一条记录
#简单地说是const是直接按主键或惟一键读取,eq_ref用于联表查询的状况,按联表的主键或惟一键联合查询。

#	ref 非唯一性索引扫描,返回匹配某个单独值的所有行。

#	range 只检索给定范围的行,使用一个索引来选择行
#		例如在where语句中出现between、<、>、in等的查询
#		这种范围扫描索引比全表扫描要好,因为它只需要开始于索引的某一点,而结束于另一点,不用扫描全部索引。

#	index 与all区别为index类型只遍历索引树。这通常比all快,因为索引文件通常比数据文件小。

#	all 全表扫描






# possible_keys
#	显示可能应用在这张表中的索引,一个或多个。
#	查询涉及到字段上若存在索引,则该索引将被列出,但不一定被查询实际使用



# key
#	实际使用的索引。如果为null,则没有使用索引
#	查询中若使用了覆盖索引,则该索引仅出现在key列表中
#		覆盖索引:sql语句中查询的字段和复合索引的字段、顺序都一致


# key_len
#	表示索引中使用的字节数,可通过该列计算查询中使用的索引的长度。在不损失精确性的情况下,长度越短越好
#		精度的意思是,where后跟一个条件,索引长度肯定更小,但是精度也更小
#		如果再跟一个条件,索引长度大了,但是精度肯定高了
#	key_len显示的值为索引字段的最大可能长度,并非实际使用长度,即key_len是根据表定义计算而得,不是通过表内检索出的



# ref
#	显示索引的哪一列被使用了,如果可能的话,是一个常数。哪些列或常量被用于查找索引列上的值
#		这句话的意思是,如果那一列where后面的条件值是个常量的话就显示 const,否则就是列名



# rows
#	根据表统计信息及索引选用情况,大致估算出找到所需的记录所需要读取的行数



# filtered
#	存储引擎返回的数据在server层过滤后,剩下多少满足查询的记录数量的比例
#	只做参考,不需要刻意关注

extra 包含不适合在其他列中显示但十分重要的额外信息

# using filesort(不好,尽量消除)
#	说明mysql会对数据使用一个外部的索引排序,而不是按照表内的索引顺序读取
#	mysql中无法利用索引完成的排序操作称为 文件排序
#		大概意思就是我们自己建立的索引因为一些原因没有或部分使用到,mysql内部自己又建立了一个索引

在这里插入图片描述
以上实例,索引的顺序如果和查询排序的字段一致的话,就不会出现 using filesort,效率就更高,反之则效率更低

# Using temporary(不好,尽量消除)
#	使用临时表保存中间结果,mysql在对查询结果排序时使用临时表。
#	常见于 order by 和 group by
# 	会加大空间的占用,影响效率

在这里插入图片描述

# using index
#	表示相应的select操作中使用了覆盖索引,避免访问了表的数据行,效率不错!
#	如果同时出现using where,表明索引被用来执行索引键值的查找
#	如果没有同时出现using where,表明索引用来读取数据而非执行查找动作


# using where
#	使用了where过滤


# using join buffer
#	使用了连接缓存
#	join使用过多,可以把配置文件的缓冲区调大
# 


# impossible where
#	where子句的值总是false,不能用来获取任何元组
#	例如 where name='zs' and name = 'ls'
#		一个人是不会有两个名字的

using filesort,using temporary, using index是重点,其他了解即可

demo

在这里插入图片描述
在这里插入图片描述

单表优化案例

/*
UNSIGNED
	unsigned(无符号)是一种数据类型的修饰符。它可以用于整型数据类型,例如INT、BIGINT等。
		在无符号的二进制表示中,数据类型将仅仅包含非负整数。

使用unsigned的主要好处是它可以在不改变数据类型的前提下,增加数据类型所能存储的最大值。
		例如,INTUNSIGNED的最大值为4294967295,而INT的最大值仅为2147483647。
		这可以极大地提高存储空间的利用率,并且可以避免使用较大的数据类型来存储小的非负整数。

*/

show tables;
CREATE TABLE if	NOT EXISTS article(
	id INT(10) UNSIGNED NOT NULL PRIMARY KEY auto_increment,
	author_id int(10) UNSIGNED NOT NULL,
	category_id int(10) UNSIGNED NOT NULL,
	views int(10) UNSIGNED NOT NULL,
	comments int(10) UNSIGNED NOT NULL,
	title VARBINARY(255) NOT NULL,
	content text NOT NULL
	
)



INSERT INTO article(`author_id`,`category_id`,`views`,`comments`,`title`,`content`) VALUES (1,1,1,1,'1','1'),
(2,2,2,2,'2','2'),
(3,3,3,3,'3','3')




# 查询category_id为1且comments大于1的情况下,views最多的article_id
mysql> explain select id,author_id from article where category_id = 1 and comments>1 order by views desc limit 1;
+----+-------------+---------+------------+------+---------------+------+---------+------+------+----------+-----------------------------+
| id | select_type | table   | partitions | type | possible_keys | key  | key_len | ref  | rows | filtered | Extra                       |
+----+-------------+---------+------------+------+---------------+------+---------+------+------+----------+-----------------------------+
|  1 | SIMPLE      | article | NULL       | ALL  | NULL          | NULL | NULL    | NULL |    4 |    25.00 | Using where; Using filesort |
+----+-------------+---------+------------+------+---------------+------+---------+------+------+----------+-----------------------------+
1 row in set, 1 warning (0.00 sec)


# 很显然,type all和Using filesort 都是最坏的情况,必须优化




# 一眼看到这个题是应该创建category_id,comments,views的符合索引
#	索引确实被用到了,但是文件排序依然存在
#	原因是因为 > 会导致索引失效,使索引断了

# 那我们就跳过它,只为其他两个字段建立复合索引
mysql> create index category_views on article (category_id,views);

mysql> explain select id,author_id from article where category_id = 1 and comments=1 order by views desc limit 1;
+----+-------------+---------+------------+------+----------------+----------------+---------+-------+------+----------+-------------+
| id | select_type | table   | partitions | type | possible_keys  | key            | key_len | ref   | rows | filtered | Extra       |
+----+-------------+---------+------------+------+----------------+----------------+---------+-------+------+----------+-------------+
|  1 | SIMPLE      | article | NULL       | ref  | category_views | category_views | 4       | const |    2 |    25.00 | Using where |
+----+-------------+---------+------------+------+----------------+----------------+---------+-------+------+----------+-------------+
1 row in set, 1 warning (0.00 sec)

这个说的是建立三个字段的索引的情况
在这里插入图片描述

正如丘吉尔所说,世界上没有永远的朋友,也没有永远的敌人,只有永恒的利益。

鬼吹灯
天下霸唱

部分知识引用自:
https://www.bilibili.com/video/BV1KW411u7vy/?p=5&spm_id_from=pageDriver&vd_source=64c73c596c59837e620fed47fa27ada7

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1035374.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

面试题:ElasticSearch是什么?应用场景是什么?

文章目录 1、什么是搜索2、如果用数据库做搜索会怎么样3、什么是全文检索、倒排索引和Lucene4、ElasticSearch是什么ElasticSearch的功能ElasticSearch的应用场景ElasticSearch的特点 ElasticSearch是一个分布式&#xff0c;高性能、高可用、可伸缩的搜索和分析系统 看了上面这…

泛型编程<T extends Comparable<? super T>>是什么意思

今天看到了两个这样的写法,非常好奇。 <T extends Comparable<? super T>>public class BplusTree<K extends Comparable </K/>,V>下面是不同人对这种写法的解释 大概理解的意思是实现不同类之间属性的对比 转载链接 这段代码是什么意思呢 public…

小米系列机型--MIUI14关闭广告 推送广告 开屏广告 通用其他miui版本

在现代社会中&#xff0c;手机广告已经成为我们日常生活中的一种困扰。每当我们使用手机时&#xff0c;不断弹出的广告不仅打扰了我们的正常操作&#xff0c;还消耗了我们的流量和电池电量&#xff0c;以小米机型为例.根据下方的设置完以后基本手机就相对来说很干净。 以前博文…

2000-2019年高新技术企业统计情况

2000-2019年高新技术企业统计情况 1、时间&#xff1a;2000-2019年 2、指标&#xff1a;统计年度、所属省份、所属省份代码、所属城市、所属城市代码、认定对象身份、认定总次数、涉及公司总数量 3、来源&#xff1a;csmar 4、指标说明&#xff1a; SgnYear [统计年度] - …

高效查询大量快递信息,轻松掌握技巧

在如今快节奏的生活中&#xff0c;快递已经成为我们日常不可或缺的一部分。然而&#xff0c;对于一些忙碌的人来说&#xff0c;单个查询每一个快递单号可能会浪费太多时间。因此&#xff0c;我们需要一款可以帮助我们批量查询快递的软件。 在市场上&#xff0c;有很多款专门用于…

vue+express、gitee pm2部署轻量服务器(20230923)

一、代码配置 前后端接口都保持 127.0.0.1:3000 vue 项目 创建文件 pm2.config.cjs module.exports {apps: [{name: xin-web, // 应用程序的名称script: npm, // 启动脚本args: run dev, // 启动脚本的参数cwd: /home/vue/xin_web, // Vite 项目的根目录interpreter: none,…

Matlab图像处理-模式识别

模式识别 模式识别就是用计算的方法根据样本的特征将样本划分到一定的类别中去。模式识别就是通过计算机用数学技术方法来研究模式的自动处理和判读&#xff0c;把环境与客体统称为“模式”。模式识别以图像处理与计算机视觉、语音语言信息处理、脑网络组、类脑智能等为主要研…

奇舞周刊第507期:通过 View Transition API 在状态之间添加丰富的过渡动画

记得点击文章末尾的“ 阅读原文 ”查看哟~ 下面先一起看下本期周刊 摘要 吧~ 奇舞推荐 ■ ■ ■ 通过 View Transition API 在状态之间添加丰富的过渡动画 W3C 2023 年度全球技术大会 (TPAC2023) 于今年9月 11 - 15 日召开。W3C CSS 工作组成员 Bramus Van Damme(Google) 为本届…

学习ssh配置

三台设备ar1、ar2、ar3 ar1 通过ssh密码方式登陆ar3 ar2 通过免密码方式登陆ar3 ar3的配置如下&#xff1a;进入路由器 rsa local-key-pair creat 选择y&#xff08;yes&#xff09; Input the bits in the modulus[default 512]:2048 //需要创建密钥的长度user-interface v…

RocketMQ生产环境常见问题分析与总结

一、 RocketMQ 如何保证消息不丢失 这个是在面试时&#xff0c;关于 MQ &#xff0c;面试官最喜欢问的问题。这个问题是所有 MQ 都需要面对的一个共性问题。大致的解决思路都是一致的&#xff0c;但是针对不同的MQ 产品又有不同的解决方案。分析这个问题要从以下几个角度入手&…

【C++】bitset位图的简单模拟实现及常见面试题

文章目录 前言一、 bitset模拟实现二、 常见面试题1.给你一百亿个整数&#xff0c;找到只出现一次的数字2. 给两个文件&#xff0c;分别有100亿个整数&#xff0c;我们只有1G内存&#xff0c;如何找到两个文件交集&#xff1f; 前言 快速查找某个数据是否在一个集合中排序 去重…

Java Fluent编程

背景 Fluent Api最早是由Martin Fowler1提出的一种简洁的编程风格, 其每一步的执行都返回一个对象并可用于进一步的方法调用. 这样的编程风格可以很好的简化某些领域的开发, 并显著地提高代码的可读性和可维护性. 无论是在Java的流式api中, 还是众多DLS中都有它的身影. 原因主…

应急响应学习

网站 首先确定网站的基本信息&#xff0c;如语言&#xff0c;数据库&#xff0c;中间件&#xff0c;CMS&#xff0c;系统等。对网站可能存在的漏洞有初步判断 基于时间分析 询问管理员&#xff0c;确定网站发生异常的时间 查看日志&#xff0c;查看状态码&#xff0c;200为成…

Avl树(有详细图解)

目录 介绍 引入 概念 特点 模拟实现 思路 插入 旋转 左旋 无子树 有子树 右旋 无子树 有子树 左右旋 引入(也就是有子树版本的抽象图解) 解决方法(也就是左右旋) 总结 无子树(也就是curright的位置就是newnode) 有子树 模型高度解释 旋转 更新三个…

如何像开发人员一样思考_成为一个问题解决者

程序员在处理大问题时通常会将其分解成多个小问题来解决。这个过程通常被称为“分解”或“分治”&#xff0c;它是一种将复杂问题分解成可管理的小问题的方法。 以下是程序员思考如何将大问题分解成小问题的一些步骤&#xff1a; 确定问题域&#xff1a;程序员需要了解和理解问…

Kettle REST Client获取token调用接口解析JSON入文件实战

Kettle REST Client通过GET获取token以POST方式请求接口解析JSON入文件完整实例 需求说明 通过kettle组件调用接口并解析JSON成结构化数据入文件。 完整实例 解决方法 利用生成记录组件定义URL参数通过REST ClENT组件请求得到TOKEN通过JSON INPUT组件解析接口请求的结果通过…

vue3新语法糖<script setup>

各种使用方法参考&#xff1a;(184条消息) 【vue3学习系列】组合式api中&#xff0c;替代setup()函数的&#xff1c;script setup&#xff1e;特性写法_庞囧的博客-CSDN博客https://blog.csdn.net/pagnzong/article/details/121733394 一、参考&#xff1a;Vue3 script setup …

Git版本控制:入门到精通

&#x1f337;&#x1f341; 博主猫头虎&#xff08;&#x1f405;&#x1f43e;&#xff09;带您 Go to New World✨&#x1f341; &#x1f984; 博客首页——&#x1f405;&#x1f43e;猫头虎的博客&#x1f390; &#x1f433; 《面试题大全专栏》 &#x1f995; 文章图文…

简单的自托管书签服务NeonLink

什么是 NeonLink &#xff1f; NeonLink 是一个简单且开源的自托管书签服务。它是轻量级的&#xff0c;使用最少的依赖项&#xff0c;并且易于通过 Docker 安装。由于系统要求较低&#xff0c;该应用程序非常适合部署在 RaspberryPI 上。 安装 在群晖上以 Docker 方式安装。 …

图片可变码怎么做?可编辑二维码制作教程

现在很多人会将拍摄的图片转二维码来展示&#xff0c;这种方法能够有效的让更多人更快的查看图片内容&#xff0c;那么图片生成二维码该怎么做呢&#xff1f;有些小伙伴知道现在二维码可以在图案不变情况下修改内容&#xff0c;如果我们需要不断填充照片&#xff0c;那么这种类…