4.索引的设计原则

4.1.数据准备

a.创建数据库、创建表

CREATE DATABASE atguigudb1;
USE atguigudb1;

# 创建学生表和课程表
CREATE TABLE `student_info` (
 `id` INT(11) AUTO_INCREMENT,
 `student_id` INT NOT NULL ,
 `name` VARCHAR(20) DEFAULT NULL,
 `course_id` INT NOT NULL ,
 `class_id` INT(11) DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
 `create_time` DATETIME DEFAULT NULL,
 PRIMARY KEY (`id`)
) ENGINE=INNODB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8;


CREATE TABLE `course` (
`id` INT(11) NOT NULL AUTO_INCREMENT,
`course_id` INT NOT NULL ,
`course_name` VARCHAR(40) DEFAULT NULL,
PRIMARY KEY (`id`)
) ENGINE=INNODB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8;

需要注意的是如果 MySQL 的版本是 5.7 以下的，那么在创建 student_info 表时会提示如下错误：
Invalid default value for ‘create_time’，因为低版本的 MySQL 中不支持 CURRENT_TIMESTAMP 默认值，所以可以将改行语句改为：create_time DATETIME DEFAULT NULL,

b.创建模拟数据必需的存储函数

b1.创建随机产生字符串函数和随机数函数

• 1.SQL

# 函数 1：创建随机产生字符串函数
DELIMITER //
CREATE FUNCTION rand_string(n INT) 
	RETURNS VARCHAR(255) #该函数会返回一个字符串
BEGIN 
	DECLARE chars_str VARCHAR(100) DEFAULT 'abcdefghijklmnopqrstuvwxyzABCDEFJHIJKLMNOPQRSTUVWXYZ';
	DECLARE return_str VARCHAR(255) DEFAULT '';
	DECLARE i INT DEFAULT 0;
	WHILE i < n DO 
       SET return_str =CONCAT(return_str,SUBSTRING(chars_str,FLOOR(1+RAND()*52),1));
       SET i = i + 1;
    END WHILE;
    RETURN return_str;
END //
DELIMITER ;

# 函数 2：创建随机数函数
DELIMITER //
CREATE FUNCTION rand_num (from_num INT ,to_num INT) RETURNS INT(11)
BEGIN   
DECLARE i INT DEFAULT 0;  
SET i = FLOOR(from_num +RAND()*(to_num - from_num+1))   ;
RETURN i;  
END //
DELIMITER ;

• 2.在创建随机产生字符串函数时，可能会报错：

This function has none of DETERMINISTIC......

• 3.原因：由于开启过慢查询日志 bin-log, 我们就必须为我们的 function 指定一个参数。主从复制，主机会将写操作记录在 bin-log 日志中。从机读取 bin-log 日志，执行语句来同步数据。如果使用函数来操作数据，会导致从机和主键操作时间不一致。所以，默认情况下，mysql 不开启创建函数设置。开启方式如下：

SELECT @@log_bin_trust_function_creators;
# 如果不加 global 那么就只是当前窗口有效
SET GLOBAL log_bin_trust_function_creators = 1;

• 4.上述方法并不是永久性开启，如果 MySQL 重启，上述参数又会消失。永久开启的方法如下：
  • windows下：my.ini[mysqld] 加上：log_bin_trust_function_creators=1
  • linux下：/etc/my.cnf下my.cnf[mysqld]加上：log_bin_trust_function_creators=1

b2.创建插入课程表存储过程和插入学生信息表存储过程

• 1.存储过程SQL

# 存储过程 1：创建插入课程表存储过程
DELIMITER //
CREATE PROCEDURE  insert_course( max_num INT )
BEGIN  
DECLARE i INT DEFAULT 0;   
 SET autocommit = 0;    #设置手动提交事务
 REPEAT  #循环
 SET i = i + 1;  #赋值
 INSERT INTO course (course_id, course_name ) VALUES (rand_num(10000,10100),rand_string(6));  
 UNTIL i = max_num  
 END REPEAT;  
 COMMIT;  #提交事务
END //
DELIMITER;

# 存储过程 2：创建插入学生信息表存储过程
DELIMITER //
CREATE PROCEDURE  insert_stu( max_num INT )
BEGIN  
DECLARE i INT DEFAULT 0;   
 SET autocommit = 0;    #设置手动提交事务
 REPEAT  #循环
 SET i = i + 1;  #赋值
 INSERT INTO student_info (course_id, class_id ,student_id ,NAME ) VALUES (rand_num(10000,10100),rand_num(10000,10200),rand_num(1,200000),rand_string(6));  
 UNTIL i = max_num  
 END REPEAT;  
 COMMIT;  #提交事务
END //
DELIMITER ;

b3.调用存储过程并查看结果

CALL insert_course(100);
SELECT COUNT(*) FROM course;

# 创建 1000000 条数据所用的时间可能长一点
CALL insert_stu(1000000);
SELECT COUNT(*) FROM student_info;

---

4.2.关闭缓存：

a.说明：

下面将介绍一些适合创建索引的情况，并且会用上面的数据进行测试。由于有些低版本的 MySQL 默认开启了查询缓存，所以为了反映真实的效果，需要关闭查询缓存。

• 1.执行SQL查看缓存开启与否:SHOW VARIABLES LIKE ‘%query_cache%’
  

b.关闭查询缓存的方法：

临时关闭:

set global query_cache_size=0
set global query_cache_type=0

永久关闭

# 修改 MySQL 配置文件
# windows下：my.ini[mysqld] 加上/设置：
query_cache_size=0
query_cache_type=0

# linux下：/etc/my.cnf下my.cnf[mysqld]加上/设置：
query_cache_size=0
query_cache_type=0

修改 MySQL 配置文件后需要重启 MySQL ，设置才能生效

c.再次查看缓存开启状态：

---

4.3.哪些情况适合创建索引

a.字段的数值有唯一性的限制:

• 1.索引本身可以起到约束的作用，比如唯一索引、主键索引都是可以起到唯一性约束的，因此在我们的数据表中，如果某个字段是唯一性的，就可以直接创建唯一性索引，或者主键索引。这样可以更快速地通过该索引来确定某条记录。
• 2.例如，学生表中学号是具有唯一性的字段，为该字段建立唯一性索引可以很快确定某个学生的信息，如果使用姓名的话，可能存在同名现象，从而降低查询速度。

业务上具有唯一特性的字段，即使是组合字段，也必须建成唯一索引。（来源：Alibaba）
说明：不要以为唯一索引影响了 insert 速度，这个速度损耗可以忽略，但提高查找速度是明显的

b.频繁作为 WHERE 查询条件的字段

• 1.某个字段在 SELECT 语句的 WHERE 条件中经常被使用到，那么就需要给这个字段创建索引了。尤其是在数据量大的情况下，创建普通索引就可以大幅提升数据查询的效率。
• 2.比如 student_info 数据表（含 100 万条数据），假设我们想要查询 student_id = 123110 的用户信息。

# 查看当前 stduent_info 表中的索引，目前只有主键(id)索引
SHOW INDEX FROM student_info;

# student_id 字段上没有索引
SELECT course_id, class_id, NAME, create_time, student_id 
FROM student_info
WHERE student_id = 123110;  # 375 ms

# 给 student_id 字段添加索引
ALTER TABLE student_info ADD INDEX idx_sid(student_id);

#student_id字段上有索引
SELECT course_id, class_id, NAME, create_time, student_id 
FROM student_info
WHERE student_id = 123110; # 6 ms

c.经常 GROUP BY 和 ORDER BY 的列:

c1.GROUP BY 和 ORDER BY不同时出现：

• 1.索引就是让数据按照某种顺序进行存储或检索，因此当我们使用 GROUP BY 对数据进行分组查询，或者使用 ORDER BY 对数据进行排序的时候，就需要对分组或者排序的字段进行索引。如果待排序的列有多个，那么可以在这些列上建立组合索引。
• 2.比如，按照 student_id 对学生选修的课程进行分组，显示不同的 student_id 和课程数量，显示 100 个即可。

# student_id 字段上有索引
SELECT student_id, COUNT(*) AS num 
FROM student_info 
GROUP BY student_id LIMIT 100; # 4 ms

# 删除 idx_sid 索引
DROP INDEX idx_sid ON student_info;

# student_id 字段上没有索引
SELECT student_id, COUNT(*) AS num 
FROM student_info 
GROUP BY student_id LIMIT 100;  # 689 ms

c2.GROUP BY 和 ORDER BY同时出现：

如果同时有 GROUP BY 和 ORDER BY 的情况：比如我们按照 student_id 进行分组，同时按照创建时间降序的方式进行排序，这时我们就需要同时进行 GROUP BY 和 ORDER BY，那么是不是需要单独创建 student_id 的索引和 create_time 的索引呢?

• 1.当我们对 student_id 和 create_time 分别创建索引，执行下面的 SQL 查询：

#添加单列索引
ALTER TABLE student_info
ADD INDEX idx_sid(student_id);

ALTER TABLE student_info
ADD INDEX idx_cre_time(create_time);

SELECT student_id, COUNT(*) AS num FROM student_info 
GROUP BY student_id 
ORDER BY create_time DESC 
LIMIT 100;  # 5.265 s

如果出现 this is incompatible with sql_mode=only_full_group_by 等错误信息，可执行下面的语句

SELECT @@sql_mode;
SET @@sql_mode = 'STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_ENGINE_SUBSTITUTION';

• 2.对 student_id 和 create_time 创建联合索引

ALTER TABLE student_info
ADD INDEX idx_sid_cre_time(student_id,create_time DESC);

SELECT student_id, COUNT(*) AS num FROM student_info 
GROUP BY student_id 
ORDER BY create_time DESC
LIMIT 100;  # 0.257 s

• 3.如果我们创建联合索引的顺序为 (create_time, student_id) 呢？

ALTER TABLE student_info
ADD INDEX idx_cre_time_sid(create_time DESC,student_id);

DROP INDEX idx_sid_cre_time ON student_info;

SELECT student_id, COUNT(*) AS num FROM student_info 
GROUP BY student_id 
ORDER BY create_time DESC 
LIMIT 100;  # 3.790s

• 运行时间为 3.790 s，因为在进行 SELECT 查询的时候，先进行GROUP BY，再对数据进行 ORDER BY 的操作，所以按照 (student_id, create_time) 这个联合索引的顺序效率是最高的

d.UPDATE、DELETE 的 WHERE 条件列

• 1.对数据按照某个条件进行查询后再进行 UPDATE 或 DELETE 的操作，如果对 WHERE 字段创建了索引，就能大幅提升效率。
• 2.原理是因为我们需要先根据 WHERE 条件列检索出来这条记录，然后再对它进行更新或删除。如果进行更新的时候，更新的字段是非索引字段，提升的效率会更明显，这是因为非索引字段更新不需要对索引进行维护

SHOW INDEX FROM student_info;

UPDATE student_info SET student_id = 10002 
WHERE NAME = '462eed7ac6e791292a79';  # 0.733 s

#添加索引
ALTER TABLE student_info
ADD INDEX idx_name(NAME);

UPDATE student_info SET student_id = 10001 
WHERE NAME = '462eed7ac6e791292a79'; # 0.003 s

e.DISTINCT 字段需要创建索引

• 1.有时候我们需要对某个字段进行去重，使用 DISTINCT，那么对这个字段创建索引，也会提升查询效率。
• 2.比如，我们想要查询课程表中不同的 student_id 都有哪些，如果我们没有对 student_id 创建索引，执行SQL 语句：

SELECT DISTINCT(student_id) FROM `student_info`;

运行结果为：600637 条记录，运行时间 0.683s；

• 3）如果我们对 student_id 创建索引，再执行上述 SQL 语句，运行结果则为 600637 条记录，运行时间 0.010s
• 4）你能看到 SQL 查询效率有了提升，同时显示出来的 student_id 还是按照递增的顺序进行展示的。这是因为索引会对数据按照某种顺序进行排序，所以在去重的时候也会快很多。

f.多表 JOIN 连接操作时，创建索引注意事项

• 1.连接表的数量尽量不要超过 3 张，因为每增加一张表就相当于增加了一次嵌套的循环，数量级增长会非常快，严重影响查询的效率。
• 2.对 WHERE 条件创建索引，因为 WHERE 才是对数据条件的过滤。如果在数据量非常大，没有 WHERE 条件过滤是非常可怕的。
• 3.对用于连接的字段创建索引，并且该字段在多张表中的类型必须一致。比如 course_id 在 student_info 表和 course 表中都为 int(11)类型，而不能一个为 int 另一个为 varchar 类型（如果发生类型转换，则无法用上索引，查询速度会变慢）。

举个例子，如果我们只对 student_id 创建索引，执行 SQL 语句：

SELECT course_id, name, student_info.student_id, course_name 
FROM student_info 
JOIN course ON student_info.course_id = course.course_id 
WHERE name = '462eed7ac6e791292a79';

运行结果为 1 条数据，运行时间 0.189s。这里我们对 name 创建索引，再执行上面的 SQL 语句，运行时间为 0.002s 。

3.2.7.使用列的类型小的创建索引
（1）我们这里所说的类型大小指的就是该类型表示的数据范围的大小。

（2）我们在定义表结构的时候要显式的指定列的类型，以整数类型为例，有 TINYINT、MEDIUMINT、INT、BLGINT等，它们占用的存储空间依次递增，能表示的整数范围当然也是依次递增。如果我们想要对某个整数列建立索引的话，在表示的整数范围允许的情况下，尽量让索引列使用较小的类型，比如我们能使用 INT 就不要使用 BIGINT，能使用 MEDIUMINT 就不要使用 INT。这是因为：
① 数据类型越小，在查询时进行的比较操作越快；
② 数据类型越小，索引占用的存储空间就越少，在一个数据页内就可以放下更多的记录，从而减少磁盘 I/O 带来的性能损耗，也就意味着可以把更多的数据页缓存在内存中，从而加快读写效率。

（3）这个建议对于表的主键来说更加适用，因为不仅是聚簇索引中会存储主键值，其他所有的二级索引的节点处都会存储一份记录的主键值，如果主键使用更小的数据类型，也就意味着节省更多的存储空间和更高效的 I/O。

3.2.8.使用字符串前缀创建索引
（1）假设我们的字符串很长，那存储一个字符串就需要占用很大的存储空间。在我们需要为这个字符串列建立索引时，那就意味着在对应的 B+ 树中有这么两个问题：
① B+ 树索引中的记录需要把该列的完整字符串存储起来，更费时。而且字符串越长，在索引中占用的存储空间越大。
② 如果 B+ 树索引中索引列存储的字符串很长，那在做字符串比较时会占用更多的时间。

（2）我们可以通过截取字段的前面一部分内容建立索引，这个就叫前缀索引。这样在查找记录时虽然不能精确的定位到记录的位置，但是能定位到相应前缀所在的位置，然后根据前缀相同的记录的主键值回表查询完整的字符串值。既节约空间，又减少了字符串的比较时间，还大体能解决排序的问题。例如，TEXT 和 BLOG 类型的字段，进行全文检索会很浪费时间，如果只检索字段前面的若干字符，这样可以提高检索速度。

（3）创建一张商户表，因为地址字段比较长，在地址字段上建立前缀索引：

create table shop(address varchar(120) not null);

创建前缀索引，前缀长度为 12

alter table shop add index(address(12));
1
2
3
（4）问题是，截取多少呢？截取得多了，达不到节省索引存储空间的目的；截取得少了，重复内容太多，字段的散列度（选择性）会降低。怎么计算不同的长度的选择性呢？先看一下字段在全部数据中的选择度：

select count(distinct address) / count(*) from shop;
1
通过不同长度去计算，与全表的选择性对比：

公式如下：

count(distinct left(列名, 索引长度))/count(*)

例如：

select count(distinct left(address,10)) / count() as sub10, – 截取前10个字符的选择度
count(distinct left(address,15)) / count() as sub11, – 截取前15个字符的选择度
count(distinct left(address,20)) / count() as sub12, – 截取前20个字符的选择度
count(distinct left(address,25)) / count() as sub13 – 截取前25个字符的选择度
from shop;
1
2
3
4
5
6
7
8
9
（5）引申另一个问题：索引列前缀对排序的影响。
如果使用了索引列前缀，比方说前边只把 address 列的前 12 个字符放到了二级索引中，下边这个查询可能就有点儿尴尬了：

SELECT * FROM shop ORDER BY address LIMIT 12;
1
因为二级索引中不包含完整的 address 列信息，所以无法对前12个字符相同，后边的字符不同的记录进行排序，也就是使用索引列前缀的方式无法支持使用索引排序，只能使用文件排序。

（6）拓展：Alibaba《Java开发手册》
【强制】在 varchar 字段上建立索引时，必须指定索引长度，没必要对全字段建立索引，根据实际文本区分度决定索引长度。

说明：索引的长度与区分度是一对矛盾体，一般对字符串类型数据，长度为 20 的索引，区分度会高达 90% 以上，可以使用 count(distinct left(列名, 索引长度) / count(*) 的区分度来确定。

3.2.9.区分度高（散列性高）的列适合作为索引
（1）列的基数指的是某一列中不重复数据的个数，比方说某个列包含值 2，5，8，2，5，8，2，5，8，虽然有 9 条记录，但该列的基数却是3。也就是说，在记录行数一定的情况下，列的基数越大，该列中的值越分散；列的基数越小，该列中的值越集中。这个列的基数指标非常重要，直接影响我们是否能有效的利用索引。最好为列的基数大的列建立索引，为基数太小列的建立索引效果可能不好。

（2）可以使用以下公式计算区分度，越接近 1 越好，一般超过 33% 就算是比较高效的索引了。

select count(distinct a) / count(*) from t1
1
（3）拓展：联合索引把区分度高（散列性高）的列放在前面。

3.2.10.使用最频繁的列放到联合索引的左侧
这样也可以较少的建立一些索引。同时，由于"最左前缀原则"，可以增加联合索引的使用率。

3.2.11.在多个字段都要创建索引的情况下，联合索引优于单值索引
3.3.限制索引的数目
在实际工作中，我们需要限制每张表上的索引数量，因为索引的数目不是越多越好。建议单张表索引数握不超过 6 个。原因如下：
① 每个索引都需要占用磁盘空间，索引越多，需要的磁盘空间就越大。
② 索引会影响 INSERT、DELETE、UPDATE 等语句的性能，因为表中的数据更改的同时，索引也会进行调整和更新，会造成负担。
③ 优化器在选择如何优化查询时，会根据统一信息，对每一个可以用到的索引来进行评估以生成出一个最好的执行计划，如果同时有很多个索引都可以用于查询，会增加 MySQL 优化器生成执行计划时间，降低查询性能。

3.4.哪些情况不适合创建索引
3.4.1.在 where 中使用不到的字段，不要设置索引
WHERE条件（包括 GROUP BY、ORDER BY）里用不到的字段不需要创建索引，索引的价值是快速定位，如果起不到定位的字段通常是不需要创建索引的。举个例子：

SELECT course_id, student_id, create_time
FROM student_info
WHERE student_id = 41251;
1
2
3
因为我们是按照 student_id 来进行检索的，所以不需要对其他字段创建索引，即使这些字段出现在 SELECT 字段中。

3.4.2.数据量小的表最好不要使用索引
如果表记录太少，比如少于 1000 个，那么是不需要创建索引的。表记录太少，是否创建索引对查询效率的影响并不大。甚至说，查询花费的时间可能比遍历索引的时间还要短，索引可能不会产生优化效果。

3.4.3.有大量重复数据的列上不要建立索引
（1）在条件表达式中经常用到的不同值较多的列上建立索引，但字段中如果有大量重复数据，也不用创建索引。比如在学生表的“性别""字段上只有“男"与“女"两个不同值，因此无须建立索引。如果建立索引，不但不会提高查询效率，反而会严重降低数据更新速度。

（2）举例 1：要在 100 万行数据中查找其中的 50 万行（比如性别为男的数据），一旦创建了索引，你需要先访问 50 万次索引，然后再访问 50 万次数据表，这样加起来的开销比不使用索引可能还要大。

（3）举例 2：假设有一个学生表，学生总数为 100 万人，男性只有 10 个人，也就是占总人数的 10 万分之一。学生表 student_gender 结构如下。其中数据表中的 student_gender 字段取值为 0 或 1，0 代表女性，1 代表男性。

CREATE TABLE student_gender(
student_id INT(11) NOT NULL,
student_name VARCHAR(50) NOT NULL,
student_gender TINYINT(1) NOT NULL,
PRIMARY KEY(student_id)
)ENGINE = INNODB;
1
2
3
4
5
6
如果我们要筛选出这个学生表中的男性，可以使用：

SELECT * FROM student_gender WHERE student_gender = 1
1
运行结果（10 条数据，运行时间 0.696s ）：

你能看到在未创建索引的情况下，运行的效率并不高。如果针对 student_gender 字段创建索引呢？

SELECT * FROM student_gender WHERE student_gender = 1
1
同样是10条数据，运行结果相同，时间却缩短到了 0.052s，大幅提升了查询的效率。其实通过这两个实验你也能看出来，索引的价值是帮你快速定位。如果想要定位的数据有很多，那么索引就失去了它的使用价值，比如通常情况下的性别字段。

结论：当数据重复度大，比如高于 10% 的时候，也不需要对这个字段使用索引。

3.4.4.避免对经常更新的表创建过多的索引
（1）频繁更新的字段不一定要创建索引。因为更新数据的时候，也需要更新索引，如果索引太多，更新索引也会影响效率。
（2）避免对经常更新的表创建过多的索引，并且索引中的列尽可能少。此时，虽然提高了查询速度，同时却会降低更新表的速度。

3.4.5.不建议用无序的值作为索引
例如身份证、UUID（在索引比较时需要转为 ASCII，并且插入时可能造成页分裂）、MD5、HASH、无序长字符串等。

3.4.6.删除不再使用或者很少使用的索引
表中的数据被大量更新，或者数据的使用方式被改变后，原有的一些索引可能不再需要。数据库管理员应当定期找出这些索引，将它们删除，从而减少索引对更新操作的影响。

3.4.7.不要定义冗余或重复的索引
（1）冗余索引
① 有时候有意或者无意的就对同一个列创建了多个索引，比如：index(a,b,c) 相当于 index(a)、index(a,b)、index(a,b,c)。

② 举例：建表语句如下

CREATE TABLE person_info(
id INT UNSIGNED NOT NULL AUTO_INCREMENT,
name VARCHAR(100) NOT NULL,
birthday DATE NOT NULL,
phone_number CHAR(11) NOT NULL,
country varchar(100) NOT NULL,
PRIMARY KEY (id),
KEY idx_name_birthday_phone_number (name(10), birthday, phone_number),
KEY idx_name (name(10))
);
1
2
3
4
5
6
7
8
9
10
我们知道，通过 idx_name_birthday_phone_number 索引就可以对 name 列进行快速搜索，再创建一个专门针对 name 列的索引就算是一个冗余索引，维护这个索引只会增加维护的成本，并不会对搜索有什么好处。

（2）重复索引
另一种情况，我们可能会对某个列重复建立索引，比方说这样：

CREATE TABLE repeat_index_demo (
col1 INT PRIMARY KEY, col2 INT,
UNIQUE uk_idx_c1 (col1),
INDEX idx_c1 (col1)
);
1
2
3
4
5
我们看到，col1 既是主键、又给它定义为一个唯一索引，还给它定义了一个普通索引，可是主键本身就会生成聚簇索引，所以定义的唯一索引和普通索引是重复的，这种情况要避免。

3.5.小结
（1）索引是一把双刃剑，可提高查询效率，但也会降低插入和更新的速度并占用磁盘空间。

（2）选择索引的最终目的是为了使查询的速度变快，上面给出的原则是最基本的准则，但不能拘泥于上面的准则，大家要在以后的学习和工作中进行不断的实践，根据应用的实际情况进行分析和判断，选择最合适的索引方式。