记一次简单的SQL优化实践。
一、初始化数据
1.1 初始化数据-课程表
#课程表
create table Course(
c_id int primary key,
name varchar(10)
);
#存储过程:增加课程表100条数据
DROP PROCEDURE IF EXISTS insert_Course;
DELIMITER $
CREATE PROCEDURE insert_Course()
BEGIN
DECLARE i INT DEFAULT 1;
WHILE i<=100 DO
INSERT INTO Course(`c_id`,`name`) VALUES(i, CONCAT('语文',i+''));
SET i = i+1;
END WHILE;
END $
CALL insert_Course();
1.2 初始化数据-学生表
#学生表
create table Student(
s_id int primary key,
name varchar(10)
);
#存储过程:学生表增加70000条数据
DROP PROCEDURE IF EXISTS insert_Student;
DELIMITER $
CREATE PROCEDURE insert_Student()
BEGIN
DECLARE i INT DEFAULT 1;
WHILE i<=70000 DO
INSERT INTO Student(`s_id`,`name`) VALUES(i, CONCAT('张三',i+''));
SET i = i+1;
END WHILE;
END $
CALL insert_Student();
1.3 初始化数据-成绩表
#成绩表
CREATE table Result(
r_id int primary key,
s_id int,
c_id int,
score int
);
#存储过程:成绩表增加70W条数据
DROP PROCEDURE IF EXISTS insert_Result;
DELIMITER $
CREATE PROCEDURE insert_Result()
BEGIN
DECLARE i INT DEFAULT 1;
DECLARE sNum INT DEFAULT 1;
DECLARE cNum INT DEFAULT 1;
WHILE i<=700000 DO
if (sNum%70000 = 0) THEN
set sNum = 1;
elseif (cNum%100 = 0) THEN
set cNum = 1;
end if;
INSERT INTO Result(`r_id`,`s_id`,`c_id`,`score`) VALUES(i,sNum ,cNum , (RAND()*99)+1);
SET i = i+1;
SET sNum = sNum+1;
SET cNum = cNum+1;
END WHILE;
END $
CALL insert_Result();
二、SQL实践
业务需求:查找 语文1 成绩为 100 分的考生
2.1 基础子查询
#查询语文1考100分的考生
select s.* from Student s where s.s_id in (
select s_id from Result r where r.c_id = 1 and r.score = 100
)
执行时间:0.937s
查询结果:32 位满足条件的学生
查看执行计划:
EXPLAIN select s.* from Student s where s.s_id in (
select s_id from Result r where r.c_id = 1 and r.score = 100
)
查询结果中 type 列:all 是全表扫描,index 是通过索引扫描。
2.2 优化-创建索引
根据执行计划:发现没有用到索引,type 全是 ALL ,那么首先想到的就是建立一个索引,建立索引的字段当然是在 where 条件的字段了。
先给 Result 表的 c_id 和 score 建立个索引:
CREATE index result_c_id_index on Result(c_id);
CREATE index result_score_index on Result(score);
再次执行上述查询语句,时间为:0.027s。
快了 34.7 倍(四舍五入),大大缩短了查询的时间,看来索引能极大程度的提高查询效率,在合适的列上面建立索引很有必要。
相同的 SQL 语句多次执行,你会发现第一次是最久的,后面执行所需的时间会比第一次执行短些许。原因是:相同语句第二次查询会直接从缓存中读取。
2.3 优化-SQL优化-连接查询(1)
0.027s 很短了,但是还能再进行优化吗,再次查看执行计划:
EXPLAIN select s.* from Student s where s.s_id in (
select s_id from Result r where r.c_id = 1 and r.score = 100
)
show warnings;
(1)执行计划结果:
(2)优化后的SQL:
SELECT
`example`.`s`.`s_id` AS `s_id`,
`example`.`s`.`name` AS `name`
FROM
`example`.`Student` `s` semi
JOIN ( `example`.`Result` `r` )
WHERE
(
( `example`.`s`.`s_id` = `<subquery2>`.`s_id` )
AND ( `example`.`r`.`score` = 100 )
AND ( `example`.`r`.`c_id` = 1 )
)
有 type = all。按照之前的想法,该 SQL 执行的顺序是执行子查询获取s_id结果。
12871,40987,46729,61381,3955,10687,14047,26917,28897,31174,38896,56518,10774,25030,9778,12544,24721,27295,60361,
38479,46990,66988,6790,35995,46192,47578,58171,63220,6685,67372,46279,64693
然后在执行如下SQL:
select s.* from Student s where s.s_id in (
12871,40987,46729,61381,3955,10687,14047,26917,28897,31174,38896,56518,10774,25030,9778,12544,24721,27295,60361,38479,46990,66988,6790,35995,46192,47578,58171,63220,6685,67372,46279,64693
)
单独执行上述SQL耗时0.222s。发现比一起执行快多了,查看优化后的 SQL 语句,发现MySQL 竟然不是先执行里层的查询,而是将 SQL 优化成了 exists 字句,执行计划中的 select_type 为 MATERIALIZED(物化子查询)。MySQL 先执行外层查询,在执行里层的查询,这样就要循环学生数量*满足条件的学生 ID 次,也就是 7W * 32 次。
我们将SQL修改为连接查询,如下:
select s.* from Student s INNER JOIN Result r on r.s_id = s.s_id where r.c_id = 1 and r.score = 100;
这里为了重新分析连接查询的情况,先暂时删除索引 result_c_id_index ,result_score_index ,并基于连接查询创建索引。
DROP index result_c_id_index on Result;
DROP index result_score_index on Result;
CREATE index result_s_id_index on Result(s_id);
执行耗时 1.2s ,再来看看执行计划( EXPLAIN + 查询 SQL 即可查看该 SQL 的执行计划):
(1)创建基于连接查询的索引前:
(2)创建基于连接查询的索引后:
发现是先做的连接查询,再进行的 where 条件过滤。但是我们这里的情况,如果先 join ,将会有 70W 条数据发送 join ,所以先执行Result。
2.4 优化-SQL优化-连接查询(2)
优化的SQL如下:
SELECT s.* FROM (
SELECT * FROM Result r WHERE r.c_id = 1 AND r.score = 100
) t INNER JOIN Student s ON t.s_id = s.s_id
比之前 sql 的时间都要短,查看执行计划:
再给 Result 表的 c_id 和 score 建立个索引:
CREATE index result_c_id_index on Result(c_id);
CREATE index result_score_index on Result(score);
这里用到了 intersect 并集操作,即两个索引同时检索的结果再求并集,再看字段 score 和 c_id 的区分度,但从一个字段看,区分度都不是很大,从 Result 表检索,c_id = 81 检索的结果是 81 ,score = 84 的结果是 84 。而 c_id = 81 and score = 84 的结果是 19881,即这两个字段联合起来的区分度还是比较高的,因此建立联合索引查询效率将会更高,从另外一个角度看,该表的数据是 300W ,以后会更多,就索引存储而言,都是不小的数目,随着数据量的增加,索引就不能全部加载到内存,而是要从磁盘读取,这样索引的个数越多,读磁盘的开销就越大,因此根据具体业务情况建立多列的联合索引是必要的。
三、小结
1、MySQL 嵌套子查询效率确实比较低,可以将其优化成连接查询。
2、连接表时,可以先用 where 条件对表进行过滤,然后做表连接( MySQL 默认会对连表语句做优化)。
3、建立合适的索引,必要时建立多列联合索引
4、学会分析 sql 执行计划,mysql 会对 sql 进行优化,所有分析计划很重要。