001. SQL慢查询排查（字段类型不一致）

news2024/11/16 22:23:38

一：背景

新的业务上线后，合作部门发现我们引擎执行完，回调他们的时间明显增大了，让我们排查一下原因。

二：排查过程

2.1: SQL慢查询定位

首先追查日志，发现有一个SQL的执行时间大概3分钟，因此判断是慢查询的原因导致的。

执行SQL如下：

select overdue_total from nc_cases where status=0 and uid = 12345678990;

检查SQL执行使用的索引, 发现没有用到 uid索引，而是其使用了其他索引，且扫描行数为500多万行。
查看uid的类型，发现uid类型为varchar类型，而自己使用的是数字，因此导致索引失效。
将sql改成字符串类型，再次查看是否使用索引，以及扫描行数, 发现使用到了uid索引且扫描行数为7行。
因此，结果应该是自己写的sql中的uid类型不对，导致的慢查询。

2.2: Python层面分析将String翻译成Int类型的原因

当前编写代码的方式，发现即使自己%后面用的是str类型，传进去也会变成int类型。

sql = "select overdue_total from nc_cases where status=0 and uid = %s" % str(uid)
rows = db.collection.select(sql)

调整编写代码的方式, 给%s 外层再套一层单引号, 测试后发现，运行速度大大提升了。

	sql = "select overdue_total from nc_cases where status=0 and uid = '%s'" % str(uid)
	rows = db.collection.select(sql)

由于我使用的是DButils工具，因此查询了一下官方写法
- 官方写法中， select语句不仅仅可以传递sql, 还可以传递一个values, 这个values中传递的是什么类型，就会自动的将什么类型写入到SQL中。
- 例如下面的SQL，列表中如果是字符串，就会将这个字符串自动解析到sql语句中。这样类型不会发生改变。
```
sql = "select overdue_total from nc_cases where status=0 and uid = %s"
rows = db.collection.select(sql, ["12345678990"])
```

2.3: Python进行SQL执行时间检测出现的问题

分析完问题后，我们需要用python语句验证SQL执行的时间，因子我写了一个脚本测试，两个SQL的执行效率。

sql_3 = "select overdue_total from nc_cases where status=0 and xiaoying_uid = %s " % str(12345678990)
sql_4 = "select overdue_total from nc_cases where status=0 and xiaoying_uid = '%s' " % str(12345678990)


start_time3 = time.time()
rows_3 = db.collection.select(sql_3)
end_time3 = time.time()
print(sql_3 + " use time is {}".format(end_time3 - start_time3))

start_time4 = time.time()
rows_4 = db.collection.select(sql_4)
end_time4 = time.time()
print(sql_4 + " use time is {}".format(end_time4 - start_time4))

当我运行发现，执行的时间差别并不大，这是为什么呢？
追查SQL工具的底层代码，发现select()语句返回的是一个生成器对象，在不遍历结果的条件下，根本不会触发查询。

因此测试代码增加遍历语句

start_time3 = time.time()
rows_3 = db.collection.select(sql_3)
for row in rows_3:
    overdue_total = row[0]
    print(overdue_total)
end_time3 = time.time()
print(sql_3 + " use time is {}".format(end_time3 - start_time3))

start_time4 = time.time()
rows_4 = db.collection.select(sql_4)
for row in rows_4:
    overdue_total = row[0]
    print(overdue_total)
end_time4 = time.time()
print(sql_4 + " use time is {}".format(end_time4 - start_time4))