【MySQL进阶之路】MySQL部署后一定记得先压测！

news2024/11/10 10:24:17

欢迎关注公众号（通过文章导读关注：【11来了】），及时收到 AI 前沿项目工具及新技术的推送！

在我后台回复「资料」可领取编程高频电子书！
在我后台回复「面试」可领取硬核面试笔记！

文章导读地址：点击查看文章导读！

感谢你的关注！

在这里插入图片描述

部署后的压测

在选好数据库的硬件配置之后，如果在比较规范化的公司中，会交给专业的 DBA 进行 MySQL 数据库的部署，DBA 就会根据以往的经验，使用 MySQL 生产调优的参数模板去部署 MySQL

可能还会对 Linux 中的一些 OS 参数进行调整，比如最大文件句柄的参数，通过调大最大文件句柄，可以让 Linux 接收更多的 TCP 连接，因为 Linux 中一切皆文件，但实际中不仅仅只简单地调大最大文件句柄就可以了（需要多个参数配合调整）

拿到 MySQL 数据库的第一步

在 MySQL 数据库部署好之后，先不要直接进行开发，而是先通过压测软件对数据库进行压测，观察数据库的 CPU、磁盘 IO、网络 IO、内存负载情况，判断数据库每秒可以处理多少的请求

那么通过对数据库进行压测就可以清楚数据库每秒处理任务的性能，心里有个底

这样在以后压测 Java 系统时，如果每秒并发量不理想，需要进行调优，就可以判断到底是 Java 系统出现了性能瓶颈还是数据库出现了性能瓶颈

因为有可能数据库每秒可以抗下 2000 个请求，但是 Java 应用每秒只可以抗下 500 的请求，如果事先没有对数据库进行压测，那你只知道 Java 应用每秒只可以处理 500 个请求，但是并不知道具体是 Java 应用的问题，还是数据库的问题！

数据库压测工具

这里推荐一个数据库压测工具：sysbench

通过 sysbench 可以在数据库中构建大量数据进行性能压测

Linux（CentOS）安装命令：

curl -s https://packagecloud.io/install/repositories/akopytov/sysbench/script.rpm.sh | sudo bash
sudo yum -y install sysbench
# 如果看到了版本号证明安装成功
sysbench --version

sysbench 压测数据构造

使用以下命令基于 sysbench 对数据库进行压测：

sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=127.0.0.1 --mysql-port=3306 --mysql-user=test_user --mysql-password=test_user --mysql-db=test_db --tables=20 --table_size=1000000 oltp_read_write --db-ps-mode=disable prepare

参数解释：

db-driver：指定数据库引擎，例如 pgsql（PostgreSQL）或 mysql。
time：测试持续时间。
threads：并发线程数。
report-interval：报告输出周期。
mysql-host：数据库服务器的地址。
mysql-port：数据库服务器的端口。
mysql-user：数据库用户的用户名。
mysql-password：数据库用户的密码。
--mysql-db= test_db --tables=20 --table-size=1000000 ：这一行命令的意思是在 test_db 数据库里，构建 20 张测试表，每个测试表里 100 万条测试数据
oltp_read_write：执行 oltp 数据库的读写测试
--db-ps-mode=disable：禁止 ps 模式
prepare：表示根据上边的命令设置去构造对应的数据，也就是创建 20 张测试表，每张测试表 100 万条数据

sysbench 压测命令

在进行压测的时候，命令最后的 prepare 变为了 run，表示运行压测

使用 oltp_read_write 模式测试数据库的综合读写 TPS

sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=127.0.0.1 --mysql-port=3306 --mysql-user=test_user --mysql-password=test_user --mysql-db=test_db --tables=20 --table_size=1000000 oltp_read_write --db-ps-mode=disable run

使用 oltp_read_only 模式测试数据库的只读性能

sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=127.0.0.1 --mysql-port=3306 --mysql-user=test_user --mysql-password=test_user --mysql-db=test_db --tables=20 --table_size=1000000 oltp_read_only --db-ps-mode=disable run

使用 oltp_delete 模式测试数据库的删除性能
使用 oltp_update_index 模式测试数据库的更新索引字段性能
使用 oltp_update_non_index 模式测试数据库的更新非索引字段性能
使用 oltp_insert 模式测试数据库的插入性能
使用 oltp_write_only 模式测试数据库的写入性能

通过指定不同模式来测试数据库不同操作的性能，只需要将命令中的 oltp_read_only 字段换成对应的模式即可！

清除压测数据：完成压测之后，可以清除数据

sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=127.0.0.1 --mysql-port=3306 --mysql-user=test_user --mysql-password=test_user --mysql-db=test_db --tables=20 --table_size=1000000 oltp_read_write --db-ps-mode=disable cleanup

sysbench 压测结果分析

sysbench 每秒会输出如下的中间结果：

# thds 4：有 4 个线程在压测
# tps: 374，每秒执行了 374 个事务
# qps:7533，每秒执行了 7533 个请求
# r/w/o 表示 qps 中读、写、其他请求的占比
# lat：表示 95% 的请求延迟都在 17.95 ms 以内
# err、reconn：每秒错误、网络重连的次数
[ 1s ] thds: 4 tps: 374.23 qps: 7533.43 (r/w/o: 5280.08/977.98/1275.36) lat (ms,95%): 17.95 err/s: 0.00 reconn/s: 0.00

最后压测完成后，会输出一个统计结果：

SQL statistics:
    queries performed:
        read: 49084 # 压测期间执行的读请求数量
        write: 9513 # 压测期间执行的写请求数量
        other: 11523 # 压测期间执行的其他请求数量
        total: 70120 # 压测期间执行的总请求数量
    transactions: 3506 (350.33 per sec.) # 执行的事务数量
    queries: 70120 (7006.63 per sec.) # 执行的请求数量
    ignored errors: 0 (0.00 per sec.)
    reconnects: 0 (0.00 per sec.)
General statistics:
    total time: 10.0062s # 10 s 的压测，执行了 3506 个事务
    total number of events: 3506
Latency (ms):
         min: 4.56 # 请求中，最小延迟 4.56
         avg: 11.41 # 平均延迟
         max: 39.24 # 最高延迟
         95th percentile: 19.65 # 95% 请求延迟都小于 19.65
         sum: 39997.58 
Threads fairness:
    events (avg/stddev): 876.5000/5.22
    execution time (avg/stddev): 9.9994/0.00