MySQL 优化及故障排查

news2024/11/25 12:46:05

目录

一、mysql 前置知识点

二、MySQL 单实例常见故障

故障一

故障二

故障三

故障四

故障五

故障六

故障七

故障八

三、MySQL 主从故障排查

故障一

故障二

故障三

四、MySQL 优化

1.硬件方面

(1)关于 CPU

(2)关于内存

(3)关于磁盘

2.MySQL 配置文件

二进制日志文件的优化

引擎是 innodb 的优化

引擎是 myisam 的优化

3. SQL 优化

4.MySQL架构优化


一、mysql 前置知识点

MySQL逻辑架构图

  • 客户端和连接服务
  • 核心服务功能
  • 存储引擎层
  • 数据存储层 

二、MySQL 单实例常见故障

故障一

  • 故障现象

ERROR  2002  (HY000):  Can't  connect  to  local  MySQL  server  through  socket '/data/mysql/mysql.sock'  (2)

翻译:

错误2002(HY000):无法通过套接字“/data/mysql/mysql.sock”连接到本地MySQL服务器 (2)

  • 问题分析:
    • 数据库未启动或者数据库端口被防火墙拦截
  • 解决方法:
    • 启动数据库或者防火墙开放数据库监听端口。

故障二

  • 故障现象

ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: NO)

翻译:

错误1045(28000):用户“root”@“localhost”的访问被拒绝(使用密码:否)

  • 问题分析:
    • 密码不正确或者没有权限访问。
  • 解决方法:
    • 修改 my.cnf 主配置文件,在[mysqld]下添加 skip-grant-tables,重启数据库。

最后修改密码命令如下。

mysql>use mysql;
mysql> update mysql.user set authentication_string=password('123456') where user='root' and Host = 'localhost';
mysql> flush privileges;

再删除刚刚添加的 skip-grant-tables 参数,重启数据库,使用新密码即可登录。
  • 重新授权

命令如下。

mysql>grant all on *.* to 'root'@'mysql-server' identified by '123456';

故障三

  • 故障现象
    • 在使用远程连接数据库时偶尔会发生远程连接数据库很慢的问题。
  • 问题分析:
    • 如果 MySQL 主机查询 DNS 很慢或是有很多客户端主机时会导致连接很慢. 由于开发机器是不能够连接外网的,在进行 MySQL 连接时,DNS 解析是不可能完成的, 从而也就明白了为什么连接那么慢了。
  • 解决方法:
    • 修改 my.cnf 主配置文件,在[mysqld]下添加 skip-name-resolve,重启数据库可以解决。
    • 数据库授权禁止使用主机名

故障四

  • 故障现象

Can't open file: 'xxx_forums.MYI'. (errno: 145)

  • 问题分析:
    • 服务器非正常关机,数据库所在空间已满,或一些其它未知的原因,对数据库表造  成了损坏。
    • 可能是操作系统下直接将数据库文件拷贝移动,会因为文件的 属组 问题而产生这个 错误。
  • 解决方法:
    • 可以使用下面的两种方式修复数据表(第一种方法仅适合独立主机用户):

        使用 MySQL 自带的专门用户数据表检查和修复工具 myisamchk。一般情况下只有在命令行下面才能运行 myisamchk 命令。常用的修复命令为:

myisamchk -r 数据文件目录/数据表名.MYI;

        通过 phpMyAdmin 修复, phpMyAdmin 带有修复数据表的功能,进入到某一个表中后,点击“操作”,在下方的“表维护”中点击“修复表”即可。

注意:以上两种修复方式在执行前一定要备份数据库。

  • 修改文件的属组(仅适合独立主机用户):

        复制数据库文件的过程中没有将数据库文件设置为 MySQL 运行的帐号可读写(一般适用于 Linux 和 FreeBSD 用户)。

故障五

  • 故障现象

ERROR 1129 (HY000): Host 'xxx.xxx.xxx.xxx' is blocked because of many connection errors; unblock with 'mysqladmin flush-hosts'

翻译:

错误1129(HY000):主机xxx.xxx.xxx.xxx由于许多连接错误而被阻塞;请使用mysgladmin flush-hosts解除阻塞

  • 问题分析:

        由于 mysql 数据库的参数:max_connect_errors,其默认值是 10。当大量(max_connect_errors)的主机去连接 MySQL,总连接请求超过了 10 次,新的连接就再也无法连接上 MySQL 服务。同一个 ip 在短时间内产生太多中断的数据库连接而导致的阻塞( 超过 mysql 数据库 max_connection_errors 的最大值)。

  • 解决方法:

        使用 mysqladmin flush-hosts 命令清除缓存,命令执行方法如下:

mysqladmin -u root -p -h 192.168.80.7 flush-hosts

Enter password:

注意用户权限

        修改 mysql 配置文件,在[mysqld]下面添加 max_connect_errors=1000,然后重启 MySQL。

故障六

  • 故障现象

客户端报 Too many connections。

  • 问题分析:

        连接数超出 Mysql 的最大连接数限制。

  • 解决方法:

        在 my.cnf 配置文件里面增大连接数,然后重启 MySQL 服务。

max_connections = 2000

一般在1000、2000、3000中选择。

        临时修改最大连接数,重启后不生效。需要在 my.cnf 里面修改配置文件,下次重启生效。

set GLOBAL max_connections=2000;

故障七

  • 故障现象

Warning: World-writable config file '/etc/my.cnf' is ignored ERROR! MySQL is running but PID file could not be found

翻译:

警告:通用可写配置文件'/etc/my.cnf' 被忽略错误!MySQL正在运行但找不到PID文件

  • 问题分析:

MySQL 的配置文件/etc/my.cnf 权限不对。

MySQL 的配置文件/etc/my.cnf 属组不对。

  • 解决方法:

chmod 644 /et/my.cnf

chown mysql:mysql  /etc/my.cnf

故障八

  • 故障现象

InnoDB: Error: page 14178 log sequence number 29455369832
InnoDB: is in the future! Current system log sequence number 29455369832

  • 问题分析:

        innodb 数据文件损坏。

  • 解决方法:

        修改 my.cnf 配置文件,在[mysqld]下添加 innodb_force_recovery=4, 启动数据库后备份数据文件,然后去掉该参数,利用备份文件恢复数据。

三、MySQL 主从故障排查

故障一

  • 故障现象

        从库的 Slave_IO_Running 为 NO

The slave I/O thread stops because master and slave have equal MySQL server ids; these ids must be different for replication to work (or the --replicate-same-server-id option must be used on slave but this does not always make sense; please check the manual before using it).

翻译:

从I/0线程停止,因为主服务器和从服务器具有相同的MySQL服务器ID;这些ID必须是不同的,以便复制工作(或者必须在从服务器上使用-replicate-same-server-id选项)但这并不总是有意义的;使用前请查看说明书)。

  • 问题分析:

        主库和从库的 server-id 值一样。

  • 解决方法:

        修改从库的 server-id 的值,修改为和主库不一样。修改完后重启,再同步即可。

        更改数据库配置的 时候关闭从数据库的数据同步。

故障二

  • 故障现象

        从库的 Slave_IO_Running 为 NO

  • 问题分析:

        造成从库线程为 NO 的原因会有很多,主要原因是主键冲突或者主库删除或更新数据,从库找不到记录,数据被修改导致。通常状态码报错有 1007、1032、1062、1452 等。

一般 Slave_IO_Running: No 的可能性:
1、网络不通
2、my.cnf 配置有问题
3、密码、file文件名、pos偏移量不对
4、防火墙没有关闭

  • 解决方法一:

mysql> stop slave;
mysql> set GLOBAL SQL_SLAVE_SKIP_COUNTER=1;
mysql> start slave;

  • 解决方法二:

        设置用户权限,设置从库只读权限

set global read_only=true;

故障三

  • 故障现象

Error initializing relay log position: I/O error reading the header from the binary log

  • 分析问题:

        从库的中继日志 relay-bin 损坏。

  • 解决方法:

        手工修复,重新找到同步的 binlog(二进制日志) 和 pos(段位偏移量) 点,然后重新同步即可。

mysql>CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin.xxx',MASTER_LOG_POS=xxx;

四、MySQL 优化

1.硬件方面

说到服务器硬件,最主要的无非 CPU、内存、磁盘三大关键因素。

(1)关于 CPU

        CPU 对于 MySQL 应用,推荐使用 S.M.P.架构的多路对称 CPU。例如:可以使用两颗Intel Xeon 3.6GHz 的 CPU。现在比较推荐用 4U 的服务器来专门做数据库服务器,不仅仅是针对于 MySQL。

(2)关于内存

        物理内存对于一台使用 MySQL 的 Database Server 来说,服务器内存建议不要小于2GB,推荐使用 4GB 以上的物理内存。不过内存对于现在的服务器而言可以说是一个可以忽略的问题,工作中遇到了高端服务器基本上内存都超过了 32G。

(3)关于磁盘

        磁盘寻道能力(磁盘 I/O)。以目前市场上普遍高转速 SAS 硬盘(15000 转/秒)为例, 这种硬盘理论上每秒寻道 15000 次,这是物理特性决定的,没有办法改变。 MySQL 每秒钟都在进行大量、复杂的查询操作,对磁盘的读写量可想而知。

        所以通常认为磁盘 I/O 是制约 MySQL 性能的最大因素之一,通常是使用 RAID-0+1 磁盘阵列,注意不要尝试使用RAID-5,MySQL 在 RAID-5 磁盘阵列上的效率并不高。如果不考虑硬件的投入成本,也可以考虑固态(SSD)硬盘专门作为数据库服务器使用。数据库的读写性能肯定会提高很多。

2.MySQL 配置文件

        通常默认的 my.cnf 配置文件无法发挥出 MySQL 最高的性能,所以需要根据不同的硬件进行优化,配置文件的优化也是重点。下面是物理内存为 32G 的数据库优化参数,具体从全局、二进制日志、主从、innodb、myisam 几个方面优化,仅供参考。

(1)default-time-zone=+8:00

        默认 MySQL 使用的是系统时区,修改为北京时间,也就是所说的东八区。

(2)interactive_timeout = 120

        服务器关闭交互式连接前等待活动的秒数。

(3)wait_timeout = 120

        服务器关闭非交互连接之前等待活动的秒数。

(4)open_files_limit = 10240

        MySQL 服务器打开文件句柄数限制。

(5)group_concat_max_len = 102400

        MySQL 默认的拼接最大长度为 1024 个字节,由于 1024 个字节会出现不够用的情况, 根据实际情况进行修改。


(6)user=mysql

        使用 mysql 用户运行。

(7)character-set-server=utf8、init_connect='SET NAMES utf8'

        设置字符集为 utf8

(8)back_log = 600

        在 MySQL 暂时停止响应新请求之前,短时间内的多少个请求可以被存在堆栈中。如果系统在短时间内有很多连接,则需要增大该参数的值,该参数值指定到来的 TCP/IP 连接的监听队列的大小。默认值 50。


(9)max_connections = 5000

        MySQL 允许最大的进程连接数,如果经常出现 Too Many Connections 的错误提示, 则需要增大此值。


10)max_connect_errors = 6000

        设置每个主机的连接请求异常中断的最大次数。当超过该次数,MySQL 服务器将禁止
host 的连接请求,直到 MySQL 服务器重启或通过flush hosts 命令清空此host 的相关信息。

(11)table_cache = 1024

        数据表调整缓冲区大小。它设置表高速缓存的数目。每个连接进来,都会至少打开一个表缓存。因此,table_cache 的大小与 max_connections 的设置有关。例如,对于 200 个并行运行的连接,应该让表的缓存至少有 200×N。这里 N 是应用可以执行查询的一个连接中表的最大数量。
此外,还需要为临时表和文件保留一些额外的文件描述符。 当 MySQL 访问一个表时, 如果该表在缓存中已经被打开,则可以直接访问缓存。如果还没有被缓存,但是在 MySQL 表缓冲区中还有空间,那么这个表就被打开并放入表缓冲区。如果表缓存满了,则会按照一定的规则将当前未用的表释放,或者临时扩大表缓存来存放,使用表缓存的好处是可以更快速地访问表中的内容。执行 flushtables 会清空缓存的内容。
        一般来说,可以通过 showstatus 命令查看数据库运行峰值时间的状态值 Open_tables 和 Opened_tables,判断是否需要增加 table_cache 的值(其中 open_tables 是当前打开的表的数量,Opened_tables 则是已经打开的表的数量)。若 open_tables 接近 table_cache, 并且 Opened_tables 值在逐步增加, 那就要考虑增加这个值的大小了。还有就是Table_locks_waited 比较高的时候,也需要增加 table_cache。


(12)table_open_cache = 2048

        指定表高速缓存的大小。每当MySQL 访问一个表时,如果在表缓冲区中还有空间,该表就被打开并放入其中,这样可以更快地访问表内容。

(13)max_heap_table_size = 256M

        这个变量定义了用户可以创建的内存表(memory table)的大小。这个值用来计算内存表的最大行数值。这个变量支持动态改变,即 set @max_heap_table_size=#。但是对于已经存在的内存表就没有什么用了,除非这个表被重新创建(create table)、修改(alter table)或者truncate table。服务重启也会设置已经存在的内存表为全局 max_heap_table_size 的值。


(14)external-locking = false

        使用 skip-external-lockingMySQL 选项以避免外部锁定。该选项默认开启。

(15)max_allowed_packet = 32M

        设置在网络传输中一次消息传输量的最大值。系统默认值为 1MB,最大值是 1GB,必须设置 1024 的倍数。


(16)sort_buffer_size = 512M

        Sort_Buffer_Size 是一个 connection 级参数,在每个 connection(session)第一次需要使用这个 buffer 的时候,一次性分配设置的内存。Sort_Buffer_Size 并不是越大越好,由于是 connection 级的参数,过大的设置+高并发可能会耗尽系统内存资源。


(17)join_buffer_size = 8M

用于表间关联缓存的大小,和 sort_buffer_size 一样,该参数对应的分配内存也是每个连接独享。


(18)thread_cache_size = 300

        服务器线程缓存这个值表示可以重新利用保存在缓存中线程的数量,当断开连接时如果缓存中还有空间,那么客户端的线程将被放到缓存中;如果线程重新被请求,那么请求将从缓存中读取;如果缓存中是空的或者是新的请求,那么这个线程将被重新创建;如果有很多新的线程,增加这个值可以改善系统性能。通过比较 Connections 和 Threads_created 状态的变量,可以看到这个变量的作用。设置规则如下:1GB 内存配置为 8,2GB 配置为 16, 3GB 配置为 32,4GB 或更高内存,可配置更大。


(19)thread_concurrency = 8

        设置 thread_concurrency 值的正确与否,对 MySQL 的性能影响很大,在多个 CPU(或多核)的情况下, 错误设置了 thread_concurrency 的值, 会导致 MySQL 不能充分利用多CPU(或多核),出现同一时刻只能一个 CPU 在工作的情况。thread_concurrency 应设为CPU核数的 2 倍。比如有一个双核的 CPU,那么 thread_concurrency 的应该为 4;2 个双核的cpu,thread_concurrency 的值应为 8。

(20)query_cache_size = 512M

        使用 MySQL 的用户,对于这个变量一定不会陌生。前几年的 MyISAM 引擎优化中, 这个参数也是一个重要的优化参数。但随着发展,这个参数也爆露出来一些问题。机器的内存越来越大,人们也都习惯性的把以前有用的参数分配的值越来越大。这个参数加大后也引发了一系列问题。

        首先分析一下 query_cache_size 的工作原理:一个 SELECT 查询在 DB 中工作后,DB 会把该语句缓存下来。当同样的一个 SQL 再次来到 DB 里调用时,DB 在该表没发生变化的情况下把结果从缓存中返回给 Client。这里有一个关建点,就是 DB 在利用Query_cache 工作时,要求该语句涉及的表在这段时间内没有发生变更。那如果该表在发生变更时,Query_cache 里的数据又怎么处理呢?首先要把 Query_cache 和该表相关的语句全部设置为失效,然后再写入更新。那么如果 Query_cache 非常大,该表的查询结构又比较多,查询语句失效也慢,一个更新或是 Insert 就会很慢,这样看到的就是 Update 或是Insert 怎么这么慢了。

        所以在数据库写入量或是更新量也比较大的系统,该参数不适合分配过大。而且在高并发,写入量大的系统,建议把该功能禁掉。


(21)query_cache_limit = 4M

        指定单个查询能够使用的缓冲区大小,缺省为 1M。

(22)query_cache_min_res_unit = 2k

        默认是 4KB,设置值大对大数据查询有好处,但如果查询都是小数据查询,就容易造成内存碎片和浪费,查询缓存碎片率=Qcache_free_blocks/Qcache_total_blocks*100%。  如果查询缓存碎片率超过 20%,可以用 FLUSHQUERYCACHE 整理缓存碎片,或者尝试减小 query_cache_min_res_unit 。 如果查询都是小数据量, 那么查询缓存利用率
=(query_cache_size–Qcache_free_memory)/query_cache_size*100%。查询缓存利用率在 25%以下,说明 query_cache_size 设置的过大,可适当减小。查询缓存利用率在 80%以上而且 Qcache_lowmem_prunes>50 的话说明 query_cache_size 可能有点小,要不就是碎片太多。查询缓存命中率=(Qcache_hits–Qcache_inserts)/Qcache_hits*100%。


(23)default-storage-engine = innodb

        默认引擎,现在一般都是 innodb 引擎表居多。

(24)thread_stack = 192K

        设置 MySQL 每个线程的堆栈大小,默认值足够大,可满足普通操作。可设置范围为
128K 至 4GB,默认为 192KB。

(25)transaction_isolation = READ-COMMITTED

        设定默认的事务隔离级别,READCOMMITTEE 是读已提交。

(26)tmp_table_size = 256M

        tmp_table_size 的默认大小是 32M。如果一张临时表超出该大小,MySQL 产生一个Thetabletbl_nameisfull 形 式 的 错误 ; 如 果 执 行很 多 高 级 GROUPBY 查 询, 增 加tmp_table_size 值。如果超过该值,则会将临时表写入磁盘。


(27)key_buffer_size = 1024M

        指定用于索引的缓冲区大小,增加它可以得到更好的索引处理性能。

(28)read_buffer_size = 2M

        MySQL 读入缓冲区大小。对表进行顺序扫描的请求将分配一个读入缓冲区,MySQL 会为它分配一段内存缓冲区。read_buffer_size 变量控制这一缓冲区的大小。如果对表的顺序扫描请求非常频繁,并且认为频繁扫描进行得太慢,可以通过增加该变量值以及内存缓冲区大小提高其性能。和 sort_buffer_size 一样,该参数对应的分配内存也是每个连接独享。


(29)read_rnd_buffer_size = 256M

        MySQL 的随机读(查询操作)缓冲区大小。当按任意顺序读取行时(例如,按照排序顺序),将分配一个随机读缓存区。进行排序查询时,MySQL 会首先扫描一遍该缓冲,以避免磁盘搜索,提高查询速度。如果需要排序大量数据,可适当调高该值。但 MySQL 会为每个客户连接发放该缓冲空间,所以应尽量适当设置该值,以避免内存开销过大。


(30)bulk_insert_buffer_size = 64M

        批量插入数据缓存大小,可以有效提高插入效率,默认为 8M。(31)skip-name-resolve
禁止域名解析,包括主机名.所以授权的时候要使用 IP 地址。

(32)ft_min_word_len = 1

        从 MySQL4.0 开始就支持全文索引功能,但是 MySQL 默认的最小索引长度是 4。如果是英文默认值是比较合理的,但是中文绝大部分词都是 2 个字符,这就导致小于 4 个字的词都不能被索引。MySQL 全文索引是专门为了解决模糊查询提供的,可以对整篇文章预先按照词进行索引,搜索效率高,能够支持百万级的数据检索。

二进制日志文件的优化


下面几个参数时关于 MySQL 二进制日志文件的优化。

(33)log-bin=mysql-bin

        打开 MySQL 二进制功能。

(34)binlog_cache_size = 4M

        在事务过程中容纳二进制日志 SQL 语句的缓存大小。二进制日志缓存是服务器支持事务存储引擎并且服务器启用了二进制日志(—log-bin 选项)的前提下为每个客户端分配的内存。
        注意:是每个 Client 都可以分配设置大小的 binlogcache 空间。可以通过 MySQL 的以下两个 状态变量来判 断当前的 binlog_cache_size 的状况 : Binlog_cache_use 和Binlog_cache_disk_use。


(35)max_binlog_cache_size = 128M

        表 示 binlog 能 够使 用的 最大 cache 内 存大 小。 执行 多语 句事 务的 时候 , max_binlog_cache_size 如 果 不 够 大 的 话 , 系 统 可 能 会 报 出“Multi-statementtransactionrequiredmorethan'max_binlog_cache_size'bytesofstorage” 的错误。


(36)max_binlog_size = 1G

        Binlog 日志最大值,一般来说设置为 512M 或者 1G,但不能超过 1G。该大小并不能非常严格控制 Binlog 大小,尤其是当到达 Binlog 比较靠近尾部而又遇到一个较大事务的时候,系统为了保证事务的完整性,不可能做切换日志的动作,只能将该事务的所有 SQL 都记录进入当前日志,直到该事务结束。这一点和Oracle 的Redo 日志有点不一样,因为Oracle 的 Redo 日志所记录的是数据文件的物理位置的变化,而且里面同时记录了 Redo 和 Undo 相关的信息,所以同一个事务是否在一个日志中对 Oracle 来说并不关键。而 MySQL 在Binlog 中所记录的是数据库逻辑变化信息,MySQL 称之为 Event,实际上就是带来数据库变化的 DML 之类的 Query 语句。


(37)sync_binlog=1

        在 MySQL 中系统默认的设置是 sync_binlog=0,也就是不做任何强制性的磁盘刷新指令,这时候的性能是最好的,但是风险也是最大的。因为一旦系统 Crash,在 binlog_cache 中的所有 binlog 信息都会被丢失。

        而当设置为“1”的时候最安全,但也是性能损耗最大的设置。因为当设置为 1 的时候,即使系统 Crash,也最多丢失 binlog_cache 中未完成的一个事务,对实际数据没有任何实质性影响。从以往经验和相关测试来看,对于高并发事务的系统来说,“sync_binlog”设置为 0 和设置为 1 的系统写入性能差距可能高达 5 倍甚至更多。


(38)binlog_format=mixed

        默认使用 statement 模式,基于 SQL 语句的复制,另外一种是基于行的复制,为提升效率,可以将以上两种模式混合使用。一般的复制使用 STATEMENT 模式保存 binlog,对于 STATEMENT 模式无法复制的操作使用 ROW 模式保存 binlog,MySQL 会根据执行的SQL 语句选择日志保存方式。


(39)expire_logs_days = 7

        二进制日志只留存最近 7 天,不用人工手动删除。

(40)log-slave-updates

        这条参数只读主从架构适用,当从库 log_slave_updates 参数没有开启时,从库的 binlog 不会记录来源于主库的操作记录。只有开启 log_slave_updates,从库 binlog 才会记录主库同步的操作日志。


(41)slow_query_log 打开慢查询日志。


(42)slow_query_log_file=slow.log 慢查询日志文件位置。


(43)long_query_time = 2

        记录超过 2 秒的 SQL 查询。

引擎是 innodb 的优化

关于引擎是 innodb 的优化如下:

(44)innodb_additional_mem_pool_size = 64M

        这个参数用来设置 InnoDB 存储的数据目录信息和其它内部数据结构的内存池大小,类似于 Oracle 的 library cache。这不是一个强制参数,可以被突破。


(45)innodb_buffer_pool_size = 20480M

        用于缓存索引和数据的内存大小,这个选项的值越多越好, 数据读写在内存中非常快, 减少了对磁盘的读写。当数据提交或满足检查点条件后才一次性将内存数据刷新到磁盘中。   然而内存还有操作系统或数据库其他进程使用,推荐设置 innodb-buffer-pool-size 为服务器总可用内存的 75%。 若设置不当, 内存使用可能浪费或者使用过多。 对于繁忙的服务器, buffer pool 将划分为多个实例以提高系统并发性, 减少线程间读写缓存的争用。buffer pool 的大小首先受 innodb_buffer_pool_instances 影响,当然影响较小。


(46)innodb_data_file_path = ibdata1:1024M:autoextend

        用 来 指 定 innodb tablespace 文 件 , 如 果 我 们 不 在 my.cnf 文 件 中 指 定innodb_data_home_dir 和innodb_data_file_path 那么默认会在datadir 目录下创建ibdata1 作为 innodb tablespace。


(47)innodb_file_io_threads = 4

        文件 IO 的线程数,一般为 4,但是在 Windows 下,可以设置得较大。

(48)innodb_thread_concurrency = 8

        服务器有几个 CPU 就设置为几,建议用默认设置,一般为 8。

(49)innodb_write_io_threads = 8

        InnoDB 使用后台线程处理数据页上写 I/O(输入输出)请求的数量。一般设置为 CPU
核数,比如 CPU 是 2 颗 8 核的,可以设置为 8。

(50)innodb_read_io_threads = 8

        InnoDB 使用后台线程处理数据页上读 I/O(输入输出)请求的数量。一般设置为 CPU
核数,比如 CPU 是 2 颗 8 核的,可以设置为 8。

(51)innodb_flush_log_at_trx_commit = 2

        如果将此参数设置为 1,将在每次提交事务后将日志写入磁盘。为提高性能,可以设置为 0 或 2,但要承担在发生故障时丢失数据的风险。设置为 0 表示事务日志写入日志文件,
而日志文件每秒刷新到磁盘一次。设置为 2 表示事务日志将在提交时写入日志,但日志文件每次刷新到磁盘一次。


(52)innodb_log_buffer_size = 16M

        此参数确定日志文件所用的内存大小,以 M 为单位。缓冲区更大能提高性能,但意外

的故障将会丢失数据。MySQL 开发人员建议设置为 1-8M 之间。

(53)innodb_log_file_size = 256M

        此参数确定数据日志文件的大小,以 M 为单位,较大的值可以提高性能,但也会增加恢复故障数据库所需的时间。


(54)innodb_log_files_in_group = 3

        #为提高性能,MySQL 可以以循环方式将日志文件写到多个文件。

(55)innodb_file_per_table = 1

        独享表空间(关闭)。

(56)innodb_max_dirty_pages_pct = 90

        Buffer_Pool 中 Dirty_Page 所占的数量, 直接影响 InnoDB 的关闭时间。 参数innodb_max_dirty_pages_pct 可以直接控制了 Dirty_Page 在 Buffer_Pool 中所占的比率, 而且幸运的是 innodb_max_dirty_pages_pct 是可以动态改变的。所以,在关闭 InnoDB 之前先将 innodb_max_dirty_pages_pct 调小,强制数据块 Flush 一段时间,就能够大大缩短MySQL 关闭的时间。


(57)innodb_lock_wait_timeout = 120

        InnoDB 有其内置的死锁检测机制,能导致未完成的事务回滚。但是,如果结合 InnoDB 使用 MyISAM 的 locktables 语句或第三方事务引擎,InnoDB 就无法识别死锁。为消除这种可能性,可以将 innodb_lock_wait_timeout 设置为一个整数值,设置 MySQL 在允许其他事务修改那些最终受事务回滚的数据之前要等待多长时间(秒数)。


(58)innodb_open_files = 8192 innodb 打开文件句柄数。

引擎是 myisam 的优化

关于引擎是 myisam 的优化如下:

(59)myisam_sort_buffer_size = 128M

        MyISAM 表发生变化时重新排序所需的缓冲大小。

(60)myisam_max_sort_file_size = 10G

        MySQL 重建索引时所允许的最大临时文件的大小(当 REPAIR,ALTERTABLE 或者LOADDATAINFILE)。如果文件大小比此值更大,索引会通过键值缓冲创建(更慢)。

(61)myisam_repair_threads = 1

        如果一个表拥有超过一个索引,MyISAM 可以通过并行排序使用超过一个线程去修复。这对于拥有多个 CPU 以及大量内存情况的用户是一个很好的选择。


(62)myisam_recover

        自动检查和修复没有适当关闭的 MyISAM 表。

3. SQL 优化

  • 尽量使用索引进行查询
  • 优化分页
  • group by 优化

4.MySQL架构优化

  • 架构选择:主从、主主、一主多从、多主多从

5.数据库性能优化

1,查看每个客户端IP过来的连接消耗了多少资源。 
mysql> select * from sys.x$host_summary;

2,查看某个数据文件上发生了多少IO请求。 
mysql> select * from sys.x$io_global_by_file_by_bytes;

3,查看每个用户消耗了多少资源。 
mysql> select * from sys.x$user_summary;

4,查看总共分配了多少内存。 
mysql> select * from sys.x$memory_global_total;

5,数据库连接来自哪里,以及这些连接对数据库的请求情况是怎样的? 
查看当前连接情况。 
mysql> select host, current_connections, statements from sys.x$host_summary;

6,查看当前正在执行的SQL和执行show full processlist的效果相当。 
mysql> select conn_id, user, current_statement, last_statement from sys.x$session;

7,数据库中哪些SQL被频繁执行? 
执行下面命令查询TOP10 SQL。 
mysql> select db,exec_count,query from sys.x$statement_analysis order by exec_count desc limit 10;

8,哪个文件产生了最多的IO,读多,还是写的多? 
mysql> select * from sys.x$io_global_by_file_by_bytes limit 10;

9,哪个表上的IO请求最多? 
mysql> select * from sys.x$io_global_by_file_by_bytes where file like "%ibd" order by total desc limit 10;

10,哪个表被访问的最多? 
先访问statement_analysis,根据热门SQL排序找到相应的数据表。 
哪些语句延迟比较严重? 
查看statement_analysis中avg_latency的最高的SQL。 
mysql> select * from sys.x$statement_analysis order by avg_latency desc limit 10;

11,哪些SQL执行了全表扫描,如果没有使用索引,则考虑为大型表添加索引 
mysql> select * from sys.x$statements_with_full_table_scans;

12,列出所有做过排序的规范化语句
mysql> select * from sys.x$statements_with_sorting

13,哪些SQL语句使用了临时表,又有哪些用到了磁盘临时表? 
查看statement_analysis中哪个SQL的tmp_tables 、tmp_disk_tables值大于0即可。 
mysql> select db, query, tmp_tables, tmp_disk_tables from sys.x$statement_analysis where tmp_tables>0 or tmp_disk_tables >0 order by (tmp_tables+tmp_disk_tables) desc limit 20;

14,列出所有使用临时表的语句——访问最高的磁盘临时表,然后访问内存临时表
mysql>select * from sys.statements_with_temp_tables

15 哪个表占用了最多的buffer pool? 
mysql> select * from sys.x$innodb_buffer_stats_by_table order by allocated desc limit 10;

16,每个库(database)占用多少buffer pool? 
mysql> select * from sys.x$innodb_buffer_stats_by_schema order by allocated desc limit 10;

select table_name,TABLE_COMMENT,CONCAT(TRUNCATE(data_length / 1024 / 1024/1024, 4),"GB") AS data_size,table_rows from information_schema.tables where table_schema="dbname"

这条SQL查询语句是在MySQL的信息架构(information_schema)数据库中运行的,其目的是获取名为“dbname”的数据库中所有表的一些基本信息,包括:

  1. table_name:表的名称。
  2. TABLE_COMMENT:表的注释信息。
  3. data_size:表的数据大小,单位转换为GB(吉字节)。通过TRUNCATE函数将数据长度(data_length)除以1024三次(转换为MB,再转换为KB,最后转换为GB),并保留四位小数。
  4. table_rows:表中的行数。

整个查询的结果是一个包含表名、表注释、表数据大小(以GB为单位)以及表中行数的列表。

执行这条SQL语句时,请确保将"dbname"替换为您想要查询的实际数据库名称。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1561555.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

备战蓝桥杯---贪心刷题2

话不多说&#xff0c;直接看题&#xff1a; 首先我们大致分析一下&#xff0c;先排序一下&#xff0c;Kn&#xff0c;那就全部选。 当k<n时&#xff0c;k是偶数&#xff0c;那么结果一定非负&#xff0c;因为假如负数的个数有偶数个&#xff0c;那么我们成对选它&#xff0…

单链表的一些个人易错的问题(有理解不正确的地方请大佬指正)

请看下列代码 代码1&#xff1a;&#xff08;正确示范&#xff09; #include<stdio.h> #include<stdlib.h> struct node {int data;struct node *next;}; int main() {int n;int a;printf("请输入数字个数&#xff1a;");scanf("%d",&n)…

行车记录打不开?数据恢复有高招!

行车记录打不开&#xff0c;是许多车主在使用行车记录仪时常遇到的问题。当启动设备时&#xff0c;屏幕无反应或提示错误&#xff0c;让人不禁焦虑&#xff0c;担心重要的行车记录丢失。 行车记录打不开原因分析 行车记录打不开&#xff0c;其背后的原因可能复杂多样。硬件故障…

每日学习笔记:C++ STL算法分类

非更易型 更易型 移除型 变序型 排序型 已排序区间算法 数值型算法

【嵌入式系统设计师】软考2024年5月报名流程及注意事项

2024年5月软考嵌入式系统设计师报名入口&#xff1a; 中国计算机技术职业资格网&#xff08;http://www.ruankao.org.cn/&#xff09; 2024年软考报名时间暂未公布&#xff0c;考试时间上半年为5月25日到28日&#xff0c;下半年考试时间为11月9日到12日。不想错过考试最新消息…

行车记录打不开?别慌,数据恢复有高招!

行车记录打不开&#xff0c;这恐怕是许多车主都曾经遭遇过的烦恼。在驾驶途中&#xff0c;行车记录仪本应是记录美好瞬间、保障行车安全的重要工具&#xff0c;但一旦它出现打不开的情况&#xff0c;所有的期待与信赖便瞬间化为乌有。面对这种情况&#xff0c;我们该如何应对&a…

【C++的奇迹之旅(二)】C++关键字命名空间使用的三种方式C++输入输出命名空间std的使用惯例

文章目录 &#x1f4dd;前言&#x1f320; C关键字(C98)&#x1f309; 命名空间&#x1f320;命名空间定义&#x1f309;命名空间使用 &#x1f320;命名空间的使用有三种方式&#xff1a;&#x1f309;加命名空间名称及作用域限定符&#x1f320;使用using将命名空间中某个成员…

SAP ABAP批量复制PFCG角色并生效

文章目录 需求整体流程1. 检查角色是否存在2. 复制角色3. 批量生成参数文件4. 如果角色用户还是出现未比较&#xff0c;可在PFCG界面选择批量比较 细节上载模板代码&#xff1a; 小结 需求 最近碰到一个需求&#xff0c;需要对大批量的PFCG角色进行复制并使其生效 整体流程 …

Java 堆外内存及调优

文章目录 直接内存简介为什么DirectByteBuffer可以优化 IO 性能 直接内存的分配直接内存的回收直接内存跟踪与诊断 直接内存简介 直接内存(Direct Memory) 并不是虚拟机运行时数据区的一部分&#xff0c;并非Java虚拟机规范中定义的内存区域。但是这部分内存的频繁使用&#x…

动手机器学习支持向量机+习题

非参数化模型&#xff0c;当数据集规模增大时&#xff0c;其参数量也相应变多 希望从这无数个可以分隔两个点集的超平面中&#xff0c;挑选出与任意一点间隔&#xff08;margin&#xff09;的最小值最大的平面 支持向量机的数学描述 对上式来说&#xff0c;当w和b的大小同时变…

书生·浦语大模型实战营(第二期)-书生·浦语大模型全链路开源体系

课程来源&#xff1a;书生浦语大模型全链路开源体系 1.大模型成为发展通用人工智能的重要途径 专用模型:针对特定任务,一个模型解决一个问题 通用大模型:一个模型应对多种任务、多种模态 2.书生浦语大模型开源历程 书生浦语2.0面向不同的使用需求,每个规格包含三个模型版本:I…

golang语言系列:Authentication、OAuth、JWT 认证策略

云原生学习路线导航页&#xff08;持续更新中&#xff09; 本文是 golang语言系列 文章&#xff0c;主要对编程通用技能 Authentication、OAuth、JWT 认证策略 进行学习 1.Basic Authentication认证 每个请求都需要将 用户名密码 进行base64编码后&#xff0c;放在请求头的Aut…

04-MySQL数据库-权限管理

一、查看权限 1&#xff0c;查看系统所有权限 mysql> show privileges; 权限字段介绍 privileges #权限名称 context #对象&#xff0c;表示可以对数据库&#xff0c;那些资源、进行哪些操作&#xff1b; comment #描述&#xff0c;备注解释说明&#xff1b; Grant…

C++刷题篇——04找等值元素

一、题目 二、解题思路 1、分割后放进二维数组 2、使用map&#xff0c;key为数值&#xff0c;value为其坐标 3、遍历二维数组元素&#xff0c;再在map中找该元素对应的value值&#xff08;二维数组形式&#xff09;&#xff0c;倘若value.size为1&#xff0c;那直接返回-1&…

稳定性生产总结

本期我们来谈下稳定性生产这个话题&#xff0c;稳定性建设目标有两个&#xff1a;降发生、降影响&#xff0c; 在降发生中的措施是做到三点&#xff1a;系统高可用、 高性能、 高质量&#xff0c;三高问题确实是一个很热的话题&#xff0c;里面涉及很多点。 在降影响中要做到…

数据结构03:栈、队列和数组 队习题01[C++]

考研笔记整理~&#x1f95d;&#x1f95d; 之前的博文链接在此&#xff1a;数据结构03&#xff1a;栈、队列和数组_-CSDN博客~&#x1f95d;&#x1f95d; 本篇作为链表的代码补充&#xff0c;供小伙伴们参考~&#x1f95d;&#x1f95d; 第1版&#xff1a;王道书的课后习题…

Mamba和状态空间模型(SSM)的视觉指南:替代 Transformers 的语言建模方法

原文地址&#xff1a; A Visual Guide to Mamba and State Space Models 2024 年 2 月 19 日 论文地址&#xff1a;https://arxiv.org/pdf/2312.00752.pdf 这篇论文介绍了一种新型的线性时间序列模型Mamba&#xff0c;它通过选择性状态空间&#xff08;Selective State Space…

【Redis持久化】RDB、ROB介绍和使用

RDB、ROB介绍和使用 引言ROB介绍配置指令介绍使用指令&#xff1a;dump文件修复指令快照禁用 AOF工作流程&#xff1a;文件重写&#xff1a;三种写回策略&#xff1a; 混合使用 引言 持久化的目的&#xff0c;其实就是在Redis重启或者中途崩溃的时候能够依靠自身恢复数据&…

953: 单链表的删除操作的实现

学习版 【C语言】 【C】 #include <iostream>class MyLinkedList{public:struct LinkedNode{int val;LinkedNode* next;LinkedNode(int x):val(x),next(NULL){};}; MyLinkedList(){dummyHeadnew LinkedNode(0);length0;}~MyLinkedList(){while (dummyHead){LinkedNode…

vulhub打靶记录——driftingbox

文章目录 主机发现端口扫描目录扫描爆破子域名提权总结 主机发现 使用nmap扫描局域网内存活的主机&#xff0c;命令如下&#xff1a; nmap -sP 192.168.56.0/24192.168.56.1&#xff1a;主机IP&#xff1b;192.168.56.100&#xff1a;DHCP服务器IP&#xff1b;192.168.56.101…