1、MySQL的基本架构组成
MySQL的基本架构组成包括以下几个部分:
- 连接器(Connection Manager):负责与客户端建立连接,并处理客户端发送的请求。连接器会验证客户端的身份、分配线程和缓存等资源,并将请求转发给下一个组件处理。
- 查询缓存(Query Cache):用于缓存查询语句及其结果,以提高查询性能。但是,由于查询缓存的限制较多,因此在实际应用中使用较少。
- 分析器(Parser):用于对SQL语句进行解析,并生成相应的解析树。解析器会检查SQL语句的语法是否正确,并将其转换成内部的数据结构。
- 优化器(Optimizer):用于对查询语句进行优化,以提高查询性能。优化器会根据查询的复杂度、表的大小、索引的使用情况等因素,选择最优的查询执行计划。
- 执行器(Executor):负责执行查询语句,并将结果返回给客户端。执行器会根据优化器生成的查询执行计划,访问存储引擎,获取数据并进行相应的操作。
- 存储引擎(Storage Engine):负责数据的存储和查询操作。MySQL支持多种存储引擎,如InnoDB、MyISAM、Memory等,每种存储引擎都有其优缺点和适用场景。
以上组件共同协作,构成了MySQL的基本架构。
2、redo log 和 binlog
redo log和binlog都是MySQL中的日志文件,用于记录数据库的变更操作,但它们的作用和使用方式略有不同。
redo log(重做日志)是InnoDB存储引擎特有的日志文件,用于记录事务中所做的修改操作。在事务提交前,InnoDB将重做日志记录到磁盘上的redo log文件中,以保证在发生故障时能够恢复事务。当MySQL重启时,它会将redo log文件中未提交的事务重新执行,以确保数据的一致性。
binlog(二进制日志)是MySQL的通用日志文件,用于记录所有数据库的修改操作。在执行每个语句或事务时,MySQL将binlog记录到磁盘上的binlog文件中。binlog文件中的内容可以被MySQL复制到其他服务器上,以实现数据备份、复制和恢复等功能。binlog文件还可以用于数据恢复和故障排除。
简单来说,redo log是InnoDB存储引擎的事务日志,用于保证数据的一致性和可靠性;而binlog是MySQL的通用日志文件,用于记录所有数据库的修改操作,以实现数据备份、复制和恢复等功能。
redo log 用于保证 crash-safe 能力。innodb_flush_log_at_trx_commit 这个参数设置成 1 的时候,表示每次事务的 redo log 都直接持久化到磁盘。这个参数我建议你设置成 1,这样可以保证 MySQL 异常重启之后数据不丢失。
sync_binlog 这个参数设置成 1 的时候,表示每次事务的 binlog 都持久化到磁盘。这个参数我也建议你设置成 1,这样可以保证 MySQL 异常重启之后 binlog 不丢失。
3、执行一条update的流程
mysql> update T set c=c+1 where ID=2;
- 执行器先找引擎取 ID=2 这一行。ID 是主键,引擎直接用树搜索找到这一行。如果 ID=2 这一行所在的数据页本来就在内存中,就直接返回给执行器;否则,需要先从磁盘读入内存,然后再返回。
- 执行器拿到引擎给的行数据,把这个值加上 1,比如原来是 N,现在就是 N+1,得到新的一行数据,再调用引擎接口写入这行新数据。
- 引擎将这行新数据更新到内存中,同时将这个更新操作记录到 redo log 里面,此时 redo log 处于 prepare 状态。然后告知执行器执行完成了,随时可以提交事务。
- 执行器生成这个操作的 binlog,并把 binlog 写入磁盘。
- 执行器调用引擎的提交事务接口,引擎把刚刚写入的 redo log 改成提交(commit)状态,更新完成。
4、怎样让数据库恢复到半个月内任意一秒的状态?
当需要恢复到指定的某一秒时,比如某天下午两点发现中午十二点有一次误删表,需要找回数据,那你可以这么做:
首先,找到最近的一次全量备份,如果你运气好,可能就是昨天晚上的一个备份,从这个备份恢复到临时库;
然后,从备份的时间点开始,将备份的 binlog 依次取出来,重放到中午误删表之前的那个时刻。
这样你的临时库就跟误删之前的线上库一样了,然后你可以把表数据从临时库取出来,按需要恢复到线上库去。
5、为什么日志需要“两阶段提交”
假设当前 ID=2 的行,字段 c 的值是 0,再假设执行 update 语句过程中在写完第一个日志后,第二个日志还没有写完期间发生了 crash,会出现什么情况呢?
先写 redo log 后写 binlog:
假设在 redo log 写完,binlog 还没有写完的时候,MySQL 进程异常重启。由于我们前面说过的,redo log 写完之后,系统即使崩溃,仍然能够把数据恢复回来,所以恢复后这一行 c 的值是 1。但是由于 binlog 没写完就 crash 了,这时候 binlog 里面就没有记录这个语句。因此,之后备份日志的时候,存起来的 binlog 里面就没有这条语句。然后你会发现,如果需要用这个 binlog 来恢复临时库的话,由于这个语句的 binlog 丢失,这个临时库就会少了这一次更新,恢复出来的这一行 c 的值就是 0,与原库的值不同。
先写 binlog 后写 redo log:
如果在 binlog 写完之后 crash,由于 redo log 还没写,崩溃恢复以后这个事务无效,所以这一行 c 的值是 0。但是 binlog 里面已经记录了“把 c 从 0 改成 1”这个日志。所以,在之后用 binlog 来恢复的时候就多了一个事务出来,恢复出来的这一行 c 的值就是 1,与原库的值不同。
可以看到,如果不使用“两阶段提交”,那么数据库的状态就有可能和用它的日志恢复出来的库的状态不一致。