postgresql源码学习（51）—— 提交日志CLOG 提交日志CLOG 原理用途管理函数

news2024/11/27 2:35:38

一、 CLOG是什么

CLOG（commit log）记录事务的最终状态。

物理上，是$PGDATA/pg_xact目录下的一些文件

逻辑上，是一个数组，下标为事务id，值为事务最终状态

1. 事务最终状态

clog.h中定义了4种事务状态

/*
 * Possible transaction statuses --- note that all-zeroes is the initial
 * state. 全0为初始状态
 *
 * subcommitted状态表示子事务已提交，但父事务尚未提交或回滚
 */
typedef int XidStatus;

#define TRANSACTION_STATUS_IN_PROGRESS      0x00
#define TRANSACTION_STATUS_COMMITTED        0x01
#define TRANSACTION_STATUS_ABORTED          0x02
#define TRANSACTION_STATUS_SUB_COMMITTED    0x03

2. CLOG空间占用

由于只有4种状态，因此只需要2个bit即可表示它们，一个字节则可以存4个事务的状态，在clog.c中也可以看到这些定义。

/* We need two bits per xact, so four xacts fit in a byte */
#define CLOG_BITS_PER_XACT  2
#define CLOG_XACTS_PER_BYTE 4
#define CLOG_XACTS_PER_PAGE (BLCKSZ * CLOG_XACTS_PER_BYTE)
#define CLOG_XACT_BITMASK   ((1 << CLOG_BITS_PER_XACT) - 1)

CLOG_BITS_PER_XACT：每个事务占用几个 bit（默认2）
CLOG_XACTS_PER_BYTE ：每个字节可以存几个事务的状态（默认4，8 bit/2）
CLOG_XACTS_PER_PAGE：每个页可以存几个事务的状态（默认8KB*4=32K=2^15个）
CLOG_XACT_BITMASK：位掩码（没查到是干啥的），计算方式是CLOG_BITS_PER_XACT左移1位然后减1。例如默认值为2，二进制为0010，左移一位0100，再减1则为0011

另外在slru.h中还定义了SLRU段大小（CLOG日志缓冲池是基于SLRU缓冲池实现的）。

32代表每个CLOG文件（段）由32个页组成，每个段可记录32*2^15=2^20个事务的状态。

#define SLRU_PAGES_PER_SEGMENT  32

目前事务id为32位，最多有2^32个事务，因此最多需要2^32/2^20=2^12个日志段。

CLOG以段号命名，因此只需要12位，不过实际上，pg是使用4位16进制数来表示段号，并作为日志名，也就是我们前面看到的0000,0001这种名字。

3. CLOG四元组

前面提到，CLOG在逻辑上是一个数组，下标为事务id，值为事务最终状态。那么怎么通过事务id定位它在CLOG中的具体位置并获取事务最终状态？答案就是下面这个四元组：

#define TransactionIdToPage(xid)    ((xid) / (TransactionId) CLOG_XACTS_PER_PAGE)
#define TransactionIdToPgIndex(xid) ((xid) % (TransactionId) CLOG_XACTS_PER_PAGE)
#define TransactionIdToByte(xid)    (TransactionIdToPgIndex(xid) / CLOG_XACTS_PER_BYTE)
#define TransactionIdToBIndex(xid)  ((xid) % (TransactionId) CLOG_XACTS_PER_BYTE)

TransactionIdToPage：事务id对应在哪个CLOG页
TransactionIdToPgIndex：事务id对应在上面页中的偏移量
TransactionIdToByte：事务id对应在上面页中第几个的字节
TransactionIdToBIndex：事务id对应在上面字节中的哪个bit

例如事务id 756，最终状态是已回滚

TransactionIdToPage = 756/(2^15)=0 -> 第0号page
TransactionIdToPgIndex = 756%(2^15)=0 -> 第0号page的756偏移位
TransactionIdToByte = 756/4=189 -> 第0号page的189个byte
TransactionIdToBIndex = 756%4=0 -> 该byte的首2位bit

查看clog

hexdump -C ./0000 -s 189 -n 1
# -C 定义导出的格式；-s 指定了从文件头跳过多少字节，默认十进制，0x开头则是十六进制；-n 指定导出多少字节长度

#define TRANSACTION_STATUS_ABORTED          0x02

二、主要用途

CLOG中保存的事务最终状态用来干什么？答案是用来在可见性判断中确定事务的运行状态。

postgresql源码学习（十九）—— MVCC④-可见性判断 HeapTupleSatisfiesMVCC函数_Hehuyi_In的博客-CSDN博客再回来看看这个复杂的流程图

可以看到在t_infomask未设置时，会根据clog来判断事务是否提交。之前的文章也有提到过，这样做是为了加速判断，避免每行都需要读取clog文件（或者缓冲区）数据。

流程图中可以看到，clog主要判断函数为 TransactionIdDidCommit，其实还有一个函数TransactionIdDidAbort也会查询pg_xact目录。另一个TransactionIdIsInProgress函数查的是PGPROC数组，这个函数过于复杂，这里就跳过了。

除去子事务相关部分，其实这两个函数非常简单

/*
 * TransactionIdDidCommit
 *      True if transaction associated with the identifier did commit.
 * Note:
 *      Assumes transaction identifier is valid and exists in clog.
 */
bool                            /* true if given transaction committed */
TransactionIdDidCommit(TransactionId transactionId)
{
    XidStatus   xidstatus;
    xidstatus = TransactionLogFetch(transactionId);

    /*
     * If it's marked committed, it's committed.
     */
    if (xidstatus == TRANSACTION_STATUS_COMMITTED)
        return true;
…
    /*
     * It's not committed.
     */
    return false;
}

/*
 * TransactionIdDidAbort
 *      True iff transaction associated with the identifier did abort.
 * Note:
 *      Assumes transaction identifier is valid and exists in clog.
 */
bool                            /* true if given transaction aborted */
TransactionIdDidAbort(TransactionId transactionId)
{
    XidStatus   xidstatus;
    xidstatus = TransactionLogFetch(transactionId);

    /*
     * If it's marked aborted, it's aborted.
     */
    if (xidstatus == TRANSACTION_STATUS_ABORTED)
        return true;
…
    /*
     * It's not aborted.
     */
    return false;
}