openGauss 高效数据压缩算法

2.1 主要创新技术点

openGauss 的主要创新技术点总结如下：
（一）改进压缩算法，压缩数据单位依然是选择页级别，进一步结合 Page 结构以及本身数据的特征，将 page 交给通用压缩算法前，先将 Page 按照字节级别进行有序转换、或者是多页联合重组、或者是差分预处理，这样能获得更高的压缩率，且这一步预处理几乎不会带来多大的性能损耗。
（二）压缩存储块管理，单个页面压缩后的压缩块以 chunk 为粒度进行存储，然后将存储结果和页面的映射关系进行管理，因此相对于压缩页面需要在内存和磁盘之间加一层映射关系管理，记录页面压缩块与 chunk 存储单元之前的关系，我们称之为压缩页面地址管理（pca），对应的将记录压缩块 chunk 的页面称为压缩页面数据管理（pcd）。非压缩页面的页面号与存储资源 block 是一一对应的，不需要单独管理。Pca 中不但要记录每个页面的压缩块使用了哪些 chunk 资源块，而且记录了 chunk 资源块的排列顺序，在页面访问时都先通过查询地址管理页面才能找到压缩块的存储位置。由于使用了更小的 chunk，将每个页面节省的空间累积在一起，通过打洞方式返还给操作系统。

2.2 功能实现

在 page 页面落盘之前，根据条件 (是否多页联动、差分预处理等) 选择相应压缩算法，对单页面 page 进行压缩，压缩后至少需要一个 chunk 来存储，以 page 大小 8K 为例，选择 4K，2K，1K，0.5K 的压缩后理论上限分别为 50%、25%、12.5%，6.25%。同时 chunk 的个数也决定了每个页面压缩后的大小不是连续变化的，而是以 chunk 大小阶跃变化。同时以一个 ext 单元的形式进行存储，一个 ext 单元由 128 个 pcd 数据页面和 1 个 pca 映射页面组成。Pcd 数据页面预划分为 8k，即使不进行压缩，存储单元也足够存储。将压缩后的 chunk 块存储在每个 pcd 页面，将剩余的空间进行打洞反还给操作系统。将映射消息记录在 pca 页面，为 pca 页面建立 pcabuffer 缓存，方便快速访问。

落盘过程原理图: