列式存储引擎-内核机制-Parquet格式
Parquet是一种开源的列式存储结构，广泛应用于大数据领域。
1、数据模型和schema
Parquet继承了Protocol Buffer的数据模型。每个记录由一个或多个字段组成。每个字段可以是atomic字段或者group字段。Group字段包含嵌套的字段，每层可以要么是atomic要么是group字段。每个字段定义由两部分组成：数据类型（基本的数据类型，比如int32或者byte array）、repetition类型（定义字段值出现的次数）：required(1次)、optional(0或者1次)、repeated（0次或大于1次）。
看一个简单的示例：
Schema的最上层是message，里面包含3个字段。每个字段有3个属性：重复性（repetition）、类型（type）和名称（name）。其中contacts是一个group类型，即嵌套结构。
数据示例：
2、repetition和definition 级别
为了编码嵌套列，parquet 使用 dremel 通过 definition levels 和 repetition levels 来实现。
Repetition levels：用以表示在该字段路径上哪个节点进行了重复（at what repeated field in the field’s path the value has repeated）
Definition Levels：用以表示该字段路径上有多少可选的字段实际进行了定义（how many fields in p that could be undefined (because they are optional or repeated) are actually present）
1）比如：嵌套a.b.c三个3字段。字段path就是a.b.c
2）Repetition levels用来表示path中哪个部分是重复的。如果在a上重复了，那么level是1，b上重复level是2，c上重复level是3.
3）definition levels用来看下字段path中多少可选字段部分（optional和repeated）是定义的（即有值），求个和
为什么需要definition levels呢？
由于optional和repeated类型的存在，可能一条记录中某一列没有值，假设不记录这样的值，就会导致本该属于下一条记录的值被当作当前记录的一部分了，从而导致数据错误。下面的例子说明这点。
Dremel: Interactive Analysis of Web-Scale Datasets论文中的例子：
1）Schema定义：
2）两条记录
3）上述记录的RD表示
4）先以Links.Backward来说明为什么需要D
第1条记录中Links.Backward没有值，对该字段补NULL。此时Links.Backward的NULL没有一部分是重复的，所以R值为0。
第2条记录中Links.Backward有10和30两个值，10这个没有一部分是重复的，所以R值为0，30这个在Backward上重复，R值是1。
那么，不使用D的话，就将NULL，10，30都归到第1条记录了。
5）来看Name.Language.Code的D。Name和Language都是可选字段。
en-us的这个值出现了，即Code出现了，表示前两个也出现，所以它的值是2
NULL的这个，即表示url:http://B 这个的，仅name出现，所以该路径上可选项为1个。
注意：
1）required和optional字段不需要repetition level，只有repeated可重复的字段需要，所以这个路径的level仅算repeated的。比如Links.Backward这个路径Links是optional，仅Backward是repeated，所以Backward的repetition level是1。
2）Name.Language.Code的第一个NULL，表示url:http://B 这个的，它的R是在Name上重复，所以是1
3、编码
将给定数据转换成编码形式。根据使用的方法，编码有不同目的：确保数据正确性、缩短数据或者正确书写字符。Parquet中有：Plain、RLE/bit-packing、Delta编码。
3.1 Plain编码
对数据没有压缩和其他处理。所有类型均可使用。比如int32以4个字节存储，下图显示了0到3数字如何以plain编码方式进行存储：
3.2 RLE编码
Run-Length encoding算法，针对连续重复的数据，记录重复次数及对应值：
3.3 Bit-packing
基于这么个假设：每个int32或int64的值并不总是需要全部的32位或者64位。因此，不将这些值存储在他们的全部范围中，bit-packing将多个值打包到一个空间中。从数值的最低有效位开始压缩。最低有效位的意思，就是数值从二进制表示的值是 1 的最低的位置。从右边开始。例如针对数值是从 0 到 7，7占有的位长是 3， 按照 3 的位长来进行按位操作。如下：
# bitwidth of 3
output[0] = ((input[0] & 7) | ((input[1] & 7) << 3) | ((input[2] & 7) << 6)) & 255
output[1] = (((input[2] & 7) >>> 2) | ((input[3] & 7) << 1) | ((input[4] & 7) << 4)) | ((input[5] & 7) << 7)) & 255
output[2] = (((input[5] & 7) >>> 1) | ((input[6] & 7) << 2) | ((input[7] & 7) << 5)) & 255
上图是0，1，2三个值打包的示例。使用三位来表示一个值。input[0]使用最低3位，input[1]使用中间三位，input[3]使用最高的2位。
3.4 Dictionary Encoding 编码
对每个未压缩的数据使用数字进行编码。当然可以和上述的RLE/bit-packing结合。
3.5 Delta
可以用在整数和字节数组。delta 编码记录一个值和它之后一个值的差异，比如：
to_encode = [1, 2, 5, 7, 9]
encoded = [1, 1, 3, 2, 2]2比前一个值大1，5比前一个值大3，依次类推。
to_encode = [abc, abcd, abcde, abcdef]
encoded = [abc, 3d, 4e, 5e, 6f]字节的话，abcd与前一个不同在于第3个值是d，依次类推。
Delta 编码又被称为 incremental 变化，增量编码。非常适合有同样前缀的有序的字符串。
4、存储格式
这里存储模型又可以理解为存储格式或文件格式，Parquet 的存储模型主要由行组（Row Group）、列块（Column Chuck）、页（Page）组成。
1、行组，Row Group：Parquet 在水平方向上将数据划分为行组，默认行组大小与 HDFS Block 块大小对齐，Parquet 保证一个行组会被一个 Mapper 处理。
2、列块，Column Chunk：行组中每一列保存在一个列块中，一个列块具有相同的数据类型，不同的列块可以使用不同的压缩。
3、页，Page：Parquet 是页存储方式，每一个列块包含多个页，一个页是最小的编码的单位，同一列块的不同页可以使用不同的编码方式。
5、参考
https://www.waitingforcode.com/apache-parquet/encodings-apache-parquet/read
https://github.com/apache/parquet-format
https://github.com/apache/parquet-format/blob/master/Encodings.md
