1.前言
flink有3种时间,主要是事件时间和处理时间。
水位线主要解决,数据乱序到达或者延迟到达的问题
2.水位线原理
即只有当水位线,越过窗口的结束时间,才会触发窗口计算。
窗口计算需要同时满足两个条件:
1.水位线,越过窗口的结束时间
2.窗口开始 和 窗口结束时间内,有数据
举个例子:
情况1:消息正常到达,没有延迟的情况
情况二: 相较情况一,发生消息延迟(仍采用处理时间)
情况三:采用事件时间
迟到6秒的数据,无法分配到window1中,因为已经关闭
所以采用事件时间,还是处理时间,都无法保证窗口数据的正确。
情况四:引入水位线
只有水位线越过窗口结束时间,才关闭窗口,相当于让窗口延迟关闭。
3.水位线的设置方法
为了支持事件时间,flink必须知道时间戳。
分配时间戳和生成水位线,是同时生成的。
可以直接使用WatermarkStrategy下边的静态方法,生成水位线和分配时间戳。
也可以实现接口的两个create ** 方法来自定义,生成水位线和分配时间戳。
3.1 两种水位线设置
3.1.1 固定延迟水位线
由于乱序流中需要等待迟到数据到齐,所以必须设置一个固定量的延迟时间(Fixed Amount of Lateness)。这时生成水位线的时间戳,就是当前数据流中最大的时间戳减去延迟的结果,相当于把表调慢,当前时钟会滞后于数据的最大时间戳。调用 WatermarkStrategy.forBoundedOutOfOrderness()方法就可以实现。
这个方法需要传入一个 maxOutOfOrderness 参数,表示“最大乱序程度”,它表示数据流中乱序数据时间戳的最大差值;如果我们能确定乱序程度,那么设置对应时间长度的延迟,就可以等到所有的乱序数据了。
eg:
3.1.2 单调递增水位线
对于单调递增的有序流,主要特点就是时间戳单调增长(Monotonously Increasing Timestamps),所以永远不会出现迟到数据的问题。这是周期性生成水位线的最简单的场景,直接调用WatermarkStrategy.forMonotonousTimestamps()方法就可以实现。简单来说,就是直接拿当前最大的时间戳作为水位线就可以了
3.2 自定义水位线(以后再补上)