增加并行度后，发现Flink窗口不会计算的问题。

news2024/11/19 7:35:16

文章目录

前言
一、现象
二、结论
三、解决

前言

窗口没有关闭计算的问题，一直困扰了很久，经过多次验证，确定了问题的根源。

一、现象

Flink使用了window，同时使用了watermark ，并且还设置了较高的并行度。生产是设置了300的并行度，并且接入了几十个topic ，这个地方划重点，后面会提到。结果就是，窗口没有关闭进行计算。于是我查阅的相关文档，得到的答案是因为配置的源并行度大于topic的分区数而导致。这个答案只能说很接近，而且我最开始也觉得很有道理。
解释一下watermark + window的原理

在这里插入图片描述
可以看到前面三个窗口里面都有数据，窗口触发计算的其中一个必要条件是最新的数据没过最低的水位线，就进行计算，认为不会再有乱序的数据进来了。但是从图中我们可以看到其中一个窗口一个数据都没有，就会导致拿不到所有窗口的最低水位线。因此也就无法触发计算。
为了验证这一法则
我在测试环境配置了一个并行度为10的程序，topic只有一个分区，启动任务的时候，我信誓旦旦地保证这不可能关闭窗口进行计算，然而，现实狠狠打了我一巴掌，窗口结果算出来了。虽然只是三言两语，实际上我做了很多尝试，只是其他的实验不重要，都是证明我是错的

于是通过比较的方法，想到和生产的情况不同就在于，生产消费了几十个topic，而我的测试只有一个topic，于是我再次坚信，问题一定就在这了。

我直接在idea进行测试
在这里插入图片描述

我配置了两个topic，并且在一开始只往第一个topic中写数据，而第二个topic不写数据

很好，跑了一整个中午，一次窗口聚合计算都没有。

此时进行最后一步验证，就是往第二个topic写数据。

我在这个时间往第二个topic发了数据

collectTime":1697693856606

在这里插入图片描述
为了让大家看清楚现象，我把日志和截图都给出来

2023-10-19 13:37:32.699 [Legacy Source Thread - Source: Custom Source -> Flat Map -> (Flat Map -> Flat Map -> Sink: Unnamed, Timestamps/Watermarks -> (Flat Map, Flat Map, Flat Map)) (10/16)#0] INFO  c.a.c.d.risk.domain.function.IndicatrixMapFunction - 【通过】滑动窗口前置数据处理
2023-10-19 13:37:32.805 [Window(TumblingEventTimeWindows(60000), EventTimeTrigger, CountAverageFunction, LogResultWindowFunction) (13/16)#0] INFO  com.ai.cass.dc.risk.re.idxSend.IdxSend - 聚合时：存储指标结果,calcTypeCode:FrequencyOccurStttc key:ff83d41c-335f-405d-88e7-f5285aecdcf5a1123 Value:8
2023-10-19 13:37:32.805 [Window(TumblingEventTimeWindows(60000), EventTimeTrigger, CountAverageFunction, LogResultWindowFunction) (13/16)#0] INFO  com.ai.cass.dc.risk.re.idxSend.IdxSend - 聚合时：存储指标结果,calcTypeCode:FrequencyOccurStttc key:ff83d41c-335f-405d-88e7-f5285aecdcf5a1123 Value:27
2023-10-19 13:37:32.805 [Window(TumblingEventTimeWindows(60000), EventTimeTrigger, CountAverageFunction, LogResultWindowFunction) (13/16)#0] INFO  com.ai.cass.dc.risk.re.idxSend.IdxSend - 聚合时：存储指标结果,calcTypeCode:FrequencyOccurStttc key:ff83d41c-335f-405d-88e7-f5285aecdcf5a1123 Value:28
2023-10-19 13:37:32.805 [Window(TumblingEventTimeWindows(60000), EventTimeTrigger, CountAverageFunction, LogResultWindowFunction) (13/16)#0] INFO  com.ai.cass.dc.risk.re.idxSend.IdxSend - 聚合时：存储指标结果,calcTypeCode:FrequencyOccurStttc key:ff83d41c-335f-405d-88e7-f5285aecdcf5a1123 Value:17
2023-10-19 13:37:32.805 [Window(TumblingEventTimeWindows(60000), EventTimeTrigger, CountAverageFunction, LogResultWindowFunction) (13/16)#0] INFO  com.ai.cass.dc.risk.re.idxSend.IdxSend - 聚合时：存储指标结果,calcTypeCode:FrequencyOccurStttc key:ff83d41c-335f-405d-88e7-f5285aecdcf5a1123 Value:20

在这里插入图片描述