flink时间处理语义

news2024/10/5 13:08:01

背景

在flink中有两种不同的时间处理语义,一种是基于算子处理时间的时间,也就是以flink的算子所在的机器的本地时间为准,一种是事件发生的实际时间,它只与事件发生时的时间有关,而与flink算子的所在的本地机器的本地时间无关

处理时间VS事件时间

我们假设有一个手机位置信息的应用不停的向flink应用提供位置信息,对于flink来说,假设不论是事件时间还是处理时间,都是以一分钟为时间窗口,此时正常情况下手机会把每秒自己的位置信息发送到flink中,这样不论是基于事件时间还是处理时间的窗口,每分钟其实都会收到60个事件,但假如我们的手机信号中断,导致本应该发送的位置信息延迟发送了,那么此时基于处理时间的窗口和基于事件时间的窗口的语义就完全不一样了,见下图
在这里插入图片描述
此时对于处理时间的窗口来说,前一分钟窗口可能只有少数的几个事件,而后一分钟的窗口包含了超过60个事件。
然而对于事件时间的窗口来说,由于它是基于事件发生的事件,所以可以做到正确的把这些延迟的事件也正确归类到对应的一分钟事件窗口中.

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/994615.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

利用grafana展示Zabbix数据可视化

导入zabbix数据源,可以直接创建图形了。 单击“”按钮,选择创建仪表盘,单击要创建的图形,图形种类有很多,常用的有图表,列表,报警清单,zabbix触发器,文本。 创建巡检图形…

C++ 多线程 学习笔记

线程睡眠很稳定,但无线程睡眠不稳定 线程调用类方法: 有参数时调用方法: 当参数为引用时: 当同一资源被多个线程同时引用时,为防止资源抢占,使用mutex,互斥锁 头文件#include "mutex"…

蓝桥杯官网练习题(纸牌三角形)

题目描述 本题为填空题,只需要算出结果后,在代码中使用输出语句将所填结果输出即可。 A,2,3,4,5,6,7,8,9 共 99 张纸牌排成一个正三角形(A 按 1 计算)。要求每个边的和相等。 下图就是一种排法。 这样的排法可能会有很多。 如果…

thinkphp6-简简单单地开发接口

目录 1.前言TP6简介 2.项目目录3.运行项目运行命令访问规则 4.model db使用db连接配置model编写及调用调用接口 5.返回json格式 1.前言 基于上篇文章环境搭建后,便开始简单学习上手开发接口…记录重要的过程! Windows-试用phpthink发现原来可这样快速搭…

Spring Data JPA:简化数据库交互的艺术

🌷🍁 博主猫头虎(🐅🐾)带您 Go to New World✨🍁 🦄 博客首页——🐅🐾猫头虎的博客🎐 🐳 《面试题大全专栏》 🦕 文章图文…

Jmeter 实现 mqtt 协议压力测试

1. 下载jmeter,解压 https://jmeter.apache.org/download_jmeter.cgi 以 5.4.3 为例,下载地址: https://dlcdn.apache.org//jmeter/binaries/apache-jmeter-5.4.3.zip linux下解压: unzip apache-jmeter-5.4.3.zip 2. 下载m…

六)Stable Diffussion使用教程:图生图SD Upscale

这一篇说说SD放大(SD Upscale)。 图生图是没有 “高清修复” 选项的,因为从文生图的高清修复原理来看,图生图本身就是高清修复:只需要在重绘目标图像时,等比例增大图像的分辨率就可以了。 这里我们通过图库浏览器浏览一张图片,然后点击图生图,图片的所有出图参数就会…

运维学习之采集器 node_exporter 1.3.1安装并使用

参考《监控系统部署prometheus基本功能》先完成prometheus部署。 wget https://github.com/prometheus/node_exporter/releases/download/v1.3.1/node_exporter-1.3.1.linux-amd64.tar.gz下载压缩包。 tar -zxf node_exporter-1.3.1.linux-amd64.tar.gz进行解压。 cp node_e…

安全实战 | 怎么用零信任防范弱密码?

防范弱密码,不仅需要提升安全性,更需要提升用户体验。 比如在登录各类业务系统时,我们希望员工登录不同系统不再频繁切换账号密码,不再需要3-5个月更换一次密码,也不再需要频繁的输入、记录、找回密码。 员工所有的办…

Spring Boot与Kubernetes:现代云部署的完美组合

🌷🍁 博主猫头虎(🐅🐾)带您 Go to New World✨🍁 🦄 博客首页——🐅🐾猫头虎的博客🎐 🐳 《面试题大全专栏》 🦕 文章图文…

第六章 图 四、图的广度优先遍历(BFS算法、广度优先生成树、广度优先生成森林)

一、实现步骤 广度优先遍历的实现步骤如下: 1.从图的某一个节点开始,将该节点标记为已经访问过的节点。 2.将该节点加入到队列中。 3.当队列非空时,执行以下操作: a. 取出队列队首节点,并遍历该节点与之相邻的所有…

Spring AOP:面向切面编程在实际项目中的应用

🌷🍁 博主猫头虎(🐅🐾)带您 Go to New World✨🍁 🦄 博客首页——🐅🐾猫头虎的博客🎐 🐳 《面试题大全专栏》 🦕 文章图文…

算法之位运算

前言 位运算在我们的学习中占有很重要的地位,从二进制中数的存储等都需要我们进行位运算 一、位运算复习 1.位运算复习 按位与(&):如果两个相应的二进制位都为1,则该位的结果值才为1,否则为0 按位或( | ):如果…

Spring Batch:处理大数据和批量任务的解决方案

🌷🍁 博主猫头虎(🐅🐾)带您 Go to New World✨🍁 🦄 博客首页——🐅🐾猫头虎的博客🎐 🐳 《面试题大全专栏》 🦕 文章图文…

聚类分析 | MATLAB实现基于SOM自组织特征映射聚类可视化

聚类分析 | MATLAB实现基于SOM自组织特征映射聚类可视化 目录 聚类分析 | MATLAB实现基于SOM自组织特征映射聚类可视化效果一览基本介绍程序设计参考资料 效果一览 基本介绍 基于自组织特征映射聚类算法(SOM)的数据聚类可视化 可直接运行 注释清晰 Matlab语言 1.多特征输入&…

数据接口工程对接BI可视化大屏(四)创建工程

第4章 创建工程 4.1 新建工程 在IDEA中新建工程,并使用SpringInitializr来创建: 点击下一步,输入项目的GAV坐标及工程构造方式后点击下一步: 点击下一步,选择主版本和模块,这里以Spring2.x版本为例&#…

Spring Reactive:响应式编程与WebFlux的深度探索

🌷🍁 博主猫头虎(🐅🐾)带您 Go to New World✨🍁 🦄 博客首页——🐅🐾猫头虎的博客🎐 🐳 《面试题大全专栏》 🦕 文章图文…

CLEAN-SC波束形成声源识别改进

CLEAN-SC 波束形成声源识别方法计算速度快、成像干净清晰、结果准确度高,但当传统延迟求和算法在各声源处输出的主瓣严重融合时,亦无法准确分辨声源。造成该缺陷的原因为: 主瓣严重融合时,CLEAN-SC 所基于的延迟求和输出峰值所在聚焦点即为声…

一、认识GitHub项目 —— TinyWebServer

认识GitHub项目 —— TinyWebServer 一、前言 这个项目是Linux下C轻量级Web服务器。几乎是想从事C服务器开发方向的同学的必备初始项目了。属于那种,“烂大街”,但是你又不能不会的项目。 对这个项目笔者打算多分几章讲解,帮助刚用GitHub&a…

系统架构设计高级技能 · 通信系统架构设计理论与实践

现在的一切都是为将来的梦想编织翅膀,让梦想在现实中展翅高飞。 Now everything is for the future of dream weaving wings, let the dream fly in reality. 点击进入系列文章目录 系统架构设计高级技能 通信系统架构设计理论与实践 一、通信系统网络架构1.1 局域…