详解 Flink Table API 和 Flink SQL 之流处理中的表

news2024/12/23 22:23:01

一、关系型表和流处理表对比

关系型表/SQL流处理表
处理的数据对象字段元组的有界集合字段元组的无限序列
查询(Query)对数据的访问可以访问到完整的数据输入无法访问所有数据,必须持续“等待”流式输入
查询终止条件生成固定大小的结果集后终止永不停止,根据持续收到的数据不断更新查询结果

二、动态表

  • 当流中有新数据到来,初始的表中会插入一行;而基于这个表定义的 SQL 查询,就应该在之前的基础上更新结果。这样得到的表就会不断地动态变化,被称为“动态表”(Dynamic Tables)
  • 动态表是 Flink 在 T able API 和 SQL 中的核心概念,它为流数据处理提供了表和 SQL 支持。关系型表一般用来做批处理,面向的是固定的数据集,可以认为是“静态表”;而动态表则完全不同,它里面的数据会随时间变化

三、持续查询

在这里插入图片描述

  • 动态表可以像静态的批处理表一样进行查询操作。由于数据在不断变化,因此基于它定义的 SQL 查询也不可能执行一次就得到最终结果,所以对动态表的查询就永远不会停止,一直在随着新数据的到来而继续执行。这样的查询就被称作“持续查询”(Continuous Query)

  • 动态表查询的处理过程:

    • 流(stream)被转换为动态表(dynamic table)

      在这里插入图片描述

    • 对动态表进行持续查询(continuous query),生成新的动态表

      在这里插入图片描述

    • 生成的动态表被转换成流

      在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1815075.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

SyntaxError: Non-UTF-8 code starting with ‘\xbd‘ in file错误解决

在运用python的pandas和numpy的内容环境下,运行代码时发生以下错误: C:\ProgramData\Anaconda3\python.exe D:/zafile/py数据分析与应用/数据分析代码/14.2、紧急电话数据分析.pyFile "D:/zafile/py数据分析与应用/数据分析代码/14.2、紧急电话数据…

教你一招,告警恢复时如何拿到恢复时的值?

Prometheus 生态的原生做法,由于阈值是放在 promql 中的,恢复时的消息中难以拿到恢复时的值,夜莺 v7.0.0.beta10 版本开始,提供了一种较为简单的内置方式,解决这个问题。下面我们就来看一下如何实现这个能力。 升级方…

MATLAB画图时添加标注显示有效数字的位数,可以编辑此函数

本来系统有个函数,在图像窗口选择标注工具,再在图像窗口右击鼠标,选择"编辑文本更新函数...",即打开系统的设置函数,可以修改最后一行: formattedValue [valueFormat num2str(value,4) removeV…

Python私教张大鹏 Vue3整合AntDesignVue之AutoComplete 自动完成

何时使用 需要一个输入框而不是选择器。需要输入建议/辅助提示。 和 Select 的区别 AutoComplete 是一个带提示的文本输入框,用户可以自由输入,关键词是辅助输入。Select 是在限定的可选项中进行选择,关键词是选择。 基本使用 基本使用。…

创新突破!科海思荣获高效含铊废水处理专利

随着科技进步和工业发展,环境保护和资源循环利用日益受到全球关注。面对严峻的环境挑战,科技创新成为推动可持续发展的关键动力。近日,科海思(北京)科技有限公司凭借其深厚的技术积累和持续的创新精神,成功…

RT-Thread系统使用STM32H7芯片串口5不工作

使用stm32h743芯片串口5不工作,其他串口都正常,TX5->PC12,RX5->PD2 drv_usart.c里面串口5的TX和RX反了,将TX和RX对调后解决。

SAP 生产订单工序创建BAPI外协加工字段增强CO_SE_PRODORD_OPR_CREATE

需求: 使用BAPI对工单进行新增工序时,需要同时维护外协加工页签上的部分字段,但是该BAPI不包含其中的一些字段,故对此BAPI进行增强以实现该效果。 实现方式: 1.老规矩,COPY标准BAPI出来,再对其…

微信小游戏开发流程及上架步骤:微信小游戏定制开发源码搭建

微信小游戏开发方案主要包括以下几个方面: 1.游戏设计:根据需求和目标用户群体,设计游戏玩法、关卡、角色、场景等元素,确保游戏具有吸引力和可玩性。 2.技术实现:根据游戏设计,选择合适的技术栈和开发工具…

平时的财经日历会影响黄金现货走势吗?

现货黄金的价格走势会受到诸多因素的影响,比如在财经日历上,美国的非农就业报告、GDP、利率公告、通胀数据等新闻和经济公告,都可能会对市场产生重大影响,尤其是当这些数据与市场预期不符的时候。所以比起单纯地进行技术分析和图表…

揭秘:消费1000,竟能领回2000?每天还有额外收入?

大家好,我是吴军,今天将为大家揭秘一种令人眼前一亮的商业模式——循环购模式。你可能会问,消费1000元,商家却送出了2000元的“好处”?每天还有钱领,这些钱还能提现?这究竟是怎么一回事&#xf…

VMware Workstation安装及使用详细教程

如何安装VMware Workstation的详细教程 一、准备工作 1. 下载VMware Workstation: 访问VMware官方网站,找到VMware Workstation的下载页面。根据您的操作系统(Windows或macOS)选择相应的版本进行下载。确保您的计算机满足VMwar…

Java课程设计:基于ssm的旅游管理系统系统(内附源码)

文章目录 一、项目介绍二、项目展示三、源码展示四、源码获取 一、项目介绍 2023年处于信息科技高速发展的大背景之下。在今天,缺少手机和电脑几乎已经成为不可能的事情,人们生活中已经难以离开手机和电脑。针对增加的成本管理和操作,各大旅行社非常必要…

Windows远程桌面连接

试验:使用Oracle VM VirtualBox创建虚拟机与物理机进行远程桌面连接实验 1. 准备 使用VirtualBox创建一台win10虚拟机,并与本地物理机相互ping通。(注意:如何存在ping不通,可以试一下关闭Windows的防火墙)…

x-anylabelimg如何标识人脸

软件地址,下载CPU版本就好 https://github.com/CVHub520/X-AnyLabeling/releases/tag/v2.0.0 一、打开软件选择的一个按钮,选择文件夹 二、选择模型运行 未下载的模型需要安全上网下载 选用Yolov6Lite_l-Face MeiTuan生成的文件格式,略作调…

AI大模型智慧政务解决方案

随着AI大模型技术的蓬勃发展和普及应用,我们的政务治理正迎来一场波澜壮阔的革新巨浪。这场革新,不仅是技术层面的飞跃,更是一场深刻改变治理理念的伟大变革。它彻底颠覆了传统政务治理中依赖人力、效率低下、响应迟缓的“人盯人”模式&#…

SAP CS01/CS02/CS03 BOM创建维护删除BAPI使用及增强改造

BOM创建维护删除相关BAPI的使用代码参考示例,客户电脑只能远程桌面,代码没法复制粘贴出来,只能贴图。 创建及修改BAPI: CSAP_MAT_BOM_MAINTAIN。 删除BAPI: CSAP_MAT_BOM_DELETE。 改造BAPI: CSAP_MAT_BOM_MAINTAIN 改造点1:拷…

数据安全:Web3时代的隐私保护新标准

随着数字化时代的到来,我们的生活已经完全依赖于互联网和数据交换。然而,随之而来的是对个人隐私和数据安全的日益关注。在这个信息爆炸的时代,数据泄露、个人隐私侵犯和网络攻击等问题日益突出,而Web3技术的崛起正带来了一种全新…

纷享销客海外合规观点与方案:个人隐私数据保护与数据出入境

出海,已不再是企业的“备胎”,而是必须面对的“大考”!在这个全球化的大潮中,有的企业乘风破浪,勇攀高峰,也有的企业在异国他乡遭遇了“水土不服”。 面对“要么出海,要么出局”的抉择&#xf…

第三方检测机构出具的校准证书,企业如何进行验证和确认?

检测校准对企业来说是日常管理工作不可缺少的一环,大部分公司也都会有自己的品管部,对企业使用的设备和仪器进行维护管理,并周期性做计量校准。不过当我们仪器做完校准后,机构出具的校准证书我们如何来确认其可靠性?验…

C# NX二次开发-获取圆弧中心点和半径

使用UF函数可以获取圆弧边或圆弧线中心点和半径: 1.使用 UF_CURVE_ask_arc_data: theUf.Curve.AskArcData(edge.Tag, out UFCurve.Arc arc);theUf.Curve.CreateArc(ref arc, out Tag arc_tag);double[] matrix_values new double[9];double[] vec_product new double[3];theU…