Flink是什么?场景?处理流的发展演变?

news2024/11/27 4:15:50

Flink是什么?

  • Flink是什么?
  • 为什么选择Flink?
  • 什么场景需要处理流数据?
  • 处理流的发展演变




Flink是什么?

Apache Flink 是一个在无界有界数据流上进行状态计算的框架和分布式处理引擎。Flink 能在所有常见集群环境中运行,并能以内存速度和任意规模进行计算。

为什么选择Flink?

低延迟
高吞吐
结果的准确性和良好的容错性

什么场景需要处理流数据?

Flink的经典使用场景是ETL,即Extract抽取、Transform转换、Load加载,可以从一个或多个数据源读取数据,经过处理转换后,存储到另一个地方。
在这里插入图片描述

处理流的发展演变

  1. 传统数据处理:事务处理,需要用户进行ClickEvents发送到后台进行关系型数据库状态的CRUD or 逻辑处理,最后进行响应。
  2. 有状态的流式处理:来一个处理一个的流式处理,瓶颈在于需要不断的查询关系型数据库,所以这时候直接存储到本地内存的状态,由于出现了程序奔溃内存的不稳定,增加数据库的持久化,以及故障的恢复机制,从Checkpoint记录的恢复。
  3. lamdba架构:解决集群多程序中流处理时间顺序问题,使用两套系统,同事保证低延迟和结果精确。流处理和批处理两套
    缺点:但是这个时候如果使用有变化会在不同的两套系统中进行运算,而且可能使用不同架构有不同API。
    在这里插入图片描述
  4. Flink:低延迟、高吞吐、结果的准确性和良好的容错性、时间正确






如有错误欢迎指正

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/27254.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

线性表的链式存储的基本

链表是线性表的链式存储方式,逻辑上相邻的数据在计算机内的存储位置不一定相邻,因此,我们需要为每一个元素设置有一个指针来指向与它逻辑相邻的元素。 为此,我们为每个元素设置一个结点,每个结点由数据域和指针域组成…

【3D目标检测】Monocular 3D Object Detection with Pseudo-LiDAR Point Cloud

目录概述整体流程伪点云vs点云2D-3D边界框的一致性约束概述 本文的输入数据仅仅是单目图像,在方法上是融合了伪点云(Pseudo-LiDAR)的深度信息表示方法与Frustum PointNets的检测方法。 乍一看文章和伪点云原论文Pseudo-LiDAR from Visual De…

Deep-SVDD 方法

两种情况 1. 数据集有正负样本,但正样本的量远远大于负样本为异常检测,即大量的正样本为正常,少数的负样本是异常的。 2. 数据集只有正样本,称为单分类,即只通过正样本训练模型,区分正样本和非正样本。 情…

蓝桥杯2021年第十二届省赛真题-时间显示(C and C++)

这一篇是个小记&#xff0c;真无语了&#xff0c;看见这个题感觉哇塞好简单的感觉&#xff0c;谁知道栽了&#xff0c;烦死了 话不多说&#xff0c;记录一下 C语言 #include<stdio.h> int main() {int a,b,c;long long time;//题上说了10的18次方的正整数&#xff0c;所…

Spring:AOP的五种通知类型(12)

AOP的五种通知类型前置通知&#xff1a;Before注解后置通知&#xff1a;After注解环绕通知&#xff1a;Around注解&#xff08;掌握&#xff09;返回后通知&#xff1a;AfterReturning&#xff08;了解&#xff09;异常后通知&#xff1a;AfterThrowing&#xff08;了解&#x…

直播回顾 | 【原引擎】解密云原生安全:如何应对新型BOT攻击?

BOT流量是指在互联网上对Web网站、APP应用、API接口通过工具脚本、爬虫程序或模拟器等非人工手动操作访问的自动化程序流量&#xff0c;一般也称为机器人流量。而恶意的BOT流量通过利用代理或秒拨IP、手机群控等手段来爬取信息数据、抢刷接口、薅羊毛、外挂作弊等恶意攻击行为&…

招标 | 近期隐私计算项目招标中标25(大连理工大学、中国电信北京研究院、松山湖材料实验室、北京控制工程研究所、光大永明)

开放隐私计算 开放隐私计算 开放隐私计算OpenMPC是国内第一个且影响力最大的隐私计算开放社区。社区秉承开放共享的精神&#xff0c;专注于隐私计算行业的研究与布道。社区致力于隐私计算技术的传播&#xff0c;愿成为中国 “隐私计算最后一公里的服务区”。 177篇原创内容 …

apache-POI ,easyexcel(3个办公软件)

POI介绍 ApachePOI是用Java编写的免费开源的跨平台的JavaAPI&#xff0c;ApachePOI提供API给Java程序对MicrosoftOffice格式档案读和写的功能&#xff0c;其中使用最多的就是使用POI操作Excel文件。 HSSF&#xff0d;提供读写MicrosoftExcelXLS格式档案的功能XSSF&#xff0d;…

【设计模式】适配器模式

适配器模式属于结构型模式&#xff0c;主要解决两个已存在的功能相近的接口间不能兼容的问题。在准备将一个接口对接到另一个接口中时&#xff0c;发现另一个接口&#xff08;目标&#xff09;与准备对接的接口&#xff08;适配者&#xff09;因不兼容而无法正常运行功能时&…

Allegro如何打盲埋孔操作指导

Allegro如何打盲埋孔操作指导 Allegro支持打盲埋孔,具操作如下 首先保证库路径下方有盲埋孔的封装 打开规则管理器 选择Physical规则,点击VIAS,会出现一个对话框,勾选show vias from Library ,出现孔的封装 把孔添加到via list里面去,之后点击ok 加好的效果如

web前端-javascript-数据类型(6种数据类型/字符串、数值、布尔值、空值、未定义、对象,String字符串、引号问题、转义字符、字面量和变量输出)

文章目录数据类型1. 介绍说明2. String 字符串引号问题转义字符字面量和变量的输出数据类型 var str "hello"; str 我说:"今天天气真不错&#xff01;";str 我说:"今天\t天气真不错&#xff01;"; str "\\\\\\";//输出字面量str …

ESP32基础应用之使用两个ESP32通过阿里云物联网平台实现相互通信

文章目录1 阿里云物联网平台2 程序编写2.1 ESP32-COM4 设备2.1 ESP32-COM5 设备3 实验现象分析1 阿里云物联网平台 在设备管理下创建两个设备&#xff0c;参考ESP32基础应用之ESP32与阿里云物联网平台实现数据互传&#xff08;MQTT协议&#xff09; 在规则引擎下创建云产品流…

前后端分离 基础(新增与查询)

目录 一&#xff0c;后端 1.1 修改settings---->搜索Maven 1.2 application.yml文件与jdbc.properties文件 对应数据库的账号密码 application.yml 1.4 jdbc.properties 1.3 generatorConfig.xml jdbc驱动jar包 1.4 从本地导入pom依赖 POM 1.5 自动生成 1.6 各个层…

axure学习:设置部件固定到浏览器,预览时部件消失

​在Axure中有一个非常好用且常用的部件——动态面板&#xff0c;动态面板很常用的一个功能是利用不同状态页做tab的切换、轮播图等&#xff0c;但咱们今天要说的不是关于这方面的问题。这里我们要说的是关于动态面板的属性&#xff1a;固定到浏览器的使用。 关于这一点&#…

react(任意组件之间传值--消息订阅与发布、路由)

目录 兄弟组件传值--任意组件之间传值 fetch发送请求&#xff1a; react 路由 解决样式丢失的问题&#xff1a; 路由的模糊匹配和严格匹配 嵌套路由 向路由组件传参 前端中文学习网站&#xff1a;印记中文 - 深入挖掘国外前端新领域&#xff0c;为国内 Web 前端开发人员提…

最优化方法总结——梯度下降法、最速下降法、牛顿法、高斯牛顿法、LM法、拟牛顿法

目录 1 最优化方法的结构 2 常用最优化方法对比分析 3 相关计算公式 1 最优化方法的结构 最优化问题的一般形式为&#xff1a; 其中为决策变量&#xff0c;是目标函数&#xff0c;为约束集或可行域。特别地&#xff0c;如果&#xff0c;则最优化问题成为无约束最优化问题。 …

目标检测DiffusionDet: Diffusion Model for Object Detection

先贴一张流程图&#xff1a; github:GitHub - ShoufaChen/DiffusionDet: PyTorch implementation of DiffusionDet (https://arxiv.org/abs/2211.09788) pdf: https://arxiv.org/abs/2211.09788 Abstract: 本文提出了一个新的框架DiffusionDet&#xff0c;将目标检测问题构建…

Lombok的@Data注解包含的方法(没有全参构造方法)

Lombok的Data注解包含的方法&#xff08;没有全参构造方法&#xff09; 目录Lombok的Data注解包含的方法&#xff08;没有全参构造方法&#xff09;结论&#xff1a;测试&#xff1a;1.Maven引入依赖2.安装lombok插件3.编写实体类4.编译5.查看target文件6.编译后的源代码结论&a…

实用的3款视频添加水印软件分享,简单易上手

如今刷短视频已经成为许多小伙伴饭后闲暇之余消遣的项目&#xff0c;也有不少人因此加入了创作短视频的队列。但是在分享前&#xff0c;最好是对自己的作品加上水印。为什么呢&#xff1f;第一是可以起到更好的宣传作用&#xff0c;第二是防止他人盗窃作品内容&#xff0c;毕竟…

卷积输入输出维度计算公式,Conv, Dilation Conv, Padding, Kernel_size, Output的维度计算关系

define i input o output p padding k kernel_size s stride d dilation 公式 o [i 2p - k - (k-1)(d-1)]/s 1 举例 当 padding “same” 时&#xff0c;输入尺度和输出尺度相同。 oi 则有&#xff1a; p[(i-1)s-i k(k-1)(d-1)]*0.5 假设 k5, s1, 那么 p[(i-1) …