大数据flink篇之一-基础知识

news2024/11/19 7:25:32

一、起源

  • 2010至2014年间,由柏林工业大学、柏林洪堡大学和哈索普拉特纳研究所联合发起名Stratosphere的研究项目。
  • 2014年4月,项目贡献给Apache基金会,成为孵化项目。更名为Flink
  • 2014年12月,成为基金会顶级项目
  • 2015年9月,发布第一个稳定版本0.9
  • Flink1.7,第一个完全支持Scala2.12 -2018年
  • 最新-Flink1.17
    后续版本flink持续更新中,后续我们的案例以flink1.15来实现

二、简介

定义:Apache Flink是一个分布式处理引擎,用于对无界和有界流进行有状态处理。
优点:低延迟、高吞吐、结果的准确性和良好的容错性
重点关键词:分布式、无界和有界、状态处理

解释:
分布式:运算过程分布在不同的节点甚至机器进行。
有界与无界:在flink的世界观众,一切都是流。有界只是流指定了起点和终点,数据是固定的;无界则数据源源不断的产生,没有结束边界。
在这里插入图片描述

三、用途

用途十分广泛,如:

  • 电商和市场营销
    数据报表、广告投放、业务流程需要
  • 物联网(IOT)
    传感器实时采集和显示、实时报警,交通运输业
  • 电信业
    基站流量调配
  • 银行和金融业
    实时结算和通知推送,实时监测异常行为
  • 其它应用:实时数仓和ETL、复杂事件处理

四、Flink的特点和优势

  • 分层API
    底层的状态操作、ProcessFunction等 (属于大招)
    中间层:流API操作,窗口等操作。
    顶层:Table和SQL API
    在这里插入图片描述
    顶层API一直在完善中,一般使用中间层就足够了,特殊需求需要使用底层API。
  • 事件驱动
    由一个事件驱动,周期性地保存磁盘(checkpoint),计算结果可以持久化到外部设备。即来一条处理一条在这里插入图片描述
    传统的事务应用(如Web应用)也是一种事件驱动型。
  • 基于流的世界观
    此特点上述过程已叙述。

Flink的具体优势:

  • 时间语义丰富: 支持事件时间(event-time)和处理时间(process-time)、注入时间(IngestionTime)
  • 精确一次(exactly-once)的状态一致性保证。
  • 低延迟,每秒处理几百万
  • 高可用,7*24不间断运行
  • 与多个存储介质兼容(Kafka/ES/Hive/Mysql)

下一篇以应用实例来进行讲解

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1039522.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

MAC word 如何并列排列两张图片

系统:MAC os 参考博客 https://baijiahao.baidu.com/s?id1700824516945958911&wfrspider&forpc 步骤1 新建一个word文档和表格 修改表格属性 去掉自动重调尺寸以适应内容 插入图片 在表格的位置插入对应的图片如下 去除边框 最终结果如下

数据大爆炸:大数据分析如何改变我们的世界

文章目录 大数据分析的基本概念数据的三个V大数据分析的技术 大数据分析在商业中的应用1. 个性化营销2. 风险管理3. 供应链优化4. 客户服务 大数据分析在医疗保健中的应用1. 疾病预测2. 患者治疗3. 医疗设备监控 大数据分析在科学研究中的应用1. 天文学2. 生物学3. 气象学 大数…

mock.js与组件通信之总线的讲解

目录 一Mock.js 1.1简介 1.2 安装配置Mock.js 1.3 mock.js的使用 二. 组件通信之总线 2.1 总线的简介 2.2 总线的使用-以导航栏的收进为例 好啦今天的分享就到这啦!! 一Mock.js 1.1简介 Mock.js 是一个用于生成随机数据的 JavaScript 库。它可以模拟…

关于vantUI的导航组件tab标签页在ios和安卓中运用遇到的坑

vantTab的默认值 应用场景问题描述原始代码更正代码 应用场景 根据路由传值设置默认tab页,获取不同的数据并进行展示 问题描述 ios可正常按照路由传值默认tab页,安卓始终默认tabList的第一个value值,疑安卓系统中不接受dataMap.tabActive为…

虚拟车衣VR云展厅平台扩大了展览的触达范围

传统展厅主要是以静态陈列的形式来传达内容,主要的展示形式有图片、视频等,具有一定的局限性,体验感较差,客户往往不能深入地了解信息和细节内容。 VR全景看车是通过虚拟现实技术实现逼真的汽车观赏和试乘体验。消费者可以通过智能…

Python图像处理-----几何变换

文章目录 一、图像几何变换理论二、图像平移2.1 使用数学公式的实现方式为:2.2 使用矩阵实现的方式为2.3 使用opencv三、图像缩放3.1 用数学式子表示为公式(a为缩放系数):3.2 用矩阵表示如公式所示:一、图像几何变换理论 图像几何变换不改变图像的像素值,在图像平面上进行像…

Docker ---- network中的命令详解

最近一直在使用docker,记录一些遇到的问题。 问题1:在搭建ealsticsearch与kibana时运行成功后第二次想运行出错了或者访问不了? 因为两个启动的容器是被互相隔离的,没有启用网络的互相通信不了。 问题2:怎么查看自己…

Kafka 运维必懂:从原理到调优,看完秒变大佬

1 Kafka 概述 Kafka 起初是 由 LinkedIn 公司采用 Scala 语言开发的一个多分区、多副本且基于 ZooKeeper 协调的分布式消息系统,现已被捐献给 Apache 基金会。 目前 Kafka 已经定位为一个分布式流式处理平台,它以高吞吐、可持久化、可水平扩展、支持流…

左神高阶提升班5(贪心尝试、范围上的尝试模型

目录 【案例1 贪心尝试】 【题目描述】 【思路解析】 【代码实现】 【案例2 范围上的尝试模型】 【题目描述】 【思路解析】 【代码实现】 【案例3 范围上的尝试模型】 【题目描述】 【思路解析】 【代码实现】 【案例4 从左至右上尝试的模型 范围上的尝试模型…

ATTCK红队评估实战靶场二

描述 红队实战系列,主要以真实企业环境为实例搭建一系列靶场,通过练习、视频教程、博客三位一体学习。本次红队环境主要Access Token利用、WMI利用、域漏洞利用SMB relay,EWS relay,PTT(PTC),MS14-068,GPP…

Spring学习笔记10 JdbcTemplate

Spring学习笔记9 SpringIOC注解式开发_biubiubiu0706的博客-CSDN博客 JdbcTemplate是Spring提供的一个JDBC模板类,是对JDBC的封装,简化JDBC代码. 新建模块spring-jdbctemplate 引入依赖 <dependencies><!--Spring Context依赖--><dependency><groupId>…

直播软件App开发:10个关键步骤,从零到一掌握

欢迎来到本文&#xff0c;我将为您解析直播软件App开发的关键步骤&#xff0c;帮助您从零开始掌握这一领域。作为该主题领域的专家&#xff0c;我将为您分享十个重要的步骤&#xff0c;带您实现直播软件App的开发目标。 步骤一&#xff1a;市场调研与需求分析 在直播软件App开…

购物新时尚RFID自助结账

购物已经变得更加简单和方便了&#xff0c;归功于RFID自助结账。别再排队等收银员了&#xff0c;让我们来看看这个酷炫的新方式。 RFID是什么&#xff1f;RFID就是那些小电子标签&#xff0c;它们能够让物品自动被识别。每个商品都有一个这样的标签&#xff0c;而RFID读卡器就…

Ansys Zemax | 如何设计光谱仪——实际应用

光谱学是一种无创性技术&#xff0c;是研究组织、等离子体和材料的最强大工具之一。 本文介绍了如何使用市售的光学元件来实现透镜-光栅-透镜&#xff08;LGL&#xff09;光谱仪。进行光谱仪的设置&#xff0c;并对其设计进行改进和优化。&#xff08;联系我们获取文章附件&…

品牌新闻稿大纲怎么写?建议收藏

一篇品牌新闻稿的大纲就犹如是全篇的骨架&#xff0c;骨架搭建好&#xff0c;然后再慢慢填充新鲜血液。品牌新闻稿的大纲亦是全文的写作方向&#xff0c;写好新闻稿大纲才能进行下一步撰写&#xff0c;写好新闻稿大纲你的稿件就离成功不远了。品牌新闻稿大纲怎么写&#xff1f;…

Tomcat中文路径目录

一、问题描述 linux环境下tomcat发布了包含中文名字的页面和文件&#xff0c;浏览器访问报404&#xff0c;非中文页面没有问题&#xff1b;本人为RP设计的原型图发布&#xff0c;其中包含了大量的中文文件和路径 二、解决步骤 第一步&#xff0c;设置tomcat&#xff0c;配置…

数据结构——快排与归并

排序算法 前言一、快速排序hoare版本挖坑法前后指针版本快速排序优化&#xff1a;快速排序非递归快速排序的特性总结&#xff1a; 二、归并排序基本思想&#xff1a;归并排序的特性总结&#xff1a; 总结 前言 重要的事说三遍&#xff01; 学习&#xff01;学习&#xff01;学…

能把西瓜塞进口袋吗?详解Java数据类型与变量

&#x1f451;专栏内容&#xff1a;Java⛪个人主页&#xff1a;子夜的星的主页&#x1f495;座右铭&#xff1a;前路未远&#xff0c;步履不停 目录 一、数据类型二、变量1、整型变量Ⅰ、整型变量的初始化Ⅱ、长整型变量Ⅲ、短整型变量 2、字节型变量3、浮点型变量Ⅰ、双精度浮…

支撑位和阻力位在Renko和烛台图如何使用?FPmarkets澳福3秒回答

很多投资者都知道&#xff0c;Renko图表和普通日本烛台都会采用相同的交易信号&#xff0c;即支撑位和阻力位。那么支撑位和阻力位在Renko和烛台图如何使用?FPmarkets澳福3秒回答。 这些信号在任何时间框架上都会出现&#xff0c;且在蜡烛图交易中颇受欢迎。对于Renko图表而言…

串口数据太多,接收不完。Arduino修改串口缓冲区大小的办法

和网上搜到修改的方法不太一样&#xff0c;可能是版本不一样&#xff0c;我的方法供大家参考。arduino的串口缓冲区_Arduino修改串口缓冲区大小的办法 找到Serial.begin(115200);的定义&#xff0c; 串口收发代码示例 #include <Arduino.h> void setup() {// initial…