大数据Flink(一百零九):阿里云Flink的基本名称概念

news2024/10/2 1:23:28

文章目录

阿里云Flink的基本名称概念

一、层次结构

二、​​​​​​​​​​​​​​概念说明

1、工作空间(Workspace)

2、项目空间(Namespace)

3、资源(Resource)

4、草稿(Draft)

5、部署(Deployment)

6、作业实例(Job)

7、集群(Cluster)

8、连接器(Connector)

9、函数(Function)

10、元数据(Catalog)

11、角色(Role)

12、成员(User)


阿里云Flink的基本名称概念

一、​​​​​​​​​​​​​​层次结构

通过了解实时计算Flink版产品基本概念的层次结构,为后期作业开发、作业部署、作业运维和安全管理等操作提供思路。实时计算Flink版产品基本概念的层次结构如下图所示。

二、​​​​​​​​​​​​​​概念说明

1、工作空间(Workspace)

工作空间是Flink全托管管理项目空间的基本单元,每个工作空间的计算资源隔离,开发控制台相互独立。

重要:创建成功后工作空间名称和OSS存储地址不可修改。

2、项目空间(Namespace)

项目空间是Flink全托管管理作业的基本单元,我们的所有配置、作业、权限均在单个项目空间下进行。我们可以创建多个项目空间,为每个项目空间分配单独的资源和权限,实现多租户通过项目空间进行资源和权限的完全隔离。

3、资源(Resource)

Flink全托管的基本计量单位为Compute Unit(CU),即计算资源,1 CU=1核CPU+4 GiB内存+20 GB本地存储(放置日志、系统检查点等信息)

CU对应实时计算底层系统的CPU计算能力。1个实时计算作业的CU使用量取决于此Job输入数据流的QPS、计算复杂程度,以及具体的输入数据分布情况。我们可以根据业务规模以及实时计算的计算能力,估算所需购买的资源数量。

4、草稿(Draft)

在实时计算Flink版SQL开发界面中创建的SQL作业称为草稿。该概念只适用于通过实时计算控制台方式进行作业开发,不适用于SDK方式。

5、部署(Deployment)

为了避免修改草稿中的内容会影响到线上正在运行的作业,提出了部署(Deployment)概念,目的是将开发和生产隔离,SQL开发中的作业草稿、上传的JAR和Python包都可以成为部署。通过部署使草稿变为线上作业,具有确定的流批属性。该概念只适用于通过实时计算控制台和SDK方式进行的作业开发。

6、作业实例(Job)

线上运行的一个作业实例,由部署生成,具有确定的流批属性。

7、集群(Cluster)

集群为作业上线后的运行环境,以内存速度和任何规模执行计算。Flink全托管支持Per-Job集群和Session集群两种集群模式,分别用于正式和测试开发环境。

8、连接器(Connector)

实时计算Flink版内置了丰富的连接器用于多种上下游的数据读写与同步,并支持上传和使用自定义连接器。

9、函数(Function)

实时计算Flink版提供函数功能,包括内置函数和自定义函数。

10、元数据(Catalog)

数据处理最关键的方面之一是管理元数据,实时计算Flink版的元数据提供了元数据信息,例如数据库、表、字段、分区以及数据库或其他外部系统中存储的信息。

11、角色(Role)

角色是实时计算Flink版安全功能中的概念,可以理解为拥有相同权限的用户的集合。多个用户可以同时存在于一个角色下,一个用户也可以隶属于多个角色。给角色授权后,该角色下的所有用户拥有相同的权限。

12、成员(User)

成员是实时计算Flink版安全功能中的概念,支持将阿里云账号和RAM用户添加为成员。非实时计算Flink项目所有者的成员必须被加入实时计算Flink项目中,且被授予相应的权限,才能操作实时计算Flink项目中的数据、作业、资源及函数。


  • 📢博客主页:https://lansonli.blog.csdn.net
  • 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正!
  • 📢本文由 Lansonli 原创,首发于 CSDN博客🙉
  • 📢停下休息的时候不要忘了别人还在奔跑,希望大家抓紧时间学习,全力奔赴更美好的生活✨

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1979416.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

将本地微服务发布到docker镜像二:

上一篇文章我们介绍了如何将一个简单的springboot服务发布到docker镜像中,这一篇我们将介绍如何将一个复杂的微服务(关联mysql、redis)发布到docker镜像。 我们将使用以下两种不同的方式来实现此功能。 redis、mysql、springboot微服务分开…

linux的自动检测的脚本:用于检测应用程序状态的linux脚本

目录 一、要求 1、需求内容 2、分析 二、脚本介绍 1、脚本代码 2、脚本解释 (1)脚本结构 (2)应用程序和服务列表 (3)日志文件路径 (4)测试 URL 列表 (5&#…

智能小程序 Ray 开发面板 SDK —— 无线开关一键执行模板教程(一)

1. 准备工作 前提条件 已阅读 Ray 新手村任务,了解 Ray 框架的基础知识已阅读 使用 Ray 开发万能面板,了解 Ray 面板开发的基础知识 构建内容 在此 Codelab 中,您将利用面板小程序开发构建出一个支持一键执行及自动化的无线开关面板&…

HCIP----BGP综合实验

一、实验拓扑 二、实验要求 三、实验思路 1.基于172.16.0.0/16根据实验拓扑图进行IP地址规划,规划过程如下: 2.根据上述的IP地址的规划进行配置,配置完后在AS2中配置OSPF使其内部实现全网通(互相建邻的条件)。 3.在A…

keil编程中#pragma NOAREGS的作用和优点

参考 功能 不直接操作内存地址 #pragma NOAREGS在Keil中的使用含义是禁用自动分配寄存器,开发人员指定控制的寄存器。‌例如中断的执行使用的寄存器需要人为的指定,避免分配同样的寄存器导致数据错误。对寄存器R0到R7不直接操作寄存器地址&#xff0c…

C# 设计模式六大原则之依赖倒置原则

总目录 前言 1 基本介绍 1. 定义 依赖倒置原则 Dependence Inversion Principle,简称:DIP。 依赖倒置原则:高层模块不应该依赖低层模块,二者都应该依赖其抽象;抽象不应该依赖细节,细节应该依赖抽象。 2…

GO之基本语法

一、Golang变量 一)变量的声明:使用var关键字 Go语言是静态类型语言 Go语言的基本类型有: boolstringint、int8、int16、int32、int64uint、uint8、uint16、uint32、uint64、uintptrbyte // uint8 的别名rune // int32 的别名 代表一个 Unic…

CTF-web 基础 网络协议

网络协议 OSI七层参考模型:一个标准的参考模型 物理层 网线,网线接口等。 数据链路层 可以处理物理层传入的信息。 网络层 比如IP地址 传输层 控制传输的内容的传输,在传输的过程中将要传输的信息分块传输完成之后再进行合并。 应用…

sql语句精讲

目录 一、MySql的细节知识 SQL语句的结束 SQL语句的大小写 SQL语句中的空格 SQL查询结果并排序 WHERE和ORDER BY的位置 常用数据类型 MYSQL比较运算符 MYSQL算术运算符​编辑 MYSQL逻辑运算符 运算符的优先级 二、MySql数据库的基本操作 1.创建数据库 2.选择数据…

kubenetes证书续签

转载:k8s证书续签 1 检查证书年限 kubeadm certs check-expiration 2 对现有证书进行备份 # 备份kubeadm cp -ra /usr/bin/kubeadm /usr/bin/kubeadm.bak # 备份证书 cp -ra /etc/kubernetes /etc/kubernetes.bak 3 重新编译kubeadm 拉取k8s仓库代码 git clone…

【数据分析--Pandas实战指南在真实世界数据中的应用】

前言: 💞💞大家好,我是书生♡,本阶段和大家一起分享和探索数据分析—基础介绍,本篇文章主要讲述了:数据分析的介绍,Python开源库,配置Jupyter,Pandas读取数据…

echarts 漏斗图 渐变金字塔

使用echarts实现金字塔效果,颜色渐变,左右显示其对应的值 效果: 如果要实现一个正三角的形状,需要在data数组中,将value赋值成有序递增,bl代表他的分值,显示在左侧。 var data [{name: "…

NSS [SWPUCTF 2022 新生赛]file_master

NSS [SWPUCTF 2022 新生赛]file_master 开题,一眼文件上传。 network看看返回包。后端语言是PHP。 除了文件上传还有个查看文件功能。 起手式查询/etc/passwd,发现查询方法是GET提交参数,后端使用file_get_contents()函数包含文件。同时有op…

MySQL基础练习题21-按日期分组销售产品

目录 题目 准备数据 分析数据 总结 题目 找出每个日期、销售的不同产品的数量及其名称。每个日期的销售产品名称应按词典序排列。 返回按 sell_date 排序的结果表。 准备数据 ## 创建库 create database db; use db;## 创建表 Create table If Not Exists Activities (s…

初阶数据结构4 二叉树

1. 树 1.1 树的概念与结构 树是⼀种⾮线性的数据结构,它是由 n(n>0) 个有限结点组成⼀个具有层次关系的集合。把它叫做树是因为它看起来像⼀棵倒挂的树,也就是说它是根朝上,⽽叶朝下的。 有⼀个特殊的结点&#…

Flink实时数仓(六)【DWD 层搭建(四)交易域、互动域、用户域实现】

前言 今天的任务是完成 DWD 层剩余的事实表;今年的秋招开得比往年早,所以要抓紧时间了,据了解,今年的 hc 还是不多,要是晚点投铁定寄中寄了; 今天还是个周末,不过记忆里我好像整个大学都没有好好…

如何实现ElementUI表单项label的文字提示?

在Vue和ElementUI的丰富组件库中,定制化表单是常见的需求之一。那么如何在表单项label后添加文字提示,以提升用户体验呢? 首先我们来看一下效果图: 这里我们鼠标移动到❓图标上就会出现提示 在 ElementUI 中,el-form-item 组件允许使用 slot 自定义 label。通过在 el-fo…

Boost:asio网络编程从同步到异步

文章目录 同步服务器客户端服务端 异步服务器(有问题)异步服务器优化 在学TCP的时候&#xff0c;写的第一个服务器就是一个echo服务器&#xff0c;那在Boost网络编程中&#xff0c;自然也先写一个echo服务器练练手 同步服务器 客户端 #include <iostream> #include &l…

<数据集>BDD100K人车识别数据集<目标检测>

数据集格式&#xff1a;VOCYOLO格式 图片数量&#xff1a;15807张 标注数量(xml文件个数)&#xff1a;15807 标注数量(txt文件个数)&#xff1a;15807 标注类别数&#xff1a;7 标注类别名称&#xff1a; [pedestrian, car, bus, rider, motorcycle, truck, bicycle] 序号…

Java-变量,运算符,输入与输出

目录 一&#xff0c;语法基础 1.基本Java程序 2.语法基础 2.1 变量 2.2 常量限制(fiinal)类比C中的const 2.3 类型转化 2.4 运算符 2.5 表达式 2.5 输入与输出 2.5.1 输入 2.5.2 输出 一&#xff0c;语法基础 1.基本Java程序 public class Main{public static void…