【大数据】Flink 内存管理（三）：TaskManager 内存分配（理论篇）

news2024/11/16 3:24:27

Flink 内存管理（三）：TaskManager 内存分配

  • 1.配置 Total Memory
  • 2.配置 Heap and Managed Memory
    • 2.1 Task (Operator) Heap Memory
    • 2.2 Managed Memory
  • 3.配置 Off-Heap Memory（Direct or Native）
  • 4.详细内存模型
  • 5.Framework Memory
  • 6.Local Execution

TaskManager 在 Flink 中运行用户代码。根据需要配置内存使用量可大大减少 Flink 的资源占用并提高任务稳定性。与 JobManager 进程的内存模型相比，TaskManager 内存组件具有类似但更复杂的结构。

1.配置 Total Memory

Flink JVM 进程的总内存（Total Process Memory）由 Flink 应用程序（Total Flink Memory，Flink 总内存）和 JVM 运行进程所消耗的内存组成。Flink 总内存（ Total Flink Memory）包括 JVM Heap、Managed Memory（托管内存，由 Flink 管理）和其他 Direct Memory（或 Native Memory）的使用量。
在这里插入图片描述

  • 如果您在本地运行 Flink（例如从集成开发环境运行）而不创建集群，那么只有内存配置选项的一个子集与之相关，请参阅 “本地内存配置”。
  • 否则，为 TaskManager 设置内存的最简单方法就是 配置总内存。这里 将详细介绍一种更精细的方法。
  • 其余内存组件将根据默认值或附加配置选项自动调整。有关其他内存组件的更多详情，请参阅后续章节。

2.配置 Heap and Managed Memory

正如之前在总内存描述中提到的，在 Flink 中设置内存的另一种方法是明确指定 Task Heap Memory 和 Managed Memory。这样，Flink 的任务和托管内存就能更好地控制可用的 JVM 堆。

其余的内存组件将自动调整。

如果已明确配置了任务 Task Heap Memory 和 Managed Memory，建议既不要设置进程总内存（Total Process Memory），也不要设置 Flink 总内存（Total Flink Memory）。否则，很容易导致内存配置冲突。

2.1 Task (Operator) Heap Memory

如果要保证用户代码有一定量的 JVM 堆可用，可以显式设置 Task Heap Memory（taskmanager.memory.task.heap.size）。它将被添加到 JVM 堆大小中，并专门用于运行用户代码的 Flink Operator。

2.2 Managed Memory

托管内存由 Flink 管理，并作为本地内存（堆外）分配。以下工作负载使用托管内存：

  • 流式工作可将其用于 RocksDB 状态后端。
  • 流式和批处理作业都可以用它来进行排序、哈希表、缓存中间结果。
  • 流式和批处理作业都可以用它来执行 Python 进程中的用户自定义函数。

托管内存的大小可以：

  • 可通过 taskmanager.memory.managed.size 进行显式配置。
  • 或通过 taskmanager.memory.managed.fraction 计算为 Flink 总内存（Total Flink Memory）的一部分。

如果同时设置了大小和比例，则大小优先于比例。如果既没有明确配置大小，也没有配置比例，则将使用默认比例。

如果作业包含多种类型的托管内存消费者，还可以控制托管内存在这些类型之间的共享方式。配置选项 taskmanager.memory.managed.consumer-weights 允许你为每种类型设置一个权重，Flink 将根据该权重按比例预留托管内存。有效的消费者类型有：

  • OPERATOR：用于内置算法。
  • TATE_BACKEND：用于流式传输中的 RocksDB 状态后端。
  • PYTHON：用于 Python 进程。

例如，如果一个流作业同时使用了 RocksDB 状态后端和 Python UDF，且消费者权重配置为 STATE_BACKEND:70,PYTHON:30，那么 Flink 将为该作业预留 70 % 70\% 70% 的内存。

对于每种类型，只有当作业包含该类型的托管内存消费者时，Flink 才会为其保留托管内存。例如，如果流作业使用堆状态后端和 Python UDF，且消费者权重配置为 STATE_BACKEND:70,PYTHON:30，Flink 将为 Python 进程使用所有托管内存，因为堆状态后端不使用托管内存。

🚀 Flink 不会为消费者权重中未包含的消费者类型预留托管内存。如果作业确实需要缺少的类型，就会导致内存分配失败。默认情况下，所有消费者类型都包含在内。只有在显式配置 / 改写权重时才会发生这种情况。

3.配置 Off-Heap Memory（Direct or Native）

  • 用户代码分配的堆外内存应计入任务堆外内存（taskmanager.memory.task.off-heap.size）。
  • 你也可以调整框架的堆外内存（Framework Off-Heap Memory）。只有在确定 Flink 框架需要更多内存时，才可更改该值。
  • Flink 将框架堆外内存（Framework Off-Heap Memory）和任务堆外内存（Task Off-Heap Memory）纳入 JVM 的直接内存（Direct Memory）限制。
  • 虽然本地非直接内存（Native Non-Direct Memory）的使用可以作为框架堆外内存或任务堆外内存的一部分，但在这种情况下会导致更高的 JVM 直接内存限制。
  • 网络内存（Network Memory）也是 JVM 直接内存的一部分，但它由 Flink 管理，并保证永远不会超过其配置大小。因此，调整网络内存大小对这种情况没有帮助。

4.详细内存模型

在这里插入图片描述
下表列出了上面描述的所有内存组件，并引用了影响各组件大小的 Flink 配置选项：

组件
配置选项
描述
Framework Heap Memorytaskmanager.memory.framework.heap.size（默认 128 M 128M 128M）专用于运行 Flink 框架，通常不用修改该值，它可能与特定的部署环境或作业结构有关，例如高并行度
Task Heap Memorytaskmanager.memory.task.heap.size专用于用户提交作业划分的 Tasks
Managed Memorytaskmanager.memory.managed.size taskmanager.memory.managed.fraction（默认 0.4 0.4 0.4）这是一块被 Flink 管理的堆外内存，属于 Native Memory，用于批处理作业的排序，Hash 运算，缓存中间结果，以及 RocksDB 状态后端的元数据
Framework Off-Heap Memorytaskmanager.memory.framework.off-heap.size（默认 128 M 128M 128M）专用于运行 Flink 框架，通常不用修改该值，它可能与特定的部署环境或作业结构有关，例如高并行度
Task Off-Heap Memorytaskmanager.memory.task.off-heap.size（默认 0 B y t e 0Byte 0Byte）专用于用户提交作业划分的 Tasks，不受 GC 的影响
Network Memorytaskmanager.memory.network.min （默认 64 M B 64MB 64MB）taskmanager.memory.network.max （默认 1 G B 1GB 1GB）taskmanager.memory.network.fraction（默认 0.1 0.1 0.1）为 Task 之间的数据交换预留的内存，比如说网络缓冲区，默认是 Total Flink Size 的 0.1，通常不需要去调整这个值
JVM Metaspacetaskmanager.memory.jvm-metaspace.size（默认 256 M 256M 256M）JM 的元空间大小，有默认值 256 M 256M 256M， 属于 Native Memory
JVM Overheadtaskmanager.memory.jvm-overhead.min （ 192 M B 192MB 192MB）taskmanager.memory.jvm-overhead.max（ 1 G B 1GB 1GB）taskmanager.memory.jvm-overhead.fraction（ 0.1 0.1 0.1）为 Thread Stacks，Code Cache，Garbage Collection Space 预留的 Native Memory，有默认的 faction of total process size，但是必须在其 min & max 之间

正如你所看到的，某些内存组件的大小可以通过相应选项进行简单设置。其他组件则可以使用多个选项进行调整。

5.Framework Memory

在没有充分理由的情况下，不应更改框架堆内存（Framework Heap Memory）和框架堆外内存（Framework Off-Heap Memory）。只有在确定 Flink 的某些内部数据结构或操作需要更多内存时，才可以调整它们。这可能与特定的部署环境或作业结构（如高并行性）有关。此外，在某些设置中，Flink 的依赖项（如 Hadoop）可能会消耗更多的直接或本地内存。

Flink 目前既没有隔离 Framework Heap Memory 和 Task Heap Memory，也没有隔离 Framework Off-Heap Memory 和 Task Off-Heap Memory。框架内存和任务内存的分离可用于未来版本的进一步优化。

6.Local Execution

如果您在机器上以单个 Java 程序的形式本地启动 Flink，而不创建集群（例如从集成开发环境），那么除了以下组件外，所有组件都将被忽略：

内存组件
相关选项
本地执行的默认值
Task Heaptaskmanager.memory.task.heap.size无限
Task Off-Heaptaskmanager.memory.task.off-heap.size无限
Managed Memorytaskmanager.memory.managed.size 128 M B 128MB 128MB
Network Memorytaskmanager.memory.network.min
taskmanager.memory.network.max		 64 M B 64MB 64MB

上面列出的所有组件均可配置为本地执行，但并非必须。如果没有配置，它们将被设置为默认值。任务堆内存（Task Heap）和任务堆外内存（Task Off-Heap）被视为无限大（Long.MAX_VALUE 字节），托管内存（Managed Memory）的默认值为 128MB，仅适用于本地执行模式。

在这种情况下，任务堆大小与实际堆大小没有任何关系。它可能与未来版本的优化有关。Flink 无法控制已启动的本地进程的实际 JVM 堆大小，这取决于您如何启动进程。如果要控制 JVM 堆大小，必须明确传递相应的 JVM 参数，例如 -Xmx、-Xms。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1468851.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

现在学Oracle是49年入国军么？

现在学Oracle是49年入国军么？

今天周末，不聊技术，聊聊大家说的最多的一个话题 先说明一下，防止挨喷😆 本人并不是职业dba，对数据库就是爱好，偶尔兼职，以下仅个人观点分析，如有不同观点请轻喷，哈哈&…
阅读更多...
分享一个我爱工具网源码优化版

分享一个我爱工具网源码优化版

应用介绍 本文来自：分享一个我爱工具网源码优化版 - 源码1688 前几天在网上看到了一个不错的工具网源码，但是源码存在一些问题，遂进行了修改优化。 主要修改内容有： 1、后台改为账号密码登录，上传即用，不…
阅读更多...
算法分析-面试1-字符串

算法分析-面试1-字符串

文章目录 前言一、分类：看看就行了二、字符串API：创建和初始化：查询操作：比较操作：修改操作：截取操作：分割操作：格式化操作：连接操作（Java 8 及以后&#xff…
阅读更多...
pclpy KD-Tree半径最近邻搜索

pclpy KD-Tree半径最近邻搜索

pclpy 半径最近邻搜索 一、算法原理1.KD-Tree 介绍2.原理 二、代码三、结果1.原点云2.半径最近邻搜索的点云 四、相关数据 一、算法原理 1.KD-Tree 介绍 kd 树或 k 维树是计算机科学中使用的一种数据结构，用于在具有 k 维的空间中组织一定数量的点。它是一个二叉搜…
阅读更多...
Windows下VTK 源码编译（For Qt PCL）

Windows下VTK 源码编译（For Qt PCL）

虽然我们在windows下安装PCL的时候就已经安装了VTK，由于跟着PCL安装的VTK是没有和QT联合编译的，所以在使用PCL和QT做点云可视化界面的时候是无法使用QT的插件QVTKWidget。 VTK 源码下载 Tags VTK / VTK GitLab 我这里的环境是Win10 Visual Studio&…
阅读更多...
Qt 设置隐式加载dll路径

Qt 设置隐式加载dll路径

在c++中DLL的加载方式有两种，显式加载和隐式加载。 隐式加载 在程序从开始运行时，就会按照系统中一定的搜索路径，寻找动态库，找到就自动加载它，才能成功运行程序，这些步骤，是系统自动完成的。 显示加载 我们对动态库的调用，是在代码中直接使用LoadLibrary，或其他加载函…
阅读更多...
ContainerHelpers之二分查找算法详解

ContainerHelpers之二分查找算法详解

目录 前言一、JAVA移位运算符1.1 >> 带符号右移位运算符1.2 >>> 无符号右移位运算符1.3 << 左移位运算符1.4 Java 中没有 <<<1.5 ~取反操作 二、ContainerHelpers二分查找算法总结 前言 安卓SparseArray中多次用到了ContainerHelpers的binarySe…
阅读更多...
Android java中包的使用

Android java中包的使用

一.包的使用 为了更好的实现项目中类的管理&#xff0c;提供包的概念。 package语句作为Java源文件的第一条语句&#xff0c;指明该文件中定义的类所在的包。(若缺省该语句&#xff0c;则指定为无名包)。 它的格式为&#xff1a;package 顶层包名.子包名 ; 二.java中主要的包…
阅读更多...
Leetcode3039. 进行操作使字符串为空

Leetcode3039. 进行操作使字符串为空

Every day a Leetcode 题目来源&#xff1a;3039. 进行操作使字符串为空 解法1&#xff1a;哈希 排序 操作的定义&#xff1a;每次操作依次遍历 ‘a’ 到 ‘z’&#xff0c;如果当前字符出现在 s 中&#xff0c;那么删除出现位置最早的该字符&#xff08;如果存在的话&…
阅读更多...
【ArcGIS】利用DEM进行水文分析：流向/流量等

【ArcGIS】利用DEM进行水文分析：流向/流量等

利用DEM进行水文分析 ArcGIS实例参考 水文分析通过建立地表水文模型&#xff0c;研究与地表水流相关的各种自然现象&#xff0c;在城市和区域规划、农业及森林、交通道路等许多领域具有广泛的应用。 ArcGIS实例 某流域30m分辨率DEM如下&#xff1a; &#xff08;1&#xff09…
阅读更多...
机器学习模型的过拟合与欠拟合

机器学习模型的过拟合与欠拟合

机器学习模型的训练过程中&#xff0c;可能会出现3种情况&#xff1a;模型欠拟合、模型正常拟合与模型过拟合。其中模型欠拟合与模型过拟合都是不好的情况。下面将会从不同的角度介绍如何判断模型属于哪种拟合情况。 &#xff08;1&#xff09;欠拟合与过拟合表现方式 欠拟合…
阅读更多...
适配器模式：转换接口，无缝对接不同系统

适配器模式：转换接口，无缝对接不同系统

文章目录 **一、技术背景与应用场景****为什么使用适配器模式&#xff1f;****典型应用场景包括但不限于&#xff1a;** **二、适配器模式定义与结构****三、使用步骤举例****四、优缺点分析****总结** 一、技术背景与应用场景 适配器模式在软件设计中扮演着桥梁角色&#xff…
阅读更多...
十一、Qt数据库操作

十一、Qt数据库操作

一、Sql介绍 Qt Sql模块包含多个类&#xff0c;实现数据库的连接&#xff0c;Sql语句的执行&#xff0c;数据获取与界面显示&#xff0c;数据与界面直接使用Model/View结构。1、使用Sql模块 &#xff08;1&#xff09;工程加入 QT sql&#xff08;2&#xff09;添加头文件 …
阅读更多...
【SRE系列】--部署gitlab

【SRE系列】--部署gitlab

1、部署gitlab 1.1下载gitlab安装包并安装 下载地址&#xff1a;https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/ubuntu/pool/ rootk8s-gitlab:~# wget https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/ubuntu/pool/bionic/main/g/gitlab-ce/gitlab-ce_16.1.4-ce.0_amd64.d…
阅读更多...
抖音视频提取软件使用功能|抖音视频下载工具

抖音视频提取软件使用功能|抖音视频下载工具

我们的抖音视频提取软件是一款功能强大、易于操作的工具&#xff0c;旨在解决用户在获取抖音视频时需要逐个复制链接、下载的繁琐问题。我们的软件支持通过关键词搜索和分享链接两种方式获取抖音视频&#xff0c;方便用户快速找到自己感兴趣的内容。 主要功能模块&#xff1a;…
阅读更多...
Linux之JAVA环境配置jdkTomcatMySQL

Linux之JAVA环境配置jdkTomcatMySQL

目录 一. 安装jdk 1.1 查询是否有jdk 1.2 解压 1.3 配置环境变量 二. 安装Tomcat&#xff08;开机自启动&#xff09; 2.1 解压 2.2 启动tomcat 2.3 防火墙设置 2.4 创建启动脚本&#xff08;设置自启动&#xff0c;服务器开启即启动&#xff09; 三. MySQL安装&#xff08;…
阅读更多...
【前端素材】推荐优质后台管理系统Sneat平台模板（附源码）

【前端素材】推荐优质后台管理系统Sneat平台模板（附源码）

一、需求分析 后台管理系统是一种用于管理网站、应用程序或系统的工具&#xff0c;它通常作为一个独立的后台界面存在&#xff0c;供管理员或特定用户使用。下面详细分析后台管理系统的定义和功能&#xff1a; 1. 定义 后台管理系统是一个用于管理和控制网站、应用程序或系统…
阅读更多...
Guitar Pro8.2吉他软件2024中文版功能特点介绍

Guitar Pro8.2吉他软件2024中文版功能特点介绍

Guitar Pro 8.2是一款功能强大的吉他乐谱软件&#xff0c;专为吉他手、音乐制作人和音乐爱好者设计。它提供了丰富的功能&#xff0c;帮助用户轻松创建、编辑、打印和分享吉他乐谱。以下是Guitar Pro 8.2的主要功能特点&#xff1a; Guitar Pro 2024 win-安装包下载如下&#x…
阅读更多...
go interface{} 和string的转换问题

go interface{} 和string的转换问题

1.遇到的问题 问题来源于,我sql模版拼接遇到的问题。 首先&#xff0c;这样是没有问题的。 var qhx interface{} "qhx"s : qhx.(string)fmt.Println(s) 但是当我在这段代码里用:1.类型断言 var sqlStr "select * from tx_user where username %s" join…
阅读更多...
leetcode——hot1

leetcode——hot1

两数之和 class Solution {public int[] twoSum(int[] nums, int target) {int[] arrs new int[2];for(int i 0; i < nums.length - 1; i){for(int j i 1; j < nums.length; j){if(nums[i] nums[j] target){arrs[0] i;arrs[1] j;break;}}}return arrs;} }
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023