dolphinscheduler 2.0.5 性能手动测试

news2025/2/22 13:06:58

目录

  • 🐬官方配置文件说明
  • 🐬测试并发量
    • 🐠线程数量设置100
    • 🐠线程数量设置200
    • 🐠线程数量设置500
  • 🐬测试结论

🐬官方配置文件说明


官方说明

  • master.exec.threads: master工作线程数量,用于限制并行的流程实例数量
  • master.exec.task.num: master每个流程实例的并行任务数量(代码中未搜到,即未实现)
  • master.dispatch.task.num : master每个批次的派发任务数量(貌似任务优先级这一块会用到,没细看,3.0版本增加了任务组,反正也都是坑)
  • worker.exec.threads: worker工作线程数量,用于限制并行的任务实例数量
    在这里插入图片描述

🐬测试并发量


  • 单机测试,配置如下
    [dolphinscheduler@bigdata02 ~]$ free -h
                  total        used        free      shared  buff/cache   available
    Mem:           503G         90G        199G        4.1G        213G        406G
    Swap:            0B          0B          0B
    
  • 测试工作流的包含20个shell节点(节点内容都是sleep 10,无依赖关系)
  • 测试方法:每次批量insert指令表(100、500、1000条数据),修改线程数量,观察CPU及工作流完成情况
    在这里插入图片描述

🐠线程数量设置100


  • 工作流并发量100,任务节点并发量 20*100
    在这里插入图片描述
  • 工作流并发量500,任务节点并发量 20*500
    在这里插入图片描述
  • 工作流并发量1000,任务节点并发量 20*1000
    在这里插入图片描述

🐠线程数量设置200


  • 工作流并发量100,任务节点并发量 20*100
    在这里插入图片描述
  • 工作流并发量500,任务节点并发量 20*500
    在这里插入图片描述
  • 工作流并发量1000,任务节点并发量 20*1000
    在这里插入图片描述

🐠线程数量设置500


  • 工作流并发量100,任务节点并发量 20*100
    在这里插入图片描述
  • 工作流并发量500,任务节点并发量 20*500
    在这里插入图片描述
    此时任务出现阻塞失败情况

🐬测试结论


调度配置默认的值,是安全的,但是当系统环境配置比较高的时候,无法充分利用资源,突然找到了此次测试的意义:找到合适的参数大小,充分利用资源配置,同时保障工作流稳定运行(测试数据就是简单的shell任务,因此对内存几乎没影响)
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/28906.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

智能晾衣架(二)--功能实现

本文素材来源于红河学院 工学院 作者:赵德森 张艺锦 潘志慧 曹紫康 指导老师:江洁 张龙超 1. 自动升降功能 我们设计时采用了热释电传感器(人体红外传感器),在热释电传感器感应到有人靠近时,晾衣架通…

C++:内存管理:C++内存管理详解(二):带你攻破内存管理

前言: 任何程序运行起来都需要分配内存空间存放该进程的资源信息,C程序也不例外。C程序中的变量、常量、函数、代码等等信息所存放的区域都有所不同,不同的区域又有不同的特性。 欺骗C进程 每一个C语言的程序被执行起来的时候系统为了方便开…

字符串的简单介绍和字符串的大小比较

以前就写过一篇关于String的文章,今天再来写一篇,更加深入了解一下String类 🕐1.String类的定义 🕑2.String类的创建 🕒3.字符串的大小比较 1.之前在C语言中我们已经学到了字符类型,但是C语言没有Strin…

Oracle-Rman duplicate文件坏块问题处理ORA-19849 19612

前言: 最近,在使用rman duplicate进行备库环境搭建时,遇到了ORA-19849 19612坏块报错,最终分析是发现由于网络的配置导致。 问题: 在 ORACLE 12.2.0.1.180417 通过RMAN duplicate进行备库初始化,在复制文件的过程中,…

FTP服务器移植到Linux开发板

FTP服务器移植到Linux开发板 提示:写完文章后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录FTP服务器移植到Linux开发板前言一、vsftpd源码下载二、vsftpd移植及配置1.vsftpd移植2.vsftpd配置2.1 配置vsftpd.conf2.2 添加新用户2…

LVS+Keepalived群集

目录 一.keeepalived工具介绍 1.1 专为LVS和HA设计的一款健康检查工具 1.2 Keepalived实现原理剖析 1.3 VRRP工作过程 1.4 Keepalived,VRRP及其工作原理 1.5 Keepalived体系主要模块及其作用 二、LVSKeepalived 高可用群集的搭建步骤 1、配置负载调度器&…

项目管理(PMO的作用)

项目管理办公室 (PMO) 是对与项目相关的治理过程进行标准化,并促进资源、方法论、工具和技 术共享的一个组织结构。PMO 的职责范围可大可小,从提供项目管理支持服务,到直接管理一个 或多个项目。 PMO的三种类型: PMO的作用&#…

ppt背景图片怎么设置?6步教你快速搞定!

在制作 ppt的过程中,需要将一些内容进行设置,来保证整体美观,也就是将背景图片设置好。背景图片设置的好,可以很好地体现页面上的内容,提高页面上的内容展示效果。所以大家在制作 ppt时,需要将一些背景图片…

进程和线程详解

目录 前言: 操作系统定位 并发 并行 并发 进程 描述 PCB 管理 内存管理 进程间通信 线程 小结: 前言: 当一个程序运行起来时,操作系统要为之分配一些资源,这样的运行起来的程序称之为一个进程。为了有效解…

huffman编译码

目录 1.算法描述 2.仿真效果预览 3.MATLAB部分代码预览 4.完整MATLAB程序 1.算法描述 利用哈夫曼编码进行信息通信可以较大提高信道利用率,缩短信息传输时间,降低传输成本。但是,这要求在发送端通过一个编码系统对待传数据预先编码;在接收端将传来的数据进行译码(复原)。对…

Python期末复习题:文件

Python期末复习题:文件 文章目录Python期末复习题:文件一、二手房数据统计二、学生成绩统计一、二手房数据统计 附件文件house.csv 中存储一些二手房数据,中文编码为GBK,对文件中的数据进行统计分析。 文件中数据格式如下所示&…

理解Attention机制的query key value

背景 在Attention机制引入前,自然语言处理里的深度学习模型有以下缺点: 长序列的推理存在信息损失/梯度消失:输入序列越长,模型越难保存初始输入信息。运算量大并且不能并行:RNN的每一步推理都是基于上一个步的结果。…

Python小游戏自己动手编写,你能写出几个(分享版)

今天分享一个有趣的Python游戏库freegames,它里面包含经典小游戏,像贪吃蛇、吃豆人、等等。可以通过1行代码重温这些童年小游戏,后面还会分享源码,可以自己学习游戏编写,相信你会超有成就感! Paint 涂鸦 在…

Springboot Websocket一般封装方法

此方法不是唯一&#xff0c;只是自己对于Springboot中关于Websocket处理思路比较清晰的一种&#xff0c;在此记录下来。总共不过就四个文件而已。 一、创建Springboot项目&#xff0c;添加不可或缺的pom <dependency><groupId>org.springframework.boot</grou…

内存模块 --- 基础扫盲

SDRAM synchronous dynamic random-access memory 同步动态随机存储器 同步&#xff1a;需要同步时钟支持工作&#xff0c;内部命令的发送与数据的传输都是以这个时钟为基准 动态&#xff1a;内部的存储阵列需要不断地刷新来保证数据不丢失 随机&#xff1a;可以自由地在指定地…

MyBatis进阶版

本文有点难 目录 1.一些区分 1.1参数占位符#{}和${} 1.1.1SQL注入 1.1.2like查询 1.2resultType和resultMap 2.映射查询 2.1一对一表映射 2.2一对多表映射 3.动态SQL 3.1标签 3.2标签 3.3标签 3.4标签 3.5标签 1.一些区分 1.1参数占位符#{}和${} ①什么是#{}&a…

【CSS】表布局,浮动布局

❤️ Author&#xff1a; 老九 ☕️ 个人博客&#xff1a;老九的CSDN博客 &#x1f64f; 个人名言&#xff1a;不可控之事 乐观面对 &#x1f60d; 系列专栏&#xff1a; 文章目录表布局表层表标题(caption)border-collapse边框隐藏表大小table-layout(表宽度)vertical-align例…

你安全吗?丨虎云系统“后门”

作者&#xff1a;黑蛋 在电视剧《你安全吗&#xff1f;》中&#xff0c;马平川这个人物已经慢慢浮出水面&#xff0c;算是此部电视剧幕后的最大反派&#xff0c;他明面上是虎迫集团的技术总监&#xff0c;是虎云系统的负责人&#xff0c;开发者。背后却在泰曼达有着诈骗基地&a…

2022年11月21日13:32:00——T5——JS对象与Date日期函数

1、JavaScrip对象的使用&#xff1a; /** * 1、对象的声明赋值使用的是{}花括号&#xff0c;大括号 * 2、对象中的值以key:value的格式进行赋值&#xff0c;多个值中间使用【,】区分 * 3、获取对象中的值的方法需要通过[]并给与key名的方式获取&…

电脑怎么设置开机密码?简单几步给你的电脑“上锁”

在我们日常生活中&#xff0c;最常见的就是开机密码了&#xff0c;而电脑作为我们使用频率最高也是最复杂的设备&#xff0c;其安全性也是非常重要的&#xff0c;那么电脑怎么设置开机密码&#xff1f;那么今天我们就来说一说开机密码的设置方法&#xff01;为了更安全&#xf…