dolphinscheduler2.0.5性能手动测试

news2024/11/26 2:21:45

目录

  • 🐬官方配置文件说明
  • 🐬测试并发量
    • 🐠线程数量设置100
    • 🐠线程数量设置200
    • 🐠线程数量设置500
  • 🐬测试结论

🐬官方配置文件说明


官方说明

  • master.exec.threads: master工作线程数量,用于限制并行的流程实例数量
  • master.exec.task.num: master每个流程实例的并行任务数量(代码中未搜到,即未实现)
  • master.dispatch.task.num : master每个批次的派发任务数量(貌似任务优先级这一块会用到,没细看,3.0版本增加了任务组,反正也都是坑)
  • worker.exec.threads: worker工作线程数量,用于限制并行的任务实例数量
    在这里插入图片描述

🐬测试并发量


  • 单机测试,配置如下
    [dolphinscheduler@bigdata02 ~]$ free -h
                  total        used        free      shared  buff/cache   available
    Mem:           503G         90G        199G        4.1G        213G        406G
    Swap:            0B          0B          0B
    
  • 测试工作流的包含20个shell节点(节点内容都是sleep 10,无依赖关系)
  • 测试方法:每次批量insert指令表(100、500、1000条数据),修改线程数量,观察CPU及工作流完成情况
    在这里插入图片描述

🐠线程数量设置100


  • 工作流并发量100,任务节点并发量 20*100
    在这里插入图片描述
  • 工作流并发量500,任务节点并发量 20*500
    在这里插入图片描述
  • 工作流并发量1000,任务节点并发量 20*1000
    在这里插入图片描述

🐠线程数量设置200


  • 工作流并发量100,任务节点并发量 20*100
    在这里插入图片描述
  • 工作流并发量500,任务节点并发量 20*500
    在这里插入图片描述
  • 工作流并发量1000,任务节点并发量 20*1000
    在这里插入图片描述

🐠线程数量设置500


  • 工作流并发量100,任务节点并发量 20*100
    在这里插入图片描述
  • 工作流并发量500,任务节点并发量 20*500
    在这里插入图片描述
    此时任务出现阻塞失败情况

🐬测试结论


调度配置默认的值,是安全的,但是当系统环境配置比较高的时候,无法充分利用资源,突然找到了此次测试的意义:找到合适的参数大小,充分理由资源配置,同时保障工作流稳定运行(测试数据就是简单的shell任务,因此对内存几乎没影响)
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/27676.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【2013】408联考数据结构真题整理

2013年 1 题目 解析 原始:升序 升序 变 升序 尾插法 改编:升序 升序 变 降序 头插法 2 题目 答案:C 解析 3 题目 答案:B 解析 二叉排序树,或者是空树,或者是满足以下性质的二叉树: …

基于PHP+MySQL音乐网站的设计与实现

随着时代的发展,音乐已经逐渐成为了人们生活中必不可少的一种调剂品,人们对音乐的追求也越来越强烈,为此我通过PHP和MYSQL开发了本音乐网站 本音乐网站是一个综合性的音乐分享网站,它主要实现了娱乐新闻,上榜歌手,音乐试听,音乐下载,下载排行,音乐库,在线留言等基本的音乐共享功…

Matplotlib绘制折线图、散点图、柱状图、直方图、饼图代码

一、折线图 以折线的上升或下降来表示统计数量的增减变化的统计图 特点:能够显示数据的变化趋势,反映事物的变化情况(变化)函数:plt.plot(x, y) import matplotlib.pyplot as plt import randomfrom pylab import mpl mpl.rcParams["f…

day31 文件上传js验证mimeuser.ini语言特性

前言 #知识点: 1、文件上传-前端验证 2、文件上传-黑白名单 3、文件上传-user.ini妙用 4、文件上传-PHP语言特性 #详细点: 1、检测层面:前端,后端等 2、检测内容:文件头,完整性,二次渲染…

基于MATLABsimulink的《电路原理》课程仿真实验平台开发

目 录 摘 要 I Abstract II 第一章 绪论 1 1.1选题背景及意义 1 1.2设计内容 1 1.3设计思想 2 第二章 MATLAB简介 3 2.1 MATLAB程序设计 3 2.2 Simulink仿真 4 2.2.1 Simulink 启动 4 2.2.2 Simulink 模块库及模块操作 4 2.2.3 仿真参数设置 6 2.3图形用户界面(GUI&…

基于STM32的温控风扇

本设计是基于STM32的温控风扇,主要实现以下功能: 温度控制风速,四个挡位,停止、低速、中速、高速 按键可切换模式,可手动切换挡位,四个挡位,停止、低速、中速、高速 按键设置温度值&#xff0c…

网络刷卡器开发,刷新移动物联新生活

在物联网应用需求和身份校验普及的影响下,沐渥自主研发生产了一款基于网络协议传输的读卡设备——网络刷卡器,这是一款体积小巧,方便携带,即插即用,无需安装驱动,采用USB通讯,即刻响应对接客户的…

Linux系统漏洞本地提权

目录 一、实验项目名称 二、实验目的 三、实验内容 四、实验环境 五、实验步骤 六、实验结果 七、实验总结 一、实验项目名称 Linux系统漏洞本地提权及跳板设置实验 二、实验目的 1.msf工具的使用; 2.“脏牛”漏洞CVE-2016-5195漏洞利用方法。 三、实验…

MCE | 铁死亡——调节性细胞死亡

多细胞生物中,调节性细胞死亡过程 (RCD) 是细胞维持组织形态和功能必不可少的稳态机制。此前研究较多的调节性细胞死亡包括三大类:细胞凋亡、自噬和坏死。 “铁死亡”这一概念最早在 2012 年由 Dr. Brent R Stockwell 提出,它是一种铁离子依赖…

ORM概念

ORM概念 ORM是Object Relational Mapping 对象关系映射。简单来说,就是把数据库表和实体类及实体类的属性对应起来,让开发者操作实体类就实现操作数据库表。 ORM(Object Relation Mapping)对象关系映射 思想:将关系数据库中表中的记录映射为对…

百货集团数字化转型方案

一、案例简述 后疫情时代对零售业,特别是百货和购物中心造成了巨大冲击,驱使实体零售业拥抱数字化转型。从总体上看,实体零售企业对于数字化转型的必要性已有充分的认知及一定的实践操作,但数字化仍处于起步阶段,线上…

”消费全返“是割韭菜,非也,广告电商引领全新“全返”模式

谈及消费全返,大家可能会避而不谈,因为有“云联惠”这个实实在在的案例发生,各大企业都怕进局子,现在都不弄消费全返了。说到“云联惠”,为什么它能在短时间内火得这么快,因为他们以“全返”为阙头&#xf…

驱动开发2

P 19 驱动设计的思想:面向对象/分层/分离 用结构体来表示某个对象 分离思想 将某个有很多类似操作的写在一起,这样我们根据参数就可以替换不同的步骤了 1、上下分层 将设计硬件的比如 初始化gpio、设置GPIO写成board.c 同用的就写在drv.c里面 2、左右分…

python数据分析与可视化

//注:绿色为正确答案,红色为错误答案,粉色为本人做错之后,系统给出的答案,可能有些题本人未标记,但是是可以区分的,题目中存在重复题目,下面有三张图的代码建议交代码块,…

中小企业知识管理难题怎么做?天翎与群晖携手给出最优解

编者按:在知识经济越来越重要的今天,做好知识管理对企业来说至关重要,但是中小企业的知识管理之路,比起大企业更加困难,该如何应对呢?本文分析了现代中小企业面临的知识管理困境,并进一步提出天…

Spring:AOP通知获取数据(13)

AOP通知获取数据AOP通知获取参数非环绕通知获取参数方式环绕通知获取参数方式AOP通知获取返回值环绕通知获取返回值返回后通知获取返回值AOP通知获取数据的案例AOP通知获取参数 非环绕通知获取参数方式 在方法上添加JoinPoint,通过JoinPoint来获取参数, 这里只使用…

[附源码]Python计算机毕业设计出版社样书申请管理系统

项目运行 环境配置: Pychram社区版 python3.7.7 Mysql5.7 HBuilderXlist pipNavicat11Djangonodejs。 项目技术: django python Vue 等等组成,B/S模式 pychram管理等等。 环境需要 1.运行环境:最好是python3.7.7,…

源自双11混部实战,Koordinator 如何保障应用服务质量?

作者:张佐玮、韩柔刚 Koordinator 团队 在洪峰流量下,如何确保应用的服务质量不受影响的同时,最大限度提升资源利用率,是考验混部技术成熟度的关键。本文将展开介绍Koordinator在资源隔离,单机QoS保障,以及…

4、SySeVR复现——Generating slices

目录 1、准备阶段 2、生成实验数据的CFG图 3、生成实验数据的PDG图 4、生成实验数据的调用图 5、获取四种类型的SyVCs 6、提取SeVCs 7、获取漏洞的代码行号 8、给切片打标签 9、将标签写入切片 1、准备阶段 实验数据我只用这些: (1)…

Spring源码深度解析:六、ConfigurationClassPostProcessor

一、前言 文章目录:Spring源码分析:文章目录 ConfigurationClassPostProcessor是非常重要的一个 后处理器。 ConfigurationClassPostProcessor完成了 配置类的解析和保存以及Component注解、Import等注解的解析工作 。将所有需要注入的bean解析成BeanD…