前端响应超时、API-server 服务内存不足...碰见这类 DolphinScheduler 资源中心相关问题怎么办?...

news2024/11/16 5:57:42

67262ad7ce37d2868ebb4b94e6696d3c.jpeg

作者 | 刘森 卡特加特 大数据工程师 

Apache DolphinScheduler Contributor

最近,有些用户小伙伴反映在使用 Apache DolphinScheduler 资源中心时会遇到问题,社区小伙伴整理了一些常见问题,希望帮大家解决燃眉之急。

[WARN] 2023-04-25 03:02:58.463 +0000 org.springframework.web.servlet.mvc.method.annotation.ExceptionHandlerExceptionResolver:[434] - Failure in @ExceptionHandler org.apache.dolphinscheduler.api.exceptions.ApiExceptionHandler#exceptionHandler(Exception, HandlerMethod)
java.lang.IllegalStateException: Could not resolve parameter [1] in public org.apache.dolphinscheduler.api.utils.Result org.apache.dolphinscheduler.api.exceptions.ApiExceptionHandler.exceptionHandler(java.lang.Exception,org.springframework.web.method.HandlerMethod): No suitable resolver
    at org.springframework.web.method.support.InvocableHandlerMethod.getMethodArgumentValues(InvocableHandlerMethod.java:176)
    at org.springframework.web.method.support.InvocableHandlerMethod.invokeForRequest(InvocableHandlerMethod.java:146)
    at org.springframework.web.servlet.mvc.method.annotation.ServletInvocableHandlerMethod.invokeAndHandle(ServletInvocableHandlerMethod.java:117)
    at org.springframework.web.servlet.mvc.method.annotation.ExceptionHandlerExceptionResolver.doResolveHandlerMethodException(ExceptionHandlerExceptionResolver.java:428)
    at org.springframework.web.servlet.handler.AbstractHandlerMethodExceptionResolver.doResolveException(AbstractHandlerMethodExceptionResolver.java:75)
    at org.springframework.web.servlet.handler.AbstractHandlerExceptionResolver.resolveException(AbstractHandlerExceptionResolver.java:142)
    at org.springframework.web.servlet.handler.HandlerExceptionResolverComposite.resolveException(HandlerExceptionResolverComposite.java:80)
    at org.springframework.web.servlet.DispatcherServlet.processHandlerException(DispatcherServlet.java:1330)
    at org.springframework.web.servlet.DispatcherServlet.processDispatchResult(DispatcherServlet.java:1141)
    at org.springframework.web.servlet.DispatcherServlet.doDispatch(DispatcherServlet.java:1087)
    at org.springframework.web.servlet.DispatcherServlet.doService(DispatcherServlet.java:963)
    at org.springframework.web.servlet.FrameworkServlet.processRequest(FrameworkServlet.java:1006)
    at org.springframework.web.servlet.FrameworkServlet.doPost(FrameworkServlet.java:909)
    at javax.servlet.http.HttpServlet.service(HttpServlet.java:517)
    at org.springframework.web.servlet.FrameworkServlet.service(FrameworkServlet.java:883)
    at javax.servlet.http.HttpServlet.service(HttpServlet.java:584)
    at org.eclipse.jetty.servlet.ServletHolder.handle(ServletHolder.java:799)

问题原因:前端响应超时

解决办法:

需要修改以下4个文件。

/api-server/ui/assets/service.33119ae9.js
/api-server/ui/assets/service.33119ae9.js.gz

/ui/assets/service.33119ae9.js
/ui/assets/service.33119ae9.js.gz

并找到以下配置,然后将 15e3 修改为 15e5 或更高版本。

baseURL:"/dolphinscheduler",timeout:15e3

1.这里 service.33119ae9.并不是固定的名称,只要找到 service..js*的文件修改就行

2.如果使用docker部署的dolphinscheduler。是没有/ui/assets/service.33119ae9.js和/ui/assets/service.33119ae9.js.gz文件,忽略就行

3..gz文件使用vim就可以打开

4.重启api服务

5.清除浏览器缓存

[WARN] 2023-04-25 03:05:50.855 +0000 org.eclipse.jetty.server.HttpChannel:[776] - /dolphinscheduler/resources
org.springframework.web.util.NestedServletException: Request processing failed; nested exception is org.springframework.web.multipart.MultipartException: Failed to parse multipart servlet request; nested exception is java.lang.OutOfMemoryError: Java heap space
    at org.springframework.web.servlet.FrameworkServlet.processRequest(FrameworkServlet.java:1014)
    at org.springframework.web.servlet.FrameworkServlet.doPost(FrameworkServlet.java:909)
    at javax.servlet.http.HttpServlet.service(HttpServlet.java:517)
    at org.springframework.web.servlet.FrameworkServlet.service(FrameworkServlet.java:883)
    at javax.servlet.http.HttpServlet.service(HttpServlet.java:584)
    at org.eclipse.jetty.servlet.ServletHolder.handle(ServletHolder.java:799)
    at org.eclipse.jetty.servlet.ServletHandler$ChainEnd.doFilter(ServletHandler.java:1656)
    at org.springframework.web.filter.CorsFilter.doFilterInternal(CorsFilter.java:91)
    at org.springframework.web.filter.OncePerRequestFilter.doFilter(OncePerRequestFilter.java:117)
    at org.eclipse.jetty.servlet.FilterHolder.doFilter(FilterHolder.java:193)
    at org.eclipse.jetty.servlet.ServletHandler$Chain.doFilter(ServletHandler.java:1626)
    at org.springframework.web.filter.RequestContextFilter.doFilterInternal(RequestContextFilter.java:100)
    at org.springframework.web.filter.OncePerRequestFilter.doFilter(OncePerRequestFilter.java:117)
    at org.eclipse.jetty.servlet.FilterHolder.doFilter(FilterHolder.java:193)
    at org.eclipse.jetty.servlet.ServletHandler$Chain.doFilter(ServletHandler.java:1626)
    at org.springframework.web.filter.FormContentFilter.doFilterInternal(FormContentFilter.java:93)
    at org.springframework.web.filter.OncePerRequestFilter.doFilter(OncePerRequestFilter.java:117)
    at org.eclipse.jetty.servlet.FilterHolder.doFilter(FilterHolder.java:193)
    at org.eclipse.jetty.servlet.ServletHandler$Chain.doFilter(ServletHandler.java:1626)
    at org.springframework.boot.actuate.metrics.web.servlet.WebMvcMetricsFilter.doFilterInternal(WebMvcMetricsFilter.java:96)
    at org.springframework.web.filter.OncePerRequestFilter.doFilter(OncePerRequestFilter.java:117)
    at org.eclipse.jetty.servlet.FilterHolder.doFilter(FilterHolder.java:193)
    at org.eclipse.jetty.servlet.ServletHandler$Chain.doFilter(ServletHandler.java:1626)
    at org.springframework.web.filter.CharacterEncodingFilter.doFilterInternal(CharacterEncodingFilter.java:201)
    at org.springframework.web.filter.OncePerRequestFilter.doFilter(OncePerRequestFilter.java:117)
    at org.eclipse.jetty.servlet.FilterHolder.doFilter(FilterHolder.java:193)
    at org.eclipse.jetty.servlet.ServletHandler$Chain.doFilter(ServletHandler.java:1626)
    at org.eclipse.jetty.servlet.ServletHandler.doHandle(ServletHandler.java:552)
    at org.eclipse.jetty.server.handler.ScopedHandler.handle(ScopedHandler.java:143)
    at org.eclipse.jetty.security.SecurityHandler.handle(SecurityHandler.java:600)
    at org.eclipse.jetty.server.handler.HandlerWrapper.handle(HandlerWrapper.java:127)
    at org.eclipse.jetty.server.handler.ScopedHandler.nextHandle(ScopedHandler.java:235)

问题原因:api-server服务内存不足

解决办法:更改bin/dolphinscheduler-daemon.sh的api-server项内存大小参数

Docker部署解决办法:

1.进入Docker实例

docker exec -it bbd60fe717af /bin/bash

2.修改/opt/dolphinscheduler/bin/start.sh

vim /opt/dolphinscheduler/bin/start.sh

3.内存参数从‘-Xms1g -Xmx1g -Xmn512m’ 修改为‘-Xms2g -Xmx2g -Xmn1g’。具体数值根据需要资源修改

#!/bin/bash
#
# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements.  See the NOTICE file distributed with
# this work for additional information regarding copyright ownership.
# The ASF licenses this file to You under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License.  You may obtain a copy of the License at
#
#     http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
#

BIN_DIR=$(dirname $0)
DOLPHINSCHEDULER_HOME=${DOLPHINSCHEDULER_HOME:-$(cd $BIN_DIR/..; pwd)}

source "$DOLPHINSCHEDULER_HOME/conf/dolphinscheduler_env.sh"

JAVA_OPTS=${JAVA_OPTS:-"-server -Duser.timezone=${SPRING_JACKSON_TIME_ZONE} -Xms2g -Xmx2g -Xmn1g -XX:+PrintGCDetails -Xloggc:gc.log -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=dump.hprof"}

if [[ "$DOCKER" == "true" ]]; then
  JAVA_OPTS="${JAVA_OPTS} -XX:-UseContainerSupport"
fi

$JAVA_HOME/bin/java $JAVA_OPTS \
  -cp "$DOLPHINSCHEDULER_HOME/conf":"$DOLPHINSCHEDULER_HOME/libs/*" \
  org.apache.dolphinscheduler.api.ApiApplicationServer

3.12 BUG

  • 修复任务组可能被多个任务抢走的问题 #13115

如果设置任务组,多个任务会抢占任务组不释放,导致master一直重试释放,无法继续执行任务

解决办法:

1.升级到3.13

2.取消任务组

[INFO] 2023-04-25 08:51:06.044 +0000 org.apache.dolphinscheduler.server.master.runner.WorkflowExecuteRunnable:[286] - [WorkflowInstance-357][TaskInstance-4553] - Begin to handle state event, TaskStateEvent(processInstanceId=357, taskInstanceId=4553, taskCode=0, status=null, type=WAIT_TASK_GROUP, key=357-4553, channel=null, context=null)
[INFO] 2023-04-25 08:51:06.044 +0000 org.apache.dolphinscheduler.server.master.event.TaskWaitTaskGroupStateHandler:[34] - [WorkflowInstance-357][TaskInstance-4553] - Handle task instance wait task group event, taskInstanceId: 4553
[INFO] 2023-04-25 08:51:06.044 +0000 org.apache.dolphinscheduler.server.master.runner.WorkflowExecuteRunnable:[286] - [WorkflowInstance-356][TaskInstance-4554] - Begin to handle state event, TaskStateEvent(processInstanceId=356, taskInstanceId=4554, taskCode=0, status=null, type=WAIT_TASK_GROUP, key=356-4554, channel=null, context=null)
[INFO] 2023-04-25 08:51:06.044 +0000 org.apache.dolphinscheduler.server.master.event.TaskWaitTaskGroupStateHandler:[34] - [WorkflowInstance-356][TaskInstance-4554] - Handle task instance wait task group event, taskInstanceId: 4554
[INFO] 2023-04-25 08:51:06.044 +0000 org.apache.dolphinscheduler.server.master.runner.WorkflowExecuteRunnable:[286] - [WorkflowInstance-360][TaskInstance-4613] - Begin to handle state event, TaskStateEvent(processInstanceId=360, taskInstanceId=4613, taskCode=0, status=null, type=WAIT_TASK_GROUP, key=360-4613, channel=null, context=null)
[INFO] 2023-04-25 08:51:06.044 +0000 org.apache.dolphinscheduler.server.master.event.TaskWaitTaskGroupStateHandler:[34] - [WorkflowInstance-360][TaskInstance-4613] - Handle task instance wait task group event, taskInstanceId: 4613
[INFO] 2023-04-25 08:51:06.044 +0000 org.apache.dolphinscheduler.server.master.runner.WorkflowExecuteRunnable:[286] - [WorkflowInstance-355][TaskInstance-4549] - Begin to handle state event, TaskStateEvent(processInstanceId=355, taskInstanceId=4549, taskCode=0, status=null, type=WAIT_TASK_GROUP, key=355-4549, channel=null, context=null)
[INFO] 2023-04-25 08:51:06.044 +0000 org.apache.dolphinscheduler.server.master.event.TaskWaitTaskGroupStateHandler:[34] - [WorkflowInstance-355][TaskInstance-4549] - Handle task instance wait task group event, taskInstanceId: 4549

参与贡献

随着国内开源的迅猛崛起,Apache DolphinScheduler 社区迎来蓬勃发展,为了做更好用、易用的调度,真诚欢迎热爱开源的伙伴加入到开源社区中来,为中国开源崛起献上一份自己的力量,让本土开源走向全球。

e4c287f408b0438e861ae8190259ed5b.png

参与 DolphinScheduler 社区有非常多的参与贡献的方式,包括:

a19ba4e5ee07e413a5c0bc92ee6760bc.png

贡献第一个PR(文档、代码) 我们也希望是简单的,第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。

社区汇总了以下适合新手的问题列表:https://github.com/apache/dolphinscheduler/issues/5689

非新手问题列表:https://github.com/apache/dolphinscheduler/issues?q=is%3Aopen+is%3Aissue+label%3A%22volunteer+wanted%22

如何参与贡献链接:https://dolphinscheduler.apache.org/zh-cn/community/development/contribute.html

来吧,DolphinScheduler开源社区需要您的参与,为中国开源崛起添砖加瓦吧,哪怕只是小小的一块瓦,汇聚起来的力量也是巨大的。

参与开源可以近距离与各路高手切磋,迅速提升自己的技能,如果您想参与贡献,我们有个贡献者种子孵化群,可以添加社区小助手微信(Leonard-ds) ,手把手教会您( 贡献者不分水平高低,有问必答,关键是有一颗愿意贡献的心 )。

b7cd6de679a85ca89a5b9a5d0f15948a.jpeg

添加社区小助手微信(Leonard-ds) 

添加小助手微信时请说明想参与贡献。

来吧,开源社区非常期待您的参与。

< 🐬🐬 >

活动推荐

汽车行业走在了数字化革命浪潮的前列。大数据和 AI 技术的日益成熟,让汽车行业面对着动辄上百万的日活数据,二调度系统助力汽车数字化平台数据调度重塑着未来汽车的面貌,其重要作用不言而喻。

Apache DolphinScheduler 作为国内外多家知名车企数据平台的核心调度系统,它是如何帮助车企迎接数字化时代新挑战的?如何辅助重塑未来汽车的新面貌?欢迎大家关注即将到来的 Apache DolphinScheduler 汽车行业最佳应用实践专场直播!

直播时间:2023 年 5 月 23 日 19:00-21:00

预约方式:点击预约,视频号直播不见不散!

我知道你在看56c85bebe77d98dd80899de458f4e150.png

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/504440.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

网络工程师网络管理软件SNMPc软件的下载,安装和使用教程说明

⬜⬜⬜ &#x1f430;&#x1f7e7;&#x1f7e8;&#x1f7e9;&#x1f7e6;&#x1f7ea;(*^▽^*)欢迎光临 &#x1f7e7;&#x1f7e8;&#x1f7e9;&#x1f7e6;&#x1f7ea;&#x1f430;⬜⬜⬜ ✏️write in front✏️ &#x1f4dd;个人主页&#xff1a;陈丹宇jmu &am…

2直接连接的网络与VLAN划分【实验】【计算机网络】

2直接连接的网络与VLAN划分【实验】【计算机网络】 前言推荐2直接连接的网络与VLAN划分2.1共享式以太网和交换式以太网实验目的实验内容及实验环境实验原理共享式以太网交换式以太网 实验过程搭建实验环境初始化序训练操作共享式以太网-操作交换式以太网查看共享式以太网冲突查…

QueryStorm Crack

QueryStorm Crack 应用程序现在可以指定“minRuntimeVersion”。 添加了用于节流和API密钥管理的HTTP请求基础结构(请求/尝试/重试循环)。 改进了许可提示的处理(避免在多个单元格中评估许可功能时出现多个提示)。 已添加“IDialogServiceExt”接口&#xff0c;该接口允许应用程…

看完这篇文章你就彻底懂啦{保姆级讲解}-----(I.MX6U驱动GPIO中断《包括时钟讲解》) 2023.5.9

目录 前言整体文件结构源码分析&#xff08;保姆级讲解&#xff09;中断初始化部分初始化GIC控制器初始化中断向量表设置中断向量表偏移 系统时钟初始化部分使能所有的时钟部分led初始化部分beep初始化部分key初始化部分按键中断初始化部分按键中断服务函数部分 while循环部分 …

【shell脚本】函数

函数 一、shell函数1.1函数的定义1.3 函数返回值1.4函数传参1.5递归的使用 二、实验2.1实验一2.2实验二2.3实验三 一、shell函数 使用函数可以避免代码重复使用函数可以将大的过程风为若干个小的功能模块&#xff0c;代码的可读性更强 1.1函数的定义 【1】 function 函数名 …

OJ练习第99题——推箱子

推箱子 力扣链接&#xff1a;1263. 推箱子 题目描述 「推箱子」是一款风靡全球的益智小游戏&#xff0c;玩家需要将箱子推到仓库中的目标位置。 游戏地图用大小为 m x n 的网格 grid 表示&#xff0c;其中每个元素可以是墙、地板或者是箱子。 现在你将作为玩家参与游戏&a…

深度学习—神经网络基础原理

前向传播&#xff08;Forward&#xff09; 为什么要有激活函数 这里用两层来代表多层的神经网络举例&#xff1a;第一层的输出是第二层的输入&#xff0c;其中MM的W*X矩阵乘法&#xff0c;ADD是向量加法即加上偏置&#xff0c;如果每一层都只有线性变换&#xff0c;那么最终无…

Modbus转Profibus网关连接安科瑞ARD3T电机保护器接到300PLC配置案例

案例介绍兴达易控Modbus转profibus网关&#xff08;XD-MDPB100&#xff09;把安科瑞ARD3T电机保护器在博图软件里无需编程实现由profibus转modbus协议之间的互转&#xff0c;用到的设备安科瑞ARD3T电机保护器一台&#xff1b;兴达易控Modbus转profibus网关&#xff08;XD-MDPN1…

解密Diem币:探索Facebook的数字货币计划

大家好&#xff01;我是ClonBrowser小鱼&#xff0c;今天我要和大家一起解密一种备受关注的数字货币——Diem币。 或许你已经猜到了&#xff0c;这个数字货币与社交媒体巨头Facebook有关。是的没错&#xff0c;Facebook正计划推出一种自己的加密货币&#xff0c;名为Diem币。让…

为什么做白平衡?康耐视Visionpro和Basler pylon,海康MVS如何做白平衡-三种软件相同条件下,白平衡效果一样?

为什么会有白平衡这个问题? 因为不同颜色的差异来自于不同波长光线的比例不同。 由于在不同色温下各种波长光纤比例的不同,造成白色在高色温的光线照射下显得较蓝,在低色温度的光线下显得较黄。如下图: 问题:在相同条件下,康耐视Visionpro和Basler pylon,海康MVS做白平…

机器学习决策树、回归树 sklearn-day1

#文章很多内容来自菜菜老师的课件。仅做笔记一、决策树 1、模块 2、sklearn基本建模流程 #分类树对应的代码 from sklearn import tree #导入需要的模块 clf tree.DecisionTreeClassifier() #实例化 clf clf.fit(X_train,y_train) #用训练集数据训练模型 result clf…

JavaWeb 中 Filter过滤器

Filter过滤器 每博一文案 师傅说&#xff1a;人生无坦途&#xff0c;累是必须的背负&#xff0c;看多了&#xff0c;人情人暖&#xff0c;走遍了离合聚散&#xff0c;有时会 在心里对自己说&#xff0c;我想&#xff0c;我是真的累了&#xff0c;小时候有读不完的书&#xff0…

大学生志愿者管理信息系统设计与实现(论文+源码)_kaic

摘 要 在国家的十四五期间&#xff0c;志愿服务成为推动社会文明发展的重要力量。大学生是志愿活动的中坚力量。现有的志愿管理工作不能满足志愿活动的需要&#xff0c;存在活动找不到志愿者&#xff0c;志愿者找不到活动的情况。为服务良好的志愿服务体系&#xff0c;对大学…

Hologres技术揭秘: JSON半结构化数据的极致分析性能

作者&#xff1a;王华峰&#xff08;花名继儒&#xff09;&#xff0c;Hologres研发 近年来&#xff0c;随着移动端应用的普及&#xff0c;应用埋点、用户标签计算等场景开始诞生&#xff0c;为了更好的支撑这类场景&#xff0c;越来越多的大数据系统开始使用半结构化JSON格式…

保姆级教程:OpenAI获取Account详细教程2023/05/09最新

前言 最近OpenAI封的比较严重&#xff0c;建议大家不要批量&#xff0c;容易被封&#xff0c;也不要用公用的IP 一、上网 首先你要学会上网&#xff08;懂&#xff1f;&#xff09;、这一步是必须的。 现在MG等地方的IP已经很难了&#xff0c;可以选择一些小众国家的IP 二、开…

【论文阅读】Online multi-sensor calibration based on moving object tracking

目录 Online multi-sensor calibration based on moving object trackingAbstract1. Introduction2. Proposed Method2.1 Object Detection2.2 Tracking of moving objects2.3 Track-to-track association2.4 Decalibration(解关联) detection2.5 Graph-based extrinsic calibr…

花菁染料CY5.5标记活性脂 Cy5.5-NHS

Cy5.5 NHS ester用于染色蛋白质、标记DNA、标记细胞表面抗原、标记抗体和其他生物分子。Cy5.5 NHS ester还可以用于分子影像学&#xff0c;可以追踪细胞内的变化。它还可以用于荧光免疫检测&#xff0c;以检测细胞表面抗原和抗体。 产品名称&#xff1a;五甲川花菁染料CY5.5标记…

OpenGL 4.0的Tessellation Shader(细分曲面着色器)

细分曲面着色器&#xff08;Tessellation Shader&#xff09;处于顶点着色器阶段的下一个阶段&#xff0c;我们可以看以下链接的OpenGL渲染流水线的图&#xff1a;Rendering Pipeline Overview。它是由ATI在2001年率先设计出来的。 目录 细分曲面着色器细分曲面Patch细分曲面控…

手把手实现项目中自定义动态数据源?

手把手实现项目中自定义动态数据源&#xff1f; 第一步&#xff1a;创建项目&#xff0c;添加POM依赖第二步&#xff1a;添加application.yml配置文件第三步&#xff1a;自定义注解指定使用哪个数据源第四步&#xff1a;创建DynamicDataSourceContextHolder工具类&#xff0c;存…

LeetCode:347. 前 K 个高频元素

&#x1f34e;道阻且长&#xff0c;行则将至。&#x1f353; &#x1f33b;算法&#xff0c;不如说它是一种思考方式&#x1f340; 算法专栏&#xff1a; &#x1f449;&#x1f3fb;123 题解目录 一、&#x1f331;[347. 前 K 个高频元素](https://leetcode.cn/problems/bina…