flink sql 执行慢问题排查(flink jdbc where 条件没有下推数据库)

news2024/9/26 3:31:09

最近在使用 flink sql (jdbc)执行一个简单表同步,可是执行了半天都没有执行完,后面通过 jstack 找到了问题原因:where条件没有下推到数据库执行。

任务如下:

create table mysql_a ( 
id1 string,
id2 atring,
...
primary key(id1) not enforced
) with (
'connector' = 'jdbc',
'url' = 'jdbc:mysql://${mysql_hosts}:${mysql_port}/test',
'username' = '${mysql_username}',
'password' = '${mysql_pass}',
'scan.fetch-size'='1000',
'table-name' = 'a'
);

create table es_sitrdw001_di_risk ( 
id1 string,
id2 atring,
...
primary key(id1) not enforced
) with (
'connector' = '${es_connector}',
'hosts' = '${es_hosts}',
'username' = '${es_username}',
'password' = '${es_pass}',
'sink.bulk-flush.max-actions' = '1000',
'sink.bulk-flush.interval' = '1s',
'index' = 'aa'
);

insert into es_a
select *
from mysql_a
where id1 = '123456'
;

简单来说,就是把 a表某条数据 同步到 es 相应索引下。其中 id1 加了索引,a表数据 200万条,150+字段,同步一次需要执行30分钟+

按道理来说,只有一条数据,不应该执行这么慢呀。下面记录了本人排查过程。

1、使用 jstack 打印线程日志
为了了解 flink 到底卡在哪个步骤,在程序执行5分钟后,在服务器上(或者本地开发环境)执行 jps命令
在这里插入图片描述
找到 flink 执行的线程 id。

接下来执行 jstack -l 15044 > /tmp/flink_jstack.log 将线程日志打印下来。

打开查看线程栈日志,我们可以看到程序卡在了 org.apache.flink.connector.jdbc.table.JdbcRowDataInputFormat.open() 这里
在这里插入图片描述
2、打断点
在这里插入图片描述
在org.apache.flink.connector.jdbc.table.JdbcRowDataInputFormat.open() 方法里面打断点

resultSet = statement.executeQuery();

这里是去数据库执行 SQL,将 originalSql 打印出来。发现where 条件没有了,查询 sql 只有 select id1,id1 … from a;

好家伙,全量查询,然后在内存里过滤数据,难怪执行特别慢!!!
至此问题原因找到了。

总结一下
本文主要介绍了 如何利用 jstack 定位问题,并通过断点了解到具体执行慢的原因,重在排查问题的技巧和思路,希望对你有帮助。

下篇继续介绍 flink jdbc 源码,解释为什么where 条件没有了,感兴趣的伙伴可以去找找哈。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/367124.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

vue路由跳转取消上个页面的请求

场景描述: ​ 项目中,有一个Steps 步骤条,包含三步审核, 当页面跳转时,不管当前处于第几步,都需要停止上个页面正在执行或还未执行的逻辑。 需求:当vue路由跳转时,取消执行上个页面…

和中国信通院美图公司技术专家见面,聊聊FinOps从概念到落地

成本优化成为企业上云的核心关切。目前,许多以“上云”为数字化转型路径的企业正面临着严重的云上超支问题。 数据库软件上市公司 Couchbase 曾发布一则报告称:一个典型的企业每年在云服务的支出超过3300万美元,这个数字比企业必要的支出还多…

【类与对象】封装对象的初始化及清理

C面向对象的三大特性:封装、继承、多态。具有相同性质的对象,抽象为类。 文章目录1 封装1.1 封装的意义(一)1.2 封装的意义(二)1.3 struct 和 class区别1.4 成员属性设置为私有练习案例:1 设计…

go gin学习记录5

有了前面几节的学习,如果做个简单的web服务端已经可以完成了。 这节来做一下优化。 我们实验了3种SQL写入的方法,但是发现每一种都需要在方法中去做数据库链接的操作,有些重复了。 所以,我们把这部分提取出来,数据库链…

【C/C++】中【typedef】用法大全

总结一下typedef用法,一共七种,分别是:为基本数据类型起别名、为结构体起别名、为指针类型起别名、为数组类型起别名、为枚举类型起别名、为模版函数起别名。 目录 一、为基本数据类型起别名 二、为结构体起别名 三、为指针类型起别名 四…

Windows应用之——设置定时关机

一 概述 本文介绍window设置自动关机的两种方式: cmd指令设置自动关机任务计划程序设置自动关机第三方定时关机软件 二 cmd指令设置自动关机—不推荐 2.1 自动关机-开启(管理员模式下) 依次点击‘“开始”,在“搜索程序和文件”中输入cmd&#xff0c…

Python GDAL读取栅格数据并基于质量评估波段QA对指定数据加以筛选掩膜

本文介绍基于Python语言中gdal模块,对遥感影像数据进行栅格读取与计算,同时基于QA波段对像元加以筛选、掩膜的操作。本文所要实现的需求具体为:现有自行计算的全球叶面积指数(LAI).tif格式栅格产品(下称“自…

关于Transformer的一些问题总结

一些与Transformer模型相关的问题总结,有不对的欢迎指出。 💡 残差网络为何可以解决梯度消失 对比1和2可以发现,对于普通网络,当有几个偏导很小的时候,梯度会迅速趋近于0;而对于残差网络,要趋近…

基于appium的app自动化测试框架

App自动化测试主要难点在于环境的搭建,appium完全是基于selenium进行的扩展,所以app测试框架也是基于web测试框架开发的 一、设备连接 (即构建基础的测试环境,保证可以驱动设备进行操作) 0.准备测试环境 1&#xff0…

第09章_MySQL子查询

第09章_子查询 讲师:尚硅谷-宋红康(江湖人称:康师傅) 官网:http://www.atguigu.com 子查询指一个查询语句嵌套在另一个查询语句内部的查询,这个特性从MySQL 4.1开始引入。 SQL 中子查询的使用大大增强了…

Spring MVC 源码 - HandlerAdapter 组件(一)之 HandlerAdapter

HandlerAdapter 组件HandlerAdapter 组件,处理器的适配器。因为处理器 handler 的类型是 Object 类型,需要有一个调用者来实现 handler 是怎么被执行。Spring 中的处理器的实现多变,比如用户的处理器可以实现 Controller 接口或者 HttpReques…

从零开始学typescript

https://coding.imooc.com/learn/list/412.html 公司花钱买的,我边学边做笔记 设置 vscode设置 然后下个Prettier - Code formatter 以后保存就能格式化了 下载ts npm install typescript3.6.4 -g ts版本 npm install -g ts-node8.4.1 node执行ts文件 这样&a…

_linux (TCP协议通讯流程)

文章目录TCP协议通讯流程TCP 和 UDP 对比TCP协议通讯流程 下图是基于TCP协议的客户端/服务器程序的一般流程: 服务器初始化: 调用socket, 创建文件描述符;调用bind, 将当前的文件描述符和ip/port绑定在一起;如果这个端口已经被其他进程占用了, 就会bind失 败;调用listen, 声…

FPGA入门系列15--SPI(文末有易灵思核心板及配套下载线)

文章简介 本系列文章主要针对FPGA初学者编写,包括FPGA的模块书写、基础语法、状态机、RAM、UART、SPI、VGA、以及功能验证等。将每一个知识点作为一个章节进行讲解,旨在更快速的提升初学者在FPGA开发方面的能力,每一个章节中都有针对性的代码…

国家推进招投标全过程电子签,契约锁帮助组织减负91%

根据某工程建设集团反馈,电子签章的应用帮助招投标工作实现:“参与方5分钟内线上实名认证;招标、中标通知等格式文件最快2分钟完成盖章;标书等大体量文件20分钟内盖章生成;专家实名认证远程评标、10分钟完成线上开标&a…

leetcode 502. IPO(上市,3种方法)

假设leetcode 即将上市,如何筹集资金的问题。 有两个数组profits和capital, 分别代表第 i 个项目有多少净利润 和 需要多少启动资金。 手上的原始资金是w, 用这个w的资金去启动项目,完成项目之后净利润会加到w上,再做下一个项目, …

硬件原理图中的“英文缩写”大全

设计原理图时,网络标号要尽量简洁眀了。本文总结了一下基本的表示方法,供大家参考。常用控制接口 EN:Enable,使能。使芯片能够工作。要用的时候,就打开EN脚,不用的时候就关闭。有些芯片是高使能&#xff0c…

SPI机制源码:JDK Dubbo Spring

JDK 17 Dubbo 3.1.6 JDK SPI JDK SPI在sql驱动类加载、以及slf4j日志实现加载方面有具体实现。 示例 public class Test {private static final Logger logger LoggerFactory.getLogger(Test.class);public static void main(String[] args) {ServiceLoader<JdkSpiServi…

软件测试计划怎么写?模板在这呢

目录 第1章 引言 第2章 项目背景 第3章质量目标 第4章 资源需求 第5章 测试策略 第6章 测试计划 总结感谢每一个认真阅读我文章的人&#xff01;&#xff01;&#xff01; 重点&#xff1a;配套学习资料和视频教学 第1章 引言 1.1目的 简述本计划的目的&#xff0c;旨…

【THREE.JS学习(3)】使用THREEJS加载GeoJSON地图数据

本文接着系列文章&#xff08;2&#xff09;进行介绍&#xff0c;以VUE2为开发框架&#xff0c;该文涉及代码存放在HelloWorld.vue中。相较于上一篇文章对div命名class等&#xff0c;该文简洁许多。<template> <div></div> </template>接着引入核心库i…