Flink读取mysql数据库(java)

news2024/11/18 21:25:00

代码如下:

package com.weilanaoli.ruge.vlink.flink;

import com.ververica.cdc.connectors.mysql.source.MySqlSource;
import com.ververica.cdc.connectors.mysql.table.StartupOptions;
import com.ververica.cdc.debezium.JsonDebeziumDeserializationSchema;
import org.apache.flink.api.common.eventtime.WatermarkStrategy;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.ProcessFunction;
import org.apache.flink.util.Collector;
import java.util.logging.Level;
import java.util.logging.Logger;

class MysqlExample {
    public static void main(String[] args) throws Exception {
        MySqlSource<String> mySqlSource = MySqlSource.<String>builder()
                .hostname("xx.xx.xx.xx")    //输入地址
                .port(3306)                 //输入端口
                .databaseList("xx")         //输入库名
                .tableList("xx.test")       //输入表名
                .username("xx")             //输入用户名
                .password("xxxx")           //输入密码
                .startupOptions(StartupOptions.initial())  //读取binlog策略,这个启动选项有五种
                .deserializer(new JsonDebeziumDeserializationSchema()) //配置不要锁表,但是数据一致性不是精准一次,会变成最少一次
                .build();
        
        //配置执行环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        // enable checkpoint
        env.enableCheckpointing(3000);
        DataStreamSource<String> dataStreamSource = env.fromSource(mySqlSource, WatermarkStrategy.noWatermarks(), "MySQL Source");
        SingleOutputStreamOperator<Object> singleOutputStreamOperator = dataStreamSource.process(new ProcessFunction<String, Object>() {
            @Override
            public void processElement(String value, ProcessFunction<String, Object>.Context ctx, Collector<Object> out) {
                try {
                    System.out.println("processElement=====" + value);
                }catch (Exception e) {
                    e.printStackTrace();
                }
            }
        });
        dataStreamSource.print("原始数据=====");
        env.execute("Print MySQL Snapshot + Binlog");
    }
}

运行结果如下:

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/826463.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

夏日暴雨,6大安全应对攻略,让我们一起做好防范

夏季暴雨来袭&#xff0c;我们必须高度警惕&#xff01;短时间的强降雨可能导致积水、山区滑坡、城市内涝等问题&#xff0c;给社会和经济发展带来严重影响。今天&#xff0c;让我们一起探讨一些有效的防范措施&#xff0c;确保个人安全与减少灾害损失。关注天气预警&#xff0…

IC秋招| 秋招怎么做准备,这份攻略请收下!

近期大家关注的就是秋招了&#xff0c;如今一些企业已经开启了提前批招聘&#xff0c;不少同学已经投递了简历&#xff0c;但内心还是非常焦虑&#xff0c;那么今年的秋招到底该如何准备呢&#xff1f; 简历投递思路建议 刚开始对大厂没有把握的话&#xff0c;可以先约初创或…

SWAT模型【建模方法、实例应用、高级进阶技能】

查看原文>>>SWAT模型【建模方法、实例应用、高级进阶技能】 【内容简述】&#xff1a; 【其它相关推荐】&#xff1a; 一维二维水动力模拟、水质建模、复杂河网构建技术在环境影响评价、防洪评价与排污口论证等实际项目中的应用 基于R语言的水文、水环境模型优化技…

黑客滥用 Google AMP 进行规避性网络钓鱼攻击

近日&#xff0c;有安全研究人员警告称&#xff0c;有越来越多的网络钓鱼活动利用谷歌加速移动页面(AMP)绕过电子邮件安全措施&#xff0c;进入企业员工的收件箱。 谷歌AMP是由谷歌和30个合作伙伴共同开发的一个开源HTML框架&#xff0c;旨在加快网页内容在移动设备上的加载速…

剑指 Offer 54. ! 二叉搜索树的第k大节点 (考察二叉树的中序遍历)

剑指 Offer 54. 二叉搜索树的第k大节点 给定一棵二叉搜索树&#xff0c;请找出其中第 k 大的节点的值。 我的思路是&#xff1a;用一个全局arrayList不断收集“逆向”中序遍历该搜索二叉树所需要的答案 class Solution {int res, k;public int kthLargest(TreeNode root, int …

太牛了,h2oGPT直接操作本地PDF、Excel、Word、图像、等文件

h2o项目简介 查询和总结您的文档&#xff0c;或者只是使用 h2oGPT&#xff08;一个 Apache V2 开源项目&#xff09;与本地私有 GPT LLM 聊天。项目地址https://github.com/h2oai/h2ogpt测试体验地址https://gpt.h2o.ai/主要功能 任何文档的私人离线数据库&#xff08;PDF、Ex…

Linux安装显卡驱动、annaconda和CUDA(超详细)

Windows版本的annaconda安装请见&#xff1a;Windows版本的annaconda安装 Windows版本的CUDA安装请见&#xff1a;Windows版本的CUDA安装 目录 一、安装显卡驱动 1.查询系统中是否安装了显卡驱动 2.查询显卡型号并选择安装的驱动版本 3.安装驱动 二、安装annaconda 三、…

如何为公司选择合适的工时管理系统?

近年来&#xff0c;越来越多的企业将工作外包、提供灵活的工作时间和聘用远程员工&#xff0c;因此对时间跟踪软件的需求也在不断增长。企业需要了解员工如何度过工作时间&#xff0c;否则可能会让企业蒙受损失。 为确保物有所值&#xff0c;在选择工时管理系统时可参考以下步…

EXCEL, 用if({1,0,0} ...) 实现把给定的区域,输出为任意你想要的矩阵,数组区域!

目录 1 原材料&#xff1a;这样的一个区域 工具 if({1,0,0}) 数组公式 1.1 原始数据 1.2 原理 if(0/1,t-value,f-value)---变形--->if({},range1,range2) 1.2.1 if(0/1,t-value,f-value)---变形--->if({},range1,range2) 1.2.2 原理1&#xff1a; if 数组原理&#…

探寻AI大模型平台之巅——文心千帆

目录 前言1. 何为文心千帆2. 核心亮点2.1 第三方大模型2.2 Prompt模板2.3 插件编排2.4 安全可靠 3. 一站式服务3.1 数据管理3.2 数据标注3.3 数据处理3.4 数据训练3.5 模型纳管3.5.1 模型评估3.5.2 模型压缩 3.6 服务发布 总结 前言 众多AI大模型不断涌现&#xff0c;一时不知…

小乌龟(TortoiseGit)连接GitLab

目录 &#x1f35f;写在前面 &#x1f35f;实验目标 &#x1f35f;安装gitlab &#x1f37f;1、安装依赖 &#x1f37f;2、下载清华gitlab包 &#x1f37f;3、安装gitlab &#x1f37f;4、修改配置文件 &#x1f37f;5、管理命令 &#x1f35f;访问gitlab &#x1f35f;界面设置…

rem适配方法

rem适配案例&#xff1a; 高度适配&#xff0c;现在是写死的 在不同的屏幕下进行适配 根据不同设备适配不同页面的实施方案有两种 如果是在320像素字体下&#xff0c;字体是多大 如果在750像素下屏幕是多大 比例就是2rem 先拿一个标准的稿件算rem 我们等比例缩放rem的值是怎…

【项目 进程 9】2.19 信号概述 2.20 kill、raise、abort函数

文章目录 2.19 信号概述信号的概念Linux信号一览表信号的5种默认处理动作corecore文件权限及位置设置 2.20 kill、raise、abort函数&#xff08;给进程发信号&#xff09; 2.19 信号概述 信号的概念 Linux信号一览表 共62种信号。 SIGKILL&#xff1a;所有进程不包括僵尸进程…

Flexbox

Flexbox 一、什么是 Flexbox ?二、Flexbox 知识点2.1、Flex Container&#xff08;容器&#xff09;2.1.1、轴2.1.2、添加flex支持2.1.3、flex-direction&#xff08;主轴向&#xff09;2.1.3.1、row 横向2.1.3.2、row-reverse 横向翻转2.1.3.3、column 纵向2.1.3.4、column-r…

关于LCD、LED、OLED、MLED(包含mimiLED和microLED)、柔性屏、超薄屏

关于LCD、LED、OLED、MLED、柔性屏、超薄屏 1、LCD&#xff1a;液晶显示屏&#xff0c;LED为其提供背景光源。 2、LED&#xff1a;发光二极管&#xff0c;是LCD的一部分。就是个灯泡。 3、OLED&#xff1a;相对于LCD来讲的&#xff0c;LCD要靠别人给他提供光、本身不能自发光…

JavaScript(四)DOM及CSS操作

1、DOM简介 DocumentType: Html的声明标签 <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.0"><title>Docume…

基础实验篇 | PX4控制器的外部通信

PX4控制器的外部通信 01 实验名称及目的 PX4控制器的外部通信&#xff1a;在进行硬件在环仿真时&#xff0c;我们常常需要向设计的Simulink控制器中发送数据&#xff08;传感器数据、故障触发、控制指令、参数调整等&#xff09;&#xff0c;同时接收一些感兴趣的数据。RflySi…

隐藏程序文档窗口工具1.0下载

在录屏或直播时有些窗口&#xff0c;比如讲稿提词器等&#xff0c;不想录进视频里&#xff0c;或者不想被观众看到&#xff0c;您可以使用这个窗口隐藏工具。 这个隐藏并不是真的隐藏了&#xff0c;我们在电脑上依然可以看到&#xff0c;但是直播或录屏工具抓取不到了&#xf…

看pdf的软件有哪些?这几款了解一下

看pdf的软件有哪些&#xff1f;PDF格式的文件在现代社会中应用广泛&#xff0c;而PDF阅读器是很重要的一种工具。相比于其他文件格式&#xff0c;PDF文件的格式统一&#xff0c;便于分享和传输&#xff0c;并且不易被篡改。而PDF阅读器则是我们查看、编辑和管理PDF文件的必备工…

<C++>入门

在学习完C语言的基础上&#xff0c;继续开始C的学习。 C是在C的基础之上&#xff0c;容纳进去了面向对象编程思想&#xff0c;并增加了许多有用的库&#xff0c;以及编程范式 等。熟悉C语言之后&#xff0c;对C学习有一定的帮助&#xff0c;本章节主要目标&#xff1a; 1. 补充…