2.4 如何在FlinkSQL使用DataGen(数据生成器)

news2025/1/14 4:22:24

1、DataGen SQL 连接器

FLinkSQL中可以使用内置的DataGen SQL 连接器来生成测试数据

官网链接:DataGen SQL 连接器


2、随机数数据生成器

随机数数据生成器支持随机生成 char、varchar、binary、varbinary、string 类型的数据

它是一个无界流的数据生成器

-- TODO 随机数数据生成器 创建source表
drop table random_datagen_source_table;
CREATE TABLE random_datagen_source_table (
    user_name string,
    user_id int

) WITH (
    'connector' = 'datagen',
    'rows-per-second'='1',                 -- 指定生成速率:每秒生成的行数(默认值:10000)

    -- TODO 对表中的每个字段,进行配置
    -- 生成随机整数
    'fields.user_id.kind'='random',        -- 指定 数据生成器类型:random 随机数
    'fields.user_id.min'='1',              -- 指定 随机数的最小值 
    'fields.user_id.max'='1000',           -- 指定 随机数的最大值 

    -- 生成随机字符串(字段类型为string时,可以指定string长度)
    'fields.user_name.kind'='random',      -- 指定 数据生成器类型:random 随机数
    'fields.user_name.length'='3'          -- 指定 随机生成字符串的长度
);

-- 流式SQL
select * from random_datagen_source_table;

运行结果:


3、序列生成器

序列数据生成器,可以根据指定的起始值和结束值生成连续的整数数据

当序列数字达到结束值,读取结束,所以它是有界的生成器

-- TODO 序列数据生成器 创建source表
drop table sequence_datagen_source_table;
CREATE TABLE sequence_datagen_source_table (
    user_id int
) WITH (
    'connector' = 'datagen',
    'rows-per-second'='1',                 -- 指定生成速率:每秒生成的行数(默认值:10000)

    -- TODO 对表中的每个字段,进行配置
    'fields.user_id.kind'='sequence',        -- 指定 数据生成器类型:sequence 序列
    'fields.user_id.start'='1',              -- 指定 序列的起始值
    'fields.user_id.end'='120'               -- 指定 序列的结束值
);

-- 批式SQL
select * from sequence_datagen_source_table;

运行结果:

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1108459.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

快速解决 Resource not accessible by integration

简介 最近好久没有写博客了,今天在写开源项目 python-package-template 的时候,正好遇到一个问题,记录一下吧。本文将介绍 Resource not accessible by integration 的几种解决方案。 也欢迎大家体验一下 python-package-template 这个项目&…

node重装-解铃还须系铃人

一、问题场景 node的重装真的浪费我一整天时间,必须写下这篇踩坑日记 我在做博客项目的时候,启动前端Vue项目的时候,由于之前的node版本是18.16.1,npm install的时候出现问题,原因是node的版本过高,应该配…

Leetcode 242 有效的字母异位词(字符串转字符串数组+排序 哈希表)

Leetcode 242 有效的字母异位词(哈希表) 解法1. 转为字符串数组-排序-比较解法2 解法1. 转为字符串数组-排序-比较 采用排序的方法,先把字符串转化为字符数组,之后进行字符数组排序,之后比较两个字符数组是否相同 字符…

水库大坝安全监测方案,筑牢水库安全防线!

方案背景 党的十九届五中全会提出:“统筹发展和安全、加快病险水库除险加固”;国务院常务会议明确“十四五”期间,水库除险加固和运行管护要消除存量隐患,实现常态化管理;到2025年前,完成新出现病险水库的…

【算法】TOP101-二叉树篇(持续更新ing)

文章目录 1. JZ36 二叉搜索树与双向链表2. 100. 相同的树3. 572. 另一棵树的子树4. BM26 求二叉树的层序遍历 1. JZ36 二叉搜索树与双向链表 JZ36 二叉搜索树与双向链表 解题思路: 由题目可知,这是一颗二叉搜索树.二叉搜索树的特点就是他的中序遍历是有序的.所以本题我们大的…

SpringBoot整合Caffeine实现缓存

Caffeine Caffeine是一种基于Java的高性能缓存库,它提供了可配置、快速、灵活的缓存实现。Caffeine具有以下特点: 高性能:Caffeine使用了一些优化技术,如基于链表的并发哈希表和无锁算法,以提供卓越的读写性能。容量…

Python--随机出拳(random)--if判断--综合案例练习:石头剪刀布

注:涉及相关链接: Python:if判断--综合案例练习:石头剪刀布-CSDN博客 Python语言非常的强大,强大之处就在于其拥有很多模块(module),这些模块中拥有很多别人已经开发好的代码&…

华为eNSP配置专题-NAT的配置

文章目录 华为eNSP配置专题-NAT的配置0、参考文档1、前置环境1.1、宿主机1.2、eNSP模拟器 2、基本环境搭建2.1、基本终端构成和连接2.2、各终端基本配置2.2.1、PC1和PC2的配置2.2.2、交换机不做任何配置2.2.3、网关路由器的配置2.2.4、模拟互联网的路由器的配置 3、配置静态NAT…

JS 通过年份获取月,季度,半年度,年度

​功能描述: 实例化一个函数,给函数内传递不同的参数,获取从起始年份到现在年度所有的月份,季度,半年度,年度 动态演示 ---------正文代码开始-------- 1. 封装函数 createMonth 注:此代码可…

基于B/S架构,包括PC后台管理端、APP移动端、可视化大屏端的智慧工地源码

智慧工地管理平台充分运用数字化技术,聚焦施工现场岗位一线,依托物联网、互联网、AI等技术,围绕施工现场管理的人、机、料、法、环五大维度,以及施工过程管理的进度、质量、安全三大体系为基础应用,实现全面高效的工程…

【java吐血整理】

又到一年求职季,持续更新高频java面试题 目录 java 基础JDK JRE JVM字节码final异常异常处理hashCode、equals、JAVA SE 和 JAVA EEJava 访问修饰符 public、private、protected,default接口和抽象类String、StringBuffer、StringBuilder为什么String不…

基于Arrow的轻量线程池

基于Arrow的轻量线程池 大家好,我是光城,最近花了几周业余时间,开发出这款轻量线程池,代码也全部开源啦,欢迎大家star。 本线程池的设计与实现会有涉及非常多的知识,这些内容也都会以视频的方式分享在知识星…

CUDA编程入门系列(三) CUDA编程模型

一、GPU计算基础知识 CUDA编程模型是一个异构模型,需要CPU和GPU协同工作。 在CUDA中,host和device是两个重要的概念,我们用host指代CPU及其内存,而用device指代GPU及其内存。 CUDA程序中既包含host程序,又包含device程序,它们分别在CPU和GPU上运行。 host手dev…

【常用图像增强技术,Python-opencv】

文章目录 常用图像增强技术调整大小灰度变换标准化随机旋转中心剪切随机裁剪高斯模糊亮度、对比度和饱和度调节水平翻转垂直翻转高斯噪声随机块中心区域 常用图像增强技术 图像增强技术是常用于数据增强的方法,可以帮助增加数据集中图像的多样性,提高深…

VR智能家居虚拟连接仿真培训系统重塑传统家居行业

家居行业基于对场景的打造及设计,拥有广阔前景,是众多行业里面成为最有可能进行元宇宙落地的应用场景之一。 家居行业十分注重场景的打造及设计,而元宇宙恰恰能通过将人工智能、虚拟现实、大数据、物联网等技术融合提升,带来身临其…

关于ABB机器人安全区域设定

关于ABB机器人安全区域设定,需要开通608-1功能选项,才可以使用 也可以在系统信息-选项查看 关于范围设置最好设置局部,不然设置全局其他地方会占用,后续处理故障麻烦 储存类型设置常量,应为区域是固定值 关于pos1和pos…

vue3后台管理系统之登录界面和业务的实现

1.静态页面的搭建 <template><div class"login_container"><el-row><el-col :span"12" :xs"0" /><el-col :span"12" :xs"24"><!-- 登录的表单 --><el-form ref"loginForms&qu…

用 JHipster Azure Spring Apps 构建和部署 Spring 应用

作者&#xff1a;Hang Wang 排版&#xff1a;Alan Wang 此教程将向您展示如何使用 React、Spring Boot 和 PostgreSQL 在 Azure 上构建和部署全栈 Web 应用程序&#xff0c;由 JHipster Azure Spring Apps 提供支持。 JHipster Azure Spring Apps 为全栈 Web 开发提供了全面的…

单链表的相关操作(初阶--寥寥万字不成敬意)

目录 链表的概念 链表的相关操作&#xff1a; 链表的创建&#xff1a; 打印链表&#xff1a; 申请新节点&#xff1a; 链表的尾插&#xff1a; &#xff01;&#xff01;&#xff01;对于传参中二级指针的解释&#xff1a; 链表的头插&#xff1a; 链表的尾删&#xff…

常用JS加密/解密类型以及案例

简介 这里给大家汇总常用不常用的JS加密案例&#xff0c;免得大家用的时候到处去找例子。 正题 对称加密&#xff1a; 替代字符表示法&#xff1a;使用Base64或类似的编码对数据进行简单的转换&#xff0c;不过这并不是真正的加密&#xff0c;而只是一种表示形式的转换。 &l…