使用ETL读取文件数据并快速写入mysql中

news2024/10/5 19:27:26

本文介绍使用国产的ETL工具ETLCloud平台来读取文件文件中的数据到mysql数据库中,首先需要安装ETLCloud的社区版本,然后在示例应用中创建一个文件读取流程如下:

点击“流程设计”后打开流程图如下

打开文本文件读取节点配置要读取的文件目录和文件名称

点击文件及目录管理可以可以在服务器上创建文件夹并可以上传本地电脑文件到服务器上

我们这里上传了一个简单的文本文件格式如下:

文件节点中选择用逗号分隔就可以了如果是其他分隔符可以自已填写就可以了

这种是比较简单的文本文件,如果文件内容很复杂(如分隔符不规则或者每行数据不对称等)可以用自定义JS脚本来解析文件内容

用JS把字符串切成数组然后返回一个json字符串即可,然后再双击数据库表输出节点中的设置如下:

选择一个mysql的数据源,数据源是在数据源管理中事先统一创建好的,数据库表如果不存在可以输入一个新的数据库表名,让ETL自动建表即可

输出字段如果没有可以导入前面节点中设置的字段即可,避免手动一个一个输入

关键要选中自动建表这个选项,经过上面的配置即可读取文件到数据库中了

点击运行后即可看到读取了3条数据到mysql数据库表中,再打开数据库表输出节点后点击数据预览节点就可以看到数据库表中已经有3条数据了

(文本文件读取到数据库后的效果)

其他注意事项:

  1. 如果文件很大可以下载安装大文件读取组件他可以分页读取,当前这个组件只能一次性全部读取如果文件很大会比较耗内存
  2. 如果是Excel文件则要使用专有的Excel文件读取组件
  3. 如果想监听文件当有文件变动(新增、修改)时立即读取文件内容可以在文件夹中启动监听功能,这里的文件名就不用写死了

只需选择监听到的文件进行读取即可,非常方便

ETLCloud社区版本可以到官方网站上下载

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1711803.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【数据结构(邓俊辉)学习笔记】二叉树04——Huffman树

文章目录 0. 概述1. 无前缀冲突编码2. 编码成本3. 带权编码成本4. 编码算法5. 算法实现流程6. 时间复杂度与改进方案 0. 概述 学习Huffman树。 1. 无前缀冲突编码 在加载到信道上之前,信息被转换为二进制形式的过程称作编码(encoding)&…

免费插件集-illustrator插件-Ai插件-文本对象分行

文章目录 1.介绍2.安装3.通过窗口>扩展>知了插件4.功能解释5.总结 1.介绍 本文介绍一款免费插件,加强illustrator使用人员工作效率,进行文本对象分行。首先从下载网址下载这款插件 https://download.csdn.net/download/m0_67316550/87890501&…

python数据处理中的类型检查与转换技巧

新书上架~👇全国包邮奥~ python实用小工具开发教程http://pythontoolsteach.com/3 欢迎关注我👆,收藏下次不迷路┗|`O′|┛ 嗷~~ 目录 一、类型检查的重要性 二、类型检查与转换技巧 1. 识别数据类型不一致 2. 使用astype()方…

CSS学习笔记:rem实现移动端适配的原理——媒体查询

移动端适配 移动端即手机端,也称M端 移动端适配:同一套移动端页面在不同屏幕尺寸的手机上可以实现宽度和高度的自适应,也就是页面中元素的宽度和高度可以根据屏幕尺寸的变化等比缩放 rem配合媒体查询可实现移动端适配 rem单位 媒体查询 …

校企携手|泰迪智能科技与高新启动「大数据应用技术」深度合作项目

5月22日,广东泰迪智能科技股份有限公司携手广东省高新技术高级技工学校举行“泰迪高新技术学校大数据双创工作室”暨广东省“产教评”技能生态链学生学徒公共实训基地签约揭牌仪式,标志着双方合作共建大数据应用技术专业、产教生态链实训基地及泰迪高新大…

【机器学习】Chameleon多模态模型探究

Chameleon:引领多模态模型的新时代 一、多模态模型的时代背景二、Chameleon模型的介绍三、Chameleon模型的技术特点四、Chameleon模型的性能评估五、Chameleon模型的代码实例 随着人工智能技术的深入发展,我们逐渐认识到单一模态的模型在处理复杂问题时存…

MySQL--二进制日志

目录 一、作用 二、binlog配置 1.查看当前配置 2.修改配置文件​ 3.binlog配置参数解释 三、binlog记录内容说明 1.记录内容 2.DDL、DCL记录格式 3.DML记录格式 4.记录内容查看 四、bin_log_format 记录模式 1.行模式 Row 2.语句模式 Statement 3.混合模式 五、…

亚信安慧AntDB数据库与华为数据存储完成兼容性互认证

迎接数智时代,供给核心科技。日前,湖南亚信安慧科技有限公司(简称:亚信安慧)与华为技术有限公司(简称:华为),完成了AntDB数据库产品与OceanProtect备份一体机及Oceanstor…

Autoware 技术代码解读(三)

Tip: 如果你在进行深度学习、自动驾驶、模型推理、微调或AI绘画出图等任务,并且需要GPU资源,可以考虑使用Compshare的GPU算力云平台。他们提供高性价比的4090 GPU,按时收费每卡2.6元,月卡只需要1.7元每小时,并附带200G…

物联网应用系统与网关

一. 传感器底板相关设计 1. 传感器设计 立创EDA传感器设计举例。 2. 传感器实物图 3. 传感器测试举例 测试激光测距传感器 二. 网关相关设计 1. LORA,NBIOT等设计 2. LORA,NBIOT等实物图 3. ZigBee测试 ZigBee测试 4. NBIoT测试 NBIoT自制模块的测试…

LAMP集群分布式实验报告

前景: 1.技术成熟度和稳定性: LAMP架构(Linux、Apache、MySQL、PHP)自1998年提出以来,经过长时间的发展和完善,已经成为非常成熟和稳定的Web开发平台。其中,Linux操作系统因其高度的灵活性和稳…

​LabVIEW超声波检测

LabVIEW超声波检测 在现代工业生产和科学研究中,超声检测技术因其无损性、高效率和可靠性而被广泛应用于材料和结构的缺陷检测。然而,传统的超声检测仪器往往依赖于操作者的经验和技能,其检测过程不够智能化,且检测结果的解读具有…

【产品运营】对接上游电商平台需要了解什么?

围绕卖家和平台的运营模式等维度,ISV对接平台可以划分为业务域、开放能力域和产品能力域。 ISV对接平台的最终目地是打通多方数据传输,解决卖家日常运营中的场景起到类似于业务中台的作用。因此我们可以围绕卖家和平台的运营模式等维度划分为&#xff1a…

电脑下载了caj却打不开文献?使用CAJ阅读器,支持caj转word

如果电脑下载了CAJ文件却打不开文献,这通常是因为没有安装合适的阅读器。CAJ文件是中国知网的一种专用全文阅读格式,需要使用专门的CAJ阅读器(CAJViewer)来打开和阅读。 首先:使用CAJ阅读器 请确保你已经正确安装了CA…

迈的普拉姆利普绘图:深入解析与实战应用

新书上架~👇全国包邮奥~ python实用小工具开发教程http://pythontoolsteach.com/3 欢迎关注我👆,收藏下次不迷路┗|`O′|┛ 嗷~~ 目录 一、引言:matplotlib绘图的基本原理 代码案例 二、深入了解:matplo…

IDEA2023.2单击Setting提示报错:Cannot get children Easy Code

1、单击Setting,不能弹出对话框 2、打开IDE Internal Errors发生错误 原因: 报错信息 "Cannot get children Easy Code" 通常指的是 IntelliJ IDEA 在尝试访问或操作 Easy Code 插件的子设置时遇到了问题。 主要检查是有网络(断断…

【面试干货】约瑟夫问题

【面试干货】约瑟夫问题 1、实现思想2、代码实现 💖The Begin💖点点关注,收藏不迷路💖 约瑟夫问题 是一个经典的数学问题,描述如下:编号为1, 2, …, n的n个人按顺时针方向围坐一圈,从第1个人开始…

【测试】PostMan介绍_安装

1、介绍 1.1简介 Postman是一款非常流行的API调试工具,用于构建和使用 API 的 API 平台。Postman 简化了 API 生命周期的每个步骤并简化了协作它能够模拟用户发起的各类HTTP请求,将请求数据发送至服务端,并获取对应的响应结果。通过Postman…

单元测试框架Pytest的基本操作

Pytest基本操作 1. 详解1.1 命名规则:1.2 自定义查找规则:1.3 3种运行方式1.4 执行顺序2. 断言2.1 定义2.2 断言的规则3. mark3.1 mark的作用3.2 mark的标记方式3.3 注册标签名3.4 skip跳过标记4. pytest的参数化5. pytest的夹具(fixture测试夹具)5.1. 作用5.2. 夹具应用场…

李廉洋:5.29黄金早盘2365-2345区间,今日行情走势分析及策略。

黄金消息面分析:当前美国存在一个令人担忧且未被充分关注的问题:房地产行业低迷、高利率和抵押贷款利率、租金高涨以及美联储的紧缩政策构成了一个恶性循环。由于高房价和高抵押贷款利率,美国住房经济活动远低于两年前的水平。为了让该行业好…