零代码ETL+聚水潭,实现销售出库单同步到数仓

news2024/11/23 21:44:26

一、聚水潭单据同步需求

聚水潭作为领先的电商ERP有很多快销、零售企业使用,同时作为以订单为核心的电商ERP系统企业还需要在本地配合其他业务系统一起使用完全整个业务的协同和财务结算,作为中大型企业随着业务发展企业会在聚水潭中沉淀大量的业务数据,这些数据需要接取到本地业务系统如金碟云星空、用友NC中进行发货、生成凭证、统计分析等需求,如果这些数据没有同步将会影响企业的业务运行,阻碍企业的业务创新能力。

二、传统硬编码同步方式

聚水潭开放平台提供了主要的业务单据同步API接口,企业可以通过调用这些API接口实现数据的拉取和推送来实现业务状态的同步,通过编码方式主要通过以下几个步骤来完成

 (聚水潭开放平台)

注册聚水潭商家账号后访问接口获取授权码;

通过代码发送鉴权请求获取token,并根据响应的token剩余时间将token进行缓存;

每个接口都需要进行请求体的封装,并且需要根据响应结果对数据进行解析处理;

需要将数据持久化时要使用代码实现;

对每个接口访问请求都需要进行调试以确保响应的结果符合期望。

要编写代码对数据进行清洗、转换、拆单等复杂操作才能实现单据的同步

当接口出现故障时还需要编写相应的告警通知代码,还需要编写重发代码等等

要实现上述聚水潭的数据同步,企业需要具有丰富经验的工程来进行开发,同时运维工作量也非常大。

三、使用零代码ETL工具实现同步

借助成熟的ETL工具下,聚水潭开放平台可以作为数据源或目标,通过ETL工具无需代码开发即可进行各项数据处理和集成操作,节省开发成本。将聚水潭开放平台纳入ETL数据处理流程中,企业只需要普通用户即可以实现单据数据的拉取同步,并快速写入到本地数据库中或者数据仓库中,对于本地中间数据库中整理好的数据可以快速同步到金碟云星空、用友NC中。

四、将聚水潭销售同库单拉取到本地数据仓库场景

使用情景:商家需要将聚水潭中的销售出库单数据拉取到本地的数据库中,方便同步到业务系统或者数仓中进行BI分析。

以下是使用ETL工具搭建的一个自动化流程,实现将数据拉取到本地数据库中。

 通过双击节点进入聚水潭节点属性配置界面并填入公共配置变量

 (聚水潭登录信息填写)

 (要拉取的销售出库单的范围填写)

然后点击库表输出选择本地对应表并配置字段

在选择表后组件会根据表自动生成字段,如果不需要部分字段信息,可以删除该列,这一列的数据就不会保存到数据库中

配置完节点后,点击运行流程,就可以把聚水潭的销售出库单数据拉取到本地数据库中了,可以看到通过上述ETL的流程可以简单通过配置即可实现聚水潭单据数据拉取同时也可以实现单据数据的状态同步推送等操作,无需编程只需拖、拉、拽即可快速实现。

对于复杂的数据拆单、转换、补全、合并、求和等操作ETLCloud均提供了相应的组件,对于复杂的数据计算还可以通过编写Java代码来实现。

 

五、更多聚水潭单据同步场景示例

从聚水潭中同步采购退货单、销售退货单、撤销发货单等等单据通过ETL工具全部同步到本地数据库仓库中,并把清洗准备好的数据通过ETL再次同步到ERP、WMS、CRM系统中。

(聚水潭+ETL+ERP数据同步示意)

ETLCloud介绍

ETLCloud是一款零代码ETL工具,可以快速对接上百种数据源和主流电商应用系统,无需编码即可快速完成数据同步和传输,企业IT人员只需简单几步即可快速完成各种数据抽取同步并配合BI工具实现数据的统计分析。

 (ETLCloud可视化流程同步界面)

ETLCloud社区版本永久免费下载使用 https://www.etlcloud.cn

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/913556.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

技术债务的深度探索:从累积到偿还的全景视角

1. 技术债务的定义与起源 什么是技术债务 技术债务,这个词汇在软件开发领域中经常被提及。但是,什么是技术债务呢?简单来说,技术债务是指为了短期的收益而做出的技术上的妥协,这些妥协可能会在未来导致更多的工作。它…

详解VAE(变分自编码器)

变分自编码器-VAE 前言一、AE(auto-encoders)-自编码器1.AE整体结构及公式推导2.AE的特点 二、 VAE(Variational auto-encoder)-变分自编码器1.VAE模型结构2.理论推导2.1变分下界(Variational Lower bound)/变分推理最小化KL散度最…

孤注一掷中的黑客技术

最近孤注一掷电影很火,诈骗团伙的骗术实在厉害,就连电影中的黑客潘生都未能幸免。电影中的陆经理说:不是我们坏, 是他们贪。这句话我觉得有一部分是对的,诈骗分子抓住了人的本性贪婪,才使得被骗的人逐步走向…

HTML概述

1.HTML介绍&规范 1.1介绍 HTML 指的是超文本标记/标签语言 (Hyper Text Markup Language) 普通的文本就是英文单词,英文字母一样的存在。 超文本的意思是有一些单词或字母,在网页浏览器的世界中被赋予了特殊的权利。 比如:我们都是普通人&#x…

Java进阶(6)——抢购问题中的数据不安全(非原子性问题) Java中的synchronize和ReentrantLock锁使用 死锁及其产生的条件

目录 引出场景:大量请求拥挤抢购事务的基本特征ACID线程安全的基本特征 加锁(java)synchronized锁ReentrantLock锁什么是可重入锁?如何保证可重入 滥用锁的代价?(死锁)死锁的四个必要条件死锁的案例 总结 引出 1.大量请…

pytorch安装VAE项目详解

安装VAE项目 一、 基本环境二、代码来源三、搭建conda环境四、下载数据集五、启动项目六、其他相关问题 一、 基本环境 工具版本号OSwin 11pycharm2020.1GPU3050 二、代码来源 github地址为: https://github.com/AntixK/PyTorch-VAE/blob/8700d245a9735640dda458d…

Mybatis-动态sql和分页

目录 一.什么是Mybatis动态分页 二.mybatis中的动态SQL 在BookMaaper.xml中写sql BookMapper BookBiz接口类 BookBizImpl实现接口类 demo测试类 ​编辑 测试结果 三.mybatis中的模糊查询 mybatis中的#与$有是什么区别 在BookMapper.xml里面建立三个模糊查询 ​编辑 …

校园人员进出入登记系统 微信小程序

利用eclipse编译器和微信开发者工具进行运行高校人员进出管理系统,用户需要登录完成之后才可以进行申请进出学校。管理员在登录系统之后具有的功能包括个人中心,学生管理,教师管理,申请出校管理,出校批准管理&#xff…

idea http request无法识别环境变量

问题描述 创建了环境变量文件 http-client.env.json,然后在*.http 文件中引用环境变量,运行 HTTP 请求无法读取环境变量文件中定义的变量。 事故现场 IDEA 版本:2020.2 2021.2 解决步骤 2020.2 版本环境变量无法读取 2021.2 版本从 2020.…

实景无人直播平台是这么开发出来的

标题:实景无人直播平台开发:探索专业性、思考深度与逻辑性的全新体验 随着科技的不断进步,实景无人直播平台成为了当今数字娱乐领域的热门话题。这种新型娱乐方式将虚拟与现实相结合,为用户带来了前所未有的视听体验。本文将探…

圆的反演 hdu 6097

欢迎关注更多精彩 关注我,学习常用算法与数据结构,一题多解,降维打击。 题目大意 http://acm.hdu.edu.cn/showproblem.php?pid6097 有一个圆C,它的圆心是O(0,0), 半径是r。 在C内部或边界上有两点P和Q,OPOQ。 求解…

mysql 8.0 窗口函数 之 序号函数 与 sql server 序号函数 一样

sql server 序号函数 序号函数 ROW_NUMBER() 顺序排序RANK() 并列排序,会跳过重复的序号,比如序号为1,1,3DENSE_RANK() 并列排序,不会跳过重复的序号,比如 序号为 1,1,2 语法结构…

【树莓派打怪升级】:玩转个人Web世界!

文章目录 概述使用 Raspberry Pi Imager 安装 Raspberry Pi OS设置 Apache Web 服务器测试 web 站点安装静态样例站点 将web站点发布到公网安装 Cpolarcpolar进行token认证生成cpolar随机域名网址生成cpolar二级子域名将参数保存到cpolar配置文件中测试修改后配置文件配置cpola…

MFC——base编码和json数据

目录 1. JSON是什么 2. base64是什么 Base64是一种编解码算法 1. JSON是什么 JSON 是一种数据格式。采用完全独立于语言的文本格式, 因为易读, 易写, 易解析的特性成为理想的数据交换语言。主要有三种类型的值:简单值(字符串, 数字, 布尔, null), 对象, 数组。 长这样的数…

AI Agent在情景猜谜场景下的AgentBench基准测试

目录 AgentBench评估哪些场景? 近日,来自清华大学、俄亥俄州立大学和加州大学伯克利分校的研究者设计了一个测试工具——AgentBench,用于评估LLM在多维度开放式生成环境中的推理能力和决策能力。研究者对25个LLM进行了全面评估,包括基于API的商业模型和开源模型。 他们发现…

什么是eval()?eval是用来干什么的?

一、什么是eval()? eval() 是 JavaScript 中的一个全局函数,用于解析并执行传递给它的字符串作为 JavaScript 代码。 二、eval()是用来干什么的? 当调用 eval() 时,它会将传入的字符串参数视为 JavaScript 代码,并在调用位置执…

KEPServerEX 助力选矿厂生产优化升级

背景 客户是一家系统集成商,在山西某选矿厂项目中为业主提供一系列的设备安装及通讯支持,为了更高效节能的完成选矿环节,客户需要对设备实时状态进行精确监控,并将需要的数据记录到数据库中,方便后期进行数据追溯、大数…

【无标题】 欢迎使用Markdown编辑器

这里写自定义目录标题 欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants 创建一个自定义列表如何创建一个…

继承中的构造与析构

思考 如何初始化父类成员? 父类构造函数和子类构造函数有什么关系? 子类对象的构造 子类中可以定义构造函数 子类构造函数 必须对继承而来的成员进行初始化 直接通过初始化列表或者赋值的方式进行初始化调用父类构造函数进行初始化 父类构造函数在子…

实业兴国 守护种源 —— 白露木實®农业的活力之风

高科技领域,芯片是生命线;而在农业领域,种源与芯片在高科技领域的重要性是相同的。保护、发展、培育我国的种质资源,是中国农业发展至为关键的一环。但是,因为思想、观念、认识、技术等方面的原因,让我们错…