MySQL数据集成至金蝶云星空的解决方案

news2024/11/26 14:35:49

MySQL数据集成至金蝶云星空的解决方案

SYB生产用料清单新增-深圳天一-半成品-好:MySQL数据集成到金蝶云星空的技术实现

在企业信息化系统中,数据的高效流转和准确对接是确保业务顺畅运行的关键。本文将聚焦于一个具体案例——如何将MySQL中的生产用料清单数据集成到金蝶云星空平台,方案名称为“SYB生产用料清单新增-深圳天一-半成品-好”。通过这一案例,我们将探讨在数据集成过程中所涉及的技术要点和解决方案。

首先,我们需要从MySQL数据库中获取生产用料清单的数据。为了确保数据不漏单且能够定时可靠地抓取,我们采用了MySQL接口select进行数据提取,并结合轻易云平台提供的集中监控和告警系统,实时跟踪任务状态与性能。这不仅保证了数据提取过程的稳定性,还能及时发现并处理异常情况。

接下来,面对大量的数据写入需求,我们利用了金蝶云星空提供的batchSave API接口,实现批量数据快速写入。为了应对不同系统之间的数据格式差异,我们设计了自定义的数据转换逻辑,使得每条记录都能准确映射到目标平台。此外,通过可视化的数据流设计工具,我们能够直观地管理和调整整个集成流程,从而提升操作效率。

在实际操作中,还需特别注意分页和限流问题,以防止因一次性传输过多数据而导致系统性能下降或超时错误。为此,我们设置了合理的分页策略,并结合异常处理与错误重试机制,确保每次传输都能成功完成。

通过上述技术手段,不仅实现了MySQL与金蝶云星空之间的数据无缝对接,还大幅提升了整体业务流程的透明度和效率。在后续章节中,将详细介绍具体实施步骤及相关配置细节。 

金蝶与WMS系统接口开发配置

打通钉钉数据接口

调用MySQL接口select获取并加工数据

在轻易云数据集成平台中,生命周期的第一步是调用源系统MySQL接口select获取并加工处理数据。本文将详细探讨如何通过配置元数据,实现从MySQL数据库中高效、安全地提取所需数据,并进行初步加工。

配置元数据解析

首先,我们需要理解和配置元数据,以便正确调用MySQL接口。以下是关键的元数据配置项:

  • api"select" 表示我们要执行的是查询操作。
  • effect"QUERY" 指明了操作类型为查询。
  • method"POST" 采用POST方法进行请求。
  • number"生产订单号" 用于标识生产订单号字段。
  • id{{生产订单号}}{{物料编号}} 组合生成唯一ID,用于确保每条记录的唯一性。
  • idChecktrue 启用ID检查,防止重复记录。
请求参数设置

为了实现分页查询和限流,我们需要设置请求参数:

"request": [
    {
        "field": "main_params",
        "label": "main_params",
        "type": "object",
        "describe": "111",
        "value": "1",
        "children": [
            {"field": "limit", "label": "limit", "type": "string", "value":"100"},
            {"field": "offset", "label": "offset", "type":"string"}
        ]
    }
]

上述配置定义了分页参数limitoffset,其中limit设定每次查询返回的最大记录数,而offset则用于指定从哪一条记录开始读取。这种设计可以有效处理大规模数据集,避免一次性加载过多数据导致系统性能下降。

主SQL语句

主SQL语句是整个查询过程的核心部分,它决定了从数据库中提取哪些字段以及如何进行初步的数据加工:

SELECT 
  CASE m.delivery_org
    WHEN 'T01.01' THEN CONCAT('HJ', CAST(i.id AS CHAR))
    WHEN 'T04' THEN CONCAT('HJGD', CAST(i.id AS CHAR))
  END AS 生产订单号,
  a.part_no AS 成品编号,
  DATE(a.update_time) AS 日期,
  a.req_num AS 生产数量,
  a.mold_no AS 计划跟踪号,
  CONCAT(a.part_no, '_WW') AS 物料编号,
  i.id AS sourceid,
  a.req_num AS 领料数量,
  m.delivery_org AS 供应组织
FROM mbs_nuclear_price_info i
LEFT JOIN mbs_nuclear_price_task a ON i.nuclear_price_task_uuid = a.nuclear_price_task_uuid
LEFT JOIN mbs_order_plan_bom l ON a.mold_no = l.bom_no
LEFT JOIN mbs_order_bom m ON m.bom_uuid = l.bom_uuid
WHERE 
a.is_cancel = '1'
AND a.company_code = 'TYZN'
AND i.create_time > (SELECT config_value FROM sys_config WHERE config_id=337)
AND a.if_close = '1'
AND i.outsourced_type = '1'
AND i.out_type = '4'
AND i.is_success2 != '1'
AND i.is_success = '1'
LIMIT :limit OFFSET :offset;

该SQL语句通过多个表连接和条件过滤,从不同表中提取相关字段,并对某些字段进行了格式转换。例如,通过CASE语句根据不同的供应组织生成特定格式的生产订单号。

自动填充响应与遗漏补救

为了确保数据完整性和一致性,轻易云平台提供了自动填充响应功能:

"autoFillResponse": true

此外,还可以配置遗漏补救机制,通过定时任务(如crontab)定期检查并重新抓取遗漏的数据:

"omissionRemedy":{
    "crontab":"1 1 * * *",
    ...
}

这种机制保证了即使在网络波动或其他异常情况下,也能及时发现并补齐缺失的数据。

实时监控与日志记录

在实际操作过程中,实时监控与日志记录至关重要。轻易云平台提供集中的监控和告警系统,可以实时跟踪每个数据集成任务的状态和性能。一旦出现异常情况,如超时或错误,将立即触发告警通知相关人员进行处理。

综上所述,通过合理配置元数据、优化SQL查询、设置分页参数以及启用自动填充响应与遗漏补救机制,可以高效、安全地实现从MySQL数据库中获取并加工处理数据。这不仅提升了业务透明度和效率,也为后续的数据转换与写入奠定了坚实基础。 

用友与外部系统接口集成开发

数据集成平台API接口配置

将源平台数据ETL转换并写入金蝶云星空API接口

在数据集成生命周期的第二步中,关键任务是将已经集成的源平台数据进行ETL(抽取、转换、加载)处理,以符合目标平台——金蝶云星空API接口所能接收的数据格式。以下是具体的技术实现和注意事项。

数据抽取与清洗

首先,从源平台抽取需要的数据。假设源平台是MySQL数据库,通过定时任务抓取生产订单相关的数据。为了确保数据的完整性和一致性,可以使用分页查询和限流技术,防止一次性获取大量数据导致系统性能问题。

SELECT * FROM production_orders WHERE status = 'active' LIMIT 1000 OFFSET 0;
数据转换

将抽取到的数据转化为金蝶云星空API能够接受的格式,这是ETL过程中的核心部分。以下是元数据配置中的一些关键字段及其转换逻辑:

  1. FID: 从生产订单号中找到对应的FID。

    "FID": "_findCollection find FID from d9c54956-106b-36e1-8018-91a8855f6316 where FMoBillNo={{生产订单号}}"
    
  2. 子项明细: 包含多个子字段,如子项物料编码、用量类型、分子、分母等,需要根据业务规则进行转换。例如,FMaterialID2通过ConvertObjectParser解析为物料编码,FStdQty通过自定义函数进行数量四舍五入处理。

    "FMaterialID2": "{{物料编号}}",
    "FStdQty": "_function ROUND( {{领料数量}} , 3 )"
    
  3. 发料组织: 根据供应组织进行条件判断并赋值。

    "FSupplyOrg": "_function case '{{供应组织}}' when 'T01.01' then 'T01.06' when 'T04' then 'T04' else '' end"
    
  4. 生产订单内码和分录内码: 通过关联查询获取。

    "FMoId1": "_findCollection find FMoId from d9c54956-106b-36e1-8018-91a8855f6316 where FMoBillNo={{生产订单号}}",
    "FMoEntryId1": "_findCollection find FMOEntryID from d9c54956-106b-36e1-8018-91a8855f6316 where FMoBillNo={{生产订单号}}"
    
数据加载

完成数据转换后,将其通过POST请求批量写入金蝶云星空API接口。以下是批量保存操作的元数据配置:

"api": "batchSave",
"method": "POST",
"request": [
    {
        "field": "FID",
        ...
    },
    {
        "field": "FEntity",
        ...
    }
],
"otherRequest": [
    {
        "field": "FormId",
        ...
    },
    {
        "field": "Operation",
        ...
    }
]
实现细节与注意事项
  1. 高吞吐量支持:确保大量数据能够快速写入金蝶云星空,避免因数据积压导致系统性能下降。
  2. 实时监控与告警:利用集中的监控和告警系统,实时跟踪数据集成任务的状态和性能,及时发现并处理异常情况。
  3. 错误重试机制:在对接过程中可能会遇到网络故障或API调用失败等情况,需要实现错误重试机制以提高系统的可靠性。
  4. 自定义数据映射:根据业务需求定制化数据映射逻辑,确保每个字段都能正确映射到目标平台。

通过以上步骤,实现了从MySQL到金蝶云星空的数据ETL转换,并成功将转换后的数据写入目标平台。在整个过程中,充分利用轻易云提供的高效工具和特性,使得复杂的数据集成任务变得更加简洁和高效。 

如何对接钉钉API接口

如何对接用友BIP接口

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2228256.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

javaweb----VS code

前端开发神器:VS Code → 速度快、体积小、插件多 VS Code 安装官网:https://code.visualstudio.com/download VS Code一些必备的插件安装: 1、Chinese (Simplified) 简体中文 2、Code Spell Checker 检查拼写 3、HTML CSS Support 4…

【新闻转载】“假冒 LockBit”来袭:勒索软件借助 AWS S3 偷窃数据,威胁升级

关键要点 Trend团队发现了一些利用 Amazon S3(简单存储服务)传输加速功能的 Golang 勒索软件样本,用于窃取受害者的文件并上传至攻击者控制的 S3 存储桶。 这些样本中硬编码的 Amazon Web Services (AWS) 凭证被用于追踪与恶意活动关联的 AW…

第十五章 Vue工程化开发及Vue CLI脚手架

目录 一、引言 二、Vue CLI 基本介绍 三、安装Vue CLI 3.1. 安装npm和yarn 3.2. 安装Vue CLI 3.3. 查看 Vue 版本 四、创建启动工程 4.1. 创建项目架子 4.2. 启动工程 五、脚手架目录文件介绍 六、核心文件讲解 6.1. index.html 6.2. main.js 6.3. App.vue 一、…

BEV:针孔相机坐标转换

一 、背景 自动驾驶中经常涉及到不同坐标系之间的坐标转换,在BEV方案中用的比较多的是自车坐标到图像坐标的转换,系统整理了一下坐标转换过程流程。 二 、方法 旋转矩阵计算方法: translation: 平移参数[‘x’, ‘y’, ‘z’] 高阶畸变模型…

开关灯问题(c语言)

样例&#xff1a;10 10 &#xff0c;输出&#xff1a;1&#xff0c;4&#xff0c;9 5 5 &#xff0c;输出&#xff1a;1&#xff0c;4 代码如下 #include<stdio.h> //引入bool值的概念 #include<stdbool.h> int main() {int n 0;//n为灯的数量int m 0;…

centos虚拟机部署opengauss数据库

一、基本信息 1、虚拟机安装的centos版本 2、opengauss版本 地址&#xff1a;https://opengauss.org/zh/download/ 3、opengauss和gaussdb的区别 高斯数据库&#xff08;GaussDB&#xff09;是云数据库&#xff0c;需要购买。 openGaussDB是开源数据库&#xff0c;可以免费…

搜索TV 1.2.4 | 适用于TV端的浏览器应用,设计简洁,功能强大

Klonsdif搜索TV版是一款专为TV端设计的浏览器应用&#xff0c;界面简洁&#xff0c;操作简单&#xff0c;保留最纯粹的浏览体验。支持使用百度、必应、360、搜狗、秘塔AI搜索、360AI搜索、bilibili等内置搜索引擎&#xff0c;也可以直接输入网址访问。全免费、无广告&#xff0…

Spring Boot 实现文件上传下载功能

文章目录 一、原理分析1.1 请求类型1.2 服务器解析 二、功能实现2.1 创建项目并导入依赖2.2 文件上传功能实现2.2.1 文件上传 Service2.2.2 文件上传 Controller 2.3 文件下载功能实现2.3.1 文件下载 Service2.3.2 文件下载 Controller 2.4 文件上传前端代码(可选)2.4.1 上传文…

注册信息合理性验证

表单是网页中的一个重要功能,主要用于用户信息的收集。使用JavaScript进行表单验证对于提升用户体验、减轻服务器负担、确保数据准确性、增强安全性和提高开发效率等方面都具有重要意义。本文详细敍述进行合理化验化必要性和具体实现方法。 一 表单项合理性必要性 主要体现在…

4款专业音频在线剪辑工具帮你开启创意之路。

音频在线剪辑工具能够为我们提供很大的便利&#xff0c;对于不管是专业的音乐制作人还是音频创作爱好者来说&#xff0c;都能借助一些音频编辑工具来充分发挥自己的创意。所以这一次&#xff0c;我要给大家介绍几个专业方便的音频剪辑工具。 1、福昕音频在线 直达链接&#x…

pdf页面提取全攻略,试试这几个简单方法,提升工作效率(收藏篇)

怎么提取pdf页面&#xff1f;在日常的办公生活中&#xff0c;我们经常需要使用到pdf文件&#xff0c;因此我们经常需要对PDF文档进行一些页面处理&#xff0c;比如提取PDF文件中的其中一个页面。那要怎么提取pdf文件中的其中一页呢&#xff1f;其实很简单&#xff0c;下面分享几…

【计算机网络】单播帧和广播帧在一个局域网内部的传播过程

我们引入这样的一个模型。 路由器可以连接多个网络&#xff0c;在路由器的这一端&#xff0c;我们用交换机集线器连接了很多节点。 这些节点共同组成了一个局域网。 而路由器的另外两个端口又分别连接了其他的网络。MAC地址这个概念是数据链路层才拥有的东西&#xff0c;物理…

翻译新体验:四款在线翻译工具让你沟通更顺畅!

如果你还拿着手里的外文文件干瞪眼&#xff1f;别担心&#xff0c;今天&#xff0c;我要给大家介绍几款超给力的在线翻译工具&#xff0c;它们就像是你的语言小助手&#xff0c;随时待命&#xff0c;帮你搞定那些让人头疼的翻译问题&#xff01; 福昕在线翻译 直达链接&#…

不用求人,4个方法快速恢复小米手机删除短信

手机短信作为我们日常办理事情的重要验收通道&#xff0c;往往承载着许多重要的信息。然而&#xff0c;由于各种原因&#xff0c;我们可能会不小心删除了重要的短信。那么&#xff0c;小米手机用户如何恢复这些被删除的短信呢&#xff1f;接下来&#xff0c;我们将分点为您详细…

macOS 15 Sequoia dmg格式转用于虚拟机的iso格式教程

想要把dmg格式转成iso格式&#xff0c;然后能在虚拟机上用&#xff0c;最起码新版的macOS镜像是不能用UltraISO&#xff0c;dmg2iso这种软件了&#xff0c;你直接转放到VMware里绝对读不出来&#xff0c;办法就是&#xff0c;在Mac系统中转换为cdr&#xff0c;然后再转成iso&am…

打造自己的RAG解析大模型:(新技能)企业垂类数据标注(一)

在上一篇文章中&#xff0c;我们以通用版面分析服务为例&#xff0c;展示了从模型发布到API集成的完整流程。如果你成功完成了这些步骤&#xff0c;值得庆祝&#xff01;这不仅意味着你已成功安装PaddleX&#xff0c;还掌握了利用它发布OCR和目标检测等大模型服务的能力&#x…

基于vue框架的的驾校练习时段预约系统z94u5(程序+源码+数据库+调试部署+开发环境)文末可获取,系统界面在最后面。

系统程序文件列表 项目功能&#xff1a;用户,驾校教练,车辆信息,训练场,教练预约,时间段,预约取消,学员签到,学员签退 开题报告内容 基于Vue框架的驾校练习时段预约系统开题报告 一、研究背景与意义 随着汽车保有量的持续增长&#xff0c;驾驶培训需求日益旺盛。然而&#…

技术干货|热门仿真工具HyperWorks 的二次开发与 Python 结合,重构仿真新体验

目前市面上有许多热门仿真软件&#xff0c;其中HyperWorks是各大企业最常用的。目前HyperWorks发布了 2024 新版本&#xff0c;已经全面支持Python作为二次开发接口&#xff0c;对Python的支持已经在架构中引入了相应的模块&#xff0c;基本是百分百覆盖。借助Python本身的优势…

2022NOIP比赛总结

种花 1.本题是一道前缀和优化加上枚举的问题。先考虑 C 因为 F 是 C 下边随便加一个点&#xff0c;所以只要求出 C 就求出了 F 。 注意到&#xff0c;并没有要求上下行一样&#xff0c;唯一的要求是 C 的两个横要隔一行&#xff0c;这就是问题的突破点&#xff0c;这题很明显…

《DIY项目之“一只眼狗链”》:视频方案

项目背景 《DIY项目之“一只眼狗链”》合集主要记录完成一个DIY项目的所有过程。该合集预计更新频率为2~3周一篇&#xff08;同样属于一边做一边记录发布&#xff0c;时间上主要涉及PCB绘板、零部件采购、样品制作、编程等&#xff0c;存在一定的不可控性&#xff09;。 当前项…