DMRl-Former用于工业过程预测建模和关键样本分析的数据模式相关可解释Transformer网络

news2024/11/26 22:30:35

DMRl-Former用于工业过程预测建模和关键样本分析的数据模式相关可解释Transformer网络

Liu, Diju, et al. “Data mode related interpretable transformer network for predictive modeling and key sample analysis in industrial processes.” IEEE Transactions on Industrial Informatics 19.9 (2022): 9325-9336.

文章目录

    • DMRl-Former用于工业过程预测建模和关键样本分析的数据模式相关可解释Transformer网络
    • 摘要
    • 绪论
    • 创新点
    • 方法
    • 工业应用

摘要

准确预测难以测量的质量变量对于工业过程控制和优化至关重要。然而,原材料质量和生产条件的波动可能会导致工业过程数据在多种工作条件下分布。

在相同工作条件下的数据显示出相似的特征,这些特征通常被定义为一种数据模式。因此,整个过程数据表现出多模式特性,这给开发统一的预测模型带来了巨大的挑战。

此外,现有数据驱动预测模型的不可解释性给其实际应用带来了很大的阻力。

为了解决这些问题,本文提出了一种新的与模式相关的可解释Transformer网络(DMRl-Former),用于工业过程中的预测建模和关键样本分析。

在DMRl-Former中,设计了一种新的数据模式相关的可解释自注意机制,以提高每个个体对同模的感知能力,同时捕捉不同模式的跨模特征。

绪论

在碳达峰和碳中和的背景下,工业过程迫切寻求智能化转型升级,过程的实时监控、控制和优化是最重要的任务之一

关键质量变量的实时测量是工业制造状态的最有效反映,不幸的是,由于测量技术和工业环境的限制,大多数质量变量无法及时测量

随着时间的推移,使用易于测量的过程变量预测难以测量的质量变量的软测量技术应运而生

  • 就是用工业生产中容易采集的数据去预测难以采集的数据

在实际工业过程中应用数据驱动方法仍有三个关键问题需要解决。

首先,现有的数据驱动模型大多假设数据是单模分布的。在构建实际工业过程的预测模型时,有必要考虑数据的多模特性。

其次,大多数现有的数据驱动模型都是不可解释的,即大多数数据驱动模型都难以实现最基本的可解释性。

第三个问题是,大多数模型基于输入数据进行单步预测。然而,在实际工业过程中,对时间序列数据进行多步预测的需求同样迫切

创新点

本文的主要贡献如下。

1) 提出了一种基于Transformer的新型网络DMRFormer,用于精确预测关键质量变量和对模型过程进行可解释分析。

2) 传统的自我注意机制被增强为数据模式相关的可解释自我注意机制(DMRI-SA),以充分提取数据模式信息。

3) 同模注意旨在描述每个单独模式中样本的相似性,交叉模式注意旨在捕捉不同模式样本之间的相互作用。

4) 可视化技术通过发现不同模式层的作用机制并将密钥样本定位在不同模式集中来提高模型的可解释性。

5) 与其他最先进的方法相比,两个工业过程的实验结果验证了所提出方法的有效性。

方法

  • 自注意力不再赘述,一点改进都没有

image-20241105172830666

image-20241105172901842

与数据模式相关的可解释自我注意机制

在工业过程中,属于同一模式的数据具有很高的相关性。此外,相邻模式之间也存在一定的相互作用。

为了充分提取同一模式内的相关性,并考虑过程数据不同模式之间的相互作用,本文提出了一种与数据模式相关的可解释自我注意(DMRI-SA)策略。

DMRI-SA的概念图如图3所示,由模式聚类、同模式注意和跨模式注意组成。

image-20241105172915411

首先,对数据进行聚类以获得数据模式标签。由于收集到的工业过程数据没有数据模式标签,因此使用无监督聚类方法根据数据特征为样本分配数据模式标签。

在这项研究中,K-means方法被用来对过程数据进行聚类,以获得其数据模式标签。

其次,利用获取的数据模式标签进行同模注意。

第三,在跨模式注意力中,考虑了不同数据模式之间的相互作用,以避免仅通过测量同一注意力而造成的信息损失。

在DMRI-SA中,交叉模式注意力被设计为一个可选步骤,由每个模式的大小决定。这主要是因为当一个模式中的数据量足够时,跨模式注意力可能会增加计算复杂性,而同模式注意力可以充分表征每个模式。

值得注意的是,DMRI-SA为关键模式样本的定位提供了一种具有良好可视化和解释意义的新方法。根据上述描述,在DMRI-SA中提取样本模式信息的方法是通过使用查询样本和所有样本键之间的点积相似度作为权重来聚合所有样本信息。

数据模式相关的可解释Transformer

为了充分探索数据模式内部和之间的特征,将提出的DMRI-SA引入传统的转换器中,以取代自注意力,构建一个新的DMRIFormer网络。

image-20241105173709567

DMRl-基于前体的软测量建模

所提出的DMRI-Former网络可以分层提取每种模式的相关性,并充分考虑不同模式之间的相互作用。

同时,可量化的注意力得分提高了建模过程的可解释性,为确定关键模式样本提供了新的思路。

因此,它非常适合工业过程的软测量建模,特别是由于操作条件变化而具有多模特性的过程数据。

它主要通过以下步骤。首先,从工业过程中收集的数据分为训练数据和测试数据。

分类模型用于通过属于无监督学习的无监督聚类算法标记所有未标记训练数据的模式类。

接下来,利用滑动窗口技术,使用相应的标记模式选择编码器和解码器的输入数据。之后,将样本输入DMRI Former模型以预测关键质量变量。随后,通过属于监督学习的反向传播算法,利用标记数据值和预测数据值之间的误差来构建损失函数,以更新模型参数。最后,将测试数据发送到训练好的DMRI Former模型,以获得关键质量变量的预测结果。

image-20241105173751331

工业应用

本节对所提出的DMRI Former网络在工业脱丁烷塔工艺和加氢裂化工艺中进行了实验模拟。

A.脱丁烷塔

脱丁烷塔是一种用于分离C3、C4和其他馏分的精炼工艺,其中C4从塔底抽出。其流程图如图6所示。脱丁烷塔的整个系统由六个主要部分组成,包括换热器、塔顶冷凝器、塔上再沸器、扬程回流泵、液化石油气分离器的进料泵和回流储罐。整个系统的高效运行在很大程度上取决于C4成分的实时测量。然而,由于测量环境的限制,C4的测量目前依赖于塔顶的单个气体探测器。这样,不仅检测精度非常有限,而且检测延迟也很大。因此,构建一个软测量模型来预测脱丁烷塔过程中的C4是必要和紧迫的。如图6中的灰色圆圈所示,选择了七个用于全过程分析的常用辅助变量来构建软传感器模型。

image-20241105175929501

值得注意的是,选择较大的滑动窗口长度编码器和较小的滑动窗口长解码器可以同时保持最佳性能和最小的计算工作量。表III显示了具有最佳超参数组合的八种方法的实验结果。从表III的实验结果可以看出,PCR的预测结果较差。这主要是因为PCR是一种静态方法,无法捕捉序列的动态转换模式。虽然LSTNet和SLSTM可以利用LSTM的递归结构来提取时间序列的变化模式,但当数据模式不同时,它们无法感知不同的进化模式。因此,他们的预测结果仍然表现不佳。STALSTM结合时空注意力在一定程度上解决了这个问题,但由于其捕获远程特征的能力有限,其预测性能仍然不是最优的。此外,随着预测长度的增加,Informer的性能急剧下降。这主要是因为Informer的ProbSparse自关注机制只考虑了少量的历史样本,导致多模式数据集中的信息大量丢失。mvts变换器利用随机掩码预训练使模型能够感知序列的整体特征。但它仍然缺乏感知动态模式的能力,导致其性能欠佳。相比之下,LogTrans的预测性能优于其他方法,但仍不如DMRI Former。这主要是因为LogTrans在计算注意力时考虑了多个最近邻样本,这在一定程度上增加了同一模式样本之间的相似性,削弱了不同模式之间的相似度。从所有实验结果和分析来看,所提出的DMRI形式在所有方法中具有最佳的预测性能。这主要是因为DMRI Former考虑了相同模式之间的相似性和不同模式之间的相互作用。通过这种方式,它提高了从数据中提取更有价值信息的能力,同时避免了信息丢失。

果和分析来看,所提出的DMRI形式在所有方法中具有最佳的预测性能。这主要是因为DMRI Former考虑了相同模式之间的相似性和不同模式之间的相互作用。通过这种方式,它提高了从数据中提取更有价值信息的能力,同时避免了信息丢失。

image-20241105180024974

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2233798.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

JS渗透(安全)

JS逆向 基本了解 作用域: 相关数据值 调用堆栈: 由下到上就是代码的执行顺序 常见分析调试流程: 1、代码全局搜索 2、文件流程断点 3、代码标签断点 4、XHR提交断点 某通js逆向结合burp插件jsEncrypter 申通快递会员中心-登录 查看登录包…

Redis为什么用跳表实现有序集合

Redis为什么用跳表实现有序集合 手写一个跳表 为了更好的回答上述问题以及更好的理解和掌握跳表,这里可以通过手写一个简单的跳表的形式来帮助读者理解跳表这个数据结构。 我们都知道有序链表在添加、查询、删除的平均时间复杂都都是 O(n) 即线性增长&#xff0c…

影刀RPA实战:嵌入python,如虎添翼

1. 影刀RPA与Python的关系 影刀RPA与Python的关系可以从以下几个方面来理解: 技术互补:影刀RPA是一种自动化工具,它允许用户通过图形化界面创建自动化流程,而Python是一种编程语言,常用于编写自动化脚本。影刀RPA可以…

GR2——在大规模视频数据集上预训练且机器人数据上微调,随后预测动作轨迹和视频(含GR1详解)

前言 上个月的24年10.9日,我在朋友圈看到字节发了个机器人大模型GR2,立马去看了下其论文(当然了,本质是个技术报告) 那天之后,我就一直想解读这个GR2来着 然,意外来了,如此文《OmniH2O——通用灵巧且可全…

HarmonyOS NEXT应用元服务开发组合场景

在一些场景中,一个功能上完整的UI对象可能是由若干个更小的UI组件组合而成的。若每一个小的UI组件都可以获焦并朗读,则会造成信息冗余和效率降低。同时由于可聚焦的组件过多过细,也会影响触摸浏览时走焦的性能体验。在这种情况下,…

2024双11高端家用投影仪哪个牌子好?当贝因何力压极米坚果

随着生活水平的日益提升与科技的飞速进步,人们不只通过外出游玩来获得身心的愉悦,也通过提升家庭娱乐生活的品质,来获得足不出户的快乐。在2024年双11购物狂欢节之际,很多家庭都纷纷将高端家用投影仪加入购物清单,但各…

SpringBoot day 1104

ok了家人们这周学习SpringBoot的使用,和深入了解,letgo 一.SpringBoot简介 1.1 设计初衷 目前我们开发的过程当中,一般采用一个单体应用的开发采用 SSM 等框架进行开发,并在 开发的过程当中使用了大量的 xml 等配置文件&#x…

HCIP(7)-边界网关协议BGP基本配置(对等体peer,宣告network,引入import)

边界网关协议(Border Gateway Protocol,BGP)是一种用来在路由选择域之间交换网络层可达性信息(Network Layer Reachability Information,NLRI)的路由选择协议。由于不同的管理机构分别控制着他们各自的路由…

算法: 链表题目练习

文章目录 链表题目练习两数相加两两交换链表中的节点重排链表合并 K 个升序链表K 个一组翻转链表 总结 链表题目练习 两数相加 坑: 两个链表都遍历完后,可能需要进位. class Solution {public ListNode addTwoNumbers(ListNode l1, ListNode l2) {ListNode cur1 l1;ListNode…

HTML 基础标签——元数据标签 <meta>

文章目录 1. `<meta>` 标签概述2. 属性详解2.1 `charset` 属性2.2 `name` 属性2.3 `content` 属性2.4 `http-equiv` 属性3. 其他常见属性小结在 HTML 文档中,元数据标签 <meta> 是一种重要的标签,用于提供关于文档的信息,这些信息不直接显示在网页内容中,但对于…

新闻稿件管理系统:SpringBoot框架深度解析

2相关技术 2.1 MYSQL数据库 MySQL是一个真正的多用户、多线程SQL数据库服务器。 是基于SQL的客户/服务器模式的关系数据库管理系统&#xff0c;它的有点有有功能强大、使用简单、管理方便、安全可靠性高、运行速度快、多线程、跨平台性、完全网络化、稳定性等&#xff0c;非常…

【网络】自定义协议——序列化和反序列化

> 作者&#xff1a;დ旧言~ > 座右铭&#xff1a;松树千年终是朽&#xff0c;槿花一日自为荣。 > 目标&#xff1a;了解什么是序列化和分序列&#xff0c;并且自己能手撕网络版的计算器。 > 毒鸡汤&#xff1a;有些事情&#xff0c;总是不明白&#xff0c;所以我不…

CTFshow之信息收集第1关到10关。详细讲解

得而不惜就该死&#xff01; --章总 开始新的篇章&#xff01; 零、目录 一、实验准备 1、ctf网站&#xff1a;ctf.show 2、工具&#xff1a;chrome浏览器、hackbar插件 3、burpsuite抓包工具 二、实验技巧 &#xff08;一&#xff09;F12摸奖 源码泄露 &#xff08;二…

Redis ——发布订阅

问题引入&#xff1a; 服务器A、B、C、D&#xff0c;客户端&#xff1a;C1&#xff0c;C2&#xff0c;C3&#xff0c;C4&#xff1b; 客户端基于集群聊天服务器的负载均衡分配&#xff1b; C1 被分配到A&#xff0c;C2 被分配到B&#xff0c;C3 被分配到C&#xff0c;C4 被分…

【漏洞复现】某平台-QRcodeBuildAction-LoginSSO-delay-mssql-sql注入漏洞

《Java代码审计》http://mp.weixin.qq.com/s?__bizMzkwNjY1Mzc0Nw&mid2247484219&idx1&sn73564e316a4c9794019f15dd6b3ba9f6&chksmc0e47a67f793f371e9f6a4fbc06e7929cb1480b7320fae34c32563307df3a28aca49d1a4addd&scene21#wechat_redirect 《Web安全》h…

API网关 - JWT认证 ; 原理概述与具体实践样例

API网关主要提供的能力&#xff0c;就是协议转换&#xff0c;安全&#xff0c;限流等能力。 本文主要是分享 如何基于API网关实现 JWT 认证 。 包含了JWT认证的流程&#xff0c;原理&#xff0c;与具体的配置样例 API网关认证的重要性 在现代Web应用和微服务架构中&#x…

Excel:vba实现批量插入图片

实现的效果&#xff1a; 实现的代码&#xff1a; Sub InsertImageNamesAndPictures()Dim PicPath As StringDim PicName As StringDim PicFullPath As StringDim RowNum As IntegerDim Pic As ObjectDim Name As String 防止表格里面有脏数据Cells.Clear 遍历工作表中的每个图…

什么是 OpenTelemetry?

OpenTelemetry 定义 OpenTelemetry (OTel) 是一个开源可观测性框架&#xff0c;允许开发团队以单一、统一的格式生成、处理和传输遥测数据&#xff08;telemetry data&#xff09;。它由云原生计算基金会 (CNCF) 开发&#xff0c;旨在提供标准化协议和工具&#xff0c;用于收集…

电商美工必备神器:千鹿 AI 轻松解决场景图主图尺寸问题

前言 在电商领域&#xff0c;美工在做详情页设计时&#xff0c;常常会为图片尺寸问题而苦恼。而 AI 扩图在此刻就成为了美工们的得力助手。其中&#xff0c;场景图主图太小是一个让人颇为头疼的难题。千鹿 AI 作为一款强大的工具&#xff0c;能够一键将图片改成指定尺寸&#…

关于 PDF 抽取的吐槽

今天一下午写了8&#xff0c;9个 PDF 抽取的脚本。最后又回归最开始简单的模式了&#xff0c;要疯了&#xff0c;谁懂啊。 我是下午的工作是这样的(我是这么疯的) 最开始使用最简单的策略&#xff0c;先使用 PyPDF2.PdfReader(file) 读取文件&#xff0c;然后在每一页使用 pag…