12 月 3 日、4日,2022 Apache IoTDB 物联网生态大会在线上圆满落幕。大会上发布 Apache IoTDB 的分布式 1.0 版本,并分享 Apache IoTDB 实现的数据管理技术与物联网场景实践案例,深入探讨了 Apache IoTDB 与物联网企业如何共建活跃生态,企业如何与开源社区紧密配合,实现共赢。
我们邀请到中冶赛迪高级架构师郑强参加此次大会,并做主题演讲——《中冶赛迪工业互联网平台与 CISDigital-TimeS (基于Apache IoTDB) 在流程制造业的探索与实践》。以下为内容全文。
目录
中冶赛迪及行业背景介绍
中冶赛迪在流程制造业的探索与实践
时序数据库赋能流程制造业的探索与实践
几点感悟与大家分享
大家好,我叫郑强,来自中冶赛迪信息技术有限公司。很高兴今天能参加 2022 年 Apache IoTDB 物联网生态大会。计算机技术相关的技术论坛我们参加过很多,但是以物联网为主题的会议却相对来说比较的少,今天我将给大家分享一下中冶赛迪工业互联网平台与 CISDigital-TimeS 在流程制造业的探索与实践。
今天我主要给大家介绍四个方面的内容。一,首先介绍中冶赛迪在流程制造业的经验,流程制造业使用了数以万计的传感器、机器人,是物联网应用的一个典型的场景。第二,介绍中冶赛迪智能工厂的架构。第三,CISDigital 在流程制造业中的探索与实践。第四,会与大家分享一下我在工程实践中的一些感受。
01
中冶赛迪及行业背景介绍
首先,简单的介绍一下我们公司。中冶赛迪是五矿旗下的中冶赛迪的子公司,我们公司有六十年的工程实践经验,主要从事智能制造、城市建设与管理,其中包括水务、能源、环保、地下管廊、城市管网、消防应急、园区综合治理以及城市大脑,以及我们的企业管理这几块业务。在这几块业务当中,我们使用到了我们自主研发的行业领先的工业互联网平台,这个平台在第二届全国工业互联网大赛上获得了一等奖。
那作为重庆的一个领先的软件企业,我们也获得了很多资质。同时,人才队伍大概现在有一千余人,主要从事的都是流程制造业相关的智能制造、软件设计以及软件的开发的一些工作。
我们的企业行业背景就是主要是面向冶金行业。那我们知道其实在过去的 100 年来,钢铁是人类社会进步的最基础的一种原材料,是推动全球经济进步的重要的动力。回看历史来看,工艺技术、劳动力、资源能源等要素的突破不断推动着钢铁行业的变革以及增长。
钢铁行业主要经过了三个周期,每一个周期都会分为两个阶段,第一个阶段就是一个快速的增长期。第二个阶段由于增长到一定的程度,技术以及需求暂时的衰落,没有办法得到突破,所以会进入一定的调整期。然后,我们现在所经历的是第三个阶段,第三个阶段大概从 2000 年开始,到 2013 年、2014 年左右。这个阶段主要是发展新兴市场的这一些钢铁的需求,中国的钢铁工业规模在这个阶段实现了很大的一个突破。
那么我们现在属于调整期,也就是说现在其实面临着我们常说的产能过剩、结构化需要改革、节能环保、绿色低碳,所以说智能制造在这一个时刻就被提上了一个非常重要的一个日程。
那么面对这样的一个情况,钢铁的内外部环境其实还是比较地严峻的。2022 年来,随着原材料的上涨,主要是矿石、石油、煤炭等大宗商品价格的上涨,对冶金行业来说其实影响是蛮大的。今年大部分钢企都是亏损的,仅有少部分企业仍然在盈利。我们去年改造了一个钢厂,由于使用了全流程的工业互联网平台,打通了业务生产的各个环节,使我们的吨钢成本得到了有效控制,在这个钢厂今年以来反而是盈利的。其实这也说明了智能制造、精益生产是能够节能减排,能够提升钢铁生产的工艺水平的,从而实现获利的。
那现阶段,其实我们有六个方面的一个现状,都是钢铁行业需要重点去面对的。第一个就是环保问题;第二个,国家政策问题;第三个,劳动力的成本在不断地增加;第四个,新一轮科技革命意味着钢铁需要更大的进步;资源匮乏,我们都知道,石油、煤炭、大宗商品其实涨价涨得挺大的,对我们的钢铁的成本影响也是非常大的,在这样的情况下如何利用技术来节能减排,利用技术来增加我们的产能,提高吨钢的收益是非常重要的;第六点就是钢厂的集中度越来越高。在这样的背景下,我们智能化的一个改造就非常重要了。
02
中冶赛迪在流程制造业的探索与实践
接下来第二部分,我们给大家介绍一下中冶赛迪在流程制造业的探索与实践,主要介绍中冶赛迪智能工厂的一个架构。
中冶赛迪在钢铁行业大约有 60 年的行业经验的积累。我们深化了 ISA-95 架构,在 ISA-95 架构的基础上使用了平台 + 智能应用的一个创新模式,搭建我们的新一代的智能工厂。从工厂的从下到上我们分为了三层,主要是作业层面,第二部分是生产管控层面,第三部分是运营决策方面。
所谓作业层面就是说将传统的 PLC、DCS 与物联网、机器人等技术融合,实现装备和车间的自动化、数字化和少人化。我们从这幅图里可以看到,最底下是我们的这一个基础的数据支撑,那么对于全厂的这一个作业层面来说,大约有 3 万个设备,这些设备分布到了我们这个流程的每一个节点当中。这 3 万个设备当中,我们采集了大约 20 万点,来进行数据的一个存储,当然这些数据是存储在我们的 CISDigital-TimeS 当中。这个数据库是我们基于 Apache IoTDB 来研发的,做了一些改进,针对钢铁行业一些特殊的需要做了一些改进,例如时间对齐、例如按照一定的模型数来生成我们的这一些数据,并且存储下来。
在整个流程当中,我们发现比如说从码头、料厂、焦化、矿焦槽、高炉、脱硫、转炉、精炼、连铸、加热炉、轧线,其实这就是钢铁是怎么炼成的一个过程。那在这个过程中我觉得比较难的一点是,整个过程中大约会有 3 万台设备,当然这些设备有的是机器人,有的是传感器,实际上它们能产生的点位是远远大于 20 万个的,一般来说有 60 万到 100 万个都是有可能的,只是我们对其中的 20 万个关心的数据进行了一些采量。那这些点有什么呢?有毫秒级点、秒级点、有 10 秒级的、20 秒级的一些点位,每秒钟写入的量其实是挺大的,一般来说这些数据需要存放 15 到 20 年,所以说对数据库本身的要求也是比较大的。
再往上一层的话就是我们的生产管控层。生产管控层以我们的工业平台为底座,通过智能生产运营中心,实现了全工艺流程的一体化操作、管控。这个过程其实就是,这里就是我们的机控中心,它是把分散在不同车间的一些需要控制的一些信息都集中到了一个地方,从而提高了工作的效率和提高了安全性。
再往上其实是我们的决策层,运营决策,同样是以工业互联网平台为基础的,因为我们平台搜集了大量的一些流程工业当中的制造数据,通过这些数据展现给我们的运营者一个可视化的运营大盘,实时地了解工厂的一个运营的情况,为决策提供了非常好的一个帮助。那这就是我们的智能工厂的一个架构。
接下来我们对我们的架构进行一个比较细化的介绍。整个架构来说其实大致可以分为三层,第一层是智能作业层,这里就是对应着我们的一个一个的工序。然后再往上的话其实是我们的智能生产层,智能生产包含了我们的工业互联网平台。工业互联网平台主要是做了底层的支撑,包括资源池的支撑、容器化的支撑,现在在钢厂里面使用容器化技术的其实是比较少的,而我们属于这一个少数的几家,使用容器化技术在钢厂里面进行部署的一个企业。
这里的话,对于数据存储,我们使用的是 IoTDB。前面我们分析了,对于 3 万个设备、20 万点,数据量其实是挺大的,何况还要存储 20 年,所以说选择一个能够进行长周期存储、查询效率上能够比较快、具有很多基础的一些功能的一个时序数据库就非常重要了。其实以前我们也尝试使用过其他的一些数据库,包括国产的以及非国产的,包括时序数据库,其实或多或少都有一些很大的一个问题。但 IoTDB 的话由于这一个开源,它的底层的一个架构的创新性比较强,同时我们团队也投入了一些人力去研究它的源码、参与开源社区的一个建设,所以说对 IoTDB 本身来说是非常熟悉的,这也为我们自己使用 IoTDB 来支撑我们的这一个工业互联网平台,起到了非常重要的一个作用。
那再往上的话,其实是这一个钢铁全流程数据资产化的模块、低代码开发模块,这些模块一起来为我们的铁区一体化、钢/轧一体化以及管控一体化提供了支撑。那再往上层就是我们刚才说的,智能运营决策,为企业管理者运营决策提供了一个非常强的支撑。
从这里来看的话,最重要的是什么?最重要的是底层的一些数据,要通过组合流向上层。我们刚才说了,对于钢厂里面 20 万个点位的数据,其实它需要经过分析、需要经过重新的组合,才能真正的得到我们每一个一体化应用它需要的数据,或者说能看懂的一些数据。那这个过程其实是比较的复杂的,也是需要很大的一些可视化的开发工作和维护工作的,包括数据治理的工作,这些工作其实都落在了我们的工业互联网平台上去做。所以说我们最终会发现,我们工业互联网平台有非常多的组件,包括数据集成组件、数据存储组件、数据加工组件、数据服务组件等等。这就是我们的中冶赛迪智能工厂的一个简单的架构的示意图。
对钢铁厂来说,时序数据的数量远远大于关系型数据,所以选择一个具有存储能量大、高性能的时序数据库作为我们底层的时序数据的支撑,是非常重要的。那我们这里使用了我们自研的 CISDigital-TimeS 来作为我们的统一数据数字化底座。那在这一个架构当中,我觉得有一个比较重要的一点是,我们的工业互联网平台是深入到了控制层,直接从控制层的自动化设备和自动装备当中去采集数据,实现了全工序、全过程、全要素的数据接入,也就是说我们实现了整个流程应采尽采的原则,将几万设备的传感器的数据点以毫秒级或者秒级的单位来采集数据。
第二个我觉得有一个特点是,平台我们有一个统一的数据体系,其中包括统一的数据标准、统一的数据平台以及数据质量管理。统一的标准就是说,在数据采集之前我们会对数据进行一个定义,包括设备模型的一个定义,包括它统一语意的一些定义,这样只有定义之后,这些数据才能够很好地被上层应用所理解。第二个,我们整个平台的数据的一个存储也好、访问也好,都是统一的,这样的话尽可能地避免了数据孤岛的一个出现。那数据质量就是说,数据在采集、预处理、以及后处理的过程中,我们会不断地判断数据质量的一个好坏,当然我们的 IoTDB 本身也提供了很多的数据质量函数,可以帮助我们的程序,或者我们的分析人员,去很好地掌握这些数据的质量画像,是否好或者良好或者比较差。这些数据质量函数本身对数据质量的分析提供了很大的帮助,大家可以从 IoTDB 的官网当中去发现,有很多很多我们写的这些数据质量函数,也许可以在你的项目中得到使用。
平台提供了统一的数据体系底座,来管理海量的时序数据。我们知道,存储数据是比较简单的,但是怎么把数据存入到数据库之后还能够理解、还能够提供给上层应用去使用,这却非常难。所以基于此,我们提出了几个针对全流程数字化的原则,这几个原则是以“数据”为中心、以“使用”为导向、以“安全”为前提、以“敏捷”为目的。那么在我们的数据存储这里,其实整个钢厂是有关系型数据,和非关系型数据,以及其他对象数据的。对于时序数据,我们使用了我们的 CISDigital-TimeS 来存储,数据存储之后会通过数据的一个加工。加工之后的数据最后会变成我们的数据资产,最终向上层应用提供数据的服务。
最后我们介绍一下基于这个架构我们的一些成功的一些案例。当然这些成功案例当中,其实时序数据库取得一个非常重要的作用,因为从目前来看我们采集的点位已经有上百万点,这些点位都是存储在我们的 IoTDB 时序数据库里面的。
03
时序数据库赋能流程制造业的探索与实践
给大家介绍一下时序数据库在流程制造业当中的一些实践。
首先是数据采集。那我们说数据是来自于设备层的 3 万个左右的设备,我们自己开发了边缘层的数采服务器,支持上百种的协议,包括我们的一些通用协议和大量的一些定制协议。数采服务器和我们的水土云工业实时数据库进行了一个相关联,数据存储在我们的数据库当中。
从数据存储上来看的话,在这一个时间当中的话,我们的设备大概有 3 万 +,点位有 25 万 +,数据的间隔时间是 10 毫秒到 5 秒的时间,每天会产生 15 亿的数据,这些数据都被存储到了我们的 IoTDB 当中,当然最终落到了我们的 TsFile 文件里面。那在大数据分析的过程中,其实我们的整个平台是有很多大数据分析的集群的,使用了我们的连接器能够直接地和 TsFile 文件进行连接,这里也减少了一个转储的过程,所以从本质上来说节省了空间,也提高了我们的效率。
到数据处理阶段,对于时序数据的一个处理,其实是比较复杂的一个过程。一般来说,我们的工艺人员不是特别了解怎么写代码的,所以说我们做了一些低代码开发的一些框架和一些工具,来读取我们的时序数据库里面的数据,从而来做一些实时的、离线的一些开发工作,最终将处理后的数据提供给上层应用去使用。
数据应用的话,我们主要基于时序数据的应用主要有在线监控的一些应用,主要用来监控一些设备的、报表的一些应用;数据分析的一些应用,这里的话是去根据传感器传过来的一些数据去分析钢坯的质量、产量类分析、产业结构类分析等等;最终还有一些模型的训练。
我们来举几个例子,首先第一个例子是我们的在线监控的例子。可以看到时序数据实时采集,秒级响应支撑各类关键数据的在线监控,负责监控人员快速地发现异常。这里是一个钢厂的一个组态页面,组态页面当中的这些数据都是来自于我们的时序数据库的,可以看到这个页面是实时刷新的,对时序数据的实时性有非常强的要求。
第二个场景是模型的一个训练。模型训练的大部分数据都是来自于时序数据库中存储的各种传感器的数据。这些数据经过关键特征提取、离散特征提取、以及数据过滤之后,会生成 AI 训练的模型的一些基础数据,最终我们会得到了相应的模型。这也是一个比较典型的应用。
第三个应用是全流程温度管控,高效稳定铸钢。我们可以发现在我们的这个例子中,会对时序数据进行一些序列分析,序列分析的这一些来源仍然是我们的时序数据库。最终序列分析的结果也会存到我们的时序数据库里面,供后面的一些过程进行分析使用。
这是一个面向多维耦合时序数据的高炉炉况质量分析的一个案例。这些案例中的数据也是来自于我们时序数据库的,所以说时序数据对我们钢厂里面的各种应用来说其实是非常重要的,它们起着数据来源的一个非常重要的作用,没有这个时序数据库的数据的积累的话,其实后面的这些应用的实现可以说是不可能完成的。
这一个场景是我们在实际工作中应用得比较多的一个场景。举例来说,在我们的炼钢智能应用中,转炉的业务模型需要组合我们的转炉本体、合金下料、散料、底吹、钢包车、一键炼钢等多个模型的属性,其中图中标蓝的部分为有用的属性,标红的部分为这一个实体一共本来的属性。其中我们选取了 485 个属性,作为转炉业务模型的真正业务所需要的一个属性。
那在这个部分中,其实我们封装了一个“视图”的功能,就是在数据库的原本基础上,在时序数据库上加装了一个“视图”的功能。这个功能能把底层的各个设备它们的属性抽取出来,抽取出我们想要的这一个业务模型,供上层的应用和使用。如果不这样做的话,上层应用需要读下面六个模型的数据,然后再组装,这样显然是很费时间、效率非常低的,所以说我觉得这一个场景有可能是大家会经常用到的一个场景。
在这一个项目中,我们一共采集了 3 万+ 的一个设备,20 万点,形成了 1647 个模型。这些模型是从采集的维度来分类的,真正对业务有用的我们有 378 个业务模型,这 378 个业务模型又是从设备表当中去组合、去封装所得到的。最终我们形成了我们应用所需要的这些设备模型,这些模型是直接可以对外提供服务的、供应用使用的。
04
几点感悟与大家分享
最终在分享的最后,有几点感悟与大家分享一下。
在我们的流程制造业当中,有非常多的数据需要去采集。在采集、存储、分析我们的数据之前,我们首先要回答四个问题。
第一个问题,想好要什么了吗?你的智能制造、数字化转型的目的和目标是什么?数据采集起来怎么使用?哪些数据需要采集?为什么需要采集?采集之后需要存储多久?这些都是需要提前考虑的,不然很容易出现数据经过大量的人力、物力、财力,采集上来却不知道怎么使用的一个问题。
第二,使用什么样的时序数据库产品?这里我觉得我们应该尽可能地使用一些产品技术能力强,在不断迭代的产品,并且是国产化的,这样能够做到安全、自主、可控。并且数据库本身的人才的培养上比较容易,也就是说比较容易使用,并且有一定的人才储备,我觉得这才能够对我们使用时序数据库产品有很强的一个支撑。
第三,企业是否做好了数字化转型的一个准备?我觉得这一点也非常重要,因为数据采上来之后,大家愿不愿意用,这是一个很重要的问题。那如何让大家愿意用呢?我觉得这要企业从上到下,需要有坚定数字化转型的一个决心才行。
第四,需要做好长期的投入的准备。很多事情它不是说一蹴而就的,需要不断的迭代。我们的数据要发挥价值,至少需要三到五年的一个时间,数据要不断的积累、使用、分析,才能最终地从数据中获得价值,所以说欲速而不达,就是这个道理。
非常感谢大家观看我的分享,希望我的分享对大家有一定的帮助,谢谢大家。
可加欧欧获取大会相关PPT
微信号:apache_iotdb