12 月 3 日,2023 IoTDB 用户大会在北京成功举行,收获强烈反响。本次峰会汇集了超 20 位大咖嘉宾带来工业互联网行业、技术、应用方向的精彩议题,多位学术泰斗、企业代表、开发者,深度分享了工业物联网时序数据库 IoTDB 的技术创新、应用效果,与各行业标杆用户的落地实践、解决方案,并共同探讨时序数据管理领域的行业趋势。
我们邀请到中核武汉核电运行技术股份有限公司主管工程师方华建参加此次大会,并做主题报告——《IoTDB 在核电数字化转型过程中的应用实践》。以下为内容全文。
目录
核电数字化产品研发
核电数字化应用支撑
未来应用展望
各位领导、嘉宾、同仁们下午好,今天我分享的主题是《IoTDB 在核电数字化转型过程中的应用实践》。
今天我的分享分为三个部分,第一个部分是核电数字化产品的研发,第二部分是核电数字化应用的支撑,第三个是我们对 IoTDB 在核电数字化的未来进行一个应用展望。
01
核电数字化产品研发
首先,第一部分,核电数字化产品研发。在介绍核电数字化产品研发之前,不得不提一下我们重要的核电数字化产品 DHP 平台,什么是 DHP 平台?DHP 是新一代以信息技术为基础的数字化转型技术底座,是中国核电工业互联网平台,我们简称它为大核源平台。它是中核武汉基于 30 余年核电运维领域深耕积累,以需求为牵引,以先进技术为重要抓手,推进核能产业和新一代数字技术深度融合,自主研发的集团级工业互联网基础设施平台。
DHP 有以下两大特点:第一个是设备互联,数据互通。我们通过物联网、边缘计算等技术,有效集成了中国核电海量的工业设备与系统数据,打通各类生产要素数据通道,形成智能物联。我们开发了核电大数据平台,整合现有系统,解决了现有信息系统数据贯通的问题。我们提供大数据、人工智能分析的算法模型和物理、化学等各类仿真工具,结合数字孪生、工业智能等技术,对海量数据进行了挖掘分析,提升数据价值。
第二大特点是知识积累,快速创新。我们把大量的工业技术原理、行业知识、专家知识规则化、模型化、软件化,封装成一个个可重复使用的微服务组件,实现知识固化和积累、复用。最终我们将一个个的知识封装成适用于核电特定应用场景的工业 App,实现核电领域的应用创新。目前,我们的核电工业互联网平台 2.0 版本已经发布,2.0 版本采用工业互联网技术,支撑了 21 个核电领域特色应用系统的开发、运行和维护。
第二个讲一下我们 DHP 平台的一个部署落地情况。目前我们的 DHP 平台已经在中核集团数据中心部署了中心侧的核电工业互联网平台(DHP)。另外,我们分别在秦山核电、江苏核电、福清核电、海南核电、三门核电、漳州能源六大核电基地部署了电厂侧的核电工业互联网平台,简称是 DHP-C,中国核电六大核电基地目前都已经实现关键业务和应用上平台。我们的平台基于云边协同、安全可靠的路线,实现了应用、数据、模型,运维等多维度的云边一体、互联互通,支撑了集团型企业“一总部多基地”的集中分布式管控。
我们的核电工业互联网平台也汇聚了核电领域多种生产要素,沉淀了一系列的标准工具和软件。在工业数据数量方面,我们实时接入了数据测点有 50.3 万,日增 6000 多万条时序数据,然后我们导入了大概有 5 年的历史数据,低频测点有 50 多万,高频测点有 360 多个;我们也接入了设备信息,大概是 200 多万条,工单数据也有 300 多万条,此外还有各种类型的业务系统数据。
在平台标准数量方面:目前我们的平台对外正式发布的标准将近有 90 个标准,囊括了总体的标准 45 项,还有数据标准 15 项、应用与开发标准 8 项等等。总的来说,我们的标准体系涵盖了工业互联网的边缘接入、平台资源,平台层以及应用层的各个方面。
在工业设备数量方面,我们可连接的工业设备数量有 160 万套,工业协议兼容适配数量目前是 14 种,包括了通用的 OPC 协议、Modbus 协议,还有 MQTT 协议、UDP 和 TCP 协议等等。
在工业模型数量方面,我们目前主要集成的是我们核电领域的行业机理模型,总共是 21 大类,251 个,包括了反应堆物理、燃料性能、燃料管理、辐射屏蔽、热工水力、电气等等多个方面。
最后在平台开发者数量方面,我们的平台开发者主要聚焦在核电领域,我们的第三方开发者注册数量大概有 1500 多个,第三方活跃开发者目前是 800 多个。
接下来讲一下我们核电工业互联网平台的时序数据服务系统。我们的核电工业互联网平台是以核电厂实际业务应用需求为牵引,采用先进的一些互联网技术,主要是云技术、大数据技术和人工智能技术,开发的一套能够支撑中国核电工业信息化系统开发、运维和持续升级的平台,最终能够满足中国核电的业务应用需求。
我们的工业互联网平台主要由四个层次加上安全和标准组成,四层分别为边缘接入层、资源层、平台层和应用层。目前我们 DHP 数据平台中的时序数据服务系统使用的是 IoTDB 进行时序数据的存储、分析和处理。我们把各个核电基地的时序数据接入并存储到我们在数据平台的 IoTDB 中,并基于 IoTDB 开发了一系列通用的数据服务,为上层的一些应用提供服务,比方说应用层中的国产化安全生产管理系统、核电厂关键与敏感设备智慧管理系统、国产化设备可靠性管理系统、数字大修指挥中心、运行数字孪生、DCS 健康管理平台等等,这些都是我们核电领域非常关键、核心的一些大型系统。
接下来讲一下我们的时序数据服务系统目前的基本情况。自 2020 年 6 月起,我们陆续在三门、秦山、福清、江苏、海南、漳州六大核电基地部署了我们的 IoTDB 时序数据库,总共完成 50 余万个测点的实时数据接入、存储,采集了六大核电基地 2019 年 7 月至今的所有历史数据,目前最新的时序数据总量是 4000 多亿条,并且我们对六大核电基地每个电厂每个小时中接入的时序数据也进行了分时段的统计。另外,为了保证时序数据接入过程的稳定可靠,我们对时序数据的接入过程已进行了一系列的运维监控与报警信息采集,对各个机组的时序数据采集也实现了监控界面的实时反馈。
接下来讲一下核电工业互联网平台中,我们的时序数据服务系统的架构。目前我们的时序数据服务系统分为总分式架构,我们在 DHP 平台中心侧部署了一套时序数据服务系统,另外分别在六大核电基地各部署了一套电厂侧的时序数据服务系统,各个电厂的时序数据会实时地向 DHP 中心侧进行汇聚和同步。
在了解完时序数据服务系统的架构之后,我再讲一下我们选择 IoTDB 的一个历程吧。大体来讲,我们经历了三个阶段:第一个阶段是在 2018 年,我们启动了核电工业互联网关键技术研究项目,其中就包含核电工业时序数据关键技术研究,而其中最重要的一环就是时序数据的存储。我们当时是选择了 HBase,但是由于核电时序数据量巨大,遇到了很大困难。打个很简单的比方,我们核电领域有低频时序数据和高频时序数据,高频时序数据这一块主要是振动数据。以振动数据为例,我见过频率最高的每秒大概是 25000 Hz,就是说有的测点每秒会产生 25000 条数据,所以数据量是巨大的。
对于这种高频和低频时序数据的存储场景,我们在使用 HBase 的时候发现,很多时候随着数据量的增大一些关键的查询并不能满足我们的需求。比方说,我们查询一个数据的快照值,也就是最新值,希望它在毫秒级完成,但是使用 HBase 的过程中,无论我们怎么优化,比如说通过增加一级索引、二级索引这种方式,我们发现快照值查询也只能做到秒级,并不能满足我们的业务需求,所以我们希望时序数据这块能够继续得到性能提升。另外一个方面就是 HBase 的数据压缩方面也不尽如人意,很快就会把我们的磁盘撑满。我们计算过,一个大概 10T 存储容量的 HBase 集群,不到半年的时间,差不多就可以把这个磁盘撑满。
因为以上限制,在 2020 年,由于我们中国核电下发的一个工业互联网平台的研发课题,我们进入了第二个阶段,就是我们需要去调研并制定专门的时序数据处理方案。我们当时选择了最火的 InfluxDB,对 tags、fields 等都进行了针对性的设计,并将它应用于 DHP 的生产环境中,但是到了后面还是发现了一些问题。比如说在高并发场景的时候,大量历史数据的获取也会让 InfluxDB 出现性能瓶颈;比如说查询某个测点一年的历史数据,InfluxDB 可能会出现分钟级的响应,这些都不能满足我们的性能需求。
工欲善其事,必先利其器。基于以上我们的应用实践,我们发现并不能依靠 HBase 和 InfluxDB 解决我们的问题。然后,我们通过某次学术交流会议了解到了 IoTDB,这时我们进入了第三个阶段。通过跟 IoTDB 核心研发人员的交流沟通,我们把 IoTDB 部署到开发测试环境,进行了全方位的性能验证,发现它跟我们中国核电的时序数据存储的特点非常匹配。我们制订了详细的时序数据的存储结构,也进行了针对高频时序数据的存储设计。在此过程中,清华大学的 IoTDB 团队,比如黄向东老师、乔嘉林博士也给予了很大的支持。我们已经将这套时序数据服务系统在中国核电六大核电基地上线,目前(性能)支撑非常好。
上面是讲完了我们的时序数据服务系统,下面又是另外一个研发课题,就是我们的国产化时序数据处理系统。自 2013 年 1 月起,我们承担了中国核电的集中研发课题:国产化时序数据处理系统。这个系统主要就是提供我们核电领域时序数据的一整套国产化解决方案。该系统主要由边缘数据采集系统、历史时序数据库、实时数据库、运维管理工具、数据组态、画面组态等等一系列的配套工具组成。目前,我们使用 IoTDB 作为我们这个系统的历史数据库,计划在福清核电和漳州能源试点应用。
我们的国产化时序数据处理系统的数据源包括 DCS 系统、PHM 系统、传感器和其他的一些边缘设备。在采集这一块,我们在国产化时序数据处理系统中开发了一系列针对性的采集工具。在存储这一块,我们主要是依赖于 IoTDB。在数据服务这一块,我们有两种形式的数据服务,一种是 SDK,这块主要是针对我们的程序开发人员;另外一种就是 RESTful API,这种主要是面向物联网或者是工业互联网领域的应用。国产化时序数据处理系统的最上层,是我们基于这些 API 或者 SDK 开发的一系列厂级的核电时序数据工具集,比如有数据分析工具、资产管理工具、安全工具、报警工具等等,计划支撑一系列的核电应用。除此之外,我们还为国产化时序数据处理系统配备了一些配套工具,比方说边缘采集器配置管理工具、数据组态工具、画面组态工具以及数据迁移工具等等。
02
核电数字化应用支撑
讲完了核电的数字化产品研发,下面讲一下 IoTDB 对核电数字化应用的支撑情况。目前,我们以 IoTDB 作为基础存储底座,已经支撑了包括 ERMs,也就是设备可靠性管理系统、ASP-1(国产化安全生产管理系统)、ASP-2(核电厂关键与敏感设备智慧管理系统)、运行数字孪生系统在内的多个核电数字化应用,并为其提供多种时序数据服务,其中就包括:低频时序数据的接入、存储;高频时序数据的接入、存储;高频和低频时序数据的查询,包括快照值查询、历史值查询、插值查询、聚合值查询等等;还包括计算点数据写入、模型训练、数据样本制作数据提供等等。
下面讲一下具体支撑的应用情况。第一个是 ERMs,我们通过 DHP 平台获取了各个电厂 DCS 运行数据以及传感器数据,存储到 IoTDB 中。目前我们一共接入并存储超过 160 万台电厂设备的数据,为 ERMs 应用提供多种形式的数据存取服务。ERMs 系统基于我们提供的数据服务进行专用功能模块的开发,包括设备监督模块、系统监督模块,以及设备故障诊断、设备寿命预测等等。
第二个支撑的应用是 ASP-2(核电厂关键与敏感设备智慧管理系统)。这个应用主要是通过 DHP 平台,获取秦山、江苏、福清、三门、海南 5 家电厂部分测点的历年历史数据,存储到时序数据库 IoTDB 中。然后我们通过 IoTDB 提供的部分测点的历史数据,协助应用方进行全面的数据开发,并提供其他形式的数据服务。
第三个支撑的应用是汽辅泵故障诊断系统。这个系统是一个电厂侧的数字化应用,这个应用比较特殊的一点就是,在这个应用支撑的过程中,我们第一次部署并应用了 Windows 版本的 IoTDB 数据库,接入并存储了汽辅泵设备数据和计算数据。然后我们基于 IoTDB 的原生 API,开发了通用的时序数据接口,为汽辅泵的故障诊断系统提供历史数据、实时数据和插值数据的查询。目前该系统已经投入运行一年,数据存储和接口运行良好。
接下来要讲的一个应用是运行数字孪生系统。这个运行数字孪生系统是我们跟福清核电一起研发的一个大型系统,在这个系统里面,我们主要是通过 DHP 提供的 PI 系统数据采集工具,采集了福清核电 PI 系统中部分机组所有测点的历史数据和实时数据,供数字孪生应用开发,并存储至 IoTDB。我们基于 IoTDB 的原生 API 开发了一系列通用的时序数据接口,获取历史数据,应用方基于这些历史数据进行样本制作。此外,我们还为应用方提供了数据写入服务、存储计算数据等等。
最后一个支撑的应用是三门核电的化学数据管理系统。这个系统需要 IoTDB 支持的原因就是,第一他们需要使用电厂已有 PI 系统中的数据,但是他们的开发人员不熟悉 PI 系统,无法获取 PI 系统的数据。第二,他们需要获取测点的历史值、快照值以及插值,但没有类似接口设计和开发经验,接口开发难度非常大。我们提供的支持,就是我们打通了这个化学数据管理系统与我们 DHP 平台之间的网络端口,开通了我们通用的数据服务给应用。他们基于 IoTDB 提供的这些数据接口,可以获取历史值、快照值以及插值,进行业务计算和分析。这一套系统目前我们的支持已经有大概 8 个月,目前包括数据接入、存储、访问方面,支撑都比较良好,得到了三门核电的认可。
03
未来应用展望
最后对 IoTDB 在中国核电未来的应用进行一个展望。
IoTDB 作为时序数据的存储基础底座,我们希望它能够助力中国核电的数字化转型。作为国产时序数据库的佼佼者,随着核电数字化转型的不断深入,IoTDB 能够在以下方面提供支持:第一个是与中国核电的数字化基础平台和应用进一步融合,比如 DHP 平台、ASP-1、ASP-2、运行数字卵生等等,为这些统建应用提供强大的时序数据服务支撑能力。
第二,我们希望 IoTDB 能够助力电厂本地数字化应用的时序数据相关模块的开发、测试和运行,比方说能够提供比较完善的开发、测试环境。
第三,我们希望 IoTDB 能够支撑核电国产化时序数据处理系统的研发,持续打造稳定、高效、安全的时序数据库内核,助力核电厂国产化时序数据服务系统的研发和推广应用。
我们中核武汉/核动力运行研究所将继续与清华大学、天谋科技 IoTDB 团队保持密切合作,为核电提供优异、安全、稳定的时序数据相关产品,加快核电数字化转型的步伐。
最后,我在此也一并感谢 IoTDB 团队这 3 年多以来对我们的支持,希望 IoTDB 的明天更加美好,谢谢大家!
可加欧欧获取大会相关PPT
微信号:apache_iotdb