2023 IoTDB Summit:中核武汉核电运行技术股份有限公司主管工程师方华建《IoTDB在核电数字化转型过程的应用实践》...

news2024/11/15 14:09:54

12 月 3 日,2023 IoTDB 用户大会在北京成功举行,收获强烈反响。本次峰会汇集了超 20 位大咖嘉宾带来工业互联网行业、技术、应用方向的精彩议题,多位学术泰斗、企业代表、开发者,深度分享了工业物联网时序数据库 IoTDB 的技术创新、应用效果,与各行业标杆用户的落地实践、解决方案,并共同探讨时序数据管理领域的行业趋势。

我们邀请到中核武汉核电运行技术股份有限公司主管工程师方华建参加此次大会,并做主题报告——《IoTDB 在核电数字化转型过程中的应用实践》。以下为内容全文。

目录

核电数字化产品研发

核电数字化应用支撑

未来应用展望

各位领导、嘉宾、同仁们下午好,今天我分享的主题是《IoTDB 在核电数字化转型过程中的应用实践》。

今天我的分享分为三个部分,第一个部分是核电数字化产品的研发,第二部分是核电数字化应用的支撑,第三个是我们对 IoTDB 在核电数字化的未来进行一个应用展望。

01

核电数字化产品研发

首先,第一部分,核电数字化产品研发。在介绍核电数字化产品研发之前,不得不提一下我们重要的核电数字化产品 DHP 平台,什么是 DHP 平台?DHP 是新一代以信息技术为基础的数字化转型技术底座,是中国核电工业互联网平台,我们简称它为大核源平台。它是中核武汉基于 30 余年核电运维领域深耕积累,以需求为牵引,以先进技术为重要抓手,推进核能产业和新一代数字技术深度融合,自主研发的集团级工业互联网基础设施平台。

DHP 有以下两大特点:第一个是设备互联,数据互通。我们通过物联网、边缘计算等技术,有效集成了中国核电海量的工业设备与系统数据,打通各类生产要素数据通道,形成智能物联。我们开发了核电大数据平台,整合现有系统,解决了现有信息系统数据贯通的问题。我们提供大数据、人工智能分析的算法模型和物理、化学等各类仿真工具,结合数字孪生、工业智能等技术,对海量数据进行了挖掘分析,提升数据价值。

第二大特点是知识积累,快速创新。我们把大量的工业技术原理、行业知识、专家知识规则化、模型化、软件化,封装成一个个可重复使用的微服务组件,实现知识固化和积累、复用。最终我们将一个个的知识封装成适用于核电特定应用场景的工业 App,实现核电领域的应用创新。目前,我们的核电工业互联网平台 2.0 版本已经发布,2.0 版本采用工业互联网技术,支撑了 21 个核电领域特色应用系统的开发、运行和维护

第二个讲一下我们 DHP 平台的一个部署落地情况。目前我们的 DHP 平台已经在中核集团数据中心部署了中心侧的核电工业互联网平台(DHP)。另外,我们分别在秦山核电、江苏核电、福清核电、海南核电、三门核电、漳州能源六大核电基地部署了电厂侧的核电工业互联网平台,简称是 DHP-C,中国核电六大核电基地目前都已经实现关键业务和应用上平台。我们的平台基于云边协同、安全可靠的路线,实现了应用、数据、模型,运维等多维度的云边一体、互联互通,支撑了集团型企业“一总部多基地”的集中分布式管控

我们的核电工业互联网平台也汇聚了核电领域多种生产要素,沉淀了一系列的标准工具和软件。在工业数据数量方面,我们实时接入了数据测点有 50.3 万,日增 6000 多万条时序数据,然后我们导入了大概有 5 年的历史数据,低频测点有 50 多万,高频测点有 360 多个;我们也接入了设备信息,大概是 200 多万条,工单数据也有 300 多万条,此外还有各种类型的业务系统数据。

在平台标准数量方面:目前我们的平台对外正式发布的标准将近有 90 个标准,囊括了总体的标准 45 项,还有数据标准 15 项、应用与开发标准 8 项等等。总的来说,我们的标准体系涵盖了工业互联网的边缘接入、平台资源,平台层以及应用层的各个方面。

在工业设备数量方面,我们可连接的工业设备数量有 160 万套,工业协议兼容适配数量目前是 14 种,包括了通用的 OPC 协议、Modbus 协议,还有 MQTT 协议、UDP 和 TCP 协议等等。

在工业模型数量方面,我们目前主要集成的是我们核电领域的行业机理模型,总共是 21 大类,251 个,包括了反应堆物理、燃料性能、燃料管理、辐射屏蔽、热工水力、电气等等多个方面。

最后在平台开发者数量方面,我们的平台开发者主要聚焦在核电领域,我们的第三方开发者注册数量大概有 1500 多个,第三方活跃开发者目前是 800 多个。

接下来讲一下我们核电工业互联网平台的时序数据服务系统。我们的核电工业互联网平台是以核电厂实际业务应用需求为牵引,采用先进的一些互联网技术,主要是云技术、大数据技术和人工智能技术,开发的一套能够支撑中国核电工业信息化系统开发、运维和持续升级的平台,最终能够满足中国核电的业务应用需求。

我们的工业互联网平台主要由四个层次加上安全和标准组成,四层分别为边缘接入层、资源层、平台层和应用层。目前我们 DHP 数据平台中的时序数据服务系统使用的是 IoTDB 进行时序数据的存储、分析和处理。我们把各个核电基地的时序数据接入并存储到我们在数据平台的 IoTDB 中,并基于 IoTDB 开发了一系列通用的数据服务,为上层的一些应用提供服务,比方说应用层中的国产化安全生产管理系统、核电厂关键与敏感设备智慧管理系统、国产化设备可靠性管理系统、数字大修指挥中心、运行数字孪生、DCS 健康管理平台等等,这些都是我们核电领域非常关键、核心的一些大型系统。

接下来讲一下我们的时序数据服务系统目前的基本情况。自 2020 年 6 月起,我们陆续在三门、秦山、福清、江苏、海南、漳州六大核电基地部署了我们的 IoTDB 时序数据库,总共完成 50 余万个测点的实时数据接入、存储,采集了六大核电基地 2019 年 7 月至今的所有历史数据,目前最新的时序数据总量是 4000 多亿条,并且我们对六大核电基地每个电厂每个小时中接入的时序数据也进行了分时段的统计。另外,为了保证时序数据接入过程的稳定可靠,我们对时序数据的接入过程已进行了一系列的运维监控与报警信息采集,对各个机组的时序数据采集也实现了监控界面的实时反馈。

接下来讲一下核电工业互联网平台中,我们的时序数据服务系统的架构。目前我们的时序数据服务系统分为总分式架构,我们在 DHP 平台中心侧部署了一套时序数据服务系统,另外分别在六大核电基地各部署了一套电厂侧的时序数据服务系统,各个电厂的时序数据会实时地向 DHP 中心侧进行汇聚和同步

在了解完时序数据服务系统的架构之后,我再讲一下我们选择 IoTDB 的一个历程吧。大体来讲,我们经历了三个阶段:第一个阶段是在 2018 年,我们启动了核电工业互联网关键技术研究项目,其中就包含核电工业时序数据关键技术研究,而其中最重要的一环就是时序数据的存储。我们当时是选择了 HBase,但是由于核电时序数据量巨大,遇到了很大困难。打个很简单的比方,我们核电领域有低频时序数据和高频时序数据,高频时序数据这一块主要是振动数据。以振动数据为例,我见过频率最高的每秒大概是 25000 Hz,就是说有的测点每秒会产生 25000 条数据,所以数据量是巨大的。

对于这种高频和低频时序数据的存储场景,我们在使用 HBase 的时候发现,很多时候随着数据量的增大一些关键的查询并不能满足我们的需求。比方说,我们查询一个数据的快照值,也就是最新值,希望它在毫秒级完成,但是使用 HBase 的过程中,无论我们怎么优化,比如说通过增加一级索引、二级索引这种方式,我们发现快照值查询也只能做到秒级,并不能满足我们的业务需求,所以我们希望时序数据这块能够继续得到性能提升。另外一个方面就是 HBase 的数据压缩方面也不尽如人意,很快就会把我们的磁盘撑满。我们计算过,一个大概 10T 存储容量的 HBase 集群,不到半年的时间,差不多就可以把这个磁盘撑满。

因为以上限制,在 2020 年,由于我们中国核电下发的一个工业互联网平台的研发课题,我们进入了第二个阶段,就是我们需要去调研并制定专门的时序数据处理方案。我们当时选择了最火的 InfluxDB,对 tags、fields 等都进行了针对性的设计,并将它应用于 DHP 的生产环境中,但是到了后面还是发现了一些问题。比如说在高并发场景的时候,大量历史数据的获取也会让 InfluxDB 出现性能瓶颈;比如说查询某个测点一年的历史数据,InfluxDB 可能会出现分钟级的响应,这些都不能满足我们的性能需求。

工欲善其事,必先利其器。基于以上我们的应用实践,我们发现并不能依靠 HBase 和 InfluxDB 解决我们的问题。然后,我们通过某次学术交流会议了解到了 IoTDB,这时我们进入了第三个阶段。通过跟 IoTDB 核心研发人员的交流沟通,我们把 IoTDB 部署到开发测试环境,进行了全方位的性能验证,发现它跟我们中国核电的时序数据存储的特点非常匹配。我们制订了详细的时序数据的存储结构,也进行了针对高频时序数据的存储设计。在此过程中,清华大学的 IoTDB 团队,比如黄向东老师、乔嘉林博士也给予了很大的支持。我们已经将这套时序数据服务系统在中国核电六大核电基地上线,目前(性能)支撑非常好

上面是讲完了我们的时序数据服务系统,下面又是另外一个研发课题,就是我们的国产化时序数据处理系统。自 2013 年 1 月起,我们承担了中国核电的集中研发课题:国产化时序数据处理系统。这个系统主要就是提供我们核电领域时序数据的一整套国产化解决方案。该系统主要由边缘数据采集系统、历史时序数据库、实时数据库、运维管理工具、数据组态、画面组态等等一系列的配套工具组成。目前,我们使用 IoTDB 作为我们这个系统的历史数据库,计划在福清核电和漳州能源试点应用。

我们的国产化时序数据处理系统的数据源包括 DCS 系统、PHM 系统、传感器和其他的一些边缘设备。在采集这一块,我们在国产化时序数据处理系统中开发了一系列针对性的采集工具。在存储这一块,我们主要是依赖于 IoTDB。在数据服务这一块,我们有两种形式的数据服务,一种是 SDK,这块主要是针对我们的程序开发人员;另外一种就是 RESTful API,这种主要是面向物联网或者是工业互联网领域的应用。国产化时序数据处理系统的最上层,是我们基于这些 API 或者 SDK 开发的一系列厂级的核电时序数据工具集,比如有数据分析工具、资产管理工具、安全工具、报警工具等等,计划支撑一系列的核电应用。除此之外,我们还为国产化时序数据处理系统配备了一些配套工具,比方说边缘采集器配置管理工具、数据组态工具、画面组态工具以及数据迁移工具等等。

02

核电数字化应用支撑

讲完了核电的数字化产品研发,下面讲一下 IoTDB 对核电数字化应用的支撑情况。目前,我们以 IoTDB 作为基础存储底座,已经支撑了包括 ERMs,也就是设备可靠性管理系统、ASP-1(国产化安全生产管理系统)、ASP-2(核电厂关键与敏感设备智慧管理系统)、运行数字孪生系统在内的多个核电数字化应用,并为其提供多种时序数据服务,其中就包括:低频时序数据的接入、存储;高频时序数据的接入、存储;高频和低频时序数据的查询,包括快照值查询、历史值查询、插值查询、聚合值查询等等;还包括计算点数据写入、模型训练、数据样本制作数据提供等等。

下面讲一下具体支撑的应用情况。第一个是 ERMs,我们通过 DHP 平台获取了各个电厂 DCS 运行数据以及传感器数据,存储到 IoTDB 中。目前我们一共接入并存储超过 160 万台电厂设备的数据,为 ERMs 应用提供多种形式的数据存取服务。ERMs 系统基于我们提供的数据服务进行专用功能模块的开发,包括设备监督模块、系统监督模块,以及设备故障诊断、设备寿命预测等等。

第二个支撑的应用是 ASP-2(核电厂关键与敏感设备智慧管理系统)。这个应用主要是通过 DHP 平台,获取秦山、江苏、福清、三门、海南 5 家电厂部分测点的历年历史数据,存储到时序数据库 IoTDB 中。然后我们通过 IoTDB 提供的部分测点的历史数据,协助应用方进行全面的数据开发,并提供其他形式的数据服务。

第三个支撑的应用是汽辅泵故障诊断系统。这个系统是一个电厂侧的数字化应用,这个应用比较特殊的一点就是,在这个应用支撑的过程中,我们第一次部署并应用了 Windows 版本的 IoTDB 数据库,接入并存储了汽辅泵设备数据和计算数据。然后我们基于 IoTDB 的原生 API,开发了通用的时序数据接口,为汽辅泵的故障诊断系统提供历史数据、实时数据和插值数据的查询。目前该系统已经投入运行一年,数据存储和接口运行良好。

接下来要讲的一个应用是运行数字孪生系统。这个运行数字孪生系统是我们跟福清核电一起研发的一个大型系统,在这个系统里面,我们主要是通过 DHP 提供的 PI 系统数据采集工具,采集了福清核电 PI 系统中部分机组所有测点的历史数据和实时数据,供数字孪生应用开发,并存储至 IoTDB。我们基于 IoTDB 的原生 API 开发了一系列通用的时序数据接口,获取历史数据,应用方基于这些历史数据进行样本制作。此外,我们还为应用方提供了数据写入服务、存储计算数据等等。

最后一个支撑的应用是三门核电的化学数据管理系统。这个系统需要 IoTDB 支持的原因就是,第一他们需要使用电厂已有 PI 系统中的数据,但是他们的开发人员不熟悉 PI 系统,无法获取 PI 系统的数据。第二,他们需要获取测点的历史值、快照值以及插值,但没有类似接口设计和开发经验,接口开发难度非常大。我们提供的支持,就是我们打通了这个化学数据管理系统与我们 DHP 平台之间的网络端口,开通了我们通用的数据服务给应用。他们基于 IoTDB 提供的这些数据接口,可以获取历史值、快照值以及插值,进行业务计算和分析。这一套系统目前我们的支持已经有大概 8 个月,目前包括数据接入、存储、访问方面,支撑都比较良好,得到了三门核电的认可

03

未来应用展望

最后对 IoTDB 在中国核电未来的应用进行一个展望。

IoTDB 作为时序数据的存储基础底座,我们希望它能够助力中国核电的数字化转型。作为国产时序数据库的佼佼者,随着核电数字化转型的不断深入,IoTDB 能够在以下方面提供支持:第一个是与中国核电的数字化基础平台和应用进一步融合,比如 DHP 平台、ASP-1、ASP-2、运行数字卵生等等,为这些统建应用提供强大的时序数据服务支撑能力。

第二,我们希望 IoTDB 能够助力电厂本地数字化应用的时序数据相关模块的开发、测试和运行,比方说能够提供比较完善的开发、测试环境。

第三,我们希望 IoTDB 能够支撑核电国产化时序数据处理系统的研发,持续打造稳定、高效、安全的时序数据库内核,助力核电厂国产化时序数据服务系统的研发和推广应用。

我们中核武汉/核动力运行研究所将继续与清华大学、天谋科技 IoTDB 团队保持密切合作,为核电提供优异、安全、稳定的时序数据相关产品,加快核电数字化转型的步伐。

最后,我在此也一并感谢 IoTDB 团队这 3 年多以来对我们的支持,希望 IoTDB 的明天更加美好,谢谢大家!

可加欧欧获取大会相关PPT

微信号:apache_iotdb

e0bc990d6007c11cdcbf08f9377427ce.gif

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1408742.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

ERP读书笔记20240125-1

ERP(Enterprise Resource Planning,企业资源计划)的发展经历了从 MRP(Material Requirements Planning,物料需求计划)到 MRP2(Manufacturing Resources Planning,制造资源计划&#…

OpenCV-26 拉普拉斯算子

一、拉普拉斯算子概念及其推导 索贝尔算子是模拟一阶导数,一阶导数越大的地方说明变化越剧烈,越有可能是边缘。 但是如果我们对f(t)求二阶导数呢? 可以发现边缘处的二阶导数 0,因此,我们可以利…

跟着cherno手搓游戏引擎【10】使用glm窗口特性

修改ImGui层架构: 创建: ImGuiBuild.cpp:引入ImGui #include"ytpch.h" #define IMGUI_IMPL_OPENGL_LOADER_GLAD//opengl的头文件需要的定义,说明使用的是gald #include "backends/imgui_impl_opengl3.cpp" …

C++力扣题目56--合并区间 738--单调递增的数字 968--监控二叉树

56. 合并区间 力扣题目链接(opens new window) 给出一个区间的集合,请合并所有重叠的区间。 示例 1: 输入: intervals [[1,3],[2,6],[8,10],[15,18]]输出: [[1,6],[8,10],[15,18]]解释: 区间 [1,3] 和 [2,6] 重叠, 将它们合并为 [1,6]. 示例 2: 输入: interv…

Netty的解码器和编码器

链路图 一个完整的RPC请求中,netty对请求数据和响应数据的处理流程如下图所示 网络线路中传输的都是二进制数据,之后netty将二进制数据解码乘POJO对象,让客户端或者服务端程序处理。 解码的工具称为解码器,是一个入站处理器InBo…

分布式应用程序设计项目管理

1. 项目的定义 项目是一种特定的、新颖的行动,目的是以有条不紊、逐步的方式构建一个尚未存在确切对应物的未来现实。它是对精心制定的需求的回应,旨在满足业主的需要。项目包括一个可能是物理或智力的目标,并且需要使用给定的资源来执行一系…

Gold-YOLO(NeurIPS 2023)论文与代码解析

paper:Gold-YOLO: Efficient Object Detector via Gather-and-Distribute Mechanism official implementation:https://github.com/huawei-noah/Efficient-Computing/tree/master/Detection/Gold-YOLO 存在的问题 在过去几年里,YOLO系列已经…

某马头条——day10

热文章数据查询 分布式任务调度xxl-job 概述 环境搭建 docker化部署 docker run -p 3306:3306 --name mysql57 \ -v /opt/mysql/conf:/etc/mysql \ -v /opt/mysql/logs:/var/log/mysql \ -v /opt/mysql/data:/var/lib/mysql \ -e MYSQL_ROOT_PASSWORDroot\ -d mysql:5.7 dock…

uniapp开发过程一些小坑

问题1、uniapp使用scroll-view的:scroll-into-view“lastChatData“跳到某个元素id时候,在app上不生效,小程序没问题 使用this.$nextTick或者 setTimeout(()>{that.lastChatData 元素id },500) 进行延后处理就可以了。 问题2:uniapp开…

NE8实现HTTP Upgrade和HTTP CONNECT代理服务器

看到一个文章[Go] 不到 100 行代码实现一个支持 CONNECT 动词的 HTTP 服务器 在NET8中如何实现 创建项目为MiniApi 编辑Program.cs文件。 var builder WebApplication.CreateSlimBuilder(args);var app builder.Build();// 将HTTP请求通过协议升级机制转为远程TCP请求&…

02 分解质因子

一、数n的质因子分解 题目描述&#xff1a; 输入一个数n&#xff08;n<10^6&#xff09;,将数n分解质因数&#xff0c;并按照质因数从小到大的顺序输出每个质因数的底数和指数。 输入 5 输出 5 1 输入 10 输出 2 1 5 1 朴素解法&#xff1a; 首先求出1~n的所有质数…

༺༽༾ཊ—Unity之-02-简单工厂模式—ཏ༿༼༻

首先我们打开一个项目 在这个初始界面我们需要做一些准备工作 建基础通用包 创建一个Plane 重置后 缩放100倍 加一个颜色 任务&#xff1a;使用【简单工厂模式】生成四种不同怪物 【按不同路径移动】 首先资源商店下载四个怪物模型 接下来我们选取四个怪物作为预制体并分别起名…

Git 入门精讲

我们为什么要学习git&#xff1f; 就当下的发展而言&#xff0c;只要你从事开发就一定会接触git。作为最强大的分布式版本控制器&#xff0c;git 与 svn 有着本质上的区别。 Git是一种分布式版本控制系统&#xff0c;每个开发者都可以在本地维护完整的代码库&#xff0c;可以离…

第21课 在Android Native开发中架起java与c++互通的桥梁

在开始本节课&#xff0c;我尝试把项目拷贝到另一台电脑上以便继续工作&#xff0c;但出现了大量的“could not be resolved”问题&#xff0c;尝试包含新的include路径也无法解决该问题&#xff0c;最后删除了项目的Native Support&#xff0c;然后重新添加Native Support才解…

HarmonyOS鸿蒙学习基础篇 - Text文本组件

该组件从API Version 7开始支持。后续版本如有新增内容&#xff0c;则采用上角标单独标记该内容的起始版本。 Text文本组件是可以显示一段文本的组件。该组件从API Version 7开始支持&#xff0c;从API version 9开始&#xff0c;该接口支持在ArkTS卡片中使用。 子组件 可…

【时间序列篇】基于LSTM的序列分类-Pytorch实现 part2 自有数据集构建

系列文章目录 【时间序列篇】基于LSTM的序列分类-Pytorch实现 part1 案例复现 【时间序列篇】基于LSTM的序列分类-Pytorch实现 part2 自有数据集构建 【时间序列篇】基于LSTM的序列分类-Pytorch实现 part3 化为己用 在一个人体姿态估计的任务中&#xff0c;需要用深度学习模型…

上门服务小程序|预约上门服务系统开发有哪些功能?

在现代快节奏的生活中&#xff0c;压力和疲劳常常困扰着我们。为了缓解这种状况&#xff0c;越来越多的人选择去按摩店进行放松。然而&#xff0c;繁忙的工作和家庭责任往往让我们无法抽出时间去按摩店。在这种情况下&#xff0c;上门按摩服务应运而生。而随着科技的发展&#…

VI / VIM的使用

vi/vim 的区别简单点来说&#xff0c;它们都是多模式编辑器&#xff0c;不同的是 vim 是 vi 的升级版本&#xff0c;它不仅兼容 vi 的所有指令&#xff0c;而且 还有一些新的特性在里面。例如语法加亮&#xff0c;可视化操作不仅可以在终端运行&#xff0c;也可以运行于 x win…

SpringMVC第二天

今日内容 能够掌握SSM整合的流程 能够编写SSM整合功能模块类 能够使用Result统一表现层响应结果 能够编写异常处理器进行项目异常 能够完成SSM整合前端页面发送请求实现增删改查操作 能够编写拦截器并配置拦截器 一、SSM整合【重点】 1 SSM整合配置 问题导入 请描述“SSM整…

IntelliJ IDE 插件开发 | (五)VFS 与编辑器

系列文章 IntelliJ IDE 插件开发 |&#xff08;一&#xff09;快速入门IntelliJ IDE 插件开发 |&#xff08;二&#xff09;UI 界面与数据持久化IntelliJ IDE 插件开发 |&#xff08;三&#xff09;消息通知与事件监听IntelliJ IDE 插件开发 |&#xff08;四&#xff09;来查收…