1 范围

1.1 引言

随着企业信息化、数字化、智能化进程的不断推进，以人工智能为基础的视频智能识别分析，作用于施工作业现场人员的安全管控，成为一种更加精准、高效的方式，借助摄像头、传感器等辅助采集设备，实时监测施工现场人员的操作以及行为规范。

1.2 系统概述

工程施工安全检测对于存在的安全风险或违规行为即时的给予告警，传统基于监控的事后人工核查方式，存在时空覆盖不全，易造成漏查、未查等问题，基于边缘智能的视频分析技术，借助边缘计算设备，在监控源头提供近端智能分析服务，实现对违章行为的实时识别分析，智能化的解析出具体违章信息及人员信息，从而将视频这种非结构数据转化为结构化数据，为后续决策分析提供基础。

1.3 文档概述

本文档主要从技术层面介绍工程施工安全检测系统的使用场景、所涉及技术领域及技术路线。

2 工程施工安全检测系统应用场景

工程施工安全检测系统具有广泛应用于各工程制造检测领域的特点，涉及工程施工安全是指各种工程施工中的安全生产。电力电子工程、爆破工程、基础工程、脚手架工程、核电工程等工程作业施工，由于使用机械、电气，以及施工现场安全环境的有限性和客观存在的危险及危害，使安全生产显得非常重要。
工程施工作业主要包括安全检查、受限空间作业、应急设备应用、动火作业和其它特定作业等场景，如图1所示。

图1 工程施工作业场景

2.1 作业操作安全检查

（1）人员检查
主要用于识别是否为持证作业操作人员，主要运用技术包括人脸识别技术、指纹识别技术和智能门禁技术，对作业人员进行生物及证件甄别，防止非法人员进入操作区域。
（2）防护检查
为保证作业操作人员安全性，需对其护具等方面进行安全检查，主要包括安全帽、防护手套、专用鞋、防护服、防护面罩眼罩等进行识别，主要运用AI技术实现防护检查。

2.2 受限空间作业安全检测

受限空间作业安全检测主要包括环境检测、操作行为检测、报警行为检测等。
（1）环境检测
受限空间环境检测包括气体、光、温湿度等方面等异常情况报警，所述环境检测系统包括：传感器单元模块、MCU单元、CPU单元、通讯单元、无线传输单元和报警器单元等；
（2）行为检测
多受限空间作业实操进行行为检测，使用红外技术，开关量信号检测技术对操作人员行为流程做出正确性识别。
（3）报警行为检测
当作业操作人员在受限空间内遇到紧急情况可与外界取得联系，可使用有线通讯技术可及时通知外界进行求助。

2.3 应急设备操作行为检测

使用AI、开关量信号传感器、压力传感器、语音识别等检测技术实现对操作人员应对紧急情况下应急设备的操作进行正确性识别。

2.4 动火作业安全检测

（1）动火行为检测
使用AI识别技术及传感器监测技术综合实现对动火行为操作的合规性。
（2）消防安全检测
采用AI技术识别专用物体位置及具体等数据，以此识别消防安全设备的摆放安全距离，同时识别消防设备是否有缺失。

3 工程施工安全检测系统设计方案概述

工程施工安全检测系统设计方案主要包含AI识别系统、嵌入式系统和人机交互系统设计。

3.1 AI识别系统

系统采用 CS 架构的方式。客户端主要分为采集端以及交互端。采集端使用摄像头硬件进行现场视频的实时采集工作。交互端主要有两种，一种是浏览器主要是管理人员使用的，可以在平台上场地管理、设备管理、查看回放、实时以及查看告警信息等主要功能。另外一种是大屏端，大屏端主要全局的展示监控信息、告警信息以及各种指标的汇总，增强数据的交互体验，实时监控与预警，快速做出决策。采集端负责数据采集，实时推送到流媒体服务。流媒体的视频会通过 AI 监测服务的检查。有预警或者不合规的视频会写入到数据库记录在册，同时推送给业务服务，最终会展示给客户端，同时支持摄像头语音实时播报提醒，AI整体框架如图2所示。

图2 AI整体框架

3.2 AI关键技术介绍

工程施工安全系统中所用AI关键技术应用方向主要有人与物识别、距离识别、PTZ跟踪变焦（行为识别）和事件检测等。

3.2.1人与物识别

通过AI人与物识别关键技术，对作业操作人员护具佩戴、安全帽、安全带、手套、防护服、鞋子、洗眼器进行捕获图像等。运行图像识别和分析算法，视频分析人员、场景等对动态画面捕捉出有效数据。
（1）机器学习，神经网络、支持向量机、决策树；
（2）计算机视觉：图像预处理、特征提取、目标检测、跟踪和分割等；
（3）并行计算：GPU加速、多线程和分布式计算；
（4）数据存储和管理：使用高效的数据存储和管理技术，如NoSQL数据库和分布式文件系统等；
（5）云计算：图像识别和分析算法可以在云平台上运行，弹性伸缩和高可用性等优势；
（6）物联网技术：视频采集设备和数据分析平台连接起来，实时的视频监控和分析；
（7）人工智能芯片：视频分析、图像识别和分析算法可以在嵌入式设备上运行，实现智能化应用；
使用SSD裁剪识别区域，然后用CNN检测目标是否合规，检测到不合规的信号，上传服务器，服务器推送信号到手机端或者指挥大屏，提醒管理人员，检测到的安全风险或违规行为业务服务，算法需要针对施工现场的特定情况进行训练和优化，识别率高达90%以上，如图3所示人与物识别场景。

图3所示人与物识别场景

3.2.2 距离识别

通过AI距离识别关键技术，对消防设备等对象与对象之间的距离进行安全距离识别，距离识别流程如下。
（1）采集图像数据：使用摄像头对物体进行拍摄，获取图像数据；
（2）物体检测和跟踪：使用计算机视觉技术，如目标检测和跟踪，对物体进行定位和跟踪，获取物体在图像中的位置信息；
（3）计算像素距离：使用几何计算方法，通过物体在图像中的位置信息，计算出物体之间的像素距离；
（4）校准距离：由于不同距离下物体在图像中的大小不同，需要进行距离校准，即在已知距离下，测量物体在图像中的大小，建立物体大小和距离之间的关系，以便准确地计算距离；
（5）输出距离数据：将计算出的距离数据存库，应用到业务中来判断两个物体是不是合规的安全距离 ；
AI检测的精度和可靠性取决于许多因素，如图像质量、光照条件和算法的复杂度等。在实际应用中，需要根据具体情况进行调整和优化，以提高检测的准确性和效率。准确性高达90%以上。

3.2.3 PTZ跟踪变焦（行为识别）

PTZ（Pan-Tilt-Zoom）跟踪变焦是指摄像机在水平、垂直方向上的转动和焦距的变化，通过控制摄像机云台的转动和镜头的放大或缩小来实现。借助摄像机的机械结构和电子控制系统。云台是一个可以旋转的机械结构，可以控制摄像机的水平和垂直方向的转动。镜头是另一个机械结构，通过电子信号控制放大或缩小，从而调整焦距。通过对摄像机的控制信号进行处理，使得摄像机能够跟随目标物体进行移动，并在需要时自动调整焦距。涉及到图像识别、目标跟踪、信号处理等技术，如图4所示场景模型。

图4 行为识别场景模型
场景中有多个对象时，会将跟踪对象放入队列中，通过轮询的方式实现对多人的跟踪抓拍。由于全景摄像头和细节球机坐标系不同，而在后续检测结果合并时，需要将检测结果转换到统一坐标中，因此需在获取抓拍图片时记录相应的坐标信息。通过跟踪变焦，可实现远距离目标的清晰抓拍，为后续远距离人脸识别、小目标检测等检测模型提供高质量的数据，从数据层面来保证模型的检测精度。

3.2.4 事件检测（模型培优）

将传统基于单帧的检测方式转换为基于多帧的检测，以减少模型误判，保证模型的检测精度。传统单帧的检测方式严重依赖模型的效果，一旦模型出现误判，无法自我纠正。而基于多帧决策的方式，将多帧的结果进行汇总，并依据统计来判定是否为违规异常，从而大幅度较少模型的误判，降低了模型学习优化的难度。
事件检测基于内存数据库实现对检测结果的增删改查，同时防止模型在检测到异常时，不间断触发报警的情况，通过定时器来控制报警间隔，如图5事件检测场景模型。

图5事件检测场景模型

3.3 嵌入式系统

工程施工安全检测中嵌入式系统主要包括MCU/CPU应用技术、传感器应用技术、数字电子技术、模拟电子技术、通讯技术和C++等关键技术，嵌入式系统总体应用框架如图6所示。

图6 嵌入式系统
嵌入式系统主要实现对施工作业空间中物理信号、变化信号等模拟及数字量进行采集，通过有线及无线通讯方式实现与终端进行信息交互，并实现报警或行为指引。

3.4 人机交互系统

人机交互系统主要实现将AI系统及嵌入式系统进行数据整合，并实现终端可操作化人机交互系统，主要包括认证相关、用户管理、场所管理、设备管理、告警管理、历史查询、实时查询、数据可视化，使用关系型数据库，存储数据。
架构流程图如图7所示。

图7架构流程图

4 技术难点

（1）特定环境下气体传感器类型可能需要多种专用综合应用，需进行数据整合；
（2）传感器监测数据敏感度会随着时间推移衰减，增加算法等手段进行反馈控制；
（3）特定位置的适配性，可能涉及结构件和设备进行定制；
（4）系统供电环境策划难度较大；
（5）是否需要满足执行相关行业标准。
（6）AI 图片识别的准确性很大程度上取决于训练数据的质量和多样性。如果数据集不够多样，或者存在偏差，那么模型就会存在误判的情况；
（7）对于复杂场景和抽象概念的理解能力相对较弱。AI 图片识别技术对于人类所理解的抽象概念的识别能力相对较弱，而且对于复杂场景的识别也比较困难；
（8）隐私问题，比如一些公司可能会通过 AI 图片识别技术收集用户的信息，这可能会引起一些争议；
（9）AI 图片识别技术可能受到对抗攻击的影响，即攻击者可以通过一些特定的方法来欺骗 AI 模型，让其误判。这可能会导致安全和隐私问题；
（10）特定场景设计1:1场景还原；

5 风险评估

AI模型需要训练，识别率依赖数据量的积累和长期的算法优化。