Detection of Bird Nests on Power Line Patrol Using Single Shot Detector

Abstract

• 电力塔上鸟巢的存在对输电线路的安全稳定构成了威胁。近年来，利用无人机探测输电线路上的鸟巢已成为电力巡检的重要任务之一。图像处理方法从计算机视觉向功率图像识别的迁移日益成为一种趋势。本文提出了单镜头检测器与HSV色彩空间滤波器相结合的检测方法，利用不同光照角度下颜色跨度较大的图像特征对鸟巢进行识别。利用微调后的单镜头检测器网络对鸟巢进行识别，并将检测结果裁剪成子图像。然后使用基于HSV色彩空间的选择器对子图像进行过滤，其中不包含可被像素百分比去除的鸟巢对象。实验结果表明，该方法能够准确地检测出测试传输线检测图像中的鸟巢，准确率可达98.23%。与其他单一的传统方法相比，本文提出的结合深度学习和HSV色彩空间滤波器的鸟巢检测方法大大提高了检测精度。

• 论文地址：Detection of Bird Nests on Power Line Patrol Using Single Shot Detector | IEEE Conference Publication | IEEE Xplore

INTRODUCTION

• 近年来，随着生态环境的改善和对野生鸟类保护的加强，各类鸟类的数量有所增加，鸟类的活动也更加频繁。鸟巢的树枝容易被大风吹走，使鸟巢内的电线落在电源线上造成接地跳电事故，而鸟粪的掉落可能在绝缘子之间形成导电通道，使绝缘子闪光。在每年因鸟类活动引起的线路故障总数中，线路故障仅次于雷击损坏和外因损坏排在第三位，直接影响到输电线路的安全稳定。目前，对鸟巢的检查主要依靠人工检查或航拍图像进行人工筛选，工作量大，效率低。因此，在输电线路巡检作业中对航拍图像进行自动检测，可以减轻电力工作人员的负担，具有重要的现实意义。

• 如今，利用无人机进行架空输电线路巡检的方式已经逐步在全国范围内得到应用，无人机巡检主要是先对输电线路的关键部件进行大量拍摄，然后在这些图像中检测关键部件。对输电线路关键部件的识别与检测有多种研究。杆塔识别方面的研究成果如下。

• 刘提出了Haar特征和级联AdaBoost冲击锤识别算法，将机器学习算法融合到锤的检测中，在识别上取得了很好的效果。

• 彭利用激光点云中杆塔密度大、高差大的特点，利用规则激光点云对杆塔进行定位，在大尺度、宽视域背景下计算量大，在多极塔识别中因误判效果不佳。

• 在传输线识别中，唐提出了一种利用自适应阈值霍夫变换检测图像中的候选线路，然后通过模糊聚类算法将电力线与候选线路区分开来的方法，该方法对中断敏感，对传输线图像质量要求高。

• 杜利用hou的启发式知识集确定了传统贝叶斯分类器的先验概率和后验概率，并提出了改进贝叶斯分类器的想法，将机器学习的思想应用到传输线的识别中，但由于计算能力等因素导致识别效果不佳。

• Luqman Maraaba将前馈神经网络集成到鸟巢模型中，首先利用边缘分割算法对背景进行滤波，然后通过训练多层前馈神经网络预测绝缘子污染程度，开发出一种能够准确估计绝缘子污染程度的工具。

• 随着近年来深度学习在图像目标识别领域的快速发展，基于SPP-NET、SSD、YOLOv3、RCNN、Faster R-CNN等中性网络的目标检测算法在传输线关键部件的检测方面取得了很大的成绩。

• 例如，王使用Faster-RCNN神经网络对包括绝缘子、冲击锤、间隔器在内的多类部件进行检测，其性能优于传统的人工算法，但单独检测难以达到更好的效果。

• Zenan Ling将绝缘子自爆定位问题分为两部分，即基于fastrcnn的目标检测问题和基于U-net的像素分类问题，这是一种新颖的方法。

• Michael Gerke训练了一个线感知目标检测网络，该网络从不同的图像中学习不同的特征。

• 以上研究可分为两种思路:一是传统的通过建模、阈值、聚类等方法处理功率图像的方法，局限于单个部件的识别，识别算法往往比较繁琐，准确率较低。其次，深度图像识别方法旨在寻找最合适的函数，利用卷积网络的辅助工具对大量幂图像进行拟合和训练，其效果较好，但硬件越大，需要的数据也越大，往往需要更长的训练周期才能获得更准确的识别效果。考虑到鸟巢的危害性，平衡现有算法的识别精度和速度，有必要对鸟巢的检测进行进一步的研究。

• 针对上述问题，提出了一种Single Shot Detector与hsv色彩空间相结合的鸟巢检测方法。首先，利用微调训练的Single Shot Detector目标检测网络对鸟巢的电力巡逻图像进行检测，截取测试结果的子图区域，然后根据鸟巢的颜色范围设置颜色空间对这些区域进行过滤，再根据鸟巢区域的像素丰满度对子图进行再次筛选，最后完成对鸟巢图像的检测。

DETECTION PRINCIPLE OF BIRD NESTS

• 无人机拍摄的图像分辨率大，而鸟巢面积小，增加了对鸟巢检测的挑战。由于拍摄角度、焦距、光线角度的不同，图像呈现轮廓模糊、尺度不同的特点。为了提高电力巡逻中鸟巢检测的准确性，提出了一种基于深度卷积神经网络和色彩空间的鸟巢检测方法，检测原理如下图所示。首先，需要通过Single Detector Shot卷积网络在鸟巢数据集上对预训练好的模型进行进一步的微调训练，即冻结预训练模型的剩余卷积层，训练剩余的卷积层，这称为微调;其次，利用微调后的Single Shot Detector检测网络对电力巡逻燕窝图像进行初始检测;最后，根据预测框从原始图像中截取相应的检测区域，通过基于hsv色彩空间的滤波器对检测区域进行滤波，最终完成功率图像中的鸟巢检测。

  • 

Detection Algorithm of Single Shot Detector

• 随着深度学习技术的兴起，基于卷积结构的神经网络对图像进行分类的能力逐渐得到重视。近年来，主流的卷积神经网络如Faster-RCNN和YOLO在图像分类和识别中得到了广泛的应用。Faster-RCNN作为一种经典的目标检测网络，由于采用两阶段检测策略和共享卷积层策略，其检测精度较高，但检测速度较慢。后期发展的YOLO目标检测网络，采用端到端检测方法，提高了图像检测的速度，但牺牲了一定的精度。Single Shot Detector网络继承了YOLO的检测速度和Faster R-CNN的精度，通过多层多尺度检测，以及继承Anchor Box的区域检测机制，满足了检测精度和实时性的要求。如上图所示，该网络由VGG16网络和多尺度特征提取网络组成。该网络由VGG16网络和多尺度特征提取网络组成。Single Shot Detector将VGG16的后两个全连接层转换为卷积层，再添加4个卷积层进行多尺度鸟类检测。

• 图像中的鸟巢通常具有不同的尺度，常规方法通常在一层特征图上进行检测，多尺度目标检测效果不佳。低级特征图具有详细信息，而高级特征图具有高级语义信息。SSD结合了两者的鸟巢检测。

• SSD的输出分为六个阶段，每个阶段输出一个特征图，然后进行边界回归和分类。Single Shot Detector网络将VGG16卷积网络的前五层作为第一阶段输出层，然后将VGG16中完全连通的两个层fc6和fc7转换为Conv6和Conv7两个卷积层，分别作为网络的第二和第三阶段。

• 此外，单检测器网络继续添加Conv8、Conv9、Conv10和Conv11来提取更高层次的语义信息。在每个阶段操作中，网络包含多个卷积层操作，每个操作本质上都是一个小的卷积。这些额外层的特征图将通过小的卷积操作产生物体的位置偏移和置信度。在目标检测中，大的卷积核倾向于捕获大的目标，而小的接收场可以定位小的目标。因此，顶部的特征图很可能会遗漏对象的细节。添加Inception块来替换最后几层，以增强检测。

• Faster R-CNN提出了一种基于Anchor的区域选择机制Anchor Box，该机制基于给定的Scale和Radio在卷积网络的特征映射上产生多个矩形框。然而，Faster RCNN只在卷积的最后一层使用锚机制。

• Single Shot Detector利用Faster R-CNN中的anchor机制，基于固定的Scale和Radio生成Default Boxes，如下图所示，并将其应用于多个不同的feature map，使得网络在不同的层上的receptive Field不同，检测到的对象尺度更加多样化。

  • 

• Single Shot Detector 的损耗包括分类损耗和回归损耗两部分。

  • L ( x , c , l , g ) = 1 N ( L c o n f ( x , c ) + α L l o c ( x , l , g ) ) L l o c ( x , l , g ) = ∑ i ∈ P o s N ∑ m ∈ { x , y , w , h } x i j k s m o o t h L 1 ( l i m − g ^ j m ) L c o n f ( x , c ) = − ∑ i ∈ P O s N x i j p l o g ( c ^ i p ) − ∑ i ∈ N e g l o g ( c ^ i 0 ) L(x,c,l,g)=\frac{1}{N}(L_{conf}(x,c)+\alpha L_{loc}(x,l,g))\\ L_{loc}(x,l,g)=\sum^N_{i\in Pos}\sum_{m\in \{x,y,w,h\}}x^k_{ij} smooth_{L1}(l^m_i-\hat g_j^m)\\ L_{conf}(x,c)=-\sum^N_{i\in POs}x^p_{ij}log(\hat c^p_i)-\sum_{i\in Neg}log(\hat c^0_i) L(x,c,l,g)=N1​(Lconf​(x,c)+αLloc​(x,l,g))Lloc​(x,l,g)=i∈Pos∑N​m∈{x,y,w,h}∑​xijk​smoothL1​(lim​−g^​jm​)Lconf​(x,c)=−i∈POs∑N​xijp​log(c^ip​)−i∈Neg∑​log(c^i0​)

  • 式中，N为阳性样本个数，即。默认成功的盒数，当N = 0时，整个网络损失设置为0。Alpha α是一个控制分类损失和回归损失比例的超参数，在实现中Single Shot Detector通过交叉验证将其设置为1。

• 在Regression中采用 Smooth L1，类似于Fast R-CNN。L1 表示预测框与默认框之间的偏移量，即网络的四个输出，gj 表示真值框与默认框之间的偏移量。该函数通过对齐预测值与默认框之间的差值以及实际值与默认框之间的差值，使预测值更接近真实值。

Detection Algorithm of Color Space on Bird Nests

• 颜色空间是颜色坐标和颜色子空间的展示。色彩空间有很多种，常用的有RGB、CMY、HSV、HSI等。提出HSV色彩空间易于数字化，本文首先对鸟巢候选区域的色彩空间进行变换，利用HSV色彩空间量化提取鸟巢的色彩特征。

• 区间选择器如下:首先将动力巡逻燕窝图像候选区域由RGB色彩空间转换为HSV空间，将HSV中的H分量归一化为0-180，将S和V分量归一化为0-240。其次，根据色彩和主观感知范围的不同，将H(色调)分量划分为9个子区间，将S(饱和度)分量和V(明度)分量划分为12个子区间。

• 根据HSV颜色量化子区间，将动力检测鸟巢图像分割为1296个子图，其中:

  • 当V处于第一子区间和第二子区间时，图像检测区域为黑色，被排除。

  • 当S在第1个子区间，V在第10个子区间和第11个子区间时，图像检测区域为白色，被排除。

  • 其他子区间之外的区域是一个彩色区域，它被保留并搜索巢区域。

• 通过对图像检测区域色调与鸟巢最相似的电力检测图像进行采集和分析，鸟巢区域的H、S、V分量分别主要集中在[100,120]、[0,80]、[40,200]处。

Evaluation of Detection results

• 对无人机检测的鸟巢图像进行预处理，检测出鸟巢的目标后，就可以对鸟巢区域的检测效果进行评价。嵌套图像检测结果评价方法的数据源包括基于单镜头检测器卷积神经网络和HSV色彩空间的两个度量。

• 首先，基于IOU (Intersection Over Union)的深度卷积神经网络对鸟巢 power inspection image的测量指标;其次，检测模型的度量是基于分类/定位损失。IOU (Intersection over Union)是衡量在特定数据集中检测相应对象的准确性的标准，如PASCAL VOC数据集和COCO数据集。本文基于PASCAL VOC数据集的格式，采用IOU标准计算巢状图像的目标检测结果，并计算预测的置信度。

• 图像由SSD检测，然后进行色彩空间滤波。过滤后的鸟巢图像结果由PP测量，PP表示鸟巢实际像素在鸟巢图像检测ROI中所占的空间，表示属于鸟巢的像素百分比。本文提出用像素百分比PP来表示滤波结果。PP的计算公式如下:

  • $$PP=\frac{\sum pcount}{width\ast height}$$

  • 在此之上，pcount表示H、S和V分量检测到的每个像素点。其中，width和height分别表示ROI图像的图像宽度和高度。用PP计算过滤结果的个数，然后对检测结果进行评估。

• 检测结果有四种:TP、TN、FP、FN。在计算这些指标之后，计算出最终的巢检测中四种类型结果的数量。对鸟巢图像检测方法进行了精密度、召回率和f值的综合评价。F值作为Precision和Recall之间的混合值，用于综合评价分类或检测的效果。通过对上述各项参数的计算，得出了鸟巢检测的最终结果。

EXPERIMENT AND ANALYSIS

• 本文对电力巡检图像数据集进行预处理，并将Single Shot Detector目标检测网络应用于电力巡检的鸟巢图像检测。然后，利用OpenCV构建图像处理工具，构造颜色空间的面积滤波器，对巢的面积进行滤波。

Experimental environment and data

• 实验计算平台的软硬件配置如下:Win 10, Intel酷睿i9-7920X @ 2.90 ghz12cpu, GTX 1080 Ti gpu, CUDA 9.0, cuDNN 6.0, 32GB内存，Tensorflow-gpu版本1.9.0。

• 实验数据集由971个带标签的电力巡逻鸟巢图像组成，用于训练和测试。按照一定的比例，将所有图像分成两部分:650张训练图像和321张测试图像。并在数据集上进行了实验。

Results and Analysis

• 本文提出的鸟巢检测方法主要包括两个部分:1)目标网络的检测;2) ROI图像的滤波。

• Shot Detector目标检测模型被训练为预加载COCO数据集中训练的权值，然后使用局部巢数据集对网络进行微调。进一步，将batchsize设置为在线学习，将学习率设置为0.0003，当训练到20000时将学习率衰减为0.0001，将图像缩放设置为300×300，非最大抑制(NMS)设置为200，正负样本阈值设置为0.75和0.25，使用随机梯度下降(SGD)对参数进行优化，训练步数设置为50000，批量记录模型。模型随训练步数的分类和回归损失曲线如下图所示。

  • 

  • 随训练步骤分类和定位的训练损失

• 可以明显地看到，随着训练步长的增加，分类和回归的损失逐渐减小，模型经过一定的波动收敛。步长达到50000后减小到0.15。因此，将50000步的模型冻结为巢检测模型。模型的平均准确率测试为96.47%，AP测试为60.90%，如下图所示，可以有效地找到鸟巢。

  • 

  • Precision-Recall curve

• 本文共测试了321张鸟巢图像，其中有331个筑巢目标。巢目标数为229个，IOUs和Scores的阈值分别为0.5和0.9。其中，正确识别的巢223个，未识别的巢104个，错误识别的巢6个。然后，利用基于HSV色彩空间的方法对巢的ROI区域进行过滤，PP值的设定值为10%。最后，从检测到的229个巢状ROI区域中选择227个巢状ROI区域，其中223个识别正确，4个识别错误。鸟窝检测准确率高达98.23%，召回率仍为67.37%。

• 经过测试的图像如下图所示，可以看出本文方法对鸟巢的检测效果非常好。从下图(a)中可以清楚地看到，鸟巢的颜色与背景的颜色混合在一起，而且鸟巢图像中的物体比例很小。在下图(b)中，鸟巢的边界在阳光下被模糊，使得鸟巢的颜色变成白色。而在下图©中，鸟巢的目标被电力塔遮挡，缺乏阳光，鸟巢更难被发现。因此，提出了一种基于SSD的方法，可以有效地检测电力线巡逻中的鸟巢。

  • 

  • 鸟巢检测结果用于检测图像

Influence of different methods

• 为了验证本文提出的鸟巢检测方法的有效性，对同一情况下的鸟巢数据集进行了不同检测方法的比较。

• 从下图可以看出，hsv颜色空间的精度下降到39.27%，召回值为36.1，这表明单一应用hsv颜色空间算法在电力线鸟巢检测中的表现很尴尬。因此，hsv色彩空间算法在F1值上得到37.61%。

  • 

  • Comparison of different detection methods

• 单镜头探测器的相同值类似地显示在图8（论文内没找到）中。从单镜头检测器的值可以看出，精确度达到96.47%，与hsv色彩空间的方法相比有了较大的提高，召回率达到67.3%，与hsv色彩空间的方法相比有了较小的提高，F1值达到79.33%。

• 本文提出的方法的上述指标，结合两种方法是最高的。由此可见，在hsv色彩空间算法的辅助下，单镜头检测器方法在不改变召回值的情况下，对鸟巢的检测精度有较大提高，有待进一步研究。

CONCLUSION

• 本文提出的无人机动力巡逻图像鸟巢检测方法将深度卷积神经网络与色彩空间相结合，利用了卷积神经网络的高级图像特征和色彩空间的色彩特征的学习能力，补偿了卷积神经网络的鲁棒性，进一步提高了嵌套检测结果。本文提出的方法在验证数据集上的准确率为98.23%，F值为79.92%，与单卷积神经网络方法相比，证明了该方法的有效性。对电力自检具有一定的参考价值。