电力工程技术  2022, Vol. 41 Issue (2): 171-178  
0

引用本文  

魏业文, 李梅, 解园琳, 等. 基于改进Faster-RCNN的输电线路巡检图像检测[J]. 电力工程技术, 2022, 41(2): 171-178.
WEI Yewen, LI Mei, XIE Yuanlin, et al. Transmission line inspection image detection based on improved Faster-RCNN[J]. Electric Power Engineering Technology, 2022, 41(2): 171-178.

基金项目

国家自然科学基金资助项目(52007102);湖北省重点研发计划资助项目(2020BAB110)

作者简介

魏业文(1987),男,博士,讲师,研究方向为输电线路智能巡检、故障检测技术等(E-mail:weiyewen8@126.com); 李梅(1996),女,硕士在读,研究方向为输电线路智能巡检、故障检测技术; 解园琳(1997),男,硕士在读,研究方向为输电线路智能巡检、故障检测技术.

文章历史

收稿日期:2021-09-18
修回日期:2021-12-05
DOI: 10.12158/j.2096-3203.2022.02.023
文章编号: 2096-3203(2022)02-0171-08   中图分类号: TM755   
基于改进Faster-RCNN的输电线路巡检图像检测
魏业文1,2, 李梅1, 解园琳1, 戴北城1    
1. 三峡大学电气与新能源学院,湖北 宜昌 443002;
2. 湖北省输电线路工程技术研究中心(三峡大学),湖北 宜昌 443002
摘要:针对传统输电线路目标巡检图像识别方法响应速度慢、准确率不高的问题,文中提出一种改进的更快速区域卷积神经网络(Faster-RCNN)深度学习识别算法。通过轻量化卷积神经网络(ZFnet)提取图像特征,并重置模型参数以获取更多目标细节;利用Faster-RCNN对目标进行检测,由子网络区域提议模型生成目标候选框和快速区域卷积神经网络(Fast-RCNN)进行参数调优,并在Faster-RCNN输出部分引入精炼阶段,增加目标特征的分类细化和回归细化,将存在目标的多个边界框合并,实现精确分类以及坐标定位。实验结果表明:改进Faster-RCNN算法可有效识别线路设备及设备缺陷,总体识别率达到93.5%,响应时间在1 s内。与图像识别法或单步多阶目标检测(SSD)、实时快速目标检测(YOLO)深度学习法相比,所提算法提高了电力设备的识别精度与响应速度,在输电线路智能巡检中具有一定的优越性。
关键词输电线路巡检    图像识别    深度学习    卷积神经网络    特征提取    区域提议网络    
0 引言

输电线路是电力输送的载体,绝缘子、均压环等电气设备作为输电线路中的重要组成部分,主要起着支撑固定线路、改善电压分布、承受负荷压力等稳定线路的作用。然而输电线路设备在复杂的户外环境下时常遭到破坏,容易出现电气闪络、材料老化等情况[1-3]。输电线路上鸟巢等异物也可能降低设备的绝缘强度,导致线路跳闸等故障,进而引发停电事故[4-7]。因此,对输电线路设备及异物进行巡检识别是保证电网安全稳定运行的关键。

目前,我国普遍使用的输电线路巡检方式是无人机巡检,不受气候与地形限制,可多角度精准拍摄,具有较高的可靠性[8-9]。无人机巡检通过采集海量数据,由人工进行电力设备及设备缺陷的识别,但是人眼精力有限,排查时不但耗时耗力,且数据量大,容易出现错误的判断[10-11],因此,实现自动识别图像中的电力设备及设备缺陷能极大地加快输电线路巡检的速度,提高故障切除的效率。

传统的目标识别方法主要通过对图像进行预处理,提取目标的轮廓特征来达到识别的目的。文献[12-13]通过图像分割、边缘检测提取电力设备特征信息进行识别,虽能够达到识别的目的,但是并未考虑多变的环境对图像识别的影响,而且识别响应时间较慢,无法满足现代电网发展的需求。而深度学习凭借优异的性能不断发展,为解决上述问题提供了思路[14],其检测方法主要分为单阶法和双阶法2类。单阶法包括实时快速目标检测(you only look once,YOLO)法和单步多阶目标检测(single shot multibox detector,SSD)法等[15],是基于回归的思想直接对目标进行识别与分类。双阶法包括区域卷积神经网络(region convolutional neural network,RCNN)、快速区域卷积神经网络(fast-region convolutional neural network,Fast-RCNN)以及更快速区域卷积神经网络(faster-region convolutional neural network,Faster-RCNN)等,是基于生成大量目标候选框进行特征提取实现检测[16-17]。文献[18]通过YOLO算法对多尺度多环境下的杆塔状态进行精准识别,但未能实现电力小部件的检测;文献[19]采用Faster-RCNN算法将隐患目标与背景通过泊松融合来输出合成样本,提升了识别物体的性能,但识别精度和识别速度还有待进一步优化。

上述研究方法虽取得了一定的成果,但其仅限于单一的目标识别,并不能全面地进行输电线路识别。而且随着电力数据的增长,算法的数据处理能力有限,识别速度和识别精度难以满足现场需求。为了能够在复杂环境下快速识别并精确定位输电线路设备及设备缺陷,文中基于Faster-RCNN深度学习算法,将轻量化卷积神经网络(zeiler and fergus net,ZFnet)作为预训练模型,并改变其网络参数以提取更多目标特征,增强网络训练能力。改进Faster-RCNN深度学习模型,在网络输出阶段增加精炼网络进行检测细化,实现目标的精确识别定位。实验结果表明,相较于传统算法,该方法有效提高了对输电线路目标的识别和定位精度,在输电线路安全运行方面可提供较高的可靠性。

1 基于Faster-RCNN的深度学习算法 1.1 Faster-RCNN算法框架

Faster-RCNN网络框架主要由2个子网组成,分别为区域提议网络(region proposal network,RPN)和Fast-RCNN检测网络[20-21],如图 1所示。RPN主要生成高质量的区域提议候选框,通过分类函数和边框回归函数判断并修正候选框,初步定位目标。输入的图像首先由卷积神经网络提取特征,RPN和Fast-RCNN检测网络共享该特征。进入2个子网后,RPN首先经过3×3卷积核卷积,再将卷积结果输入到2个1×1大小的卷积核分别进行运算。其中一个卷积核将特征图经Reshape处理转换格式后,由Softmax函数判断获取的锚框是否存在目标对象;另一个卷积核后接回归函数用以确定对象坐标。Fast-RCNN检测网络中的感兴趣区域(region of interst,ROI),将卷积特征与提议候选框信息综合,提取出统一大小的提议特征块输入到全连接层[23-24]。再次利用分类函数计算提议特征块的类别,以及利用边框回归函数精确定位检测框的位置。

图 1 Faster-RCNN的网络框架 Fig. 1 Network structure of Faster-RCNN
1.2 RPN

RPN实质为一个卷积神经网络,以特征图上每个点为中心,采用滑动窗口方式遍历输入进来的特征图,并产生相应的锚点,同时在原图上映射出不同尺度(128,256,512)和不同比例(长宽比分别为1 ∶1,1 ∶2,2 ∶1)的锚点框[25-26],可以使区域提议更准确。RPN结构见图 2,由2个分支组成,其中分类层通过分类函数输出2k得分对目标进行分类,而回归层通过边框回归函数输出4k向量对目标进行坐标定位,去掉太小或超出边界的候选框并不断修正,最终输出可能包含目标的矩形候选框[27-28]

图 2 RPN结构 Fig. 2 Structure of RPN

训练分类器和回归器使用的损失函数公式如下。

分类损失函数为:

$ L_{\mathrm{cls}}\left(p_{i}, p_{i}^{*}\right)=-\lg \left(p_{i} p_{i}^{*}+\left(1-p_{i}^{*}\right)\left(1-p_{i}\right)\right) $ (1)

式中:pi为第i个锚点被预测为目标的可能性;pi*为判别正负标签的函数,其值为1表示锚点为正标签,其值为0表示锚点为负标签。

回归损失函数为:

$ L_{\mathrm{reg}}\left(t_{i}, t_{i}^{*}\right)=\sum\limits_{i \in(x, y, w, h)} M_{\mathrm{smoothL} 1}\left(t_{i}-t_{i}^{*}\right) $ (2)

其中,

$ M_{\text {smoothL } 1}(x)=\left\{\begin{array}{l} 0.5 x^{2} \quad|x|<1 \\ |x|-0.5 \quad|x| \geqslant 1 \end{array}\right. $ (3)

式中:ti为目标物体预测的四维向量坐标值;ti*为实际的四维向量坐标值;MsmoothL1为损失误差。

整个网络的损失函数为分类损失函数和回归损失函数之和,其表达式为:

$ \begin{gathered} L\left(p_{i}, t_{i}\right)=\frac{1}{N_{\mathrm{cls}}} \sum\limits_{i} L_{\mathrm{cls}}\left(p_{i}, p_{i}^{*}\right)+ \\ \lambda \frac{1}{N_{\mathrm{reg}}} \sum\limits_{i} p_{i}^{*} L_{\mathrm{reg}}\left(t_{i}, t_{i}^{*}\right) \end{gathered} $ (4)

式中:λNclsNreg为运算系数。

2 改进Faster-RCNN算法 2.1 改进Faster-RCNN算法框架

在实际输电线路中,电力设备的大小和形状差异较大,例如绝缘子、均压环、线路导线等。由于目标对象的大小不同,为了包含小对象和较大的对象,传统Faster-RCNN给出的提议框都偏大。在这种情况下,系统不仅要处理物体区域本身的变化,还要处理外部区域的变化,检测效率低且产生误差。

为解决上述问题,在传统Faster-RCNN网络结构后面引入了一个精炼阶段,增加了2个细化步骤,分别为分类细化和回归细化。图 3为改进Faster-RCNN算法流程。

图 3 改进Faster-RCNN算法流程 Fig. 3 Flow chart of improved Faster-RCNN algorithm

细化步骤的结构与Faster-RCNN中的分类和回归步骤相似,但是在回归器之前添加了一个新的全连接层,用以整合网络有用的信息。分类细化步骤将卷积特征映射和Faster-RCNN运算中的ROI作为输入,重新进行分类和回归,给出的建议框比之前更接近目标对象,而且可以有效滤除背景造成的影响。回归细化步骤将ROI更精确地移向目标对象,并可在回归优化之后实现对目标对象周围多个边界框的合并,以提高目标对象位置坐标的准确率。

2.2 改进ZFnet模型

深度学习Faster-RCNN框架中卷积神经网络预训练模型的选择至关重要。考虑到检测的时效性以及检测的速度,选择轻量化的卷积神经网络模型ZFnet。ZFnet由5层卷积、3层池化和3层全连接层构成,是由AlexNet演变而来,将第一层的卷积核大小由11×11简化为7×7,并缩短步长为2。ZFnet结构简洁,运行速率快,为了满足在线路巡检中目标识别检测中的高实时性要求,选择ZFnet模型进行预训练。考虑到不同层的卷积核大小对系统特征提取的细节不同以及参数不一致问题,对ZFnet模型进行微调,网络模型如图 4所示。将第一层卷积核大小由7×7改为5×5,增加线路设备目标提取的特征;再将第五层卷积核大小由3×3改为4×4,减小训练模型的参数,缓解网络发生过拟合现象。同时,将池化层卷积核大小由3×3改为2×2,更加细致地进行了特征筛选,丰富了图像的信息提取,抗干扰能力加强,模型更加泛化。

图 4 改进ZFnet模型结构 Fig. 4 Structure of improved ZFnet model
2.3 网络训练

改进Faster-RCNN算法通过2个阶段进行训练:Faster-RCNN训练阶段和精炼网络训练阶段。

2.3.1 Faster-RCNN训练阶段

对改进后的ZFnet模型进行预训练,分别初始化RPN和Fast-RCNN,利用反向传播算法对其特征层和卷积层的权重进行调节优化。再利用训练好的子网络Fast-RCNN初始化RPN,以达到卷积特征的共享,然后再次进行网络调优。在训练过程中,利用交并比函数(intersection over union,IOU)对生成的锚点框标定正负标签。锚点框与真实标注框重叠率在0.6以上或者重叠率最大的区域标记为正标签(包含目标);锚点框与真实标注框重叠率在0.3以下标记为负标签(不包含目标,为背景);剩下的[0.3,0.6]区间不予考虑,不用于最终训练。

2.3.2 精炼网络训练阶段

在精炼阶段,Faster-RCNN的输出区域被作为精炼网络的输入。使用抖动技术对ROI进行训练,在训练分类器的同时训练回归器。在ROI周围随机采样几个边界框后送入精炼阶段, 然后学习位置的变化,在测试中提高定位精度。给定一个宽度为w0,高度为h0,以坐标(x0y0)为中心的ROI,对以(x1y1)为中心的样本边界框按如下方式进行采样:

$ \left\{\begin{array}{l} x_{1}=\Delta x+x_{0} \\ y_{1}=\Delta y+y_{0} \\ w_{1}=\Delta s+w_{0} \\ h_{1}=\Delta s+h_{0} \end{array}\right. $ (5)

式中:Δx,Δy,Δs为在[-r/kr/k]中均匀分布的随机数;r=min(w0h0);k为常数。

通过对精炼阶段的分类器和回归器进行训练,使所有边界框都能更好地选中目标对象。网络训练过程如图 5所示。

图 5 网络训练过程 Fig. 5 Process of network training
3 仿真性能测试

为验证所提改进Faster-RCNN算法的智能识别检测性能,对绝缘子、均压环等电力部件以及缺陷(鸟巢)进行识别检测实验。

3.1 实验环境

文中在64位Windows10操作系统下实验,处理器为Intel(R) Core(TM) i3-3240 CPU,在Anaconda3+Tensorflow框架下完成。构建数据集,样本图像由安装在湖北某地区的试点监控设备拍摄,共600张。为了避免数据集太少导致训练过程产生较大误差,将原始样本进行旋转、剪切、变换比例以及添加噪声等处理以增强数据。将数据增强后的1 800张样本以6 ∶3 ∶1的比例分别作为训练集、测试集和验证集。其中训练集1 080张样本中包含绝缘子、均压环、鸟巢样本各868张,751张,624张。

3.2 数据分析 3.2.1 损失函数

损失函数作为目标检测识别的一个重要评价指标,能直观地反映模型的优劣程度,即损失函数值L收敛越快,则模型表现越优。实验中设置学习率为0.001,迭代次数为10 000,动量为0.9,权重衰减为0.000 5。为了验证文中模型的效果,引入Alexnet,与Faster-RCNN+ZFnet模型和改进Faster-RCNN+改进ZFnet模型进行对比,损失函数曲线L图 6。在初始阶段,3种模型的L都迅速下降,其中改进Faster-RCNN+改进ZFnet模型下降速度最快,损失函数曲线迅速达到收敛。而Faster-RCNN+ZFnet模型和Faster-RCNN+Alexnet模型经过震荡逐渐下降。随着迭代次数的增加,最终3种模型均收敛趋于稳定。相比之下,改进Faster-RCNN+改进ZFnet模型损失函数曲线下降速度最快,波动幅度较小,提前达到收敛,整体性能优于其他2种模型。

图 6 3种模型的损失函数曲线 Fig. 6 The loss function curves of the three models
3.2.2 识别效果

由于Alexnet损失函数收敛情况不如ZFnet,故选用基于ZFnet的Faster-RCNN模型作进一步识别对比。图 7图 8为模型识别效果。

图 7 2种算法识别效果对比 Fig. 7 Comparison ofthe recognition effects of the two algorithms

图 8 杆塔鸟巢识别 Fig. 8 Power tower nest recognition

图 7中Faster-RCNN+ZFnet模型能较好地识别出线路的绝缘子和均压环,但对画面中较远距离及较小尺寸的部件(远处角落的防振锤)没有识别能力,且对双串绝缘子的识别存在漏检的情况,对遮挡的部件检测效果不佳。改进Faster-RCNN+改进ZFnet模型由于其网络精炼再分类,可提取到目标更多的特征和细节,不仅能检测到线路中较远距离的电力部件,而且对线路中绝缘子和均压环的检测精度相较于Faster-RCNN+ZFnet模型有一定提升,对遮挡的双串绝缘子也有较好的识别效果。

杆塔异物多样,如鸟巢、蜂窝等,形态各异严重影响输电线路巡检识别的效果。图 8(a)(b)为Faster-RCNN+ZFnet模型的鸟巢识别效果,图 8(c)(d)为改进Faster-RCNN+改进ZFnet模型的鸟巢识别效果。Faster-RCNN+ZFnet模型能识别出杆塔上的鸟巢,但由于受到较多信息干扰其检测框相对偏大,且在图 8(b)中误将缠绕在一起的电线识别为鸟巢。而改进Faster-RCNN+改进ZFnet模型可针对鸟巢特征进行训练,能够在复杂的背景下保持较好的识别率。与Faster-RCNN+ZFnet模型相比,改进后的模型在鸟巢的识别精度上有较大的提高。

比较Faster-RCNN+ZFnet与改进Faster-RCNN+改进ZFnet模型的性能,从测试集中选取存在绝缘子、均压环和鸟巢的样本各100张,从识别比例(识别出目标的图片与测试图片总数的比率)、速率以及误报率(错误识别目标的图片与测试图片总数的比率)3个方面进行分析,结果如表 1表 2所示。

表 1 Faster-RCNN+ZFnet算法识别效果 Table 1 The recognition effect of the Faster-RCNN and ZFnet algorithm

表 2 改进Faster-RCNN+改进ZFnet算法识别效果 Table 2 The recognition effect of the improved Faster-RCNN and improved ZFnet algorithm

分析可知,对于像绝缘子、均压环等大目标,2种算法都能精确检测,识别比例在90%以上。绝缘子易被遮挡,改进型算法虽耗费一定的时间,但在识别比例上与传统型算法不相上下,且对遮挡的目标有较好的识别效果。改进型算法总体识别比例更高且误报率低于10%,优于传统算法。对于像鸟巢等特征不突出的目标,传统型算法误报率达到13%且时间消耗多,改进型算法相较之下仍能保持快速准确识别,在目标的精准识别上更具优势。

3.2.3 准确率

准确率可作为模型的另一个评价指标,用Aprecision来表示,计算如下:

$ A_{\text {precision }}=\frac{N_{\mathrm{TP}}}{N_{\mathrm{TP}}+N_{\mathrm{FP}}} $ (6)

式中:NTP为所测图片中实际包含电力设备及缺陷等目标并被正确识别的图片数量;NFP为实际没有这些目标但是被错误识别的图片数量。

图 9为基于不同网络(Alexnet和ZFnet)以及改进后的模型总体目标识别准确率对比。随着迭代次数的增加,5种模型的目标识别准确率都逐渐提高。由于改进Faster-RCNN+改进ZFnet算法网络层数略多于其他4种模型,故网络表达能力更强,学习效果更优,能更快达到较高的识别准确率97.1%;改进Faster-RCNN+ZFnet模型的识别准确率为96.5%;Faster-RCNN+改进ZFnet模型的识别准确率为95.7%;传统模型Faster-RCNN+ZFnet经过波动后最终准确率达到95.2%;Faster-RCNN+Alexnet模型准确率达到93.5%。

图 9 5种模型的目标识别准确率对比 Fig. 9 Comparison of target recognition accuracy of five models

经大量的实验验证,文中算法可准确定位出绝大部分的绝缘子、均压环以及鸟巢等目标,但在某些特殊情况下也可能出现错误的检测结果,如图 10所示。在图 10中的不同复杂背景下,改进Faster-RCNN+改进ZFnet模型均能够较好地识别出目标。但图 10(a)中,改进后的模型误将道路指示牌识别为绝缘子,其原因主要是道路指示牌与绝缘子有相似的纹理特征;图 10(b)中,改进后的模型漏检右上方角落中被遮挡的绝缘子,原因是该绝缘子所处位置较远且被周围的钢材大面积遮挡,导致模型获取的目标特征不足。

图 10 算法失效的识别结果 Fig. 10 Recognition result of algorithm failure
3.2.4 平均准确率均值

表 3对比了图像识别法、SSD、YOLO和2种Faster-RCNN算法的平均准确率均值和识别速率,其中平均准确率均值用Emap表示。由表 3可知,图像识别法耗时最久,每张识别时间超过了1 s。而深度学习算法YOLO、SSD、Faster-RCNN的响应时间均在1 s内,且平均准确率均值均在75%以上。这是由于图像识别法不能很好地滤除复杂环境背景的噪声,无法准确识别形态各异的目标。相较于SSD和YOLO,在识别速率相差不大的情况下,2种Faster-RCNN的平均准确率均值均达到90%以上,优于SSD和YOLO。另外比较传统Faster-RCNN+ZFnet和改进Faster-RCNN+改进ZFnet 2种算法,改进后的算法为了加强对目标的特征提取,虽识别速率略低于传统模型,但是其平均准确率均值精度达到93.5%,高出传统模型1.7%。改进Faster-RCNN+改进ZFnet的网络程度更深,提取特征更多、精炼阶段对其进一步分类回归学习,总体表现更优异,性能更可靠。

表 3 不同方法识别性能对比 Table 3 Comparison of recognition performance of different methods
4 结语

文中提出一种输电线路巡检目标图像检测方法,采用改进Faster-RCNN深度学习算法实现对电力设备以及杆塔异物(鸟巢)的识别。通过改变预训练模型ZFnet的卷积核大小,一方面来获取更多的图像特征细节,另一方面减小参数,加快调优;再由改进Faster-RCNN深度学习算法进行目标识别;最后由分类细化和回归细化网络实现目标精准的分类和定位。通过对比不同网络模型以及不同识别算法,验证了改进后的深度学习模型Faster-RCNN具有明显的优势,对目标的检测时间和检测精度都有所提高,响应时间在1 s以内,识别精度达到了93.5%。所提方法能更好地满足输电线路智能巡检的要求。

参考文献
[1]
陆佳政, 周特军, 吴传平, 等. 某省级电网220 kV及以上输电线路故障统计与分析[J]. 高电压技术, 2016, 42(1): 200-207.
LU Jiazheng, ZHOU Tejun, WU Chuanping, et al. Fault statistics and analysis of 220 kV and above power transmission line in province-level power grid[J]. High Voltage Engineering, 2016, 42(1): 200-207. (0)
[2]
熊佳佳. 基于巡检机器人的电网覆冰输电线路状态智能监测技术[J]. 制造业自动化, 2021, 43(4): 153-156.
XIONG Jiajia. State intelligent monitoring technology for power transmission network of ice-covered transmission lines based on patrol robot[J]. Manufacturing Automation, 2021, 43(4): 153-156. DOI:10.3969/j.issn.1009-0134.2021.04.031 (0)
[3]
ZHENGX Y, JIA R, AISIKAER, et al. Component identification and defect detection in transmission lines based on deep learning[J]. Journal of Intelligent & Fuzzy Systems, 2021, 40(2): 3147-3158. (0)
[4]
付红安, 王学平, 田帅, 等. 基于无人机激光雷达技术的输电线路走廊清理方法[J]. 电测与仪表, 2019, 56(23): 146-152.
FU Hongan, WANG Xueping, TIAN Shuai, et al. Corridor cleaning method for power transmission line based on UAV Li DAR technique[J]. Electrical Measurement & Instrumentation, 2019, 56(23): 146-152. (0)
[5]
刘厦, 孙哲, 仇梓峰, 等. 基于简单线性迭代聚类优化的无人机图像去雾算法及其在风电场中的应用[J]. 发电技术, 2020, 41(6): 608-616.
LIU Sha, SUN Zhe, QIU Zifeng, et al. Unmanned aerial vehicle image dehazing algorithm based on simple linear iterative clustering optimizationand its application in wind farm[J]. Power Generation Technology, 2020, 41(6): 608-616. (0)
[6]
李映国, 杨宏, 徐郁, 等. 基于Alexnet网络的绝缘子自爆无人机巡检技术研究[J]. 智慧电力, 2021, 49(8): 104-109.
LI Yingguo, YANG Hong, XU Yu, et al. Insulator self-explosive inspection technology based on Alexnet network in UAV grid inspection[J]. Smart Power, 2021, 49(8): 104-109. DOI:10.3969/j.issn.1673-7598.2021.08.016 (0)
[7]
高强, 廉启旺. 航拍图像中绝缘子目标检测的研究[J]. 电测与仪表, 2019, 56(5): 119-123.
GAO Qiang, LIAN Qiwang. Research on target detection of insulator in aerial image[J]. Electrical Measurement & Instrumentation, 2019, 56(5): 119-123. (0)
[8]
JALIL B, LEONE G R, MARTINELLI M, et al. Fault detection in power equipment via an unmanned aerial system using multi modal data[J]. Sensors (Basel, Switzerland), 2019, 19(13): 3014. DOI:10.3390/s19133014 (0)
[9]
罗建军, 刘振声, 龚翔, 等. 基于无人机图像与迁移学习的线路绝缘子状态评价方法[J]. 电力工程技术, 2019, 38(5): 30-36.
LUO Jianjun, LIU Zhensheng, GONG Xiang, et al. Insulator state evaluation method based on UAV image and migration learning[J]. Electric Power Engineering Technology, 2019, 38(5): 30-36. (0)
[10]
LU Q Y, DING K. Research on fault detection system of power equipment based on UV and infrared image[J]. IOP Conference Series: Materials Science and Engineering, 2017, 231: 012062. DOI:10.1088/1757-899X/231/1/012062 (0)
[11]
彭向阳, 钱金菊, 吴功平, 等. 架空输电线路机器人全自主巡检系统及示范应用[J]. 高电压技术, 2017, 43(8): 2582-2591.
PENG Xiangyang, QIAN Jinju, WU Gongping, et al. Full automatic inspection system and its demonstration application based on robot for overhead transmission lines[J]. High Voltage Engineering, 2017, 43(8): 2582-2591. (0)
[12]
徐恒, 彭曙蓉, 毛亚珍, 等. 基于图像处理的输电线路覆冰厚度检测方法研究[J]. 陕西电力, 2017, 45(5): 32-35.
XU Heng, PENG Shurong, MAO Yazhen, et al. Transmission line ice thickness detection based on image processing[J]. Shaanxi Electric Power, 2017, 45(5): 32-35. (0)
[13]
张烨, 冯玲, 穆靖宇, 等. 输电线路绝缘子覆冰厚度图像识别算法[J]. 电力系统自动化, 2016, 40(21): 195-202.
ZHANG Ye, FENG Ling, MU Jingyu, et al. Image identification algorithm of icing thickness for insulator in power transmission lines[J]. Automation of Electric Power Systems, 2016, 40(21): 195-202. DOI:10.7500/AEPS20160116007 (0)
[14]
孙翠英, 路艳巧, 常浩, 等. 基于神经网络的输电线路故障识别方法[J]. 科学技术与工程, 2019, 19(20): 283-288.
SUN Cuiying, LU Yanqiao, CHANG Hao, et al. A transmission line fault identification method based on neural network[J]. Science Technology and Engineering, 2019, 19(20): 283-288. DOI:10.3969/j.issn.1671-1815.2019.20.042 (0)
[15]
赖秋频, 杨军, 谭本东, 等. 基于YOLOv2网络的绝缘子自动识别与缺陷诊断模型[J]. 中国电力, 2019, 52(7): 31-39.
LAI Qiupin, YANG Jun, TAN Bendong, et al. An automatic recognition and defect diagnosis model of transmission line insulator based on YOLOv2 network[J]. Electric Power, 2019, 52(7): 31-39. DOI:10.3969/j.issn.1007-3361.2019.07.009 (0)
[16]
严星, 尤洪峰. Faster-RCNN电力输送塔检测算法[J]. 计算机仿真, 2020, 37(2): 135-139, 298.
YAN Xing, YOU Hongfeng. Target detection algorithm for Faster-RCNN power transmission tower[J]. Computer Simulation, 2020, 37(2): 135-139, 298. DOI:10.3969/j.issn.1006-9348.2020.02.028 (0)
[17]
易继禹, 陈慈发, 龚国强. 基于改进Faster RCNN的输电线路航拍绝缘子检测[J]. 计算机工程, 2021, 47(6): 292-298, 304.
YI Jiyu, CHEN Cifa, GONG Guoqiang. Aerial insulator detection of transmission line based on improved Faster RCNN[J]. Computer Engineering, 2021, 47(6): 292-298, 304. (0)
[18]
郭敬东, 陈彬, 王仁书, 等. 基于YOLO的无人机电力线路杆塔巡检图像实时检测[J]. 中国电力, 2019, 52(7): 17-23.
GUO Jingdong, CHEN Bin, WANG Renshu, et al. YOLO-based real-time detection of power line poles from unmanned aerial vehicle inspection vision[J]. Electric Power, 2019, 52(7): 17-23. (0)
[19]
史晋涛, 李喆, 顾超越, 等. 基于样本扩充的Faster R-CNN电网异物监测技术[J]. 电网技术, 2020, 44(1): 44-51.
SHI Jintao, LI Zhe, GU Chaoyue, et al. Research on foreign matter monitoring of power grid with Faster R-CNN based on sample expansion[J]. Power System Technology, 2020, 44(1): 44-51. (0)
[20]
尹勰, 闫磊. 基于深度卷积神经网络的图像目标检测[J]. 工业控制计算机, 2017, 30(4): 96-97, 100.
YIN Xie, YAN Lei. Image object detection based on deep convolutional neural network[J]. Industrial Control Computer, 2017, 30(4): 96-97, 100. DOI:10.3969/j.issn.1001-182X.2017.04.040 (0)
[21]
RAZAVIAN A S, AZIZPOUR H, SULLIVAN J, et al. CNN features off-the-shelf: an astounding baseline for recognition[C]//2014 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Columbus, OH, USA. IEEE, 2014: 512-519. (0)
[22]
ZHAO X T, LI W, ZHANG Y F, et al. A faster RCNN-based pedestrian detection system[C]//2016 IEEE 84th Vehicular Technology Conference. Montreal, QC, Canada. IEEE, 2016: 1-5. (0)
[23]
胡炎, 单子力, 高峰. 基于Faster-RCNN和多分辨率SAR的海上舰船目标检测[J]. 无线电工程, 2018, 48(2): 96-100.
HU Yan, SHAN Zili, GAO Feng. Ship detection based on Faster-RCNN and multiresolution SAR[J]. Radio Engineering, 2018, 48(2): 96-100. DOI:10.3969/j.issn.1003-3106.2018.02.04 (0)
[24]
刘万军, 梁雪剑, 曲海成. 自适应增强卷积神经网络图像识别[J]. 中国图象图形学报, 2017, 22(12): 1723-1736.
LIU Wanjun, LIANG Xuejian, QU Haicheng. Adaptively enhanced convolutional neural network algorithm for image recognition[J]. Journal of Image and Graphics, 2017, 22(12): 1723-1736. DOI:10.11834/jig.170079 (0)
[25]
GU J X, WANG Z H, KUEN J, et al. Recent advances in convolutional neural networks[J]. Pattern Recognition, 2018, 77: 354-377. (0)
[26]
RENS Q, HE K M, GIRSHICK R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137-1149. DOI:10.1109/TPAMI.2016.2577031 (0)
[27]
吴锡, 王梓屹, 宋柯, 等. 基于Faster RCNN检测器的输电线路无人机自主巡检系统[J]. 电力信息与通信技术, 2020, 18(9): 8-15.
WU Xi, WANG Ziyi, SONG Ke, et al. The autonomous inspection system of transmission line UAV based on Faster RCNN detector[J]. Electric Power Information and Communication Technology, 2020, 18(9): 8-15. (0)
[28]
林刚, 王波, 彭辉, 等. 基于改进Faster-RCNN的输电线巡检图像多目标检测及定位[J]. 电力自动化设备, 2019, 39(5): 213-218.
LIN Gang, WANG Bo, PENG Hui, et al. Multi-target detection and location of transmission line inspection image based on improved Faster-RCNN[J]. Electric Power Automation Equipment, 2019, 39(5): 213-218. (0)
Transmission line inspection image detection based on improved Faster-RCNN
WEI Yewen1,2, LI Mei1, XIE Yuanlin1, DAI Beicheng1    
1. College of Electrical Engineering & New Energy, China Three Gorges University, Yichang 443002, China;
2. Hubei Provincial Engineering Technology Research Center for Power Transmission Line (China Three Gorges University), Yichang 443002, China
Abstract: To solve the problem of slow response and low accuracy in the traditional image recognition method of transmission line target inspection, an improved faster-region convolutional neural network (Faster-RCNN) deep learning recognition algorithm is proposed. In this paper, the image features are extracted by zeiler and fergus net (ZFnet) and the ZFnet model parameters are reset to obtain more target details. Then, the Faster-RCNN is used to detect the target. The target candidate box is generated by the sub-network region proposal model and the parameters are tuned by the fast-region convolutional neural network (Fast-RCNN). In addition, the refining stage is introduced into the output part of the Faster-RCNN to increase the refinement of classification and regression of the target features. And then the multiple bounding boxes with the target are combined to achieve accurate classification and coordinate positioning. The results of the experiments show that the improved Faster-RCNN algorithm can effectively identify the transmission line equipment and its defects. The overall recognition rate of the method could reach 93.5% within 1 s of the response time. Compared with the image recognition and the deep learning such as single shot multibox detector (SSD) and you only look once (YOLO), the proposed algorithm improves the identification accuracy and response speed of power equipment, and has certain advantages in intelligent inspection of transmission lines.
Keywords: transmission line inspection    image recognition    deep learning    convolutional neural network    feature extraction    re-gion proposal network