一种基于强化学习和Transformer的电力缺陷检测方法与流程

一种基于强化学习和transformer的电力缺陷检测方法
技术领域
1.本发明涉及深度学习领域，具体的说是一种基于强化学习和transformer的电力缺陷检测方法。


背景技术：

2.随着我国电力需求不断增长，输电线路规模的迅速扩大，输电线路长期暴露在复杂自然环境中，受雨水腐蚀、雷击等自然条件干扰，容易出现各种故障，影响电网安全稳定运行。因此，输电线路的高效率巡检对于确保生产生活正常运行至关重要。
3.许多输电线路架设在人迹罕至的地区，地形复杂，传统的人工巡检所花费成本和难度都较高。故此，很多地区采用无人机搭载图像采集装置的方式，快速采集输电线路的图像和视频数据，从而大大减少巡检工作量。然而由于航拍图像数量大、背景复杂，工作人员采用人工判断时，效率较低且容易发生判断错误，难以满足巡检要求。因此，基于无人机航拍图像的输电线路检测故障检测方法的研究具有重要的理论和实用价值。
4.目前伴随着无人机技术和计算机技术的不断发展，国内外在输电线路方面检测方面的研究已经取得了一定的进展，根据识别算法原理可以分为传统图像处理方法和深度学习方法。传统图像处理方法中特征提取主要依赖人工设计的提取器。文献[基于频率调谐的绝缘子识别与定位]提出一种基于频率调谐的绝缘子识别与定位算法，通过hsv颜色空间中阈值分割，并利用频率调谐方法计算目标物体的显著性信息，实现在复杂背景中的绝缘子定位。文献[基于canny边缘特征点的接触网绝缘子识别方法]提出一种基于canny边缘特征点的接触网绝缘子识别方法，通过使用canny提取图像边缘特征，并且使用surf算法在边缘图像上提取特征点，实现接触网绝缘子智能识别。然而，传统算法过分依赖人工设计提取器，计算量大，检测精度和速度都不能达到实际应用要求。
[0005]
随着计算机计算能力的不断提升，深度学习不断在新的领域取得应用，由于其良好的泛化和表征能力，逐渐成为主流。当前有使用基于联合显著区域和fast-cnn模型用于绝缘子特征检测研究，提升了输电线路中的绝缘子工作状态检测效果；轻量级yolov3的绝缘子缺陷检测方法，框架构建了一种改进的轻量级网络，实现了绝缘子定位及故障检测。以上这些方法，使用强化学习模型进行电力故障检测，相比于传统方法极大提高了检测性能，但还存在以下问题：1)数据集相对较少，训练的模型在不同环境下的泛用性能差；2)通过深层网络获得最终预测结果，对于小目标物体信息无法重建，影响检测精度；3)需要设定先验框来进行检测，性能的好坏很大程度上受到先验框设计的影响，同时在训练和检测中锚窗口相关的计算占用了大量的计算资源，不能很好适应各种不同环境下的电路巡检任务；4)无关背景的在检测中占用了大量计算资源，对最终的检测结果产生了影响。


技术实现要素：

[0006]
针对现有技术的不足，本发明旨在解决现有电力缺陷检测方法存在的不同环境下泛用性差、过分依赖先验框、无关背景占用计算资源并影响精度等问题，提出一种基于深度
的电力缺陷检测方法，以期实现智能化电力缺陷巡检，减少人力成本，并提高检测效率和检测准确率。
[0007]
本发明为解决技术问题采用如下技术方案：
[0008]
本发明一种基于强化学习和transformer的电力缺陷识别方法的特点在于，包括以下步骤：
[0009]
步骤1、采集电力巡检航拍图像集并使用深度卷积生成对抗网络进行数据增强，得到扩充后的图像数据集，再对扩充后的图像数据集进行标准化处理后，再对每张标准化后的图像标注目标检测框，从而得到训练数据集；
[0010]
步骤2、构建用于筛选前景区域和背景区域的强化学习模块，并将所述训练数据集输入所述强化学习模块中进行训练，得到所述训练数据集中第i幅图像的前景区域特征向量集合f
i,f
和背景区域向量集合f
i,b
；
[0011]
步骤3、根据所述第i幅图像的前景特征向量集合f
i,f
和背景区域向量集合f
i,b
，使用双线性池化层对所述背景区域向量集合f
i,b
中的非关键区域进行信息压缩，得到数量为m的特征向量集合f
i,c
，再与所述前景特征向量集合f
i,f
进行连接后，得到新向量组合f
i*
；
[0012]
步骤4、将所述第i幅图像的新向量组合f
i*
输入transformer模块中进行特征提取，得到特征图ti后再使用全连接层对所述特征图进行处理，并输出预测结果，从而根据预测结果与真实结果构建损失函数，用于训练transformer模块的参数，并最终得到训练好的transformer模块用于对电力缺陷进行识别。
[0013]
本发明所述的电力缺陷识别方法的特点也在于，所述步骤2包括：
[0014]
步骤2.1、构建强化学习模块，包括：detnet特征提取的主干网络、dqn网络；并随机初始化强化学习模块的参数；
[0015]
所述主干网络是基于空洞卷积构建的卷积神经网络，并包含x个卷积块；其中，第x级卷积块依次由卷积核大小为c1的普通卷积层、卷积核大小为c2的空洞卷积层和卷积核大小为c2的普通卷积层组成，其中，每一个卷积块后连接有一个批量归一化层和一个relu激活函数；
[0016]
所述dqn网络组成由全连接网络组成；
[0017]
步骤2.2、根据训练数据集中的图片数量设定经验池d的空间，并初始化经验池d；
[0018]
步骤2.3、所述训练数据集中第i幅带有目标检测框的图像输入所述提取主干网络中进行特征提取，得到尺寸为c
×n×
n的特征图fi；c表示特征图fi的通道数，n表示特征图fi的长或宽；
[0019]
步骤2.4、将所述特征图fi分为大小相等的n
×
n块单位区域，每块单位区域代表一个动作选择，从而得到动作空间记为ai＝{a
i,1
,a
i,2
,,...,a
i,t
,...,a
i,n
×n}，a
i,t
表示在第i幅图像中选择第t个单位区域的动作；
[0020]
步骤2.5、利用式(1)计算在第i幅图像中第t个动作所选择的单元区域的奖励分数r
i,t
，从而得到所述特征图fi的奖励函数ji＝{j
i,1
,j
i,2
,,...,j
i,t
,...,j
i,n
×n}；
[0021][0022]
式(1)中，δ
i,t
表示在第i幅图像中第t个单位区域中所包含目标物体像素数量；δ
i,all
表示在第i幅图像中第t个单位区域的总像素数量；
[0023]
步骤2.6、设置所述特征图fi的状态空间si；
[0024]
步骤2.7、将状态空间输入所述dqn网络中，并获得动作空间中每个动作的评分，使用贪婪策略选取其中得分最高的k个动作，并由状态空间si及其k个动作组成q值表q(si,ai)；
[0025]
并根据奖励函数r计算当前k个动作下所获得的k个奖励值，从而k个奖励值和q值表q(si,ai)所组成的第i个元组存入经验池d中；
[0026]
步骤2.8、按照步骤2.3-步骤2.7的过程对所述训练数据集中所有图像依次进行处理，从而将所述经验池d填满；
[0027]
步骤2.9、在经验池d中随机挑选g组元组，并使用反向传播算法更新一次强化学习模块中的参数；
[0028]
步骤2.10、按照步骤2.3到步骤2.9的过程进行z1次更新后保存最终的强化学习模块，并将训练数据集中的图像输入最终的强化学习模块中，第i幅图像输出最终的特征图f
′i，选择所述特征图f
′i中奖励值最高的k个单位区域作为前景区域特征向量集合f
i,f
＝{f
i,f,l
,|l＝1,...,k}，剩余单位区域作为背景区域向量集合f
i,b
＝{f
i,b,r
，|r＝1,...,n
×
n-k}；其中，f
i,f,l
表示第i幅图像中第l个前景区域的特征向量，f
i,b,r
表示第i幅图像中第r个背景区域的特征向量。
[0029]
所述步骤3包括：
[0030]
步骤3.1、利用式(2)得到第i幅图像中第r个背景区域向量对应的聚合权重向量a
i,r
：
[0031]ai,r
＝f
i,b,r
waꢀꢀꢀ
(2)
[0032]
式(2)中，wa表示一个维度为c
×
m的权值矩阵；a
i,r
＝{a
i,r,m
|m＝1,...,m}，m代表压缩后的向量维度；a
i,r,m
是聚合权重向量a
i,r
中的第m个元素，表示在第i幅图像中第r个背景区域特征向量对应的第m个聚合权重；
[0033]
步骤3.2、利用式(3)再对所述第i幅图像中第r个背景区域特征向量对应的第m个聚合权重a
i,r,m
进行标准化处理，得到第i幅图像中第r个背景区域特征向量对应的第m个标准化后的聚合权重a'
i,r,m
：
[0034][0035]
式(3)中，a
i,r',m
表示在第i幅图像中第r'背景区域特征向量对应的第m个聚合权重，表示在第i幅图像中所有背景区域特征向量的第m个聚合权重之和；
[0036]
步骤3.2、利用式(4)得到第i幅图像中第r个特征投影向量f
′
i,r
：
[0037]f′
i,r
＝f
i,r
wvꢀꢀꢀ
(4)
[0038]
式(4)中，wv表示一个维度为c
×
c的权值矩阵；
[0039]
步骤3.3、利用式(5)得到第i幅图像中第m个压缩后的特征向量f
i,m
，从而得到压缩后背景区域特征向量集合f
i,c
＝{f
i,m
，|m＝1,...,m}：
[0040][0041]
式(5)中，*表示向量间卷积。
[0042]
所述步骤4具体包括步骤：
[0043]
步骤4.1、构建transformer模块，包括：transformer特征提取网络、端到端检测器；并并随机初始化所述transformer模块的参数；
[0044]
所述transformer特征提取网络分支是基于transformer-encode构建的y个transformer块，其中，第y个transformer块依次由第一层归一化层、多头自注意力机制层、第二层归一化层以及多层感知机组成，其中，第一层归一化层的输入与所述多头注意力机制层的输出进行跳跃连接，第二层归一化层的输入与所述多层感知机的输出进行跳跃连接；
[0045]
所述端到端检测器由全连接网络组成；
[0046]
步骤4.2、将所述第i幅图像的新向量集合f
i*
送入所述transformer特征提取网络中，并依次经过y个transformer块的特征提取后，得到信息高度浓缩的特征图ti，再将所述特征图ti输入所述端到端检测器中进行预测，获得预测结果。
[0047]
与已有技术相比，本发明的有益效果体现在：
[0048]
1、本发明将深度卷积生成对抗网络应用于数据增强，通过训练深度学习网络生成图片，提高数据集大小，提高了模型在不同环境下的泛化性能，相比于传统的数据增广方法，使用深度卷积生成对抗网络使用采集的图片训练网络，可以生成更多的可用图片数据，解决电力缺陷区域图片数据难以采集，数据集较小，训练样本泛用性差这一问题。
[0049]
2、本发明通过使用空洞卷积进行特征提取，在避免池化损失信息的前提下，加大了感受野，让每个卷积输出都包含较大范围的信息，相比于普通卷积提高了对小目标物体的感知能力以及对大目标物体的定位能力。
[0050]
3、本发明通过使用强化学习在特征图提取关键区域，并对背景区域的特征图采用双线性层进行压缩，减少了无关的背景信息在transformer网络中计算比重，加快了计算速度，降低了无关信息向量对最终检测结果的影响。
[0051]
4、本发明最终直接通过一组前馈网络输出最后的检测结果，无需使用先验框避免了传统方法采用锚框时，检测精度对于锚框设计的依赖，以及在训练过程中正锚框与负锚框的失衡问题，提高了计算的效率和精度。
附图说明
[0052]
图1为本发明的算法流程图。
具体实施方式
[0053]
本实施例中，参照图1，一种基于强化学习和transformer的电力缺陷识别方法是按如下步骤进行：
[0054]
步骤1、采集电力巡检航拍图像集并使用深度卷积生成对抗网络进行数据增强，得到扩充后的图像数据集，再对扩充后的图像数据集进行标准化处理后，再对每张标准化后的图像标注目标检测框，从而得到训练数据集；本实施例中，训练数据集中共有8192张图片；
[0055]
步骤2、构建用于筛选前景区域和背景区域的强化学习模块，并将训练数据集输入强化学习模块中进行训练，得到训练数据集中第i幅图像的前景区域特征向量集合f
i,f
和背
景区域向量集合f
i,b
；
[0056]
步骤2.1、构建强化学习模块，包括：detnet特征提取的主干网络、dqn网络；并随机初始化强化学习模块的参数；
[0057]
主干网络是基于空洞卷积构建的卷积神经网络，并包含x个卷积块；其中，第x级卷积块依次由卷积核大小为c1×
c1的普通卷积、卷积核大小为c2×
c2的空洞卷积层和卷积核大小为c3×
c3的普通卷积组成，，其中，每一个卷积块后连接有一个批量归一化层和一个relu激活函数；在本实施例中，x大小取为6，第x级卷积块依次由卷积核大小依次为c1＝1、c2＝3和c3＝1。
[0058]
dqn网络组成由全连接网络组成；
[0059]
步骤2.2、根据训练数据集中的图片数量设定经验池d的空间，并初始化经验池d；本实施例中，经验池d的空间大小为8192。
[0060]
步骤2.3、训练数据集中第i幅带有目标检测框的图像输入提取主干网络中进行特征提取，得到尺寸为c
×n×
n的特征图fi；c表示特征图f的通道数，n表示特征图fi的长或宽；本实施例中，特征图通道数c为256，长宽n的大小为28；
[0061]
步骤2.4、将特征图fi分为大小相等的n
×
n块单位区域，每块单位区域代表一个动作选择，从而得到动作空间记为ai＝{a
i,1
,a
i,2
,,...,a
i,t
,...,a
i,n
×n}，a
i,t
表示在第i幅图片中选择第t个单位区域的动作；本实施例中，特征图划分为28
×
28块单位区域；
[0062]
步骤2.5、利用式(1)计算在第i幅图片中第t个动作所选择的单元区域的奖励分数r
i,t
，从而得到特征图f的奖励函数ji＝{j
i,1
,j
i,2
,,...,j
i,t
,...,j
i,n
×n}；
[0063][0064]
式(1)中，δ
i,t
表示在第i幅图片中第t个单位区域中所包含目标物体像素数量；δ
i,all
表示在第i幅图片中第t个单位区域的总像素数量；
[0065]
步骤2.6、设置特征图fi的状态空间si；
[0066]
步骤2.7、将状态空间输入dqn网络中，并获得动作空间中每个动作的评分，使用贪婪策略选取其中得分最高的k个动作，并由状态空间si及其k个动作组成q值表q(si,ai)；
[0067]
并根据奖励函数r计算当前k个动作下所获得的k个奖励值，从而k个奖励值和q值表q(si,ai)所组成的第i个元组存入经验池d中；本实施例中，k的值设定为260，即使用使用贪婪策略选取其中得分最高的260个动作；
[0068]
步骤2.8、按照步骤2.3-步骤2.7的过程对训练数据集中所有图像依次进行处理，从而将经验池d填满；
[0069]
步骤2.9、在经验池d中随机挑选g组元组，并使用反向传播算法更新一次强化学习模块中的参数；
[0070]
步骤2.10、按照步骤2.3到步骤2.9的过程进行z1次更新后保存最终的强化学习模块，并将训练数据集中的图像输入最终的强化学习模块中，第i幅图像输出最终的特征图f
′i，选择特征图f
′i中奖励值最高的k个单位区域作为前景区域特征向量集合f
i,f
＝{f
i,f,l
,|l＝1,...,k}，剩余单位区域作为背景区域向量集合f
i,b
＝{f
i,b,r
，|r＝1,...,n
×
n-k}；其中，f
i,f,l
表示第i幅图像中第l个前景区域的特征向量，f
i,b,r
表示第i幅图像中第r个背景区域的特征向量。本实施例中，强化学习模块训练迭代次数z1为200，前景区域特征向量集合
包含260个特征向量，背景区域向量特征包含524个特征向量；
[0071]
步骤3、根据第i幅图像的前景特征向量集合f
i,f
和背景区域向量集合f
i,b
，使用双线性池化层对背景区域向量集合f
i,b
中的非关键区域进行信息压缩，得到数量为m的特征向量集合f
i,c
，再与前景特征向量集合f
i,f
进行连接后，得到新向量组合f
i*
；
[0072]
步骤3.1、利用式(2)得到第i幅图像中第r个背景区域向量对应的聚合权重向量a
i,r
：
[0073]ai,r
＝f
i,b,r
waꢀꢀꢀ
(2)
[0074]
式(2)中，wa表示一个维度为c
×
m的权值矩阵；a
i,r
＝{a
i,r,m
|m＝1,...,m}，m代表压缩后的向量维度；a
i,r,m
是聚合权重向量a
i,r
中的第m个元素，表示在第i幅图像中第r个背景区域特征向量对应的第m个聚合权重；本实施实例中压缩后向量维度m为60；
[0075]
步骤3.2、利用式(3)再对第i幅图像中第r个背景区域特征向量对应的第m个聚合权重a
i,r,m
进行标准化处理，得到第i幅图像中第r个背景区域特征向量对应的第m个标准化后的聚合权重a'
i,r,m
：
[0076][0077]
式(3)中，a
i,r',m
表示在第i幅图像中第r'背景区域特征向量对应的第m个聚合权重，表示在第i幅图像中所有背景区域特征向量的第m个聚合权重之和；从而改变维度，将r个向量投影到m个向量中去；
[0078]
步骤3.3、利用式(4)得到第i幅图像中第r个特征投影向量f
′
i,r
：
[0079]f′
i,r
＝f
i,r
wvꢀꢀꢀ
(4)
[0080]
式(4)中，wv表示一个维度为c
×
c的权值矩阵；本实施实例中，wv是一个维度为256
×
256的权值矩阵；
[0081]
步骤3.4、利用式(5)得到第i幅图像中第m个压缩后的特征向量f
i,m
，从而得到压缩后背景区域特征向量集合f
i,c
＝{f
i,m
，|m＝1,...,m}：
[0082][0083]
式(5)中，*表示向量间卷积。
[0084]
步骤4、将第i幅图像的新向量组合f
i*
输入transformer模块中进行特征提取，得到特征图ti后再使用全连接层对特征图进行处理，并输出预测结果，从而根据预测结果与真实结果构建损失函数，用于训练transformer模块的参数，并最终得到训练好的transformer模块用于对电力缺陷进行识别。
[0085]
步骤4.1、构建transformer模块，包括：transformer特征提取网络、端到端检测器；并随机初始化transformer模块的参数；
[0086]
transformer特征提取网络分支是基于transformer-encode构建的y个transformer块，其中，第y个transformer块依次由第一层归一化层、多头自注意力机制层、第二层归一化层以及多层感知机组成，其中，第一层归一化层的输入与多头注意力机制层的输出进行跳跃连接，第二层归一化层的输入与多层感知机的输出进行跳跃连接；本实施例中，取transformer块个数y为6；
[0087]
端到端检测器由全连接网络组成；本实施例中，全连接网络有三层构成；
[0088]
步骤4.2、将第i幅图像的新向量集合f
i*
送入transformer特征提取网络中，并依次经过y个transformer块的特征提取后，得到信息高度浓缩的特征图ti，再将特征图ti输入端到端检测器中进行预测，获得预测结果。