一种变电站缺陷检测方法、系统和计算机可读存储介质与流程

1.本发明涉及变电站巡检领域，具体地涉及一种变电站缺陷检测方法、系统和计算机可读存储介质。


背景技术：

2.变电站中的巡检质量与安全生产密切相关,当前的自动化变电站巡检系统采用基于深度学习的全监督缺陷检测算法，使用大量变电站缺陷数据训练目标检测网络，之后使用训练好的网络对高清摄像头所获取的巡检图像上检测缺陷存在的类型和位置。但是，此类变电站缺陷检测方法的效果极大的依赖于大量高质量变电站缺陷数据，但在实际应用中，变电站中缺陷设备出现是小概率事件，难以采集足量数据，而不同变电站设备类型、分布等存在一定差异，使用其他变电站缺陷图像数据扩充训练数据对网络精度的提升效果有限。
3.随着无监督、弱监督领域技术发展，使得不依赖或较少依赖缺陷数据训练有效的缺陷检测网络成为可能，但是由于常用无监督、弱监督方法如异常检测等受到背景干扰极大，难以直接应用变电站内复杂场景中，而常用于过滤背景的抠图算法或分割算法则需要高质量语义标注，故而无监督的方法在变电站巡检系统中仍然没有有效运用。


技术实现要素：

4.本发明实施例的目的是提供一种变电站缺陷检测方法、系统和计算机可读存储介质，该方法能够在摆脱数据依赖的情况下对变电站设施进行设备缺陷检测。
5.为了实现上述目的，一方面，本发明实施例提供一种变电站缺陷检测方法，所述方法包括：
6.获取现场巡检图像；
7.使用目标检测算法对所述巡检图像进行检测，以获取待测设备的类型和位置；
8.根据目标检测结果对巡检图像进行剪裁，以得到设备图像；
9.将所述设备图像输入至抠图算法网络，以得到关于所述待测设备的前景设备图像；
10.将得到的所述前景设备图像按照设备类型输入至对应的异常检测网络，以判断所述待测设备的异常情况和缺陷位置；
11.将所述异常检测网络得到的结果输出。
12.可选的，将所述设备图像输入至抠图算法网络，以得到关于所述待测设备的前景设备图像包括：
13.获取所述设备图像；
14.将所述设备图像输入至mobilenetv2网络中，以通过所述mobilenetv2 网络的低分辨率分支的编码器提取所述设备图像的高级语义；
15.将所述高级语义、所述设备图像和所述低分辨率分支的得到的低级特征输入至所
述mobilenetv2网络的高分辨率分支中，以得到关于所述待测设备的特征图；
16.对所述高级语义进行上采样，使其大小与所述特征图相对齐；
17.将上采样后的高级语义和所述特征图进行融合以预测最终的抠图掩码；
18.将所述抠图掩码作用于所述设备图像中，以得到与关于所述待测设备的前景设备图像。
19.可选的，将所述设备图像输入至抠图算法网络，以得到关于所述待测设备的前景设备图像包括：
20.获取所述高级语义；
21.将所述高级语义送至sigmoid激活函数的卷积层中，以得到预测粗糙的语义掩码；
22.使用l2损失函数的公式(1)进行监督优化所述语义掩码：
[0023][0024]
其中，ls代表语义预测分支的损失函数，αg表示设备图像对应的抠图标签，g表示16倍下采样和高斯模糊操作，s
p
表示语义掩码，根据公式(1)得到的语义预测分支的损失函数，获取小于第一阈值的语义预测分支的损失函数，和与其对应的语义掩码；
[0025]
将所述语义掩码作用于所述高级语义，以得到更精确的高级语义；
[0026]
将更精确的高级语义输入至所述mobilenetv2网络的高分辨率分支中。
[0027]
可选的，将所述设备图像输入至抠图算法网络，以得到关于所述待测设备的前景设备图像包括：
[0028]
获取所述特征图；
[0029]
将所述特征图经过卷积以得到过渡区域的细节掩码；
[0030]
使用l1损失函数的公式(2)进行监督优化所述细节掩码：
[0031]
ld＝md||d
p-αg||1，(2)
[0032]
其中，md是抠图标签αg经过膨胀侵蚀操作得到的二进制掩码，d
p
表示细节掩码，ld表示细节预测分支的损失函数，根据公式(2)得到的细节预测分支的损失函数，获取小于第二阈值的细节预测分支的损失函数和与其对应的细节掩码；
[0033]
将所述细节掩码作用于所述特征图，以获取更精确的特征图。
[0034]
可选的，将所述设备图像输入至抠图算法网络，以得到关于所述待测设备的前景设备图像包括：
[0035]
判断所述特征图内的像素区域是否在过渡区域；
[0036]
当所述特征图内的像素区域在过渡区域的情况下，所述抠图标签经过膨胀侵蚀操作得到的二进制掩码为1，则公式(2)能够在所述过渡区域内优化所述细节掩码；
[0037]
当所述特征图内的像素区域在非过度区域的情况下，所述抠图标签经过膨胀侵蚀操作得到的二进制掩码为0，则去除在非过渡区域内的所述细节掩码。
[0038]
可选的，将所述设备图像输入至抠图算法网络，以得到关于所述待测设备的前景设备图像包括：
[0039]
获取所述抠图掩码；
[0040]
将所述抠图掩码带入公式(3)中以约束所述抠图掩码：
[0041]
l
α
＝||α
p-αg||1+lc，(3)
[0042]
其中，l
α
表示语义细节融合分支的损失函数，lc表示图像合成损失，α
p
表示抠图掩码，根据公式(3)获取小于第三阈值的语义细节融合分支的损失函数和与其对应的抠图掩码；
[0043]
将所述抠图掩码作用于所述设备图像中，以得到更加精确的前景设备图像。
[0044]
可选的，将所述设备图像输入至抠图算法网络，以得到关于所述待测设备的前景设备图像包括：
[0045]
根据公式(4)获取最终融合损失函数：
[0046][0047]
其中，和是平衡三个子任务损失函数的超参数；
[0048]
获取小于第四阈值的所述最终融合损失函数和与所述最终损失函数对应的所述前景设备图像。
[0049]
另一方面，本发明提供一种变电站缺陷检测系统，包括处理器，所述处理器用于执行如上述任意一项所述的方法。
[0050]
再一方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有指令，用于被机器读取以使得所述机器执行如上述任意一项所述的方法。
[0051]
通过上述技术方案，本发明提供的一种变电站缺陷检测方法、系统和计算机可读存储介质通过获取现场巡检图像并使用目标检测算法对巡检图像进行检测，以获取待测设备的类型和位置，然后根据目标检测结果对巡检图像进行剪裁以得到设备图像。在得到设备图像后，可以将该设备图像输入至抠图算法网络中，以得到关于待测设备的前景设备图像，然后可以将该前景设备图像输入至异常检测网络中，从而可以判断待测设备的异常情况和缺陷位置，然后将该异常检测网络得到的结果输出，以提醒工作人员注意。该方法能够在摆脱缺陷数据依赖的情况下对变电站设施进行设备缺陷检测，解决当前变电站缺陷检测算法极度依赖缺陷数的问题
[0052]
本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
[0053]
附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：
[0054]
图1是根据本发明的一个实施方式的变电站缺陷检测方法的流程图；
[0055]
图2是根据本发明的一个实施方式的变电站缺陷检测方法的获取前景设备图像的流程图；
[0056]
图3是根据本发明的一个实施方式的变电站缺陷检测方法的获取更加精确的高级语义的流程图；
[0057]
图4是根据本发明的一个实施方式的变电站缺陷检测方法的获取更加精确的特征图的流程图；
[0058]
图5是根据本发明的一个实施方式的变电站缺陷检测方法的判断特征图是否在过渡区域的流程图；
[0059]
图6是根据本发明的一个实施方式的变电站缺陷检测方法的获取更加精确的前景
设备图像的流程图；
[0060]
图7是根据本发明的一个实施方式的变电站缺陷检测方法的优化细节预测及语义细节融合的流程图；
[0061]
图8是根据本发明的一个实施方式的变电站缺陷检测方法的结果示例图(从左至右依次为：结果图、标注、原图)。
具体实施方式
[0062]
以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。
[0063]
图1是根据本发明的一个实施方式的变电站缺陷检测方法的流程图。图8是根据本发明的一个实施方式的变电站缺陷检测方法的结果示例图 (从左至右依次为：结果图、标注、原图)。在本发明中，该方法可以包括：
[0064]
在步骤s1中，获取现场巡检图像。
[0065]
在步骤s2中，使用目标检测算法对巡检图像进行检测，以获取待测设备的类型和位置。
[0066]
在步骤s3中，使用目标检测结果对巡检图像进行剪裁，以得到设备图像。
[0067]
在步骤s4中，将设备图像输入至抠图算法网络，以得到关于待测设备的前景设备图像。
[0068]
在步骤s5中，将得到的前景设备图像按照设备类型输入至对应的异常检测网络，以判断待测设备的异常情况和缺陷位置。
[0069]
在步骤s6中，将异常检测网络得到的结果输出。
[0070]
在本发明中，当需要对变电站的设备进行检测以判断该设备是否存在异常情况时，可以通过获取现场的巡检图像，然后使用训练好的目标检测算法对获取到的巡检图像进行检测，从而可以检测到巡检图像上的需要检测的待测设备的类型和待测设备的位置。在得到待测设备的类型和位置后，可以根据待测设备的类型和位置将巡检图像进行剪裁，以得到该关于待测设备的设备图像。然后可以将关于待测设备的设备图像输入至抠图算法中，以得到关于待测设备的前景设备图像。该前景设备图像可以将无关的其他设备去除，仅保留关于待测设备的前景图像，从而可以避免无关的设备图像影响待测设备的缺陷检测。在得到前景设备图像后可以将该前景设备图像按照设备类型输入至对应的异常检测网络中，以判断该待测设备的异常情况和缺陷位置。在得到待测设备的异常情况和缺陷位置后可以将其输出，以提醒工作人员注意。
[0071]
在本发明中，如图2所述，该方法可以包括：
[0072]
在步骤s7中，获取设备图像。
[0073]
在步骤s8中，将设备图像输入至mobilenetv2网络中，以通过 mobilenetv2网络的低分辨率分支的编码器提取设备图像的高级语义。
[0074]
在步骤s9中，将高级语义、设备图像和低分辨率分值得到低级特征输入至mobilenetv2网络的高分辨率分支中，以得到关于设备的特征图。
[0075]
在步骤s10中，对高级语义进行上采样，使其大小与特征图相对齐。
[0076]
在步骤s11中，将上采样后的高级语义和特征图进行融合以预测最终的抠图掩码。
[0077]
在步骤s12中，将抠图掩码作用于设备图像中，以得到关于待测设备的前景设备图像。
[0078]
在本发明中，可以采用mobilenetv2作为网络骨干，可以将设备图像输入至mobilenetv2网络中，然后通过该网络骨干的低分辨率分支的编码器提取该设备图像的高级语义，该高级语义可以定位该设备图像中的前景对象目标。将高级语义、设备图像和低分辨率分支得到的低级特征输入至该骨干网络中的高分辨率分支中，从而可以从该高分辨率分支中得到关于待测设备的特征图。在得到特征图后可以对之前得到的高级语义进行上采样，使得该高级语义可以和特征图相对齐，然后将上采样后的高级语义和特征图进行融合以得到预测最终的抠图掩码，该抠图掩码可以是关于待测设备的掩码，已经将其余无关背景去除，因此可以使得该抠图掩码作用于设备图像中，可以得到关于待测设备的前景设备图像。
[0079]
在本发明中，如图3所示，获取的更加精确的高级语义的步骤可以包括：
[0080]
在步骤s13中，获取高级语义。
[0081]
在步骤s14中，将高级语义送至sigmoid激活函数的卷积层中，以得到预测粗糙的语义掩码。
[0082]
在步骤s15中，使用l2损失函数的公式(1)进行监督优化所述语义掩码：
[0083][0084]
其中，ls代表语义预测分支的损失函数，αg表示设备图像对应的抠图标签，g表示16倍下采样和高斯模糊操作，s
p
表示语义掩码，根据公式(1)得到的语义预测分支的损失函数，获取小于第一阈值的语义预测分支的损失函数和与其对应的语义掩码。当该语义预测分支的损失函数小于第一阈值时，说明该
[0085]
在步骤s16中，将语义掩码作用于高级语义，以得到更精确的高级语义。
[0086]
在步骤s17中，将更精确的高级语义输入至mobilenetv2网络的高分辨率分支中。
[0087]
在本发明中，如果得到初始的高级语义，然后直接将其送入mobilenetv2网络的高分辨率分支中，可能会有部分误差，因此在获得高级语义后，可以将该高级语义送入sigmoid激活函数的卷积层中，从而可以得到预测粗糙的语义掩码。该语义掩码可以作用于高级语义上，从而可以去除部分的高级语义。在得到该语义掩码后，可以通过l2损失函数对得到的语义掩码进行监督优化，在得到语义掩码后，该l2公式可以通过与第一阈值的大小判断该语义掩码的分布情况，当该l2公式得到的语义预测分支的损失函数小于第一阈值，则可以说明与其对应的语义掩码的在合理的范围内，则可以获取该语义掩码，然后可以将该语义掩码作用于高级语义，剔除不符合要求的高级语义，从而可以得到更将精确的高级语义。
[0088]
在本发明中，如图4所示，获取更加精确的特征图的流程可以包括：
[0089]
在步骤s18中，获取特征图。
[0090]
在步骤s19中，将特征图经过卷积以得到过渡区域的细节掩码。
[0091]
在步骤s20中，实用l1损失函数的公式(2)进行监督优化细节掩码：
[0092]
ld＝md||d
p-αg||1，(2)
[0093]
其中，md是抠图标签αg经过膨胀侵蚀操作得到的二进制掩码，d
p
表示细节掩码，ld表示细节预测分支的损失函数，根据公式(2)得到的细节预测分支的损失函数，获取小于第二阈值的细节预测分支的损失函数和与其对应的细节掩码。
[0094]
在步骤s21中，将细节掩码作用于特征图，以获取更精确的特征图。
[0095]
在本发明中，在得到特征图后，如果对该得到的初始的特征图不加以优化，则将部分不符合要求的特征图和高级语义融合后得到的抠图掩码也将不符合要求，影响检测的结果。因此在得到特征图后，可以对得到的特征图进行优化，以得到更加精确的特征图。在获取特征图后，可以将该得到的特征图进行卷积从而可以得到过渡区域的细节掩码，使用l1损失函数可以监督优化该细节掩码，该l损失函数可以代表与其对应的细节掩码的分布情况，如果该细节预测分支的损失函数大于第二阈值的，则可以说明该细节掩码的分布情况较为分散，不在合理的范围内。该细节预测分支的损失函数的如果小于第二阈值时，则与其对应的细节掩码可能会在合理的范围内，因此可以获取该细节掩码，然后将该细节掩码作用于初始得到的特征图，剔除不符合要求的特征图，从而可以得到更加精确的特征图。
[0096]
在本发明中，如图5所示，对细节掩码的优化流程可以包括：
[0097]
在步骤s22中，判断特征图内的像素区域是否在过渡区域。
[0098]
在步骤s23中，当特征图内的像素区域在过渡区域的情况下，抠图标签经过膨胀侵蚀得到的二进制掩码为1，则公式(2)能够在过渡区域内优化细节掩码。
[0099]
在步骤s24中，当特征图内的像素区域在飞过渡区域的情况下，抠图标签经过膨胀侵蚀操作得到的二进制掩码为0，则去除在非过渡区域内的细节掩码。
[0100]
在本发明中，在得到特征图后，对特征图进行优化时，可以只对该特征图中关于待测设备的区域进行优化，因此，在得到特征图后，可以判断该特征图内的像素区域是否是在过渡区域，也即判断该特征图内的像素区域是否和待测设备有关。当该特征图内的像素区域在过去区域的情况下，该抠图标签经过膨胀侵蚀操作得到的二进制掩码可以是1，因此，可以说明该特征图内的像素区域和待测设备有关，则可以通过公式(2)在过渡区域内优化细节掩码，然后可以进一步优化在过渡区域内的特征图，使得该特征图可以更加精确。当该特征图内的像素区域在非过渡区时，该抠图标签经过膨胀侵蚀操作得到的二进制掩码为0，则带入到公式(2)中该公式(2)为0，说明该公式(2)不能优化细节掩码，也说明该特征图内的像素区域和待测设备无关，此时可以将该特征图内与待测设备无关的像素区域去除，避免影响最终的检测结果，同时也可以去除与该特征图内的像素区域对应的在非过渡区域内的细节掩码，然后可以得到更加精确的特征图。
[0101]
在本发明中，如图6所示，获取更加精确的前景设备图像的流程可以包括：
[0102]
在步骤s25中，获取抠图掩码。
[0103]
在步骤s26中，将抠图掩码带入公式(3)中以约束抠图掩码：
[0104]
l
α
＝||α
p-αg||1+lc，(3)
[0105]
其中，l
α
表示语义细节融合分支的损失函数，lc表示图像合成损失，α
p
表示抠图掩码，根据公式(3)获取小于第三阈值的语义细节融合分支的损失函数和与其对应的抠图掩码。
[0106]
在步骤s27中，将抠图掩码作用于设备图像中，以得到更加精确的前景设备图像。
[0107]
在本发明中，在得到抠图掩码后，如果不对得到的抠图掩码进行优化，去除部分不相关的抠图掩码，则经过该抠图掩码可能会得到不精确的前景设备图像。因此，在获取抠图
掩码后，可以将得到抠图掩码带入公式(3)中，以约束该抠图掩码，从而可以得到更加精确的抠图掩码。该公式(3)可以表示该抠图掩码的分散情况，当该语义细节融合分支的损失函数在小于第三阈值的情况下，可以说明该抠图掩码的分布情况在一定的合理范围内，则可以将该抠图掩码作用于设备图像中，如果该语义细节融合分支的损失函数不在该第三阈值的范围内，则可以说明该抠图掩码的分布情况不在合理的范围内，则可以去除该抠图掩码，然后得到更加精确的抠图掩码，然后将更加精确的抠图掩码作用于设备图像中，以得到更加精确的前景设备图像。
[0108]
在本发明中，如图7所示，优化细节预测及语义细节融合的流程可以包括：
[0109]
在步骤s28中，根据公式(4)获取最终融合损失函数：
[0110][0111]
其中，和是平衡三个子任务损失函数的超参数；
[0112]
在步骤s29中，获取小于第四阈值的最终融合损失函数和最终损失函数对应的前景设备图像。
[0113]
在本发明中，在得到前景设备图像后，需要对得到的前景设备图像进行评估，需要剔除不符合要求的前景设备图像。因此，通过公式(4)可以得到最终融合损失函数，该最终损失函数可以表示在融合得到前景设备图像中，各个步骤对最终结果的影响，当该最终融合损失函数小于第四阈值时，说明在得到前景设备图像过程中各个步骤去除的多余的影响因素在合理的范围，该得到的前景设备图像是精确的。
[0114]
另一方面，本发明还可以提供一种变电站缺陷检测系统，包括处理器，该处理器可以用于执行如上述任意一项所述的方法。
[0115]
再一方面，本发明还提供了一种计算机可读存储介质，该计算机可读存储介质存储有指令，用于被机器读取以使得机器执行如上述任意一项所述的方法。
[0116]
通过上述技术方案，本发明提供的一种变电站缺陷检测方法、系统和计算机可读存储介质通过获取现场巡检图像并使用目标检测算法对巡检图像进行检测，以获取待测设备的类型和位置，然后根据目标检测结果对巡检图像进行剪裁以得到设备图像。在得到设备图像后，可以将该设备图像输入至抠图算法网络中，以得到关于待测设备的前景设备图像，然后可以将该前景设备图像输入至异常检测网络中，从而可以判断待测设备的异常情况和缺陷位置，然后将该异常检测网络得到的结果输出，以提醒工作人员注意。该方法能够在摆脱缺陷数据依赖的情况下对变电站设施进行设备缺陷检测，解决当前变电站缺陷检测算法极度依赖缺陷数的问题
[0117]
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0118]
以上仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。