设备缺陷检测方法、装置、电子设备和可读存储介质与流程

本技术涉及图像目标检测，具体而言，本技术涉及一种设备缺陷检测方法、装置、电子设备和可读存储介质。

背景技术：

1、变电站巡检是维护供电系统的正常运转和稳定性的有效措施，通过对变电设备异常、生产行为异常以及设备运行状态异常等异常问题进行识别，能够及时发现潜在安全问题并采取解决措施，提高设备利用效率、减少维护和故障成本、延长设备使用寿命，并确保设备的安全性和可靠性。

2、目前变电站巡检方式主要有人工巡检和机器人巡检。其中，人工巡检方式主要通过观察、听声辨异和嗅闻判断等方式来检查设备是否正常运行，巡检效率低，需要消耗大量的人力成本，并且依赖于巡检人员经验，难免会出现遗漏和疏忽等问题，容易出现错检和漏检的情况，影响检测结果的准确性。机器人巡检方式主要采用图像识别算法对机器人采集到的图像进行设备缺陷检测，虽然能够提高巡检效率，但由于变电站场景下的识别目标(设备)具有类别数量不均衡、目标尺寸范围广且部分类别间差异小等特性，图像特征提取和识别困难，导致设备缺陷检测结果的准确性不高。

3、在此情况下，亟需提供一种设备缺陷检测方案，提高设备缺陷检测结果的准确性。

技术实现思路

1、本技术的目的旨在至少能解决上述的技术缺陷之一，本技术实施例所提供的技术方案如下：

2、第一方面，本技术实施例提供了一种设备缺陷检测方法，包括：

3、将待检测设备图像输入第一缺陷检测模型中获取目标缺陷父类别；其中，第一缺陷检测模型根据样本图像集训练得到，样本图像集中每一样本图像标注有对应的父类别标签；

4、若确定存在与目标缺陷父类别对应的第二缺陷检测模型，将目标缺陷父类别对应的感兴趣区域图像输入第二缺陷检测模型中获取目标缺陷子类别；其中，第二缺陷检测模型根据目标缺陷父类别对应的子类别样本图像集训练得到，子类别样本图像集中每一样本图像标注有对应的子类别标签。

5、在本技术的一种可选实施例中，目标缺陷父类别对应的子类别样本图像集中的样本图像为样本图像集中标注有目标父类别标签的样本图像；

6、其中，目标父类别标签为目标缺陷父类别对应的缺陷类别标签。

7、在本技术的一种可选实施例中，第一缺陷检测模型包括：骨干网络、颈部网络和检测端；

8、将待检测设备图像输入第一缺陷检测模型中获取目标缺陷父类别，具体包括：

9、将待检测设备图像输入第一缺陷检测模型中，通过骨干网络对待检测设备图像进行特征提取，输出多个不同尺寸的初始特征图；

10、通过颈部网络对多个不同尺寸的初始特征图进行分辨率变换，输出多个不同分辨率的目标特征图；

11、通过检测端获取每一目标特征图对应的检测结果，根据所有的检测结果输出目标缺陷父类别。

12、在本技术的一种可选实施例中，颈部网络包括：特征金字塔网络层和交叉分辨率加权层；

13、通过颈部网络对多个不同尺寸的初始特征图进行分辨率变换，输出多个不同分辨率的目标特征图，具体包括：

14、将多个不同尺寸的初始特征图输入颈部网络中，通过特征金字塔网络层对多个不同尺寸的初始特征图进行融合，获取多个金字塔特征图；

15、通过交叉分辨率加权层对多个金字塔特征图进行自适应平均池化操作获取平均特征图，将平均特征图在通道维度进行切分获取多个权重图，根据平均特征图输出多个不同分辨率的目标特征图。

16、在本技术的一种可选实施例中，方法还包括：

17、通过交叉分辨率加权层对多个金字塔特征图进行自适应最大池化操作获取最大特征图；

18、将平均特征图在通道维度进行切分获取多个权重图，包括：

19、将平均特征图和最大特征图按位相加，获取融合特征图；

20、将融合特征图在通道维度进行切分，获取多个权重图。

21、在本技术的一种可选实施例中，样本图像集通过如下方式获取：

22、获取初始样本图像集对应的父类别标签列表，对父类别标签列表中的父类别标签进行预设次数的随机可重复采样获取父类别标签序列，并确定父类别标签列表中每一种类的父类别标签的数量；其中，初始样本图像集中每一样本图像标注有对应的父类别标签，父类别标签列表包括初始样本图像集中对应的不同种类的父类别标签；

23、根据每一种类的父类别标签的数量，对初始样本图像集中每一种类的父类别标签对应的样本图像进行筛选或扩增，获取每一种类的父类别标签对应的样本图像；

24、根据父类别标签序列中各种类的父类别标签对应的样本图像，构建样本图像集。

25、在本技术的一种可选实施例中，父类别标签包括真实标注框和真实父类别；

26、第一缺陷检测模型通过如下方式获取：

27、根据样本图像集，对初始神经网络迭代执行以下训练操作，直至满足预设训练停止条件，得到第一缺陷检测模型：

28、将样本图像集中各样本图像输入初始神经网络中，输出每一样本图像对应的多个预测结果；其中，每一预测结果包括预测父类别和对应的预测框；

29、对于每一样本图像，筛选出与真实父类相同的预测父类别对应的预测框，获取预测框集；

30、对于每一样本图像对应的预测框集，获取每一预测框和真实标注框的位置关系，根据位置关系从预测框集中筛选出正样本候选框；

31、获取所有正样本候选框与对应的真实标注框的训练损失，根据每一训练损失从正样本候选框中筛选出正样本预测框，根据各正样本预测框与对应的真实标注框的训练损失，获取训练总损失；

32、根据训练总损失，对初始神经网络的网络参数进行调整。

33、第二方面，本技术实施例提供了一种设备缺陷检测装置，包括：

34、第一缺陷类别检测模块，用于将待检测设备图像输入第一缺陷检测模型中获取目标缺陷父类别；其中，第一缺陷检测模型根据样本图像集训练得到，样本图像集中每一样本图像标注有对应的父类别标签；

35、第二缺陷类别检测模块，用于在确定存在与目标缺陷父类别对应的第二缺陷检测模型后，将目标缺陷父类别对应的感兴趣区域图像输入第二缺陷检测模型中获取目标缺陷子类别；其中，第二缺陷检测模型根据目标缺陷父类别对应的子类别样本图像集训练得到，子类别样本图像集中每一样本图像标注有对应的子类别标签。

36、在本技术的一种可选实施例中，目标缺陷父类别对应的子类别样本图像集中的样本图像为样本图像集中标注有目标父类别标签的样本图像；

37、其中，目标父类别标签为目标缺陷父类别对应的缺陷类别标签。

38、在本技术的一种可选实施例中，第一缺陷检测模型包括：骨干网络、颈部网络和检测端；

39、第一缺陷类别检测模块，具体用于：

40、将待检测设备图像输入第一缺陷检测模型中，通过骨干网络对待检测设备图像进行特征提取，输出多个不同尺寸的初始特征图；

41、通过颈部网络对多个不同尺寸的初始特征图进行分辨率变换，输出多个不同分辨率的目标特征图；

42、通过检测端获取每一目标特征图对应的检测结果，根据所有的检测结果输出目标缺陷父类别。

43、在本技术的一种可选实施例中，颈部网络包括：特征金字塔网络层和交叉分辨率加权层；

44、第一缺陷类别检测模块，具体用于：

45、将多个不同尺寸的初始特征图输入颈部网络中，通过特征金字塔网络层对多个不同尺寸的初始特征图进行融合，获取多个金字塔特征图；

46、通过交叉分辨率加权层对多个金字塔特征图进行自适应平均池化操作获取平均特征图，将平均特征图在通道维度进行切分获取多个权重图，根据平均特征图输出多个不同分辨率的目标特征图。

47、在本技术的一种可选实施例中，第一缺陷类别检测模块还用于：

48、通过交叉分辨率加权层对多个金字塔特征图进行自适应最大池化操作获取最大特征图；

49、第一缺陷类别检测模块，具体用于：

50、将平均特征图和最大特征图按位相加，获取融合特征图；

51、将融合特征图在通道维度进行切分，获取多个权重图。

52、在本技术的一种可选实施例中，设备缺陷检测装置还包括：样本图像集获取模块；样本图像集获取模块，用于：

53、获取初始样本图像集对应的父类别标签列表，对父类别标签列表中的父类别标签进行预设次数的随机可重复采样获取父类别标签序列，并确定父类别标签列表中每一种类的父类别标签的数量；其中，初始样本图像集中每一样本图像标注有对应的父类别标签，父类别标签列表包括初始样本图像集中对应的不同种类的父类别标签；

54、根据每一种类的父类别标签的数量，对初始样本图像集中每一种类的父类别标签对应的样本图像进行筛选或扩增，获取每一种类的父类别标签对应的样本图像；

55、根据父类别标签序列中各种类的父类别标签对应的样本图像，构建样本图像集。

56、在本技术的一种可选实施例中，父类别标签包括真实标注框和真实父类别；

57、设备缺陷检测装置还包括：缺陷检测模型获取模块；缺陷检测模型获取模块，用于：

58、根据样本图像集，对初始神经网络迭代执行以下训练操作，直至满足预设训练停止条件，得到第一缺陷检测模型：

59、将样本图像集中各样本图像输入初始神经网络中，输出每一样本图像对应的多个预测结果；其中，每一预测结果包括预测父类别和对应的预测框；

60、对于每一样本图像，筛选出与真实父类相同的预测父类别对应的预测框，获取预测框集；

61、对于每一样本图像对应的预测框集，获取每一预测框和真实标注框的位置关系，根据位置关系从预测框集中筛选出正样本候选框；

62、获取所有正样本候选框与对应的真实标注框的训练损失，根据每一训练损失从正样本候选框中筛选出正样本预测框，根据各正样本预测框与对应的真实标注框的训练损失，获取训练总损失；

63、根据训练总损失，对初始神经网络的网络参数进行调整。

64、第三方面，本技术实施例提供了一种电子设备，该电子设备包括存储器、处理器及存储在存储器上的计算机程序，处理器执行计算机程序以实现上述任一实施例所提供的设备缺陷检测方法的步骤。

65、第四方面，本技术实施例提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一实施例所提供的设备缺陷检测方法。

66、本技术实施例提供的技术方案带来的有益效果是：

67、本方案通过将设备缺陷类别划分为父类别以及父类别对应的子类别，针对父类别和子类别分别构建第一缺陷检测模型和第二缺陷检测模型，根据第一缺陷检测模型进行待检测设备图像设备缺陷父类别的识别，根据第二缺陷检测模型进行设备缺陷子类别的识别。相较于单一模型的目标识别方法，采用双层缺陷检测模型嵌套的方式，将设备缺陷的识别拆成两个子任务并采用不同的模型处理，能够更充分地利用样本图像特征，提高模型的目标检测精度，有效提高设备缺陷检测的准确性。