一种轻量化输电线路缺陷检测方法和装置与流程

本发明涉及输电线路缺陷检测，尤其涉及一种轻量化输电线路缺陷检测方法和装置。

背景技术：

1、输电线路缺陷检测主要包括对绝缘子、金具和螺栓等在输电线路上起着关键作用的部件的缺陷检测。传统人工巡检策略受到线路分布广、电力设施布置复杂、手工记录高成本低效率等因素的限制已不能满足要求。

2、无人机技术的应用为线路巡检提供了新的方式。与人工巡检相比，无人机巡检成本低、周期短、机动性强且安全性高，逐渐开始取代人工巡检。无人机航拍采集大量输电线路上的图像，通过人眼一一判断其中有无输电线路部件缺陷并不现实，因此迫切需要一个能够感知图像信息，理解分析场景并做出相应判断的图像处理系统来自动化检测图像中的输电线路关键部位缺陷。

3、相较于传统图像处理方法而言，基于深度学习的图像处理技术通过卷积神经网络自动提取多层次多角度的特征而不需要人为提取特征，具有更强的泛化能力和表达能力，且能够处理复杂背景下的目标检测。因此基于深度学习的目标检测模型是目前处理输电线路巡检图像的最优选择。

4、目前，在现有的应用无人机技术进行输电线路缺陷检测方法中，对于场景简单的缺陷检测任务，小型的网络模型便可胜任，而对于背景噪声庞杂、缺陷目标尺寸小且容易误检的检测任务，则需使用大规模的高精度模型提高检测性能，由于深度模型网络越来越深、模型复杂度越来越高，会存在模型的体积过大和推理速度较慢等问题，阻碍了将自动化缺陷检测模型部署进计算能力受限的无人机平台，进而导致一些现场实时巡检工作难以开展。

技术实现思路

1、本发明提供了一种轻量化输电线路缺陷检测方法和装置，解决了现有的应用无人机技术进行输电线路缺陷检测方法中，会存在模型的体积过大和推理速度较慢等问题，阻碍了将自动化缺陷检测模型部署进计算能力受限的无人机平台，进而导致一些现场实时巡检工作难以开展的技术问题。

2、本发明第一方面提供的一种轻量化输电线路缺陷检测方法，应用于边缘计算平台，所述边缘计算平台搭载于无人机，所述边缘计算平台与巡检控制中心通信连接，方法包括：

3、当接收到输电线路图像集时，对所述输电线路图像集进行图像预处理，生成样本集；

4、构建目标检测基准模型，根据预设剪枝条件，采用目标协同剪枝策略对所述目标检测基准模型进行剪枝操作，确定初始轻量化紧凑模型；

5、采用所述样本集对所述初始轻量化紧凑模型进行模型训练，生成目标轻量化紧凑模型，并将所述目标轻量化紧凑模型部署于所述边缘计算平台；

6、通过所述目标轻量化紧凑模型对待识别输电线路图像进行缺陷检测，将缺陷检测结果发送至所述巡检控制中心。

7、可选地，所述当接收到输电线路图像集时，对所述输电线路图像集进行图像预处理，生成样本集的步骤，包括：

8、当接收到输电线路图像集时，对所述输电线路图像集进行清洗操作，生成第一预处理图像数据；

9、对所述第一预处理图像数据中的目标特征进行标注操作，并提取所述目标特征对应的特征区域，生成目标特征区域图像；

10、对所述目标特征区域图像进行格式转换操作，生成第二预处理图像数据；

11、采用所述第一预处理图像数据和所述第二预处理图像数据生成样本集。

12、可选地，所述构建目标检测基准模型，根据预设剪枝条件，采用目标协同剪枝策略对所述目标检测基准模型进行剪枝操作，确定初始轻量化紧凑模型的步骤，包括：

13、采用预设空间金字塔主干网络、预设特征融合网络和预设解耦头预测网络进行耦合，构建目标检测基准模型；

14、采用预设特征图信息评估剪枝策略对所述目标检测基准模型进行剪枝，生成具有第一过滤器数量的第一剪枝模型；

15、基于预设ns剪枝策略，对所述目标检测基准模型进行剪枝，生成具有第二过滤器数量的第二剪枝模型；

16、比较所述第一过滤器数量与所述第二过滤器数量；

17、若所述第一过滤器数量大于所述第二过滤器数量，则将所述第二剪枝模型作为初始轻量化紧凑模型；

18、若所述第一过滤器数量小于所述第二过滤器数量，则将所述第一剪枝模型作为所述初始轻量化紧凑模型。

19、可选地，所述采用预设特征图信息评估剪枝策略对所述目标检测基准模型进行剪枝，生成具有第一过滤器数量的第一剪枝模型的步骤，包括：

20、采用预设第一剪枝样本集输入所述目标检测基准模型，生成多个卷积特征图；

21、计算各所述卷积特征图关联的多个像素概率值；

22、采用多个所述像素概率值，确定对应的多个特征熵值；

23、采用多个所述特征熵值，生成多个所述卷积特征图关联的过滤器的初始重要性评估值；

24、从多个所述初始重要性评估值中选取最大值和最小值，确定各所述卷积特征图关联的过滤器的目标重要性评估值；

25、比较各所述目标重要性评估值与关联的预设标准重要性评估值；

26、若所述目标重要性评估值大于所述预设标准重要性评估值，则将所述目标检测基准模型内所述目标重要性评估值关联的过滤器进行保留，生成第一过滤器数量的第一剪枝模型。

27、可选地，所述基于预设ns剪枝策略，对所述目标检测基准模型进行剪枝，生成具有第二过滤器数量的第二剪枝模型的步骤，包括：

28、采用稀疏惩罚项加入目标检测基准模型，生成ns剪枝模型；

29、采用预设第二剪枝样本集输入所述ns剪枝模型，生成多个ns特征图；

30、根据多个所述ns特征图，确定各所述ns特征图关联的过滤器的目标缩放因子参数；

31、比较各所述目标缩放因子参数与关联的预设标准缩放因子参数；

32、若所述目标缩放因子参数大于或等于所述预设标准缩放因子参数，则将所述ns剪枝模型内所述目标缩放因子参数关联的过滤器进行保留，生成第二过滤器数量的第二剪枝模型。

33、可选地，所述方法还包括：

34、采用预设测试样本集输入所述初始轻量化紧凑模型进行模型训练，根据测试结果生成对应的测试指标，其中，所述测试指标包括目标计算量、目标参数量和目标精度；

35、比对所述测试指标与预设标准指标条件；

36、若所述测试指标满足所述预设标准指标条件，则停止训练，生成目标轻量化紧凑模型；

37、若所述测试指标不满足所述预设标准指标条件，则按照预设梯度调整所述初始轻量化紧凑模型的网络参数；

38、跳转执行所述构建目标检测基准模型，根据预设剪枝条件，采用目标协同剪枝策略对所述目标检测基准模型进行剪枝操作，确定初始轻量化紧凑模型的步骤，直至所述测试指标满足所述预设标准指标条件，优化所述目标轻量化紧凑模型。

39、可选地，所述通过所述目标轻量化紧凑模型对待识别输电线路图像进行缺陷检测，将缺陷检测结果发送至所述巡检控制中心的步骤，包括：

40、通过所述目标轻量化紧凑模型对待识别输电线路图像进行缺陷检测；

41、若未标识出所述待识别输电线路图像内存在目标缺陷框图，则判定待检测输电线路不存在缺陷；

42、若标识出所述待识别输电线路图像内存在目标缺陷框图，则判定待检测输电线路存在缺陷，并提取所述目标缺陷框图内的缺陷位置信息和缺陷类别信息；

43、根据所述无人机的航点数据提取所述待检测输电线路的坐标信息，将目标缺陷的所述缺陷位置信息、所述缺陷类别信息和所述坐标信息发送至所述巡检控制中心。

44、本发明第二方面提供的一种轻量化输电线路缺陷检测装置，应用于边缘计算平台，所述边缘计算平台搭载于无人机，所述边缘计算平台与巡检控制中心通信连接，装置包括：

45、数据预处理模块，用于当接收到输电线路图像集时，对所述输电线路图像集进行图像预处理，生成样本集；

46、剪枝模块，用于构建目标检测基准模型，根据预设剪枝条件，采用目标协同剪枝策略对所述目标检测基准模型进行剪枝操作，确定初始轻量化紧凑模型；

47、模型训练模块，用于采用所述样本集对所述初始轻量化紧凑模型进行模型训练，生成目标轻量化紧凑模型，并将所述目标轻量化紧凑模型部署于所述边缘计算平台；

48、缺陷检测模块，用于通过所述目标轻量化紧凑模型对待识别输电线路图像进行缺陷检测，将缺陷检测结果发送至所述巡检控制中心。

49、可选地，所述数据预处理模块包括：

50、第一预处理图像数据子模块，用于当接收到输电线路图像集时，对所述输电线路图像集进行清洗操作，生成第一预处理图像数据；

51、目标特征区域图像子模块，用于对所述第一预处理图像数据中的目标特征进行标注操作，并提取所述目标特征对应的特征区域，生成目标特征区域图像；

52、第二预处理图像数据子模块，用于对所述目标特征区域图像进行格式转换操作，生成第二预处理图像数据；

53、样本集子模块，用于采用所述第一预处理图像数据和所述第二预处理图像数据生成样本集。

54、可选地，所述剪枝模块包括：

55、目标检测基准模型子模块，用于采用预设空间金字塔主干网络、预设特征融合网络和预设解耦头预测网络进行耦合，构建目标检测基准模型；

56、第一剪枝模型子模块，用于采用预设特征图信息评估剪枝策略对所述目标检测基准模型进行剪枝，生成具有第一过滤器数量的第一剪枝模型；

57、第二剪枝模型子模块，用于基于预设ns剪枝策略，对所述目标检测基准模型进行剪枝，生成具有第二过滤器数量的第二剪枝模型；

58、过滤器数量比较子模块，用于比较所述第一过滤器数量与所述第二过滤器数量；

59、第一模型确定子模块，用于若所述第一过滤器数量大于所述第二过滤器数量，则将所述第二剪枝模型作为初始轻量化紧凑模型；

60、第二模型确定子模块，用于若所述第一过滤器数量小于所述第二过滤器数量，则将所述第一剪枝模型作为所述初始轻量化紧凑模型。

61、从以上技术方案可以看出，本发明具有以下优点：

62、1、提出使用高效率的目标轻量化紧凑模型对输电线路中的部件进行缺陷检测，并对目标轻量化紧凑模型应用剪枝使模型轻量化，最终模型能够部署在无人机边缘计算平台上完成实时缺陷检测。

63、2、设计基于特征图信息评估的剪枝方法，通过计算卷积层输出特征图的熵值可以度量对应过滤器的重要性评估值，并作为剪枝的依据，剪枝后模型仅保留对提升模型精度有重要作用的过滤器。

64、3、将基于特征图信息评估的剪枝方法和ns剪枝方法联合使用提出了协同剪枝策略，维持各卷积层之间的剪枝平衡性，使得网络能更合理地压缩参数量和计算量，在维持模型精度的前提下最大限度地裁剪冗余过滤器。

65、4、根据cspdarknet53网络中的模块结构，定义需要剪枝的卷积层位置，保证模型网络结构的合理性。