一种面向复合绝缘子的融合式数据生成方法及装置

本发明涉及图像处理，具体涉及一种面向复合绝缘子的融合式数据生成方法及装置。

背景技术：

1、随着红外热成像技术的发展，基于红外图像的过热缺陷检测开始大量显现。通过无人机搭载红外热像相机，大规模获取输电线路红外温度数据，训练过热缺陷检测模型。然而，在实际无人机红外巡检过程中，由于输电线路电压等级、外部环境和部件种类繁杂等因素影响，使得定点采集到大量复合绝缘子红外图像较为困难，无法满足过热缺陷检测模型的训练要求。目前输电线路复合绝缘子红外图像数据匮乏，困难样本的漏检、误检频发。

技术实现思路

1、有鉴于此，有必要提供一种面向复合绝缘子的融合式数据生成方法及装置，用以解决目前输电线路复合绝缘子红外图像数据匮乏，困难样本的漏检、误检频发的技术问题。

2、为了实现上述目的，本发明提供了一种面向复合绝缘子的融合式数据生成方法，包括：

3、基于复合绝缘子红外图像数据集内每一图像中尺度小于尺度阈值的目标的总数以及所有尺度的目标的总数，对所述复合绝缘子红外图像数据集进行重采样，得到第一红外图像数据集；

4、基于mosaic混合策略，对所述第一红外图像数据集进行多尺度混合，得到第二红外图像数据集；

5、基于mixup算法、cutmix算法和copypaste算法，对所述第二红外图像数据集内每一图像进行图像混合，生成面向复合绝缘子的融合式数据。

6、进一步地，所述基于复合绝缘子红外图像数据集内每一图像中尺度小于尺度阈值的目标的总数以及所有尺度的目标的总数，对所述复合绝缘子红外图像数据集进行重采样，包括：

7、基于所述复合绝缘子红外图像数据集内每一图像中尺度小于尺度阈值的目标的总数以及所有尺度的目标的总数，确定所述复合绝缘子红外图像数据集内每一图像对应的抽取概率；

8、对所述复合绝缘子红外图像数据集内所对应的抽取概率大于概率阈值的每一图像进行重采样，所述概率阈值大于0且小于1。

9、进一步地，所述基于复合绝缘子红外图像数据集内每一图像中尺度小于尺度阈值的目标的总数以及所有尺度的目标的总数，确定所述复合绝缘子红外图像数据集内每一图像对应的抽取概率，包括：

10、基于以下公式确定所述复合绝缘子红外图像数据集内每一图像对应的抽取概率：

11、

12、其中，p表示所述复合绝缘子红外图像数据集内任一图像对应的抽取概率，ss表示所述复合绝缘子红外图像数据集内任一图像中尺度小于尺度阈值的目标的总数，sa表示所述复合绝缘子红外图像数据集内任一图像中所有尺度的目标的总数。

13、进一步地，所述基于mixup算法、cutmix算法和copypaste算法，对所述第二红外图像数据集内每一图像进行图像混合，生成面向复合绝缘子的融合式数据，包括：

14、基于以下公式生成所述面向复合绝缘子的融合式数据：

15、∑iadaom＝pm×∑imixup+pcm×∑icutmix+pcp×∑icopypaste

16、其中，∑iadaom表示所述面向复合绝缘子的融合式数据，pm表示第一比例，pcm表示第二比例，pcp表示第三比例，∑imixup表示mixup红外图像数据集，∑icutmix表示cutmix红外图像数据集，∑icopypaste表示copypaste红外图像数据集，pm、pcm、和pcp三者的和为1。

17、进一步地，所述mixup红外图像数据集基于以下公式得到：

18、imixup＝λ×ia+(1-λ)×ib

19、其中，ia表示第一图像，ib表示第二图像，imixup表示所述第一图像经过mixup算法进行图像混合后的图像，λ表示加权融合系数，所述第一图像为所述第二红外图像数据集内任一图像，所述第二图像为所述第二红外图像数据集内除所述第一图像以外的任一图像。

20、进一步地，所述cutmix红外图像数据集基于以下公式得到：

21、

22、其中，ia表示第一图像，ib表示第二图像，icutmix表示所述第一图像经过cutmix算法进行图像混合后的图像，μ表示图像线性混合比例，mask为宽640像素、高512像素的二值掩码，用于标识所述第二图像中随机裁剪的区域，表示像素级别的乘法操作，所述第一图像为所述第二红外图像数据集内任一图像，所述第二图像为所述第二红外图像数据集内除所述第一图像以外的任一图像。

23、进一步地，所述copypaste红外图像数据集基于以下公式得到：

24、

25、其中，ia表示第一图像，ib表示第二图像，icopypaste表示所述第一图像经过copypaste算法进行图像混合后的图像，掩码maski用于确定在所述第一图像中粘贴目标的位置，掩码maskj用于确定在所述第二图像中复制目标的位置，m为所述第一图像中复合绝缘子目标的数量，n为所述第二图像中复制目标的数量，所述第一图像为所述第二红外图像数据集内任一图像，所述第二图像为所述第二红外图像数据集内除所述第一图像以外的任一图像。

26、本发明还提供了一种面向复合绝缘子的融合式数据生成装置，包括：

27、重采样模块，用于基于复合绝缘子红外图像数据集内每一图像中尺度小于尺度阈值的目标的总数以及所有尺度的目标的总数，对所述复合绝缘子红外图像数据集进行重采样，得到第一红外图像数据集；

28、多尺度混合模块，用于基于mosaic混合策略，对所述第一红外图像数据集进行多尺度混合，得到第二红外图像数据集；

29、图像混合模块，用于基于mixup算法、cutmix算法和copypaste算法，对所述第二红外图像数据集内每一图像进行图像混合，生成面向复合绝缘子的融合式数据。

30、本发明还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时，实现如上所述的面向复合绝缘子的融合式数据生成方法。

31、本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的面向复合绝缘子的融合式数据生成方法。

32、与现有技术相比，本发明的有益效果包括：首先根据复合绝缘子红外图像数据集内每一图像中目标的尺度对复合绝缘子红外图像数据集进行重采样，增加数据集中小尺度目标的数量，然后使用mosaic混合策略增加数据集中的多尺度特征，最后使用mixup算法、cutmix算法和copypaste算法这三种图像混合算法，增加数据集中目标被遮挡的特征，从而丰富了复合绝缘子红外图像困难数据样本的种类和个数，提升了复合绝缘子检测的准确性。

技术特征：

1.一种面向复合绝缘子的融合式数据生成方法，其特征在于，包括：

2.根据权利要求1所述的面向复合绝缘子的融合式数据生成方法，其特征在于，所述基于复合绝缘子红外图像数据集内每一图像中尺度小于尺度阈值的目标的总数以及所有尺度的目标的总数，对所述复合绝缘子红外图像数据集进行重采样，包括：

3.根据权利要求2所述的面向复合绝缘子的融合式数据生成方法，其特征在于，所述基于复合绝缘子红外图像数据集内每一图像中尺度小于尺度阈值的目标的总数以及所有尺度的目标的总数，确定所述复合绝缘子红外图像数据集内每一图像对应的抽取概率，包括：

4.根据权利要求1所述的面向复合绝缘子的融合式数据生成方法，其特征在于，所述基于mixup算法、cutmix算法和copypaste算法，对所述第二红外图像数据集内每一图像进行图像混合，生成面向复合绝缘子的融合式数据，包括：

5.根据权利要求4所述的面向复合绝缘子的融合式数据生成方法，其特征在于，所述mixup红外图像数据集基于以下公式得到：

6.根据权利要求4所述的面向复合绝缘子的融合式数据生成方法，其特征在于，所述cutmix红外图像数据集基于以下公式得到：

7.根据权利要求4所述的面向复合绝缘子的融合式数据生成方法，其特征在于，所述copypaste红外图像数据集基于以下公式得到：

8.一种面向复合绝缘子的融合式数据生成装置，其特征在于，包括：

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，处理器执行程序时，实现根据权利要求1至7任一项所述的面向复合绝缘子的融合式数据生成方法。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的面向复合绝缘子的融合式数据生成方法。

技术总结
本发明涉及一种面向复合绝缘子的融合式数据生成方法及装置，该方法包括：基于复合绝缘子红外图像数据集内每一图像中尺度小于尺度阈值的目标的总数以及所有尺度的目标的总数，对所述复合绝缘子红外图像数据集进行重采样，得到第一红外图像数据集；基于Mosaic混合策略，对所述第一红外图像数据集进行多尺度混合，得到第二红外图像数据集；基于Mixup算法、CutMix算法和CopyPaste算法，对所述第二红外图像数据集内每一图像进行图像混合，生成面向复合绝缘子的融合式数据。本发明丰富了复合绝缘子红外图像困难数据样本的种类和个数，提升了复合绝缘子检测的准确性。

技术研发人员：石英,叶鑫豪,王进,谢雨霏,李长武
受保护的技术使用者：武汉理工大学
技术研发日：
技术公布日：2024/3/17