一种变电设备缺陷图像数据扩充与数据清洗方法

本发明涉及图像处理，特别是涉及一种变电设备缺陷图像数据扩充与数据清洗方法。

背景技术：

1、随着新型电力系统建设步伐的加速，变电站运维模式开始由无人值守型向智慧型过渡，借助目标检测、语义分割等深度学习方法对现有变电设备缺陷图像进行集中处理分析，可以大幅缩短巡检周期，提高设备缺陷处理效率。一个准确率高、泛化性强的深度学习模型需要大量有代表性的标注样本，而现有的变电设备缺陷图像往往是在光照条件好、可见度高的环境下采集的，导致训练的深度学习模型在清晨、黄昏、黑夜、沙尘、暴雨、大雪、浓雾等场景中的泛化性较差，无法适应弱光及恶劣天气场景中的自动巡检需求，同时在实际变电站中收集大量存在天气、光照等各类复杂干扰变化的缺陷图像代价昂贵，少量样本又难以支撑深度学习模型的训练及定量评估。

2、因此，如何依托平行视觉技术，利用有限的变电设备缺陷图像和各种弱光场景图像生成低光照变电设备缺陷图像，并保证样本分布的一致性，以提高深度学习模型的泛化性，是一个亟需解决的问题。

技术实现思路

1、为了克服现有技术的不足，本发明的目的是提供一种变电设备缺陷图像数据扩充与数据清洗方法。

2、为实现上述目的，本发明提供了如下方案：

3、一种变电设备缺陷图像数据扩充与数据清洗方法，包括：

4、利用预设数据集对风格迁移网络进行训练，得到训练好的网络权重参数；

5、遍历原始变电设备缺陷图像和弱光场景图像，并利用加载所述网络权重参数的所述风格迁移网络，根据所述原始变电设备缺陷图像和弱光场景图像对缺陷图像数据进行扩充，得到低光照变电设备缺陷图像数据，并验证风格迁移效果；

6、滤除所述低光照变电设备缺陷图像数据中的低质量生成图像，并依托对抗验证方法利用分类模型筛选出与真实图像集合样本分布近似的生成图像，得到最终扩充的低光照变电设备缺陷图像集合。

7、优选地，利用预设数据集对风格迁移网络进行训练，得到训练好网络权重参数，包括：

8、将ms coco 2017数据集打包为批次大小固定的图像数据集合，并对图像进行大小调整、随机裁剪和归一化预处理，得到训练数据；

9、将所述训练数据输入所述风格迁移网络中进行多轮次的训练，并逐步微调所述风格迁移网络的编解码块的权重参数，得到训练好网络权重参数；编解码块包括编码网络和解码网络；每阶段的所述编解码块的训练流程为：输入特征经过所述编码网络得到编码特征，并通过所述解码网络还原输入特征，而后计算所述输入特征与输出特征间的内容重建损失、图像平滑损失、内容感知损失及解码块反演损失，并完成损失迭代、梯度反传、参数更新直至达到设定的训练轮次，而后保存编解码块的权重参数。

10、优选地，遍历原始变电设备缺陷图像和弱光场景图像，并利用加载所述网络权重参数的所述风格迁移网络，根据所述原始变电设备缺陷图像和弱光场景图像对缺陷图像数据进行扩充，得到低光照变电设备缺陷图像数据，并验证风格迁移效果，包括：

11、从变电设备缺陷图像集合中随机选择一张原始的内容图像，从低光照场景图中集合s中随机选择一张风格图像，利用训练好的编码网络完成内容图像和风格图像的特征提取，得到内容编码特征与风格编码特征集合，同时利用高频跳跃连接模块实现内容图像编码特征的高低频频率分量分解，得到高频残差分量；

12、前三阶段的风格迁移内容编码特征与风格编码特征通过通道相关-自适应实例归一化实现内容风格特征在通道分布的对齐，并通过解码网络进行通道维度压缩和空间维度扩张操作，在维度变换后与高频残差分量融合以补充空间信息，得到下阶段风格迁移的内容特征输入；第四阶段的风格迁移以风格编码特征为输入，采用空间相关-自适应实例归一化实现内容风格特征在空间分布上的对齐，并利用解码网络进还原输入图像的通道、空间维度，得到风格化后的内容图像；

13、计算原始的内容图像与风格化后的内容图像之间的结构相似性、风格化后内容图像的自然图像质量评价值及单张图像的平均风格迁移时间，并求取指标的平均值为最终的风格迁移评价指标。

14、优选地，滤除所述低光照变电设备缺陷图像数据中的低质量生成图像，并依托对抗验证方法利用分类模型筛选出与真实图像集合样本分布近似的生成图像，得到最终扩充的低光照变电设备缺陷图像集合，包括：

15、设定结构相似性及自然图像质量评价值的阈值，将低于阈值的所述低光照变电设备缺陷图像数据的生成图像进行删除处理，并通过计算生成图像的感知哈希值，对于感知哈希值相同的生成图像进行删除处理，得到初步扩充图像；

16、从初步扩充图像的集合随机抽取与真实图像集合相同数量的图像，并制作分类标签，与真实图像混合后随机划分训练集与验证集，并完成对抗验证模型的训练；

17、以初步扩充图像的集合为测试集，利用训练好的对抗验证模型完成生成图像集合的分类，筛选出预测标签为1的图像直至遍历完生成图像集合，并设定评判阈值，滤除低于阈值的生成图像，得到符合真实图像样本分布的最终扩充的低光照变电设备缺陷图像集合。

18、根据本发明提供的具体实施例，本发明公开了以下技术效果：

19、本发明提供了一种变电设备缺陷图像数据扩充与数据清洗方法，包括：利用预设数据集对风格迁移网络进行训练，得到训练好的网络权重参数；遍历原始变电设备缺陷图像和弱光场景图像，并利用加载所述网络权重参数的所述风格迁移网络，根据所述原始变电设备缺陷图像和弱光场景图像对缺陷图像数据进行扩充，得到低光照变电设备缺陷图像数据，并验证风格迁移效果；滤除所述低光照变电设备缺陷图像数据中的低质量生成图像，并依托对抗验证方法利用分类模型筛选出与真实图像集合样本分布近似的生成图像，得到最终扩充的低光照变电设备缺陷图像集合。本发明有助于解决深度学习模型在弱光场景泛化性弱的问题。

技术特征：

1.一种变电设备缺陷图像数据扩充与数据清洗方法，其特征在于，包括：

2.根据权利要求1所述的变电设备缺陷图像数据扩充与数据清洗方法，其特征在于，利用预设数据集对风格迁移网络进行训练，得到训练好的网络权重参数，包括：

3.根据权利要求2所述的变电设备缺陷图像数据扩充与数据清洗方法，其特征在于，遍历原始变电设备缺陷图像和弱光场景图像，并利用加载所述网络权重参数的所述风格迁移网络，根据所述原始变电设备缺陷图像和弱光场景图像对缺陷图像数据进行扩充，得到低光照变电设备缺陷图像数据，并验证风格迁移效果，包括：

4.根据权利要求3所述的变电设备缺陷图像数据扩充与数据清洗方法，其特征在于，滤除所述低光照变电设备缺陷图像数据中的低质量生成图像，并依托对抗验证方法利用分类模型筛选出与真实图像集合样本分布近似的生成图像，得到最终扩充的低光照变电设备缺陷图像集合，包括：

技术总结
本发明提供了一种变电设备缺陷图像数据扩充与数据清洗方法，包括：利用预设数据集对风格迁移网络进行训练，得到训练好的网络权重参数；遍历原始变电设备缺陷图像和弱光场景图像，并利用加载所述网络权重参数的所述风格迁移网络，根据所述原始变电设备缺陷图像和弱光场景图像对缺陷图像数据进行扩充，得到低光照变电设备缺陷图像数据，并验证风格迁移效果；滤除所述低光照变电设备缺陷图像数据中的低质量生成图像，并依托对抗验证方法利用分类模型筛选出与真实图像集合样本分布近似的生成图像，得到最终扩充的低光照变电设备缺陷图像集合。本发明有助于解决深度学习模型在弱光场景泛化性弱的问题。

技术研发人员：赵振兵,刘斌,张珂,李刚,苏攀,赵文清
受保护的技术使用者：华北电力大学（保定）
技术研发日：
技术公布日：2024/1/16