本发明涉及计算机视觉,更具体的说是涉及一种基于领域风格的图像领域扩展方法及系统。
背景技术:
1、对电力需求的增加提高了输电线路的容量,从而提高了对输电可靠性的要求。对维持电网稳定至关重要的电力检查,已经变得更加复杂和劳动密集型。绝缘子是输电线路的重要部件,它始终受到恶劣的室外条件的影响,导致出现缺陷和故障的风险增加。及时的检查对于确保绝缘子的安全运行、减轻安全隐患、提高电力系统的可靠性至关重要。近年来,无人机(uav)越来越多地取代了人工检查,计算机视觉技术被广泛应用于绝缘子监测。然而,数据短缺和数据集之间的领域转换显著影响了模型的性能和泛化能力。
2、与一般的计算机视觉任务通常有足够的数据集不同,当前的功率视觉缺陷检测任务面临着严重的数据短缺。数据稀缺的原因包括:与正常数据相比,缺陷发生的频率较低;在特殊环境中获取数据面临挑战;主要由电网公司掌握的数据存在保密问题,大多数数据集都是私有的,其特点是缺陷图像不足,绝缘体类型有限,结构受限,从而导致数据分布不均和数据域转移。
3、在电力缺陷检测中,领域转移往往被忽视,以往的方法假设训练和测试数据来自同一领域。实际上,检测通常涉及未见过的领域,缺陷数据有限,因此训练一个可接受的检测模型具有挑战性。数据数量和检测场景的不足是领域转移的主要原因。大多数工作集中在增加数据数量,而不是检查情况。使用数据增强技术,生成增强数据而非新数据;或者人工分割绝缘体实例并将其粘贴到新的背景图像上,这种方法需要人工操作,不能模拟新的摄像机角度或场景;或者通过修改缺陷区域生成自爆缺陷图像,但仅限于特定的缺陷类型和不变的摄像机角度。
4、因此,如何提出一种基于领域风格的图像领域扩展方法及系统,有效扩展数据集,是本领域技术人员亟需解决的问题。
技术实现思路
1、有鉴于此,本发明提供了一种基于领域风格的图像领域扩展方法及系统,有效扩展数据集,增强模型泛化能力。
2、为了实现上述目的,本发明采用如下技术方案:
3、一方面,本发明提出一种基于领域风格的图像领域扩展方法,包括以下步骤:
4、获取内容图像和风格图像;
5、构建并训练基于神经卷积网络的领域转换模型,所述领域转换模型的损失函数包括风格损失和内容损失,所述内容损失为所述内容图像的不同实例部分添加不同的权重;
6、将所述内容图像和所述风格图像输入训练好的领域转换模型,输出领域扩展图像。
7、优选的,所述内容图像的不同实例部分包括:背景部分、无问题实例和缺陷部分实例。
8、优选的,所述损失函数公式如下:
9、
10、式中,为内容损失,为风格损失,α、β分别为内容损失权重、风格损失权重。
11、优选的,所述内容损失是内容图像c和输出风格迁移图像t之间第l层特征图的均方误差(mse)之和,公式如下:
12、
13、式中,ω0、ω1、ω2分别代表背景部分权重、无问题实例权重、缺陷部分实例权重;mk为第k部分的二值掩膜图像;表示第k个实例部分对应的内容图像(i,j)位置的像素;表示第k个实例部分对应的输出风格迁移图像(i,j)位置的像素。
14、优选的,所述风格损失公式如下:
15、
16、式中,l为神经卷积网络总层数,s为风格图像,gram(·)是计算gram矩阵的函数。
17、优选的,一种基于领域风格的图像领域扩展方法还包括:利用峰值信噪比计算各实例部分的图像内容质量,以判断输出图像是否合格;所述输出图像为内容图像经神经卷积网络得到的图像;
18、为每个实例部分设置不同的psnr门限,当各实例部分的峰值信噪比的值大于对应的psnr门限时,判定输出图像合格。
19、优选的,所述峰值信噪比psnr的计算公式如下:
20、
21、式中,max为255;m和n分别为输出图像的宽度和高度;i(i,j)为输出图像(i,j)位置的像素值,k(i,j)为输入图像(i,j)位置像素值;m为各实例部分对应掩膜。
22、另一方面,本发明还提出一种基于领域风格的图像领域扩展系统,用于实现上述一种基于领域风格的图像领域扩展方法,该系统包括:
23、图像采集模块,用于获取内容图像和风格图像;
24、模型构建模块,用于构建并训练基于神经卷积网络的领域转换模型,所述领域转换模型的损失函数包括风格损失和内容损失,所述内容损失为所述内容图像的不同实例部分添加不同的权重;
25、领域扩展模块,用于将所述内容图像和所述风格图像输入训练好的领域转换模型,输出领域扩展图像。
26、优选的,一种基于领域风格的图像领域扩展系统还包括:
27、图像质量评估模块,用于利用峰值信噪比计算各实例部分的图像内容质量,以判断输出图像是否合格;
28、为每个实例部分设置不同的psnr门限,当各实例部分的峰值信噪比的值大于对应的psnr门限时,判定输出图像合格。
29、经由上述的技术方案可知,与现有技术相比,本发明公开提供了一种基于领域风格的图像领域扩展方法及系统,通过构建并训练神经卷积网络模型,实现了从内容图像到领域扩展图像的转换。通过引入内容损失的权重分配机制和利用峰值信噪比进行质量评估,本发明不仅提高了转换图像的质量,还有效扩展了数据集,增强了模型的泛化能力,在图像处理、计算机视觉等领域具有广泛的应用前景。
1.一种基于领域风格的图像领域扩展方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的一种基于领域风格的图像领域扩展方法,其特征在于,所述内容图像的不同实例部分包括:背景部分、无问题实例和缺陷部分实例。
3.根据权利要求2所述的一种基于领域风格的图像领域扩展方法,其特征在于,所述损失函数公式如下:
4.根据权利要求3所述的一种基于领域风格的图像领域扩展方法,其特征在于,所述内容损失是内容图像c和输出风格迁移图像t之间第l层特征图的均方误差(mse)之和,公式如下:
5.根据权利要求4所述的一种基于领域风格的图像领域扩展方法,其特征在于,所述风格损失公式如下:
6.根据权利要求2所述的一种基于领域风格的图像领域扩展方法,其特征在于,还包括:利用峰值信噪比计算各实例部分的图像内容质量,以判断输出图像是否合格;所述输出图像为内容图像经神经卷积网络得到的图像;
7.根据权利要求6所述的一种基于领域风格的图像领域扩展方法,其特征在于,所述峰值信噪比psnr的计算公式如下:
8.一种基于领域风格的图像领域扩展系统,其特征在于,包括:
9.根据权利要求8所述的一种基于领域风格的图像领域扩展系统,其特征在于,还包括: