样本图像数据增强方法、装置、电子设备及存储介质与流程
本发明涉及计算机图像处理技术领域，尤其涉及一种样本图像数据增强方法、装置、电子设备及计算机可读存储介质。
背景技术：
随着社会经济的不断发展，社会大众生活水平的逐步改善，计算机技术在生产生活中得到广泛推广，特别是计算机图像处理技术，成为当前计算机应用领域中的重要技术类型之一。
计算机图像处理技术中，如何对样本图像数据进行增强，在实际工业项目中解决样本图像分布不均衡的问题时十分重要。举例来说，在进行计算机图像检测分类时，若某一类型的样本图像(如车损图像)的数量较少，导致图像检测分类模型对所述类型的样本图像的训练较少，进而在进行某一相关图像的检测分类时，可能出现错误的检测分类结果。
因此，为改善样本图像分布不均衡的问题，当某一类型样本图像数据较少时，可以先对所述类型的样本图像数据进行增强。进一步地，将增强后的所述类型的多个样本图像数据输入图像检测分类模型进行训练，可以使得图像检测分类模型对某一相关图像进行检测分类时的准确率较高。
一般地，样本图像数据增强方法可以分为有监督地数据增强和无监督地数据增强方法。其中，有监督的数据增强可以分为单样本图像数据增强和多样本图像数据增强，无监督的数据增强可以分为生成新的数据和学习增强策略。
有监督数据增强采用预设的数据变换规则，在已有数据的基础上进行数据扩充。其中，单样本图像数据增强包括几何操作如翻转、旋转等和颜色变换如噪声、模糊等。该类方法的优势很明显，即操作方便，但是存在过拟合的风险。多样本图像数据增强不同于单样本数据增强，它利用多个样本图像来产生新的样本图像，如smote、samplingpairing和mixup等，这三种方法都是试图将离散样本点连续化来拟合真实分布，不过所增加的样本图像在特征空间中仍位于已知小样本图像点所围成的区域内。而且，该类方法存在一些潜在问题，如smote，它为每个小众样本图像合成数量相同的样本图像，然而，其一方面增加了类之间重叠的可能性，另一方面生成了一些没有提供有益信息的样本。
无监督的数据增强方法主要分为两种：通过模型学习出适合当前任务的数据增强方法，如autoaugment，通过模型学习数据的分布，随机生成与训练数据集分布一致的图片，如对抗生成网络(gan)。autoaugment的基本思想思路是从数据本身寻找最佳图像变换策略，对于不同的任务学习不同的增强方法。从预先准备的16个常用数据增强操作中随机选取5个，通过训练和验证来挑选出能够达到数据增强的增强操作组合。该方法能够对于不同的任务学习最佳的数据增强方法，比之有监督数据增强中采用预设的数据变换规则要更灵活、更有针对性。同时，该方法的劣势也很明显：耗费计算资源过大，在计算资源有限的情况下难以实现。
技术实现要素：
本发明提供一种样本图像数据增强方法、装置、电子设备及计算机可读存储介质，其主要目的在于基于对抗生成网络对样本图像数据进行增强，生成扩展样本图像。
为实现上述目的，本发明提供一种样本图像数据增强方法，其包括以下步骤：
获取样本图像；
获取采用所述样本图像中的感兴趣区域的图像块训练初始对抗生成网络模型生成的目标对抗生成网络模型；
获取依据所述样本图像生成具有所述感兴趣区域的标注图像；
获取对所述标注图像中所述感兴趣区域以外的其他区域进行屏蔽处理生成的掩膜图像；及
将所述标注图像及所述掩膜图像输入所述目标对抗生成网络模型生成扩展样本图像。
优选地，所述初始对抗生成网络模型包括多个生成器g0,g1,......gn及与所述多个生成器g0,g1,......gn对应的多个判别器d0,d1,......dn，所述多个生成器g0,g1,......gn的输出图像尺寸按照g0,g1,......gn的顺序依次增大，所述图像块包括多个尺寸顺序增大的图像块x0,x1,......xn，所述初始对抗生成网络模型的输入包括所述图像块及噪声图像z0,z1,......zn，其中n为大于等于2的自然数，所述训练初始对抗生成网络模型生成的目标对抗生成网络模型的过程中：
当n＝n时，将所述噪声图像zn输入所述生成器gn得到输出图像
当n<n时，n为自然数，将所述噪声图像zn及对所述生成器gn+1的输出图像
保存训练后的所述多个生成器或保存训练后的所述多个生成器及所述多个判别器作为所述目标对抗生成网络模型。
优选地，所述训练初始对抗生成网络模型生成的目标对抗生成网络模型的过程中，所述多个生成器g0,g1,......gn对应的多个判别器d0,d1,......dn依照从gn至g0、从dn至d0的顺序被依次训练及固定；
当n＝n时，所述生成器gn包括卷积神经网络，所述卷积神经网络接收所述噪声图像zn并输出所述输出图像
当n<n时，所述生成器gn包括第一叠加器、卷积神经网络及第二叠加器，所述第一叠加器用于将所述噪声图像zn及对所述采样图像
优选地，所述初始对抗生成网络模型包括全卷积的金字塔对抗生成网络模型。
优选地，所述生成器gn的卷积神经网络采用33conv-bn-leackyrelu组成的5层全卷积网络。
优选地，所述生成器gn采用可提供梯度惩罚损失的wgan-gp。
优选地，所述判别器dn为马尔科夫判别器。
优选地，所述生成器gn及所述判别器dn的训练损失包括对抗损失ladv和重建损失lrec，所述生成器gn及所述判别器dn的训练损失的公式如下：
其中，
优选地，所述重建损失lrec符合如下条件：
当n＝n时，所述噪声图像zn为随机噪声图像z*，所述生成器gn及所述判别器dn的重建损失为：
lrec＝||(gn(z*)-xn||2；
当n＜n时，所述噪声图像zn为0，所述生成器gn及所述判别器dn的重建损失为：
优选地，所述样本图像包括车损图像。
优选地，所述感兴趣区域包括所述车损图像中的车身划痕区域或车身开裂区域。
为实现上述目的，本发明还提供一种样本图像数据增强装置，其包括：
样本图像获取模块，用于获取样本图像；
网络模型获取模块，用于获取采用所述样本图像中的感兴趣区域的图像块训练初始对抗生成网络模型生成的目标对抗生成网络模型；
标注图像获取模块，用于获取依据所述样本图像生成具有所述感兴趣区域的标注图像；
掩膜图像获取模块，用于获取对所述标注图像中所述感兴趣区域以外的其他区域进行屏蔽处理生成的掩膜图像；及
扩展图像生成模块，用于将所述标注图像及所述掩膜图像输入目标对抗生成网络模型以生成扩展样本图像。
此外，为实现上述目的，本发明还提供一种电子设备，所述电子设备包括存储器及处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行时实现如上所述的的样本图像数据增强方法。
另外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行时实现如上所述的的样本图像数据增强方法。
本发明提出的样本图像数据增强方法、装置、电子设备及计算机可读存储介质中，通过获取采用样本图像中的感兴趣区域的图像块训练初始对抗生成网络模型生成目标对抗生成网络模型，并将标注图像及掩膜图像输入所述目标对抗生成网络模型可生成扩展样本图像，不依赖于预训练模型，所需训练资源也较少，可在不降低网络的容量的前提下，不增加计算复杂度和调参工程量，但能够通过隐式的方法对小样本图像进行数据增强，获得扩展样本图像。此外，网络模型训练可输入一张单张的样本图像，无需大量样本图像进行训练。进一步地，将增强后的所述类型的多个样本图像数据用于图像检测分类模型的训练后，所述图像检测分类模型对某一相关图像进行检测分类时的准确率可以提高。
进一步地，通过采用对抗生成网络模型，通过对抗学习的方式，可以生成能够以假乱真的扩展样本图像，也可以使得使用所述扩展样本图像进行训练的图像检测分类模型的准确率进一步提高。并且，对抗生成网络模型还能在满足服从原始数据分布的前提下生成不同的数据，同时所消耗的计算资源也比autoaugment之类的方法少很多。
进一步地，所述初始对抗生成网络模型包括所述多个生成器g0,g1,......gn及所述多个判别器d0,d1,......dn，进而所述目标对抗生成网络模型可以生成多尺寸的扩展样本图像，同时还能维持全局结构和纹理特征，有效提高使用所述扩展样本图像进行训练的图像检测分类模型的准确率。另外，所述目标对抗生成网络模型接收所述标注图像及所述掩膜图像即可生成多张扩展样本图像，可见模型训练完成后，样本图像的扩展较为简单。
进一步地，当n<n时，所述生成器gn包括第一叠加器、卷积神经网络及第二叠加器，所述第一叠加器将所述噪声图像zn及对所述采样图像
进一步地，所述初始对抗生成网络模型包括全卷积的金字塔对抗生成网络模型，如所述生成器的卷积神经网络采用33conv-bn-leackyrelu组成的5层全卷积网络；可以产生多个任意尺寸和任意高宽比的扩展样本图像，也有利于提高使用所述扩展样本图像进行训练的图像检测分类模型的准确率。
进一步地，所述生成器gn采用可提供梯度惩罚损失的wgan-gp，其具有更快的收敛速度，并能生成更高质量的样本，并可提供稳定的训练方式，几乎不需要怎么调参，成功完成模型训练。
进一步地，所述判别器为马尔科夫判别器，所述马尔可夫判别器有利于所述扩展样本图像在高分辨率、高细节的保持，使得所述扩展样本图像的质量较高。
进一步地，所述多个生成器g0,g1,......gn对应的多个判别器d0,d1,......dn依照从gn至g0、从dn至d0的顺序被依次训练及固定，上述渐进式的训练也有利于减少对计算资源的消耗。
进一步地，通过所述对抗损失ladv和重建损失lrec，也有利于获得较佳的所述目标对抗生成网络模型，从而可获得高质量的扩展样本图像。
进一步地，将所述样本图像数据增强方法、装置等运用到车损图像数据上，对小样本图像如车身划痕区域或车身开裂区域进行数据增强，解决车损图像样本不均衡的问题，提高车损图像检测分类模型的性能。所述样本图像数据增强方法、装置等属于非监督学习，相比于深度学习中常见的监督式学习来说，不依赖于预训练模型，无需海量车损数据，无需大量计算资源，大大降低数据收集成本和训练资源。另外，通过全卷积的金字塔对抗生成网络模型可由粗到精地生成服从原有车损样本图像分布，但又不同于原有车损样本图像的车损扩展样本图像，更有利于提高车损图像检测分类模型的性能。
附图说明
图1为本发明一个实施例提供的样本图像数据增强方法的实施环境图；
图2为本发明一个实施例提供的样本图像数据增强方法的流程图；
图3为本发明一个实施例提供的样本图像数据增强方法中的初始对抗生成网络模型的训练原理示意图；
图4为本发明一个实施例提供的样本图像数据增强方法中的初始对抗生成网络模型的生成器gn(n<n时)的结构示意图；
图5为本发明一个实施例提供的样本图像数据增强方法中样本图像、标注图像及扩展样本图像的输入输出原理示意图；
图6为本发明一个实施例提供的样本图像数据增强装置较佳实施例的程序模块图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
具体地，本发明实施例提供一种样本图像数据增强方法、装置、电子设备及存储介质。其中，所述样本图像数据增强方法用于对样本图像进行数据增强，以生成扩展样本图像。其中，所述扩展样本图像可以用于图像检测分类模型的训练及提高图像检测分类模型的准确率，但不限于上述。
参照图1所示，图1为本发明样本图像数据增强方法较佳实施例的应用环境图。所述样本图像数据增强方法可以应用于电子设备1中，所述电子设备1包括但不限于服务器、服务器集群、手机、平板电脑、笔记本电脑、台式电脑、个人数字助理及穿戴式设备等具有运算功能的终端设备。
所述电子设备1可以包括处理器12、存储器11、网络接口13及通信总线14。
存储器11包括至少一种类型的可读存储介质。所述至少一种类型的可读存储介质可为如闪存、硬盘、多媒体卡、卡型存储器11等的非易失性存储介质。在一些实施例中，所述可读存储介质可以是所述电子设备1的内部存储单元，例如该电子设备1的硬盘。在另一些实施例中，所述可读存储介质也可以是所述电子设备1的外部存储器11，例如所述电子设备1上配备的插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)等。
在本实施例中，所述存储器11的可读存储介质通常用于存储安装于所述电子设备1的样本图像数据增强装置10的程序(如样本图像数据增强程序)。所述存储器11还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(centralprocessingunit,cpu)，微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行样本图像数据增强装置10的程序等。
网络接口13可选地可以包括标准的有线接口、无线接口(如wi-fi接口)，通常用于在该电子设备1与其他电子设备之间建立通信连接。
通信总线14用于实现这些组件之间的连接通信。
图1仅示出了具有组件11-14的电子设备1，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
可选地，该电子设备1还可以包括用户接口，用户接口可以包括输入单元比如键盘(keyboard)、语音输入装置比如麦克风(microphone)等具有语音识别功能的设备、语音输出装置比如音响、耳机等，可选地用户接口还可以包括标准的有线接口、无线接口。
可选地，该电子设备1还可以包括显示器，显示器也可以称为显示屏或显示单元。在一些实施例中可以是led显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(organiclight-emittingdiode，oled)触摸器等。显示器用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
可选地，该电子设备1还包括触摸传感器。所述触摸传感器所提供的供用户进行触摸操作的区域称为触控区域。此外，这里所述的触摸传感器可以为电阻式触摸传感器、电容式触摸传感器等。而且，所述触摸传感器不仅包括接触式的触摸传感器，也可包括接近式的触摸传感器等。此外，所述触摸传感器可以为单个传感器，也可以为例如阵列布置的多个传感器。
此外，该电子设备1的显示器的面积可以与所述触摸传感器的面积相同，也可以不同。可选地，将显示器与所述触摸传感器层叠设置，以形成触摸显示屏。该装置基于触摸显示屏侦测用户触发的触控操作。
可选地，该电子设备1还可以包括射频(radiofrequency，rf)电路，传感器、音频电路等等，在此不再赘述。
在图1所示的装置实施例中，作为一种计算机存储介质的存储器11中可以包括操作系统、以及样本图像数据增强装置10的程序；处理器12执行存储器11中存储的样本图像数据增强装置10的程序时实现如下步骤s21、s22、s23、s24、s25。
步骤s21，获取样本图像。
具体地，所述样本图像可以为车损图像，所述车损图像可以包括车身划痕区域或车身开裂区域。另外，所述样本图像的数量可以是一张。
步骤s21，获取采用所述样本图像中的感兴趣区域的图像块训练初始对抗生成网络模型生成的目标对抗生成网络模型。
具体地，所述感兴趣区域为所述车损图像中的车身划痕区域或车身开裂区域。所述样本图像中的感兴趣区域可以为一个、两个或多个。所述样本图像中的感兴趣区域的图像块可以从所述样本图像中裁剪获得。
所述目标对抗生成网络模型可以安装在所述电子设备1中。
在一些实施例中，所述训练初始对抗生成网络模型生成的目标对抗生成网络模型的过程可以在所述电子设备1中进行，即所述电子设备1采用所述样本图像中的感兴趣区域的图像块训练初始对抗生成网络模型生成目标对抗生成网络模型。
在其他一些实施例中，所述训练初始对抗生成网络模型生成的目标对抗生成网络模型的过程可以在其他电子设备中进行，即其他电子设备采用所述样本图像中的感兴趣区域的图像块训练初始对抗生成网络模型生成目标对抗生成网络模型，所述训练好的目标对抗生成网络模型进一步被安装于所述电子设备中。
以下对所述训练初始对抗生成网络模型生成目标对抗生成网络模型的过程进行介绍。
如图3所示，所述初始对抗生成网络模型可以为全卷积的金字塔对抗生成网络模型。具体地，所述初始对抗生成网络模型包括多个生成器g0,g1,......gn及与所述多个生成器g0,g1,......gn对应的多个判别器d0,d1,......dn。其中，所述多个生成器g0,g1,......gn的输出图像尺寸按照g0,g1,......gn的顺序依次增大，所述图像块包括多个尺寸顺序增大的图像块x0,x1,......xn，所述初始对抗生成网络模型的输入包括所述图像块x0,x1,......xn及噪声图像z0,z1,......zn。其中，n为大于等于2的自然数。
所述训练初始对抗生成网络模型生成的目标对抗生成网络模型的步骤可以包括：
当n＝n时，将所述噪声图像zn输入所述生成器gn得到输出图像
当n<n时，n为自然数，将所述噪声图像zn及对所述生成器gn+1的输出图像
保存训练后的所述多个生成器或保存训练后的所述多个生成器及所述多个判别器作为所述目标对抗生成网络模型。
其中，所述生成器fn的输出图像
进一步地，所述多个生成器g0,g1,......gn对应的多个判别器d0,d1,......dn可以依照从gn至g0、从dn至d0的顺序被依次训练及固定。具体来说，可以采用由粗当精的方式训练获得所述目标对抗生成网络模型，如，首先训练是gn、dn，当完成gn、dn的训练，gn、dn被固定，再进行gn-1、dn-1的训练，......，直到g0、d0被训练完成而固定，从而得到所述目标对抗生成网络模型。
更进一步地，当n＝n时，所述生成器gn可以包括卷积神经网络，所述卷积神经网络接收所述噪声图像zn并输出所述输出图像
其中，ψn代表所述生成器gn的卷积神经网络，其可以是一个由3×3conv-bn-leackyrelu组成的5层全卷积网络。
可以理解，在其他一些实施例中，当n＝n时，所述生成器gn也可以包括第一叠加器41、卷积神经网络42及第二叠加器43的架构，但是所述第一叠加器41可以直接将噪声图像zn提供至所述卷积神经网络42，且所述卷积神经网络42的输出图像
再进一步地，所述生成器gn采用可提供梯度惩罚损失的wgan-gp，所述判别器dn为马尔科夫判别器。所述训练初始对抗生成网络模型生成的目标对抗生成网络模型的过程中，所述生成器gn及对应的所述判别器dn的训练损失包括对抗损失ladv和重建损失lrec，所述生成器gn及所述判别器dn的训练损失的公式如下：
其中，其中，
所述重建损失lrec可以符合如下条件：
当n＝n时，所述噪声图像zn为随机噪声图像z*，gn(z*)代表所述生成器gn的输出图像
lrac＝||(gn(z*)-xn||2；
当n＜n时，所述噪声图像zn为0，
步骤s23，获取依据所述样本图像生成的具有所述感兴趣区域的标注图像。
具体地，在一些实施例中，可以使用人工标注的方式，如通过操作所述电子设备，从而在所述样本图像上进行所述感兴趣区域的框选而产生所述标注图像。然而，在其他一些实施例中，所述电子设备也可以直接接收外部设备发送的已经标注好感兴趣区域的标注图像。
步骤s24，获取对所述标注图像中所述感兴趣区域以外的其他区域进行屏蔽处理生成的掩膜图像。
具体地，在一些实施例中，所述电子设备可以对所述标注图像中所述感兴趣区域以外的其他区域进行屏蔽处理生成的掩膜图像。然而，在其他一些实施例中，所述电子设备也可以直接接收外部设备发送的对所述标注图像中所述感兴趣区域以外的其他区域进行屏蔽处理生成的掩膜图像。具体地，所述屏蔽处理可以将所述感兴趣区域之外的区域灰阶数值都设置为0，所述感兴趣区域的灰阶数值设置为1(或255)的操作。
其中，所述步骤s23、步骤s24涉及的所述样本图像、标注图像及扩展样本图像的输入输出原理可以如图5所示。
步骤s25，将所述标注图像及所述掩膜图像输入所述目标对抗生成网络模型生成扩展样本图像。
具体地，在一些实施例中，所述步骤s22中保存训练后的所述多个生成器g0,g1,......gn作为所述目标对抗生成网络模型时，所述步骤s25中，向所述目标对抗生成网络模型输入所述标注图像及所述掩膜图像即可获得所述扩展样本图像。
在其他一些实施例中，所述步骤s22中保存训练后的所述多个生成器及所述多个判别器作为所述目标对抗生成网络模型时，所述步骤s25中，向所述目标对抗生成网络模型的生成器g0,g1,......gn输入所述标注图像及所述掩膜图像获得输出图像，所述输出图像可以进一步经由判别器进行判断，取当判断结果为真时的输出图像作为所述扩展样本图像。
本发明提出的样本图像数据增强方法中，通过获取采用样本图像中的感兴趣区域的图像块训练初始对抗生成网络模型生成目标对抗生成网络模型，并将标注图像及掩膜图像输入所述目标对抗生成网络模型可生成扩展样本图像，不依赖于预训练模型，所需训练资源也较少，可在不降低网络的容量的前提下，不增加计算复杂度和调参工程量，但能够通过隐式的方法对小样本图像进行数据增强，获得扩展样本图像。此外，网络模型训练可输入一张单张的样本图像，无需大量样本图像进行训练。进一步地，将增强后的所述类型的多个样本图像数据用于图像检测分类模型的训练后，所述图像检测分类模型对某一相关图像进行检测分类时的准确率可以提高。
进一步地，通过采用对抗生成网络模型，通过对抗学习的方式，可以生成能够以假乱真的扩展样本图像，也可以使得使用所述扩展样本图像进行训练的图像检测分类模型的准确率进一步提高。并且，对抗生成网络模型还能在满足服从原始数据分布的前提下生成不同的数据，同时所消耗的计算资源也比autoaugment之类的方法少很多。
进一步地，所述初始对抗生成网络模型包括所述多个生成器g0,g1,......gn及所述多个判别器d0,d1,......dn，进而所述目标对抗生成网络模型可以生成多尺寸的扩展样本图像，同时还能维持全局结构和纹理特征，有效提高使用所述扩展样本图像进行训练的图像检测分类模型的准确率。另外，所述目标对抗生成网络模型接收所述标注图像及所述掩膜图像即可生成多张扩展样本图像，可见模型训练完成后，样本图像的扩展较为简单。
进一步地，当n<n时，所述生成器gn包括第一叠加器、卷积神经网络及第二叠加器，所述第一叠加器将所述噪声图像zn及对所述采样图像
进一步地，所述初始对抗生成网络模型包括全卷积的金字塔对抗生成网络模型，如所述生成器的卷积神经网络采用33conv-bn-leackyrelu组成的5层全卷积网络；可以产生多个任意尺寸和任意高宽比的扩展样本图像，也有利于提高使用所述扩展样本图像进行训练的图像检测分类模型的准确率。
进一步地，所述生成器gn采用可提供梯度惩罚损失的wgan-gp，其具有更快的收敛速度，并能生成更高质量的样本，并可提供稳定的训练方式，几乎不需要怎么调参，成功完成模型训练。
进一步地，所述判别器为马尔科夫判别器，所述马尔可夫判别器有利于所述扩展样本图像在高分辨率、高细节的保持，使得所述扩展样本图像的质量较高。
进一步地，所述采用所述图像块训练初始对抗生成网络模型生成目标对抗生成网络模型的步骤中，所述多个生成器g0,g1,......gn对应的多个判别器d0,d1,......dn依照从gn至g0、从dn至d0的顺序被依次训练及固定，上述渐进式的训练也有利于减少对计算资源的消耗。
进一步地，通过所述对抗损失ladv和重建损失lrec，也有利于获得较佳的所述目标对抗生成网络模型，从而可获得高质量的扩展样本图像。
进一步地，将所述样本图像数据增强方法、装置等运用到车损图像数据上，对小样本图像如车身划痕区域或车身开裂区域进行数据增强，解决车损图像样本不均衡的问题，提高车损图像检测分类模型的性能。所述样本图像数据增强方法、装置等属于非监督学习，相比于深度学习中常见的监督式学习来说，不依赖于预训练模型，无需海量车损数据，无需大量计算资源，大大降低数据收集成本和训练资源。另外，通过全卷积的金字塔对抗生成网络模型可由粗到精地生成服从原有车损样本图像分布，但又不同于原有车损样本图像的车损扩展样本图像，更有利于提高车损图像检测分类模型的性能。
在其他实施例中，样本图像数据增强装置10的程序还可以被分割为一个或者多个模块，一个或者多个模块被存储于存储器11中，并由处理器12执行，以完成本发明。本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段。如图6所示，为图1中样本图像数据增强装置10较佳实施例的程序模块图。所述样本图像数据增强装置10可以被分割为：样本图像获取模块101、网络模型获取模块102、标注图像获取模块103、掩膜图像获取模块104及扩展图像生成模块105。所述模块101-105所实现的功能或操作步骤均与上文的各步骤s21、s22、s23、s24及s25类似，此处不再详述，示例性地，例如其中：
样本图像获取模块101，用于获取样本图像；
网络模型获取模块102，用于获取采用所述样本图像中的感兴趣区域的图像块训练初始对抗生成网络模型生成的目标对抗生成网络模型；
标注图像获取模块103，用于获取依据所述样本图像生成具有所述感兴趣区域的标注图像；
掩膜图像获取模块104，用于获取对所述标注图像中所述感兴趣区域以外的其他区域进行屏蔽处理生成的掩膜图像；及
扩展图像生成模块105，用于将所述标注图像及所述掩膜图像输入目标对抗生成网络模型以生成扩展样本图像。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质中包括样本图像数据增强装置，所述样本图像数据增强装置被处理器执行时实现如下操作：
获取样本图像；
获取采用所述样本图像中的感兴趣区域的图像块训练初始对抗生成网络模型生成的目标对抗生成网络模型；
获取依据所述样本图像生成具有所述感兴趣区域的标注图像；
获取对所述标注图像中所述感兴趣区域以外的其他区域进行屏蔽处理生成的掩膜图像；及
将所述标注图像及所述掩膜图像输入所述目标对抗生成网络模型生成扩展样本图像。
优选地，所述初始对抗生成网络模型包括多个生成器g0,g1,......gn及与所述多个生成器g0,g1,......gn对应的多个判别器d0,d1,......dn，所述多个生成器g0,g1,......gn的输出图像尺寸按照g0,g1,......gn的顺序依次增大，所述图像块包括多个尺寸顺序增大的图像块x0,x1,......xn，所述初始对抗生成网络模型的输入包括所述图像块及噪声图像z0,z1,......zn，其中n为大于等于2的自然数，所述训练初始对抗生成网络模型生成的目标对抗生成网络模型的步骤中：
当n＝n时，将所述噪声图像zn输入所述生成器gn得到输出图像
当n<n时，n为自然数，将所述噪声图像zn及对所述生成器gn+1的输出图像
保存训练后的所述多个生成器或保存训练后的所述多个生成器及所述多个判别器作为所述目标对抗生成网络模型。
优选地，所述训练初始对抗生成网络模型生成的目标对抗生成网络模型的步骤中，所述多个生成器g0,g1,......gn对应的多个判别器d0,d1,......dn依照从gn至g0、从dn至d0的顺序被依次训练及固定；
当n＝n时，所述生成器gn包括卷积神经网络，所述卷积神经网络接收所述噪声图像zn并输出所述输出图像
当n<n时，所述生成器gn包括第一叠加器、卷积神经网络及第二叠加器，所述第一叠加器用于将所述噪声图像zn及对所述采样图像
优选地，所述初始对抗生成网络模型包括全卷积的金字塔对抗生成网络模型；所述生成器gn的卷积神经网络采用33conv-bn-leackyrelu组成的5层全卷积网络。
优选地，所述生成器gn采用可提供梯度惩罚损失的wgan-gp；所述判别器dn为马尔科夫判别器；所述生成器gn及所述判别器dn的训练损失包括对抗损失ladv和重建损失lrec，所述生成器gn及所述判别器dn的训练损失的公式如下：
其中，
优选地，所述重建损失lrec符合如下条件：
当n＝n时，所述噪声图像zn为随机噪声图像z*，所述生成器gn及所述判别器dn的重建损失为：
lrec＝||(gn(z*)-xn||2；
当n＜n时，所述噪声图像zn为0，所述生成器gn及所述判别器dn的重建损失为：
优选地，所述样本图像包括车损图像；所述感兴趣区域包括所述车损图像中的车身划痕区域或车身开裂区域。
本发明之计算机可读存储介质的具体实施方式与上述样本图像数据增强方法、电子设备的具体实施方式大致相同，在此不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
- 还没有人留言评论。精彩留言会获得点赞！