基于生成对抗网络的目标检测小样本数据增强方法、系统与计算机可读介质与流程

本发明涉及样本数据增广，具体而言涉及一种基于生成对抗网络的目标检测小样本数据增强方法、系统与计算机可读介质。

背景技术：

1、目标检测是数字图像处理领域和计算机视觉领域的一个分支，即对图像中所有感兴趣的物体进行检测。一般而言，目标检测包含物体定位和物体分类两个子任务，既需要确定物体的类别的，也需要识别确定出物体的位置。作为计算机视觉领域的基础任务之一，目标检测被广泛应用于其他技术的研究和开发任务中，例如机器人导航、无人驾驶、工业产品检测、监控视频安防等诸多领域，减少了对人力资本的消耗。

2、目前主流的目标检测方法依赖于深度学习实现，需要在大规模数据集下进行训练，即从大量标注好的训练样本中学习图像特征，并将完成训练的模型，应用于测试过程。然而深度学习最大的问题在于严重依赖训练样本，数据集样本数量过少或实际应用时环境多变等往往会导致深度神经网络的准确率严重下降，即小样本问题。同时，训练模型的检测精度会受到不同类别之间样本数量不均衡的影响，检测结果会倾向于将目标物体预测为在训练集样本占比大的类别，影响模型在场景中的应用。

3、传统的数据增强方法主要包括图像的旋转、缩放，添加模糊和噪声等。然而这些方法并不改变小样本目标周围环境特征，因而在实际应用时，由于增强后的训练样本无法满足现实场景的需要，得到的检测结果精度较低且存在着大量检测框与真实框坐标位置偏移较大和错误检测的情况，训练后的模型在遇到特殊场景下出现的小样本目标，往往无法准确检测出样本类别。

4、鉴于对于小样本的训练数据在训练过程中不能充分对相应的特征进行学习，而传统的数据增强方法(例如旋转、缩放、模糊、噪声等)仅对样本进行简单的处理，无法改变样本周围环境特征，即目标物体和背景之间依然存在相关性，因而在实际应用中无法保证对这些小样本目标的检测精度。

技术实现思路

1、针对现有技术目标检测算法中样本不均衡问题，本发明的目的在于提出一种基于生成网络的数据增强方法，用于扩展训练数据中样本图像较少的类别，在可缓解由于训练集中样本不均衡而造成的检测精度偏差的问题。

2、根据本发明目的的第一方面，提出一种基于生成对抗网络的目标检测小样本数据增强方法，包括以下步骤：

3、获取目标检测的数据集样本，其中包含了原始样本图像数据；

4、基于目标检测的数据集样本，构造用于训练小样本增强网络的输入数据；

5、以所构造的输入数据为输入，采用循环生成对抗网络进行训练，获得由两个镜像对称的生成对抗网络构成的小样本数据增强模型，所述两个镜像对称的生成对抗网络各自独立拥有一个生成网络以及一个共享的判别网络；

6、针对输入的目标检测数据集，统计其中的样本数量以及小样本信息；

7、采用所述训练得到的小样本数据增强模型进行小样本数据增强，扩充小样本训练图像。

8、作为可选的实施例，所述基于目标检测的数据集样本，构造用于训练小样本增强网络的输入数据，包括：

9、统计目标检测的数据集样本中的样本个数，对样本个数比例小于的类别被判定为小样本，对应类别的图像为小样本图像，其中c为样本类别的总数；

10、根据目标检测的数据集样本提供的边框信息，对小样本图像进行裁剪处理，得到小样本目标图像以及对应的类别w；

11、从目标检测的数据集样本中的非小样本图像中选择一个目标，将小样本图像覆盖叠加到非小样本图像中，获得输入图像，将小样本图像的图像位置坐标(x1，x2，y1，y2)和类别w加入候选训练样本列表中。

12、作为可选的实施例，在构造用于训练小样本增强网络的输入数据时，设小样本图像的宽高比为r1，选择的非小样本目标图像宽高比为r2，r1与r2满足：

13、作为可选的实施例，所述采用循环生成对抗网络进行训练，获得由两个镜像对称的生成对抗网络构成的小样本数据增强模型，其中：

14、在训练循环生成对抗网络过程中，同时训练两个镜像对称的生成对抗网络；

15、所述两个镜像对称的生成对抗网络包括生成网络g1和判别网络d1、生成网络g2和判别网络d2；

16、训练所述循环生成对抗网络的损失函数loss由生成对抗网络损失lossgan以及循环一致性损失losscycle构成，即：

17、loss＝lossgan+λlosscycle；

18、所述生成对抗网络损失lossgan包含两个镜像对称的生成对抗网络的损失，表示为：

19、lossgan＝lgan(g1，d1，x，y)+lgan(g2，d2，x，y)

20、其中，λ为用于调整循环一致性的参数。

21、根据本发明目的的第二方面，提出一种计算机系统，包括：

22、一个或多个处理器；

23、存储器，存储可被操作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括执行前述的基于生成对抗网络的目标检测小样本数据增强方法的过程。

24、根据本发明目的的第三方面，提出一种存储软件的计算机可读取介质，所述软件包括能通过一个或多个计算机执行的指令，所述指令在被所述一个或多个计算机执行时，执行前述的基于生成对抗网络的目标检测小样本数据增强方法的过程。

25、针对目标检测中样本不均衡问题以及现有样本增强方法产生的样本无法改变小样本周围环境特征的问题，本发明提出的基于生成对抗网络的目标检测小样本数据增强方法利用生成对抗网络进行小样本数据增强，输入为待增强的原始训练图像、目标框以及待增强的小样本图像，通过生成网络实现小样本疏忽的增强，可在待增强图像的目标框区域中输出特定类别样本图像。

26、在本发明的实施中，通过生成对抗网络有效借助了目标框领域的图像信息，经过扩充后的图像已知目标框以及对应的类别标签，增强后的图像可以加入数据集参与训练。

27、为了改变小样本周围的环境，并使和增强后的环境和目标图像保持一致，本发明提出的基于生成对抗网络的目标检测小样本数据增强方法相对于传统的样本数据增强技术(例如旋转、缩放、模糊、噪声等)，生成的样本图像质量较高，背景特征的丰富度和真实性上更好，有效扩充了训练数据，从而使得在目标检测模型中能够提取出更丰富的图像特征，改进训练过程中对小样本目标的收敛情况，提升总体检测精度。

28、通过本发明的实施，将风格迁移网络应用在小样本数据增强中，有效弥补了传统数据增强方法中增强后样本数据单一，样本种类不丰富，背景特征单一，无法适应复杂场景的问题。并且在后续进行目标检测网络的训练时，可将小样本数据增强引入目标检测网络的训练过程中，结合传统增强技术，实现样本数据的增强，采用不同的传统方法扩充训练数据集，以适应真实检测场景所遇到的图像，将基于神经网络的数据增强方法和传统数据增强方法相结合，还可以通过调整不同扩增方法之间的比例，使得样本类别之间的比例尽可能接近，实验结果表明采用结合样本生成网络的数据增强方法能够有效缓解小样本目标检测训练不足从而导致的目标检测网络测试精度差的问题，提升模型在应对复杂环境中的检测精度。

29、应当理解，前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。另外，所要求保护的主题的所有组合都被视为本公开的发明主题的一部分。

30、结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方面、实施例和特征。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见，或通过根据本发明教导的具体实施方式的实践中得知。