一种基于生成对抗网络的矿物图像数据增强方法

本发明涉及一种基于生成对抗网络的矿物图像数据增强方法，属于图像数据增强，特别涉及一种基于超像素生成对抗网络(srgan)的矿物图像数据增强方法。

背景技术：

1、现阶段，基于图像识别模型的智能矿物分选技术已经成为了矿业开采领域的新范式，能够实现无污染、高效率、低成本的选矿过程。该类模型的建立与应用需要以大量的矿物图像数据为支撑。然而，矿物图像识别不同于一般图像处理任务，其经常面对数据量不足和组间数据不充分问题，亟须一种高效的数据扩充方法来解决。

2、图像数据增强技术是数据处理领域的核心问题之一，广泛应用于数据集制作、数据量扩充、数据不平衡问题解决和大型模型训练等领域。作为数据处理技术中的一个分支，图像数据增强技术在近年来的研究中受到广泛的关注，相应的研究方法主要可以分为以下三类：

3、1、基于像素级变换的传统单样本图像数据增强方法。根据图像处理的基本理论，基于像素级变换的传统单样本图像数据增强方法强调对图像整体或局部特性进行转换，常见方法包括图像模糊、图像均衡化、图像颜色空间变换、图像噪声处理、图像颜色干扰等。其中，图像模糊方法包括高斯模糊、均值模糊、中值模糊、扭曲平滑等；图像均衡化方法包括自适应直方图均衡化、对比度受限直方图均衡化等；图像颜色空间变换方法包括随机选择通道像素失活法、区域随机失活法、颜色空间随机交换法等；图像噪声处理方法包括高斯噪声法、椒盐噪声法等；图像颜色干扰方法包括对比度调节法、饱和度调节法、亮度调节法等。由于矿物图像识别与分选领域需要基于矿物图像的表观特征提取来实现，如颜色特征、轮廓特征、纹理特征等。因此，如图像模糊、图像颜色空间变换、图像颜色干扰等像素级变换数据增强方法常无法被应用在矿物图像数据增强的实际任务之中。

4、2、基于空间级变换的传统单样本图像数据增强方法。此类方法将单样本图像数据增强由像素等级提升至空间域等级，进而在一定程度上提高了单样本图像数据增强的能力。常见的基于空间级变换的传统单样本图像数据增强方法包括图像裁剪、图像尺度变换、图像旋转、图像翻转、图像仿射变换、图像弹性变换、图像网络畸变、图像光学畸变等。显然，经过空间级变换的单样本图像虽与原始图像数据存在一定区别，但其并为显著提升图像特征的多样性，因此无法作为一种高效的数据增强被应用于后续下游任务。

5、3、基于多样本合成的传统多样本图像数据增强方法。随着数据增强技术的发展，一些学者将数据增强方法由单样本扩展至多样本情景，提出了基于多样本合成的传统多样本图像数据增强方法。如论文《mixup:beyond empirical risk minimization》提出的mixup多样本合成数据增强方法，该方法首先使用单样本图像数据增强方法，如旋转、裁剪、均衡化，生成三张新样本图像，而后采用狄利克雷分布形式随机抽取3个权值，并按照权值数值将三张新样本图像进行像素融合，以生成新的样本图像。一般而言，此类方法需要大量图像前处理过程，且在复杂工况下，对矿物图像数据的扩充能力较差。

技术实现思路

1、有鉴于此，本发明提供了一种基于生成对抗网络的矿物图像数据增强方法，该方法在经过模型训练后可以快速地生成大量无重复新矿物图像数据。

2、本发明的技术解决方案是：

3、一种基于生成对抗网络的矿物图像数据增强方法，包括以下步骤：

4、步骤1：获取待处理矿物的多张原始图像数据；

5、步骤2：采用包含边缘颗粒处理的阈值分割算法对步骤1中获取的多张原始图像数据进行分割，获得矿物单粒图像数据；

6、步骤3：搭建步骤2获得的矿物单粒图像数据的数据增强srgan深度学习模型；

7、步骤4：对步骤3搭建的数据增强srgan深度学习模型进行训练，得到数据增强srgan深度学习模型的损失值和学习速率；

8、步骤5：根据步骤4得到的损失值和学习速率，终止数据增强srgan深度学习模型的训练，得到训练后的srgan矿物图像数据增强模型；

9、步骤6:通过步骤5训练后的srgan矿物图像数据增强模型对步骤2获得的矿物单粒图像数据进行数据增强处理，完成矿物单粒图像数据增强过程。

10、所述的步骤1中，获取待处理矿物的多张原始图像数据时，搭建矿物图像数据采集平台；所述的待处理矿物的多张原始图像数据是在工业相机在传送带正上方拍摄的；

11、所述的步骤3中，搭建的数据增强srgan深度学习模型包括生成器g与判别器d，其中，生成器采用带有残差连接的卷积神经网络，包含16个残差特征提取模块和2个反卷积模块，该带有残差连接的卷积神经网络能够实现矿物图像特征信息的高效提取，在生成器后端采用反卷积层实现特征的重映射和新图像的生成；判别器采用卷积神经网络，卷积神经网络共包含8个卷积段、2个全连接层和一个sigmoid激活层，采用leakyrelu激活函数，实现对生成伪造图像与真实对象进行对比、识别与判断，并将判断结果反馈至生成器，以实现数据增强srgan深度学习模型权重的整体优化；

12、所述的步骤4中，进行训练的过程包括：

13、第一步，确定数据增强srgan深度学习模型的对抗损失函数为：

14、

15、式中，ilr为低分辨率矿物图像，通过对生成器g的高分辨率输入矿物图像进行高斯滤波处理后获得；n＝1，2，3…n，n为每个批次的图像数据量；

16、第二步，确定数据增强srgan深度学习模型的内容损失函数为：

17、

18、式中，w，h，r分别为所述生成器g中卷积层提取特征图像的宽度、高度和下采样因子，x，y分别为生成器g中卷积层提取特征图像的横、纵坐标，ilr为生成器g的低分辨率输入矿物图像；为输入的高分辨率图像；x＝1，2，3，…，rw，y＝1，2，3，…，rh；

19、第三步，确定数据增强srgan深度学习模型的感知损失函数lsr为：

20、

21、式中，为内容损失函数，为对抗损失函数；

22、第四步，根据感知损失函数lsr确定数据增强srgan深度学习模型的损失值，在训练过程中能够获得学习速率；

23、所述的步骤5中，终止训练时，根据损失值和学习速率的阈值，确定终止训练时间；

24、所述的步骤6中，进行数据增强处理的步骤包括：

25、首先，利用生成器g的卷积层在待处理矿物单粒图像中提取特征；

26、然后，利用生成器g的反卷积层从提取的特征中还原特征向量，生成新的矿物单粒图像数据，完成矿物单粒图像数据增强过程。

27、本发明具有如下有益效果：

28、(1)本发明所提供的方法利用srgan矿物图像数据增强模型，可快速、高效地批量生成无重复矿物单粒图像新数据，相较于传统单样本图像数据增强方法，本发明能够有效扩充现有矿物图像数据中的图像特征丰富度。

29、(2)相较于传统多样本图像数据增强方法，本发明无需额外的复杂前处理流程，简化了矿物图像数据增强的步骤。因此，本发明更易于实现矿物图像数据的数据增强任务。

30、(3)本发明所提供的方法将传统gan模型的损失函数进行拓展，提高了生成模型在矿物图像特征中的提取能力，能够充分提取矿物图像中的纹理、颜色、轮廓、反光、边缘、沟壑等重要图像信息，因此本发明的图像生成效果更优。

31、(4)本发明所提供的方法采用了端到端的深度学习模型训练技术，因此无需交互式地更换模型对象或调整模型参数，实现了生成器与判别器的一体化训练流程。