一种基于生成式对抗网络的划痕图像数据扩增方法与流程

本发明涉及一种图像数据扩增方法，具体涉及一种基于生成式对抗网络的划痕图像数据扩增方法，属于计算机视觉领域。

背景技术：

近年来，得益于海量的训练样本和增长的算力，深度学习在理论研究和多个应用领域中取得了突破性进展，尤其是计算机视觉领域。深度学习模拟人类大脑的神经连接和信号处理方式，将高维数据的低层特征进行组合，通过层次化的形式逐步抽象出更复杂的特征表示，但同时也带来了巨量的参数。为了避免模型出现过拟合，需要大量样本对模型进行训练，然而，收集和标注样本的代价非常高昂且费时。现有的图像数据扩增技术主要包括水平翻转、裁剪和调整对比度等，然而，这些传统方法对图像数据的扩增数量非常有限，难以满足基于深度学习的应用系统(例如，缺陷检测系统)的训练需求。此外，表面缺陷图像相对于自然图像来说数量更少，采集和标注更加困难。

技术实现要素：

本发明针对现有技术的局限性，提出一种基于生成式对抗网络的划痕图像数据扩增方法。

本发明采用以下技术方案，所述基于生成式对抗网络的划痕图像数据扩增方法包括以下步骤：

步骤s1，构建划痕图像数据集；

步骤s2，划痕图像预处理；

步骤s3，构建生成式对抗网络；

步骤s4，对抗训练；

步骤s5，输出划痕图像扩增数据集。

根据上述技术方案，在步骤s1中，构建划痕图像数据集包括以下步骤：

步骤s1.1，通过ccd摄像机采集产品表面图像，选取其中带有划痕的图像作为训练图像，其余无划痕的图像用作后续合成图像的背景图像；

步骤s1.2，对划痕位置进行人工标记，并将标记图像进行二值化处理。

根据上述技术方案，在步骤s2中，划痕图像预处理包括以下步骤：

步骤s2.1，将划痕图像转换为灰度图；

步骤s2.2，划痕定位；

步骤s2.3，对划痕区域图像进行裁剪；

步骤s2.4，对裁剪后的划痕图像进行缩放；

步骤s2.5，对缩放后的划痕图像进行随机水平翻转。

根据上述技术方案，在步骤s2.2中，划痕定位包括以下步骤：

s2.2.1：对二值化标记图像进行轮廓提取，所得轮廓即为划痕所在大致区域；

s2.2.2：在轮廓内部进行阈值分割，对划痕进行边缘检测。

根据上述技术方案，在步骤s2.3中，对划痕区域图像进行裁剪包括以下步骤：

s2.3.1：遍历划痕边缘所有像素点，寻找这些像素点的最小横坐标、纵坐标和最大横坐标、纵坐标，从而获得一个水平的、能将划痕完全包含在内的最小矩形；

s2.3.2：以矩形中心为图像裁剪中心，裁剪出尺寸为120×120的含划痕的图像；

s2.3.3：对中心裁剪后的图像进行多次随机裁剪，随机裁剪尺寸为100×100。

根据上述技术方案，在步骤s3中，生成式对抗网络包含一个生成网络g和一个判别网络d。

根据上述技术方案，在步骤s4中，对抗训练指的是利用随机梯度下降法交替地优化目标函数(1)和目标函数(2)：

其中，ld是判别网络d的损失函数，是来源于真实样本的概率的期望值，x～pr，x是真实划痕图像，是由生成网络g生成的划痕图像，pr和pg分别表示真实划痕图像数据集和生成划痕图像数据集的概率分布，是来源于真实样本的概率，d(x)是x来源于真实样本的概率，ex[d(x)]是x来源于真实样本的概率的期望值，λ是在ld中的权重系数，是真实划痕图像与生成图像的插值，ε是服从均匀分布的随机数，ε～u[0,1]，u是均匀分布，是梯度惩罚项的期望值，是的梯度，是来源于真实样本的概率，lg是生成网络g的损失函数。

根据上述技术方案，在步骤s5中，划痕图像扩增数据集由步骤s4训练好的生成网络g生成。

本发明公开的基于生成式对抗网络的划痕图像数据扩增方法，其有益效果在于：利用生成网络可生成大量划痕图像数据，利用判别网络可学习真实划痕图像的有效特征，通过对生成网络和判别网络实施对抗训练，能够有效缩小生成图像和真实图像的概率分布统计规律差异，从而既满足了基于深度学习的缺陷检测系统对训练样本的数量需求，又满足了其对训练样本的质量要求。由于本发明公开的方法仅需少量真实划痕图像便可生成大量与真实划痕图像同等质量的人工合成划痕图像，因此大大降低了基于深度学习的应用系统对真实划痕图像数据的需求，有效节省了收集和标注样本的成本。

附图说明

图1是本发明方法流程图；

图2a-图2c是用于训练的真实划痕图像；

图3a-图3c是二值化的标记图像；

图4a-图4c是划痕定位示意图；

图5是多幅图像依次翻转、裁剪和缩放后的划痕图像；

图6(a)是由本发明方法生成的划痕图像；

图6(b)是真实的划痕图像。

具体实施方式

为了更清晰地说明本发明的技术方案，下面将结合本发明中的附图对本发明的技术方案进行进一步描述。显然，本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

实施例1

如图1所示，本实施例提供了一种基于生成式对抗网络的划痕图像数据扩增方法，包括以下步骤：

步骤s1，构建划痕图像数据集；

步骤s2，划痕图像预处理；

步骤s3，构建生成式对抗网络；

步骤s4，对抗训练；

步骤s5，输出划痕图像扩增数据集。

具体地，在步骤s1中，构建划痕图像数据集包括以下步骤：

步骤s1.1，通过ccd摄像机采集产品表面图像，选取其中带有划痕的图像作为训练图像，如图2a-图2c所示，其余无划痕的图像用作后续合成图像的背景图像；

步骤s1.2，对划痕位置进行人工标记，并将标记图像进行二值化处理，如图3a-图3c所示。

进一步地，在步骤s2中，划痕图像预处理包括以下步骤：

步骤s2.1，将划痕图像转换为灰度图；

步骤s2.2，划痕定位，如图4a-图4c所示；

步骤s2.3，对划痕区域图像进行裁剪；

步骤s2.4，对裁剪后的划痕图像进行缩放，缩放后得到大小为64×64的划痕图像，如图5所示；

步骤s2.5，对缩放后的划痕图像进行随机水平翻转。

进一步地，在步骤s2.2中，划痕定位包括以下步骤：

s2.2.1：对二值化标记图像进行轮廓提取，所得轮廓即为划痕所在大致区域；

s2.2.2：在轮廓内部进行阈值分割，对划痕进行边缘检测。

进一步地，在步骤s2.3中，对划痕区域图像进行裁剪包括以下步骤：

s2.3.1：遍历划痕边缘所有像素点，寻找这些像素点的最小横坐标、纵坐标和最大横坐标、纵坐标，从而获得一个水平的且能将划痕完全包含在内的最小矩形；

s2.3.2：以矩形中心为图像裁剪中心，裁剪出尺寸为120×120的含划痕的图像；

s2.3.3：对中心裁剪后的图像进行8次随机裁剪，随机裁剪尺寸为100×100。

进一步地，在步骤s3中，生成式对抗网络包含一个生成网络g和一个判别网络d，网络架构细节分别如表1和表2所示，其中，conv表示卷积层，res表示残差块，bn表示批正则化层，relu表示修正线性单元激活函数，tanh表示正切激活函数，fc表示全连接层，卷积核如[3×3]表示卷积核大小为3×3，输出512×4×4表示输出通道数为512，输出特征图大小为4×4。

表1.生成网络g的架构细节

表2.判别网络d的架构细节

进一步地，在步骤s4中，对抗训练指的是利用随机梯度下降法交替地优化目标函数(1)和目标函数(2)：

其中，ld是判别网络d的损失函数，是来源于真实样本的概率的期望值，x～pr，x是真实划痕图像，是由生成网络g生成的划痕图像，pr和pg分别表示真实划痕图像数据集和生成划痕图像数据集的概率分布，是来源于真实样本的概率，d(x)是x来源于真实样本的概率，ex[d(x)]是x来源于真实样本的概率的期望值，λ是在ld中的权重系数，是真实划痕图像与生成图像的插值，ε是服从均匀分布的随机数，ε～u[0,1]，u是均匀分布，是梯度惩罚项的期望值，是的梯度，是来源于真实样本的概率，lg是生成网络g的损失函数。

进一步地，在步骤s5中，划痕图像扩增数据集由步骤s4训练好的生成网络g生成，如图6(a)所示，通过与如图6(b)所示的真实划痕图像对比可以看出，本发明仅需少量真实划痕图像便可生成大量与真实划痕图像同等质量的人工合成划痕图像，从而可以大大降低基于深度学习的应用系统对真实划痕图像数据的需求，有效节省了收集和标注样本的成本。