一种利用生成对抗网络生成堆积物训练样本的方法与流程

本发明属于根据现有的路政执法与养护的训练样本(比如白色垃圾、堆积物)随机生成更多的训练数据的计算机图像处理技术领域，具体涉及一种利用生成对抗网络生成堆积物训练样本的方法。

背景技术：

首个神经网络模型在1960年前后就被提出，期间经过众多学者的不断努力，神经网络也不断被优化，但由于缺乏大量的数据以及计算机的计算能力限制，神经网络算法一直没有发挥出其应有的潜力。直至2006年深度学习及其理论的提出，结合互联网的海量数据以及高效的计算能力，深度学习获得了极大的重视与发展。

在目前深度学习的研究和应用快速发展的热潮下，生成对抗网络(generativeadversarialnets，gan)的提出更是满足了许多领域的研究和应用需求，为深度学习注入了新的发展活力。现在，gan已经成为深度学习领域的一个重点研究方向，以至于著名学者yannlecun将其称为“过去十年里机器学习领域中最让人兴奋的想法”。目前，gan在图像和视觉领域研究和应用最为广泛，已经可以精准的生成手写体数字、人脸等目标对象，还可以构建各种逼真的生活场景，从低分辨率的图像生成高分辨率的图像，把分割的图像复原，给黑白图像上色，以目标轮廓为基础恢复为原物体图像等。除此之外，gan已经开始逐渐向语音和语言处理、电脑病毒监测、棋类比赛程序等研究中扩展。

生成对抗网络对于生成式模型的发展具有重大的意义，作为一种生成方法，它能够有效地解决建立自然性解释数据的生成难题，特别是生成高维的数据，gan所使用的神经网络结构对于生成的数据维度没有限制，这极大的丰富了生成样本的多样性。生成对抗网络所采用的神经网络结构能够整合各类损失函数，丰富了算法设计的自由度。gan创新性的采用两个神经网络的对抗的方式作为训练准则，并允许使用反向传播机制来进行更新优化，训练过程中没有复杂的变分下界也不需要使用马尔科夫链方法以及做各种近似推理，有效地提高了生成结构的训练效率，降低了训练难度。gan可以直接进行新样本的采样和推断，不需要繁琐的采样序列，提高了新样本的生成效率。对抗的训练方法摒弃了对真实数据的依赖，扩展了生成过程的自由度，增加了样本的多样性。

在实践中，gan生成的样本易于人类理解，例如，生成清晰的图像。gan除了提供了新的生成方式以外，还对于半监督学习的研究和发展有重要影响。在gan的训练过程是不需要制定数据标签的，虽然其的目的不是使用半监督学习，但是gan的训练过程可以实施半监督学习中无标签数据对模型进行训练。具体来说就是先利用无标签数据训练gan，再把少量有标签的数据传入已训练的gan，利用gan对数据的理解进一步训练判别器，这样可以很好的实现传统分类与回归任务。但是gan的生成方式同样存在着一些问题，gan采用对抗学习准则，目前还没有理论指导对抗的双方确实能够平衡发展，也很难通过损失值确定训练情况。gan的训练过程需要确实保证对抗的双方生成器和判别器能够平衡与同步，否则无法保证训练结果可靠有用。实际的训练过程中，两个对抗网络的平衡同步很难把控，使得了训练过程变得很不稳定。对于gan，从发展应用角度来说，如何根据随机的输入生成丰富的、容易被人类大脑理解的数据，是近期的应用发展方向；从与机器学习的其他算法交叉训练的角度来说，把gan与特征学习、模仿学习和强化学习等技术更好的融合，促进这些技术方法发展，研发出新的人工智能应用是新的有意义的发展方向；从人工智能未来发展的角度来说，如何利用gan推动人工智能的发展，提高理解现实世界的能力、激发人工智能的创造力是非常值得业界思考的方向。

作为一个有着无限生成能力的结构方法，gan的最直接的应用就是生成与训练数据一致的数据样本，比如生成图像和视频等。再者就是利用gan进行模拟人工系统的生成和计算实验的分析，对平行控制中的人工系统和实际系统平行执行的过程通过建模的方式进行分析和评估，最后以平行方式来执行对复杂系统的控制的实现。这在一方面可以进行人工系统的预测学习和实际系统的反馈学习，在另一方面也可以进行控制单元的模拟学习和强化学习。其次，gan还能够用于解决标注数据不足的训练学习问题，常见的就是无监督学习。再者，gan也可以在自然语言处理领域大显身手，比如生成对话，有文本生成图像等。这种生成无限样本的能力，在图像和视觉计算、语音和语言处理、互联与大型系统信息安全等领域都具有重大的研究应用价值，这也是目前发展gan对研究人工智能的主要意义。

由于航拍堆积物的识别存在样本难以收集，而堆积物的种类多种多样，千变万化，很难收集足够的样本去训练鲁棒性强的模型,为此我们提出一种利用生成对抗网络生成堆积物训练样本的方法。

技术实现要素：

本发明的目的在于提供一种利用生成对抗网络生成堆积物训练样本的方法，以解决背景技术中提出的由于航拍堆积物的识别存在样本难以收集，而堆积物的种类多种多样，千变万化，很难收集足够的样本去训练鲁棒性强的模型的问题。

为实现上述技术目的，本发明采取的技术方案为：

一种利用生成对抗网络生成堆积物训练样本的方法，包括以下步骤：

s1：创造堆积物和点的一一对应训练集；

s2：利用判别器和生成器训练gan模型；

s3：随机生成器生成平面的点的随机分布集合；

s4：利用生成的随机的点生成更多的样本；

s5：利用生成的样本对gan模型进行优化。

为优化上述技术方案，采取的具体措施还包括：

上述的步骤s1具体包括：

手动标注不同的堆积物的样本，形成堆积物和样本一一对应的数据对；

在同一个几何平面上标注随机点，进行随机的分布，生产更多不同纹理的只是堆积物形成标注和样本一一对应的数据对。

步骤s2中，生成器为u-net网络，判别器为全连接网络，判别器的输入为语义标签图和对应图像的通道连接，使得判别器不再简单地判断图片本身的真与假，而是进一步判断两个图片的对应关系，从而使得生成器生成的图片同时具备真实性和相关性。

步骤s3中，首先生成多个矩形范围，在矩形的范围内沿x轴和y轴方向生成随机的点，形成多个的在平面上面随机分布的点，多个随机生成的点组成的集合形成生成样本对应的标注域。

步骤s4具体为：将生成器生成的样本以及随机生成的点的集合，放到一起生成对应的纹理详细的样本。

本发明具有以下有益效果：

本发明方法可以得到更加鲁棒的模型，利用该模型可以增加稀有样本的数量以及质量，减少了数据采集的成本，也进一步使交通路政的检测模型更加准确鲁棒，更好地服务于交通路政的检测。

附图说明

图1为本发明的训练数据对示意图；

图2为本发明的生成对抗网络模型示意图；

图3为本发明的训练原理示意图。

具体实施方式

以下结合附图对本发明的实施例作进一步详细描述。

本发明的一种利用生成对抗网络生成堆积物训练样本的方法，包括以下步骤：

s1：创造堆积物和点的一一对应训练集，在生成标注的时候，针对不同的堆积物的样本进行手动标注，形成堆积物和样本一一对应的数据对；

在同一个几何平面上标注随机点，进行随机的分布，生产更多不同纹理的只是堆积物形成标注和样本一一对应的数据对，具体的对应关系如图1所示。

s2：利用判别器和生成器训练gan的模型，gan的模型结构如图2所示，将数据对一一校准，采用u-net作为生成器，u-net为利用卷积和去卷积组成u形的网络；使用全连接网络为判别器，判别器的输入是语义标签图和对应图像的通道连接。

将一个数据对中的两张图一起作为判别器的输入，实际上就是把两个图片叠在一起，channel为6作为输入，这样的结构使得判别器不再是简单地判断图片本身的真与假，而是进一步判断两个图片的对应关系，从而使得生成器生成的图片同时具备真实性和相关性；

对抗生成网络由判别器和生成器两部分组成，生成网络是一个去卷积的u-net。在训练的时候，由两个loss组成了一个合成的loss，训练过程当中，判别器对生成的图形进行判别，然后通过从后到前的梯度的传导去改良，去优化判别器和生成器两个结构，从而使生成器生成更逼真的图像；

lcgan(g，d)＝ex，y[logd(x，y)]+ex，z[log(1-d(x，g(x，z)))]

lgan(g，d)＝ey[logd(y)]+ex，z[log(1-d(x，z))]

g表示生成模型，d表示判别模型，l是loss函数，其中g最小化这个目标函数，最大化d的目标函数。

由于u-net在训练过程中收敛比较困难，在u-net网络中增加了捷径链接去连接网络的不同层，在卷积层和去卷积层的部分，选择网络结构中对称的层，在这些层之间加上捷径，从而加速收敛。

每一个标注对应的点就对应着堆积物所带的比较详细的纹理，所以每一个点它在不同的位置，它就会去对应不同的纹理，在训练过程当中，这些点和其不同的位置，就会去对应堆积物纹理复杂的latentspace当中的部分，latentspace是无法直接观测的样本数据具有的隐含结构，训练的过程就是将这些数据对关系一一校准，具体的训练原理如图3所示；

ll1(g)＝ex，y，z[||y-g(x，z)||1]

g^*＝argmingmaxdlcgan(g，d)+θll1(g)

g表示生成模型，d表示判别模型，l是loss函数，g^*＝argmingmaxdlcgan(g，d)+θll1(g)为l1距离，其中g^*为目标函数，在最大化判别模型的识别率的同时，最小化生成模型被判别模型识别为生成的数据的概率，在收敛的时候达到均衡。

s3：随机生成器生成平面的点的随机分布集合，由于堆积物会集中在一些区域，所以首先生成多个矩形范围。在矩形的范围内在x轴和y轴方向开始生成随机的点，形成多个的在平面上面随机分布的点，多个随机生成的点组成的集合形成生成样本对应的标注域。

s4：利用生成的随机的点生成更多的样本，通过不断训练，gan模型的生成器和判别器不断优化，通过生成器可以得到更加真实的样本，判别器的判别能力也更加强大。将生成器生成的样本以及随机生成的点的集合，放到一起生成对应的纹理详细的样本。

s5：利用生成的样本对模型进行优化，从而得到更加鲁棒的模型，利用该模型可以增加稀有样本的数量以及质量，减少了数据采集的成本，也进一步使交通路政的检测模型更加准确鲁棒，更好地服务于交通路政的检测。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。