具有不对称结构的图层生成对抗网络生成方法及装置

1.本发明涉及模式识别，计算机视觉与机器学习技术领域，特别涉及一种具有不对称结构的图层生成对抗网络生成方法及装置。


背景技术：

2.对抗生成网络是深度学习、机器学习与计算机视觉交叉领域中基础而重要的技术。对抗生成网络一般包括一个生成器和一个判别器。生成器将服从某一标准分布(如正态分布)的随机向量转变成具体的数据样本(如图像)，判别器则对生成的数据样本与真实的数据样本进行鉴别。生成器与判别器以相互对抗的形式交替迭代更新，判别器逐渐提升自己的鉴别能力，而相对应的，生成器为了对抗判别器，生成的数据样本越来越逼真。最终生成器可以生成十分逼真的图片，使得判别器基本无法将其与真实数据区分。
3.一方面，对抗生成网络可以生成高质量的合成图像，使之成为数据生成、数据转换、图像编辑等众多应用的一种重要手段。另一方面，对抗生成网络的训练不需要任何人工监督信息，使其成为许多无监督学习、弱监督学习、半监督学习的重要方法。
4.图层对抗生成网络与一般的对抗生成网络的区别主要在于生成器。一般的对抗生成网络的生成器直接将随机向量映射为所生成的图像，而图层对抗生成网络则先将随机向量映射为图层，比如前景物体图像、前景物体掩膜和背景图像，然后再将图层重叠得到最终的生成图像。简单的图层生成网络有一个重要的缺陷，即在训练过程中极易陷入退化解，即所有图层坍缩至某一图层，使得该图层直接生成了整张图片，与之对应的前景物体掩膜为全零或全一。


技术实现要素：

5.本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
6.为此，本发明的一个目的在于提出一种具有不对称结构的图层生成对抗网络生成方法，该方法解决了图层对抗生成网络的训练易于陷入退化解的问题，使得图层对抗生成网络能够有效地生成图层。
7.本发明的另一个目的在于提出一种具有不对称结构的图层生成对抗网络生成装置。
8.为达到上述目的，本发明一方面实施例提出了一种具有不对称结构的图层生成对抗网络生成方法，包括：
9.将连续随机变量输入不对称图层生成器的背景生成器中，输出得到背景图像；
10.将所述连续随机变量与第一离散变量和第二离散变量输入所述不对称图层生成器的前景生成器中，输出得到前景图像与前景掩膜；
11.通过图层扰动器对所述前景图像和所述前景掩膜施加扰动，将所述背景图像及扰动后的前景图像和前景掩膜进行堆叠得到生成图像；
12.将生成图像与真实图片同时输入判别器，根据对抗学习损失函数得到判别器的损
失函数，训练判别器；
13.将生成图像输入判别器，并计算对抗学习损失值，利用辅助分类器对生成图像与生成前景掩膜进行伪分类，根据第一离散变量、第二离散变量和辅助分类器的输出值计算交叉熵，得到生成器的损失函数，训练生成器；
14.重复进行判别器与生成器的交替训练，得到训练好的图层对抗生成网络。
15.本发明实施例的具有不对称结构的图层生成对抗网络生成方法，通过在堆叠图层时引入扰动用来防止全一前景掩膜的退化解，提供一种非对称结构来防止全零前景掩膜的退化解，完善的图层对抗生成网络可以生成大量逼真图像，同时这些图像带有图层表示，包括前景物体掩膜。进而提供一种无监督物体分割的解决方案：利用这些生成数据，将前景物体掩膜视作分割标注，训练一个分割网络，从而获得一个有效的分割器。
16.另外，根据本发明上述实施例的具有不对称结构的图层生成对抗网络生成方法还可以具有以下附加的技术特征：
17.进一步地，在本发明的一个实施例中，还包括：
18.利用训练好的图层对抗网络生成多个带有前景掩膜的图像，利用所述多个前景掩膜的图像训练分割网络，通过训练后的分割网络对物体进行分割。
19.进一步地，在本发明的一个实施例中，所述第一离散变量与所述第二离散变量通过层次关系相互关联，通过所述第二离散变量推出所述第一离散变量，所述第一离散变量用于表示前景物体的形状、姿态特性的类别，表现在所述前景掩膜上；所述第二离散变量用于表示前景物体的具体外貌样式，表现在所述前景图像上。
20.进一步地，在本发明的一个实施例中，通过图层扰动器对所述前景图像和所述前景掩膜施加扰动，包括：
21.对前景图层的位置、大小、角度施加一个扰动：
[0022][0023][0024]
其中，x为前景图层，包括前景图像或前景掩膜，u,v为像素坐标，α为扰动角度、δu和δb为扰动偏移量，s为扰动放缩比例。
[0025]
进一步地，在本发明的一个实施例中，将所述背景图像及扰动后的前景图像和前景掩膜进行堆叠得到生成图像，包括：
[0026][0027]
其中，x
b
为背景图像，x
f
为前景图像，为扰动后的掩膜图像，为扰动后的前景图像。
[0028]
进一步地，在本发明的一个实施例中，所述图层生成对抗网络的损失函数为：
[0029][0030]
其中，v(d,g)为对抗学习损失项，λ
mi,c
为第二互信息损失项权重，v
mi,c
(g,q
c
)为第二互信息损失项，λ
mi,p
为第一互信息损失项权重，v
mi,p
(g,q
p
)为第一互信息损失项，λ
bin
为二值化损失项权重，v
bin
(g)为二值化损失项。
[0031]
为达到上述目的，本发明另一方面实施例提出了一种具有不对称结构的图层生成对抗网络生成装置，包括：
[0032]
背景生成模块，用于将连续随机变量输入不对称图层生成器的背景生成器中，输出得到背景图像；
[0033]
前景生成模块，用于将所述连续随机变量与第一离散变量和第二离散变量输入所述不对称图层生成器的前景生成器中，输出得到前景图像与前景掩膜；
[0034]
扰动模块，用于通过图层扰动器对所述前景图像和所述前景掩膜施加扰动，将所述背景图像及扰动后的前景图像和前景掩膜进行堆叠得到生成图像；
[0035]
处理模块，用于通过判别器对所述生成图像判别真伪，得到对抗学习损失函数；利用辅助图像分类器对所述生成图像进行伪分类，根据所述第二离散变量和所述辅助图像分类器输出的类别计算交叉熵；通过辅助掩膜分类器对所述前景掩膜进行伪分类，根据所述第一离散变量和所述辅助掩膜分类器输出的类别计算交叉熵；将以上三项加权求和得到生成器的损失函数；
[0036]
训练模块，用于根据图层生成对抗网络的损失函数，交替进行判别器与生成器的训练，得到训练好的图层对抗生成网络。
[0037]
本发明实施例的具有不对称结构的图层生成对抗网络生成装置，通过在堆叠图层时引入扰动用来防止全一前景掩膜的退化解，提供一种非对称结构来防止全零前景掩膜的退化解，完善的图层对抗生成网络可以生成大量逼真图像，同时这些图像带有图层表示，包括前景物体掩膜。进而提供一种无监督物体分割的解决方案：利用这些生成数据，将前景物体掩膜视作分割标注，训练一个分割网络，从而获得一个有效的分割器。
[0038]
另外，根据本发明上述实施例的具有不对称结构的图层生成对抗网络生成装置还可以具有以下附加的技术特征：
[0039]
进一步地，在本发明的一个实施例中，还包括：
[0040]
分割模块，用于利用训练好的图层对抗网络生成多个带有前景掩膜的图像，利用所述多个前景掩膜的图像训练分割网络，通过训练后的分割网络对物体进行分割。
[0041]
进一步地，在本发明的一个实施例中，所述第一离散变量与所述第二离散变量通过层次关系相互关联，通过所述第二离散变量推出所述第一离散变量，所述第一离散变量用于表示前景物体的形状、姿态特性的类别，表现在所述前景掩膜上；所述第二离散变量用于表示前景物体的具体外貌样式，表现在所述前景图像上。
[0042]
进一步地，在本发明的一个实施例中，将所述背景图像及扰动后的前景图像和前景掩膜进行堆叠得到生成图像，包括：
[0043][0044]
其中，x
b
为背景图像，x
f
为前景图像，为扰动后的掩膜图像，为扰动后的前景图像。
[0045]
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
[0046]
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
[0047]
图1为根据本发明一个实施例的具有不对称结构的图层生成对抗网络生成方法流程图；
[0048]
图2为根据本发明一个实施例的具有不对称结构的图层生成对抗网络生成方法流程框图；
[0049]
图3根据本发明一个实施例的分割网络训练示意图；
[0050]
图4根据本发明一个实施例的不对称图层对抗生成网络陷入退化解原理图；
[0051]
图5根据本发明一个实施例的不对称图层对抗生成网络的结构示意图；
[0052]
图6根据本发明一个实施例的分割网络的结构示意图；
[0053]
图7为根据本发明一个实施例的具有不对称结构的图层生成对抗网络生成装置结构示意图。
具体实施方式
[0054]
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
[0055]
下面参照附图描述根据本发明实施例提出的具有不对称结构的图层生成对抗网络生成方法及装置。
[0056]
首先将参照附图描述根据本发明实施例提出的具有不对称结构的图层生成对抗网络生成方法。
[0057]
图1为根据本发明一个实施例的具有不对称结构的图层生成对抗网络生成方法流程图。
[0058]
图2为根据本发明一个实施例的具有不对称结构的图层生成对抗网络生成方法流程框图。
[0059]
如图1和图2所示，该具有不对称结构的图层生成对抗网络生成方法包括以下步骤：
[0060]
步骤s1，将连续随机变量输入不对称图层生成器的背景生成器中，输出得到背景图像。
[0061]
步骤s2，将连续随机变量与第一离散变量和第二离散变量输入不对称图层生成器的前景生成器中，输出得到前景图像与前景掩膜。
[0062]
本发明实施例的不对称图层生成对抗网络，包含不对称图层生成器、图层扰动器、判别器、辅助分类器。其中不对称图层生成器的输入是随机变量z和第一离散变量c
p
和第二离散变量c
c
，输出是一系列图层包括背景图像、前景掩膜和前景图像。图层扰动器主要对前景图层的位置、大小、角度等特性进行一个微小扰动，这一模块的引入是为了预防训练过程中退化解的发生。
[0063]
具体地，不对称图层生成器包含前景生成器和背景生成器，由于二者的结构不一样，其作用不可交换，故称之为不对称图层生成器。背景生成器的输入是连续随机变量z，输
出是背景图像。前景生成器的输入是与背景生成器共享的连续随机变量z以及其专有的离散随机变量c
p
与c
c
，输出是前景图像与前景掩膜。其中c
p
与c
c
是由层次关系相互关联的，即由c
c
可以推出c
p
。其中c
p
被用于表示前景物体的形状、姿态等特性的类别，并表现在前景掩膜上。而c
c
则被用于表示前景物体的具体外貌样式，体现在所生成的前景图像上。前景生成器的输入包含专有变量，可以预防退化解发生。
[0064]
步骤s3，通过图层扰动器对前景图像和前景掩膜施加扰动，将背景图像及扰动后的前景图像和前景掩膜进行堆叠得到生成图像。
[0065]
具体地，图层经过图层扰动器，对前景图层的位置、大小、角度等特性施加一个微小扰动，即
[0066][0067][0068]
其中α为扰动角度、δu和δv为扰动偏移量，s为扰动放缩比例，在训练过程中从某一区间内均匀采样。一般而言扰动量比较小，以免影响最终叠加图像的真实性。扰动器也可以预防退化解发生。
[0069]
扰动后的图层被堆叠得到生成图像
[0070][0071]
步骤s4，将生成图像与真实图片同时输入判别器，根据对抗学习损失函数得到判别器的损失函数，训练判别器。
[0072]
步骤s5，将生成图像输入判别器，并计算对抗学习损失值，利用辅助分类器对生成图像与生成前景掩膜进行伪分类，根据第一离散变量、第二离散变量和辅助分类器的输出值计算交叉熵，得到生成器的损失函数，训练生成器。
[0073]
步骤s6，重复进行判别器与生成器的交替训练，得到训练好的图层对抗生成网络。
[0074]
图层经过一个堆叠过程形成最终的生成图像，而生成图像又被送入判别器评判真伪。在训练过程中，判别器还接受真实图像，用于比对真实图像和生成图像，进而使得生成图像越来越逼真。此外，生成器还有一个额外分支用来实现一个伪分类，用于最大化生成图像与c
c
之间的互信息。此外，辅助分类器被用于对生成的前景掩膜进行伪分类，进一步预防退化解的发生。
[0075]
具体地，生成图像被送入判别器d中鉴别真伪。除了真伪分支之外，判别器还有一个辅助分支，对生成图像进行伪分类。用生成过程使用的c
c
与分支输出的类别分布计算交叉熵，得到这一分支的损失函数为
[0076][0077]
除此以外，辅助分类器d
m
被引入对前景掩膜进行伪分类，类似的，其损失函数为：
[0078][0079]
整个图层生成对抗网络的学习问题可以按照对抗学习的模式总结为：
[0080]
[0081]
其中：
[0082][0083]
为对抗学习损失函数，是一个凹函数，取决于具体的对抗生成网络，比如可以选取hinge损失函数，即f(t)＝
‑
max(0,1
‑
t)。最后一项为：
[0084][0085]
用于使前景掩膜尽量二值化。
[0086]
进一步地，在本发明的一个实施例中，还包括：
[0087]
利用训练好的图层对抗网络生成多个带有前景掩膜的图像，利用多个前景掩膜的图像训练分割网络，通过训练后的分割网络对物体进行分割。
[0088]
可以理解的是，完成图层对抗生成网络的训练后，即可使用它生成大量带有前景掩膜的图像。这些图像被用于按照一般监督训练的模式训练一个分割网络，从而实现物体分割。
[0089]
具体地，如图3所示，利用训练好的图层生成对抗网络的生成器合成一些带有前景掩膜的图像，这些前景掩膜被当做图像的分割伪标注，被用于训练分割器。在图层对抗生成网络的基础上，解决了无监督物体分割问题，使得在物体分割问题上，模型的训练不再依赖标注数据，大大减小了准备数据的时间与成本。
[0090]
图层生成对抗网络在训练过程中极易陷入退化解，即多图层坍塌成单一图层，相对应得前景掩膜为全零或全一。一方面，本发明的实施例在堆叠图层时引入扰动用来防止全一前景掩膜的退化解。另一方面，本发明的实施例提供一种非对称结构来防止全零前景掩膜的退化解。具体而言，背景图层的生成仅仅依赖于共享变量，而前景图层的生成依赖于共享变量与专有变量。最后，生成图像被要求与专有变量具有较高的互信息。这种非对称结构可以有效防止全零前景掩膜退化解的发生。
[0091]
如图4所示，本发明提供的不对称图层对抗生成网络能够有效防止训练过程中陷入退化解。具体原理由下图阐释，如果全一前景掩膜的退化解发生，由于图层扰动器的作用，堆叠的图像将具有突兀而不真实的边界，这会被判别器所惩罚；如果全零前景掩膜的退化解发生，那么生成的图像将不包含关于专有变量c的任何信息，则生成图像与c的互信息很低，这会被互信息损失函数所惩罚。而如果正常解发生了，则生成的图像中包含c的信息，进而生成图像与c的互信息得以最大化。
[0092]
如图5所示，给出了在128
×
128分辨率下的图层生成器、判别器以及辅助分类器的网络结构。其中生成器的所有卷积层的卷积核尺寸为3
×
3，而在判别器中，所有卷积层的卷积核尺寸为4
×
4。对于判别器，有两个头部分支分别实现真伪鉴别以及互信息的估计，对于辅助分类器，则只保留互信息估计的头部。
[0093]
如图6所示，无监督物体分割方法不依赖于人工标注，因而对数据收集的过程限制小，且能够大大降低准备数据的时间与成本。该网络可以在任意分辨率下训练与测试，比如可在128
×
128或者64
×
64分辨率下。其中所有卷积层的卷积核尺寸为3
×
3。
[0094]
根据本发明实施例提出的具有不对称结构的图层生成对抗网络生成方法，通过在堆叠图层时引入扰动用来防止全一前景掩膜的退化解，提供一种非对称结构来防止全零前景掩膜的退化解，完善的图层对抗生成网络可以生成大量逼真图像，同时这些图像带有图
层表示，包括前景物体掩膜。进而提供一种无监督物体分割的解决方案：利用这些生成数据，将前景物体掩膜视作分割标注，训练一个分割网络，从而获得一个有效的分割器。
[0095]
其次参照附图描述根据本发明实施例提出的具有不对称结构的图层生成对抗网络生成装置。
[0096]
图7为根据本发明一个实施例的具有不对称结构的图层生成对抗网络生成装置结构示意图。
[0097]
如图7所示，该具有不对称结构的图层生成对抗网络生成装置包括：第一生成模块701、第二生成模块702、扰动模块703、处理模块704和训练模块705。
[0098]
背景生成模块701，用于将连续随机变量输入不对称图层生成器的背景生成器中，输出得到背景图像。
[0099]
前景生成模块702，用于将连续随机变量与第一离散变量和第二离散变量输入不对称图层生成器的前景生成器中，输出得到前景图像与前景掩膜。
[0100]
扰动模块703，用于通过图层扰动器对前景图像和前景掩膜施加扰动，将背景图像及扰动后的前景图像和前景掩膜进行堆叠得到生成图像。
[0101]
处理模块704，用于通过判别器对所述生成图像判别真伪，得到对抗学习损失函数；利用辅助图像分类器对所述生成图像进行伪分类，根据所述第二离散变量和所述辅助图像分类器输出的类别计算交叉熵；通过辅助掩膜分类器对所述前景掩膜进行伪分类，根据所述第一离散变量和所述辅助掩膜分类器输出的类别计算交叉熵；将以上三项加权求和得到生成器的损失函数。
[0102]
训练模块705，用于根据图层生成对抗网络的损失函数，交替进行判别器与生成器的训练，得到训练好的图层对抗生成网络。
[0103]
进一步地，在本发明的一个实施例中，还包括：
[0104]
分割模块，用于利用训练好的图层对抗网络生成多个带有前景掩膜的图像，利用多个前景掩膜的图像训练分割网络，通过训练后的分割网络对物体进行分割。
[0105]
进一步地，在本发明的一个实施例中，第一离散变量与第二离散变量通过层次关系相互关联，通过第二离散变量推出第一离散变量，第一离散变量用于表示前景物体的形状、姿态特性的类别，表现在前景掩膜上；第二离散变量用于表示前景物体的具体外貌样式，表现在前景图像上。
[0106]
进一步地，在本发明的一个实施例中，将背景图像及扰动后的前景图像和前景掩膜进行堆叠得到生成图像，包括：
[0107][0108]
其中，x
b
为背景图像，x
f
为前景图像，为扰动后的掩膜图像，为扰动后的前景图像。
[0109]
需要说明的是，前述对方法实施例的解释说明也适用于该实施例的装置，此处不再赘述。
[0110]
根据本发明实施例提出的具有不对称结构的图层生成对抗网络生成装置，通过在堆叠图层时引入扰动用来防止全一前景掩膜的退化解，提供一种非对称结构来防止全零前景掩膜的退化解，完善的图层对抗生成网络可以生成大量逼真图像，同时这些图像带有图
层表示，包括前景物体掩膜。进而提供一种无监督物体分割的解决方案：利用这些生成数据，将前景物体掩膜视作分割标注，训练一个分割网络，从而获得一个有效的分割器。
[0111]
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
[0112]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0113]
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。