一种考虑统计全局信息的多目标演化生成对抗网络

本发明同时涉及了生成对抗网络和多目标演化算法，并考虑将二者结合起来，具体为一种考虑统计全局信息的多目标演化生成对抗网络。

背景技术：

1、生成对抗网络(gans)就被应用在了诸多领域，其凭借着自己强大的对抗学习能力受到了越来越多人的关注。

2、生成对抗网络除了常见的应用还被应用在其他领域，比如医学方面。而面对着合成任务不断的复杂化，传统的生成对抗网络及其变体在真实应用中遇到了诸多困难，如训练的不稳定性、模型鲁棒性低、出现模式崩溃等。

3、而多目标演化算法能够应用在求解多目标领域，考虑到gan的训练动荡、并且在训练过程中呈现的模式崩溃等现状，所以可以将多目标演化算法应用到生成对抗网络中，在此种新的gan的框架下，在其性能提高的同时，也可以使训练变得更稳定。

4、原始的gan以及gan的大多数变体都是从目标函数入手，采用预先定义的对抗目标函数交替训练生成器和鉴别器。而多目标演化的gan可以同时将生成样本的质量以及多样性来作为目标，可演化一个生成器种群。突变操作采用不同的对抗性训练目标，每个生成器的候选根据这些突变进行更新。而现有的gan的多目标演化存在着训练不稳定、模型鲁棒性低，最优解选取不合理等问题。

5、全局信息统计的多目标演化生成对抗网络主要考虑以下三个问题：(1)模式崩塌问题：和其他的神经网络不同的是，gan由两个重要的部分组成，一个重要部分是生成器，再一部分是鉴别器，需要两者同时进化，复杂程度大大提升。总的来说对于gan在这一完整的训练过程中所遇到的模式崩溃问题的研究工作还在大幅度的展开，从多方面对该问题进行了剖析，但还需要形成一套系统的东西来对该问题进行解释说明。(2)模型鲁棒性差：生成对抗网络在计算机视觉方面的应用主要依赖于已经训练好的网络进行，而训练出来的模型，稍微修改参数，或弱化生成器的功能等就会造成整个训练过程的崩溃，达不到事先对效果的期待，由此可见模型的鲁棒性低。(3)训练不稳定问题：因其不同于传统的神经网络，gan由两个重要的部分组成，一个重要的部分是生成器，再一部分是鉴别器，而且需要二者同时进行训练，生成器会依照鉴别器所产生的鉴别结果更新优化，反过来，鉴别器也会依照生成器的结果来更新，所以要使二者在达到平衡的同时，还均是最优状态是很难的。

6、每个单个的对抗目标总是有缺陷，对于不同的数据集或对于同一个实验中的不同阶段而言，是无法明确的评定某一特定的训练策略就有明显的优势。考虑将生成器进行修改，将鉴别器视为一个环境，生成器是一个种群，种群根据环境进行演化，经历不同的突变，使用不同的对抗目标函数来产生适应环境的后代。针对卷积很难取得良好的结果，本发明构建了一种新的模型，称为浅层的全局信息统计的多目标演化生成对抗网络，该模型使用较浅层的卷积网络捕获了长范围的特征依赖，统计了非局部性的全局信息。在根本上分析了造成梯度消失和在训练过程中所产生的动荡现状的原因，考虑将鉴别器进行进一步的约束，对生成器进行批归一化处理的同时，摒弃传统的对鉴别器也进行批归一化处理的方式，使用谱归一化进一步对鉴别器进行约束，除此之外，为了防止训练过程找到假的“最优值”，即是一个局部性的最优解，使用了新的学习率策略，为了控制其衰减速率，设置特定值，并在该值处使学习率上升到衰减的初始值，可以很好的使模型冲出局部最优解。并且针对最优解的选择过程考虑将拥挤度算子进行改进，考虑到不同维度的影响。

技术实现思路

1、本发明的目标是对多目标演化算法进行改良，使其更加合理化的选择最优解，利用多目标演化算法的优势，缓解模型鲁棒性低的问题。建立生成器和鉴别器新的归一化实施方法，并且改进生成器和鉴别器的学习率更新策略，在缓解模式崩塌问题和模型鲁棒性低的问题的基础上，使一方面生成样本的品质和另一方面其多样性有较大幅度的提升，并且使这一个完整的训练过程不易震荡，即增加稳定性。

2、本发明的技术方案：

3、一种考虑统计全局信息的多目标演化生成对抗网络,包括：

4、将多目标演化算法应用到生成对抗网络中，构建浅层的神经网络统计非局部性的信息，将自注意力从通道域方面进行修改，把修改之后的自注意力机制模块加入到生成器的第三层和第四层卷积网络之间，考虑在生成器中加入了新的模块后，需要更加严格的约束鉴别器，所以将谱归一化加入到鉴别器的每一层神经网络中代替传统的批归一化。为了防止在生成器和鉴别器的更新过程中会陷入局部最优解，所以将余弦退火算法替代传统的学习率更新策略，在每次对生成器进行更新后都要根据生成样本的质量和多样性两个目标在生成器的种群中来选出最优解，以进行下一步的迭代更新，然而现有演化算法中的拥挤度算子并未考虑不同维度的影响，所以需要修改原有的拥挤度比较算子，使其同时考虑不同维度的影响，得到最优解。

5、设计浅层的神经网络统计非局部性的信息，包括：

6、用浅层的卷积当根底，构建轻型的神经网络统计非局部性的信息，可以获得到更加广泛的特征。在考虑到已有的生成对抗网络的变种中只能根据局部性的特征来生成细节，若想统计全局信息，获得更深层次的特征依赖就得使用深层的神经网络，会导致训练效率降低，并且太深层次的网络，不利于梯度的反向传播，当需要远距离传递消息时，卷积就很难取得良好的效果。考虑到注意力机制可以统计非局部性的信息，所以选择对自注意力机制模块改良优化，从通道域和空间域的角度出发来增强模型的全局信息处理能力。并将改进后的模块融合到生成对抗网络中。

7、首先，自注意力机制模块将经过卷积之后所得到的特征图x分为三部分，分别是k、q和temp。

8、由卷积网络部分得到特征图x，在得到的特征图x中为了计算注意力值它被转换成q和k这两个不同的特征空间，其中q(x)＝wqx，k(x)＝wkx。

9、

10、其中，βj，i表示在生成j这一块的时候，对i部分给予了多大的关注值；c作为前面输入的x的通道的数目，n表示前面所输入的特征图x中所包含的像素点的个数；最后输出是其中：

11、

12、在上述的公式中：分别从通道域和空间域两个不同的方向考虑，重新定义了wk、wq、wt和wv的不同规格即权重矩阵的大小不同，其中它们都被实现为1*1的卷积；

13、最后的输出由下列公式进行计算：

14、yi＝γoi+xi，(3)

15、整个学习过程是由容易到复杂。

16、将谱归一化加入到鉴别器中，并且使用余弦退火算法替代传统的学习率更新策略，包括：

17、矩阵w的谱系数σ(w)的物理含义是：对于任意的输入向量z，经过w的线性变换对z向量可能的最大的拉伸系数。如果一个神经网络的参数矩阵谱系数被限制在小于1的时候，它对于任意的输入都不会有放大的作用，便会很容易的满足了利普希茨连续了。

18、只在鉴别器使用谱归一化的做法为：将鉴别器中每一层网络的每个参数矩阵w都进行奇异值的一个分解，即考虑让参数中的各个元素都对矩阵的谱范数σ(w)做除法运算，即矩阵的最大奇异值，保证每一个神经网络的参数矩阵谱系数被限制在小于1。

19、在幂迭代过程中首先初始化一个随机的然后定义以下公式并根据所定义的公式进行迭代：

20、

21、最后矩阵w的最大奇异值σ(w)可以根据和进行计算：

22、在得到σ(w)之后，网络每更新一次参数，都对参数w进行谱归一化：

23、用上述的谱归一化方式替代生成对抗网络中的传统的归一化方式。

24、gan由两个重要的部分组成，一个重要的部分为生成器，再一部分是鉴别器，所以训练的难度比普通的神经网络要大很多，生成器会依照鉴别器的结果更新优化，而反过来，鉴别器同样也会根据生成器的合成结果进行更新，两者几乎会坠入一个部分的最优解，俗称“马鞍面”，一旦发生此种现象就无法在提供有效的梯度进行更新了。

25、所以考虑使用新的学习率更新策略替代原始的学习率更新策略，在这里选择使用了“退火算法”的思想，设定初始的训练值，随着实验的进一步进行，需要改动的东西将会越来越少，随意值就会逐步降低，设定一个边界值，当下降到该边界值后，升高到原始的初始值，防止会坠入没办法再提供有效梯度的困境。

26、学习率更新策略的公式如下：

27、

28、其中表达式各个部分分别表示的内容为如下解释：

29、和分别代表学习率的最小和最大值，即学习率的变化范围

30、tcur表示上次重启后，经过了多少个epoch

31、ti表示第i次重启后，一共需要训练多少个epoch

32、将余弦退火算法融合到对学习率的更新中。

33、将多目标演化算法应用到gan中，需要改良拥挤度计算公式，包括：

34、在原始的nsga-ⅱ中，假定种群中有n个个体，而其中只需要保留m个个体，并且m的数量是要大于n的，所以需要在整个m个体集中去除掉m-n个，这时就用到了计算拥挤度的公式，若是在同一个支配面上便会比较拥挤度，保留表现良好的，去除表现不足够好的个体。拥挤度比较算子的公式如下：

35、

36、其中，表示i点的后一个点在第j个目标上的函数值，表示i点前一个点在第j个目标上的函数值。因为需要保留的个体是n个，与原始的种群数量是要相等的，但非支配个体数目对于n个，所以将所有的非支配个体之间的拥挤度根据公式都需要进行计算，淘汰拥挤度距离较小的。

37、分析原始的拥挤度算子比较公式，发现其分别考虑了不同维度上目标函数的差值，并没有将不同的目标结合起来考虑，这就会造成计算结果不可靠。

38、基于传统的拥挤度算子所存在的缺陷，考虑对拥挤度距离及其算子的计算进行改良优化，在传统的nsga-ⅱ拥挤度距离公式中仅仅考虑了相邻个体之间在同一个维度上的距离，没有将不同的维度结合起来考虑，不利于解集的分布性。因而考虑将方差融合到拥挤度算子的计算公式中，改变原有的拥挤度比较算子，所提出的改进公式如下：

39、

40、本发明的有益效果：本发明使用较浅层的卷积网络捕获了长范围的特征依赖，统计了非局部性的全局信息。在根本上分析了造成梯度消失和训练过程会动荡的原因，对鉴别器进行了进一步的约束，对生成器进行批归一化处理的同时，摒弃传统的对鉴别器也进行批归一化处理的方式，使用谱归一化进一步对鉴别器进行约束，这样不仅可以增强训练过程的稳定性还可以提高训练动力学。除此之外，为了防止训练过程坠入局部的一个最优化的状态，在模型中使用了新的学习率策略，控制学习率的衰减速率，设置特定值，并在该值处使学习率上升到衰减的初始值，可以很好的使模型冲出局部最优解，提升了模型的鲁棒性。并且改进多目标演化算法的拥挤度算子，使在进行最优解选择的过程合理化，稳定训练过程。