一种面向跨领域智能分析的多网络对抗学习方法和系统与流程

本发明涉及机器学习技术领域，更具体地，涉及一种面向跨领域智能分析的多网络对抗学习方法和系统。

背景技术：

深度神经网络在经过对源领域大规模标注数据的学习后，可以获得在多种相关领域智能分析任务中可用的可迁移特征。但是，由于不同的任务间存在分布偏移，基于源领域训练的深度特征表示并不能保证在目标领域有很好的泛化能力。这个问题的一个直接解决方式，就是在该深度表示的基础上，使用目标领域的有标注数据集进一步地调整深度神经网络。但恰当地调整深度神经网络需要足量的目标领域有标注数据，从而很可能产生昂贵的标注成本。如何能够避免大规模标注工作的同时得到更好的跨领域分析任务效果，已经成为了亟待解决的问题。通过学习一个鉴别模型来减小源领域和目标领域的分布偏移，这样的技术被称作迁移学习或是领域适应。之前的浅层迁移学习方法通过寻找领域之间共享的特征，或是重新估计无标签数据的权重来减小分布偏移。而现有技术中深度领域适应方法使用深度神经网络缩小领域间变化因子的同时，匹配不同领域的边缘数据分布，以用来自适应地学习可迁移的数据表示。

领域适应范式旨在研究如何利用对目标领域无标注数据集的学习，来得到任务效果更佳的深度神经网络。现存的领域适应方法假定源领域和目标领域数据享有共同的数据空间，只是在数据空间上满足不同的分布。接下来，领域适应方法构造辨别模型，对不同领域的数据分布进行匹配，从而减少数据分布的偏移。最近的一些研究工作将深度神经网络应用在领域适应范式中，可以自适应地为跨领域分析任务发掘可迁移的特征表示，从而摆脱了传统的浅层领域适应中需要人为设计特征表示的困难，也解决了深度学习模型微调时的标注成本问题，在众多的跨领域分析任务中取得了良好的效果。

对抗学习方法(adversariallearning)最近被应用在深度领域适应模型中，对抗学习的过程可以看做是我们要得到一个模型(例如cnn)，使得它在源领域数据集上得到的特征表示分布与在一个目标领域数据集上得到的特征表示分布尽量接近。在这个过程中使用一个鉴别器(discriminator)，它可以识别出一个特征表示到底是来自源领域还是来自目标领域。如果这个鉴别器的水平很高，而它又无法分清不同领域特征表示之间的区别，那么就说明我们需要的模型具有很好的跨领域表达能力。该方法拥有学习可迁移特征表示的能力，可以显著减小源领域和目标领域的分布偏移，基于该方法的深度领域适应模型也在各类深度领域适应方法中表现出众。然而，当源领域数据与目标领域数据呈现复杂的多模式结构时，已有的方法常常将源领域和目标领域的特征数据分布直接进行匹配，从而导致迁移不足与错误迁移等问题。其中，迁移不足问题指的是发生在领域间每一个模式对应的分布不能被充分匹配，而错误迁移问题则使不同模式对应的分布被错误地结合在一起的情况。

技术实现要素：

本发明提供一种克服上述问题或者至少部分地解决上述问题的一种面向跨领域智能分析的多网络对抗学习方法和系统，解决了现有技术中源领域和目标领域的特征数据分布进行匹配时，由于源领域数据与目标领域数据呈现复杂的多模式结构导致迁移不足与错误迁移等问题。

根据本发明的一个方面，提供一种多网络对抗学习方法，包括：

基于深度神经网络分类器和全连接神经网络辨别器组构建多网络分类器；

选择源领域有标注数据集目标领域无标注数据集，将所述源领域有标注数据集输入所述多网络分类器中正向传播，得到所述深度神经网络分类器的损失函数；将所述目标领域无标注数据集输入所述多网络分类器中正向传播，得到所述全连接神经网络辨别器组的损失函数；

基于所述深度神经网络分类器的损失函数和所述全连接神经网络辨别器组的损失函数，得到所述多网络分类器的目标函数；

对所述多网络分类器进行训练，使所述全连接神经网络辨别器组损失函数最大化时，所述深度神经网络分类器损失函数与所述全连接神经网络辨别器损失函数之和最小化，得到训练后的深度神经网络分类器。

作为优选的，基于深度神经网络分类器和全连接神经网络辨别器组构建多网络分类器，具体包括：

通过计算机视觉系统识别imagenet数据集对图像识别分类器进行预训练，得到初始的深度神经网络分类器f(x)＝gy(gf(x))，所述深度神经网络分类器的分类类别数为k；gf为所述深度神经网络分类器的底部特征层，所述底部部特征层用于将数据映射为df维向量；所述gy为所述深度神经网络分类器的顶部特征层，所述顶部特征层用于将所述df维向量映射到标注空间；

在所述深度神经网络分类器的基础上，增加k个输入为df维向量、输出区间为[0,1]的全连接神经网络辨别器组

作为优选的，将所述源领域有标注数据集输入所述多网络分类器中正向传播，得到所述深度神经网络分类器的损失函数，具体包括：

将所述源领域有标注数据集输入所述多网络分类器，得到源领域有标注数据集在所述深度神经网络分类器上的损失函数：

式中，为所述源领域有标注数据集，l为交叉熵函数。

作为优选的，将所述目标领域无标注数据集输入所述多网络分类器中正向传播，得到所述全连接神经网络辨别器组的损失函数，具体包括：

将所述源领域数据集中的标注删除，得到源领域无标注数据集，将所述源领域无标注数据集输入多网络分类器中正向传播，得到源领域无标注数据集中每个数据的伪标注向量；

将目标领域无标注数据集输入到所述多网络分类器中正向传播，得到目标领域无标注数据集中每个数据的伪标注向量；

基于所述源领域无标注数据集中每个数据的伪标注向量与所述目标领域无标注数据集中每个数据的伪标注向量，得到所述全连接神经网络辨别器组的损失函数。

作为优选的，所述全连接层网络辨别器组的损失函数为：

式中，ld为全连接层网络辨别器组的损失函数，n为所述源领域无标注数据集与所述目标领域无标注数据集中的数据总数，d为所述源领域无标注数据集与所述目标领域无标注数据集的合集；di为数据类别标签，当xi属于源领域无标注数据集时，di＝1，为源领域无标注数据集中数据的伪标注向量；当xi属于目标领域无标注数据集时，di＝0，为目标领域无标注数据集的伪标注向量。

作为优选的，所述多网络分类器的目标函数为：

式中，θf为所述深度神经网络分类器的底部特征层的网络参数，θy为所述深度神经网络分类器的顶部特征层的网络参数，λ为预设定平衡参数。

作为优选的，对所述多网络分类器进行训练具体包括：

通过反向传播技术训练所述多网络分类器的网络参数，在每一个训练轮次中，通过随机梯度下降法对所述多网络分类器的参数进行更新，直至所述多网络分类器的参数收敛。

一种多网络对抗学习系统，包括：

多网络分类器模块，用于基于深度神经网络分类器和全连接神经网络辨别器组构建多网络分类器；

选择源领域有标注数据集目标领域无标注数据集，将所述源领域有标注数据集输入所述多网络分类器中正向传播，得到所述深度神经网络分类器的损失函数；将所述目标领域无标注数据集输入所述多网络分类器中正向传播，得到所述全连接神经网络辨别器组的损失函数；

基于所述深度神经网络分类器的损失函数和所述全连接神经网络辨别器组的损失函数，得到所述多网络分类器的目标函数；

训练模块，用于对所述多网络分类器进行训练，使所述全连接神经网络辨别器组损失函数最大化时，所述深度神经网络分类器损失函数与所述全连接神经网络辨别器损失函数之和最小化，得到训练后的深度神经网络分类器。

一种多网络对抗学习设备，包括：

至少一个处理器、至少一个存储器、通信接口和总线；其中，

所述处理器、存储器、通信接口通过所述总线完成相互间的通信；

所述通信接口用于该测试设备与显示装置的通信设备之间的信息传输；

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如上述多网络对抗学习方法。

一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行如上述的多网络对抗学习方法。

本发明提出一种面向跨领域智能分析的多网络对抗学习方法和系统，在深度神经网络分类器的基础上增加了一组与类别一一对应的辨别器，每个辨别器分别应用于对其对应类别的源领域、目标领域数据分布进行对抗学习，从而减小领域间对应每一个模式的分布。在训练中，每个数据参与各辨别器训练的权重由数据在深度神经网络分类器正向传播后得到的伪标注决定。分类器的训练目标是通过调整参数，取得最大化辨别器损失函数和最小化分类器损失函数与辨别器损失函数之和的均衡。本方法有效地解决了数据分布呈多模式结构、难以消除偏移的难题，并在多个跨领域智能分析任务中取得了着良好的效果。

附图说明

图1为根据本发明实施例的面向跨领域智能分析的多网络对抗学习方法流程示意图；

图2为根据本发明实施例的基于图像识别任务的深度学习分类器示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

如图1所示，图中示出了一种面向跨领域智能分析的多网络对抗学习方法，包括：

基于深度神经网络分类器和全连接神经网络辨别器组构建多网络分类器；

选择源领域有标注数据集目标领域无标注数据集，将所述源领域有标注数据集输入所述多网络分类器中正向传播，得到所述深度神经网络分类器的损失函数；将所述目标领域无标注数据集输入所述多网络分类器中正向传播，得到所述全连接神经网络辨别器组的损失函数；

基于所述深度神经网络分类器的损失函数和所述全连接神经网络辨别器组的损失函数，得到所述多网络分类器的目标函数；

对所述多网络分类器进行训练，使所述全连接神经网络辨别器组损失函数最大化时，所述深度神经网络分类器损失函数与所述全连接神经网络辨别器损失函数之和最小化，得到训练后的深度神经网络分类器。

给定源领域有标注数据集目标领域无标注数据集

在本实施例中，基于深度神经网络分类器和全连接神经网络辨别器组构建多网络分类器，具体包括：

如图2所示，在本实施例中，基于caffe框架实现alexnet或resnet图像识别分类器，并使用imagenet数据集对网络进行预训练，得到初始的深度神经网络分类器f(x)＝gy(gf(x))，所述深度神经网络分类器的分类类别数为k；gf为所述深度神经网络分类器的底部特征层，所述底部部特征层用于将数据映射为df维向量，该部分神经网络参数设定为θf；所述gy为所述深度神经网络分类器的顶部特征层，所述顶部特征层用于将所述df维向量映射到标注空间，该部分神经网络参数设定为θy；深度神经网络分类器从而可以表示为两部分网络的函数迭代f(x)＝gy(gf(x))。所述深度神经网络分类器在源领域数据集上的损失函数设定为：

将所述源领域有标注数据集输入所述多网络分类器，得到源领域有标注数据集在所述深度神经网络分类器上的损失函数：

式中，为所述源领域有标注数据集，l为交叉熵函数。

在所述深度神经网络分类器的基础上，增加k个输入为df维向量、输出区间为[0,1]的全连接神经网络辨别器组

在本实施例中，将所述目标领域无标注数据集输入所述多网络分类器中正向传播，得到所述全连接神经网络辨别器组的损失函数，具体包括：

将所述源领域数据集中的标注删除，得到源领域无标注数据集，将所述源领域无标注数据集输入多网络分类器中正向传播，得到源领域无标注数据集中每个数据的伪标注向量；

将目标领域无标注数据集输入到所述多网络分类器中正向传播，得到目标领域无标注数据集中每个数据的伪标注向量；

基于所述源领域无标注数据集中每个数据的伪标注向量与所述目标领域无标注数据集中每个数据的伪标注向量，得到所述全连接神经网络辨别器组的损失函数。

具体的，将源领域有标注数据集中的标注项删除，得到源领域无标注数据集：

将所述源领域无标注数据集在所述多网络分类器中正向传播，得到每个数据对应的伪标注向量：

其中，伪标注向量的具体计算公式为：为伪标注向量的第k个分量。

将目标领域无标注数据集输入所述多网络分类器中正向传播，得到每个数据xi＝dt对应的伪标注向量：

其中，伪标注向量的具体计算公式为：为伪标注向量的第k个分量。

将上述的源领域无标注数据集合目标领域无标注数据集并集以及将其中每个数据对应的伪标注集上的损失函数设定为：

式中，ld为全连接层网络辨别器组的损失函数，n为所述源领域无标注数据集与所述目标领域无标注数据集中的数据总数，d为所述源领域无标注数据集与所述目标领域无标注数据集的合集；di为数据类别标签，当xi属于源领域无标注数据集时，di＝1，为源领域无标注数据集中数据的伪标注向量；当xi属于目标领域无标注数据集时，di＝0，为目标领域无标注数据集的伪标注向量。

在本实施例中，将多网络分类器的目标函数设定为深度神经网络分类器的损失函数与乘以预设定平衡参数的辨别器组损失函数之差，即为：

式中，θf为所述深度神经网络分类器的底部特征层的网络参数，θy为所述深度神经网络分类器的顶部特征层的网络参数，λ为预设定平衡参数。

在本实施例中，对所述多网络分类器进行训练具体包括：

通过反向传播技术训练所述多网络分类器的网络参数，在每一个训练轮次中，通过随机梯度下降法对所述多网络分类器的参数进行更新，直至所述多网络分类器的参数收敛。

具体的，通过反向传播技术训练所述多网络分类器，使得各目标函数在当前参数下达到如下均衡：

反向传播技术实现方案如下：

对每个数据点xi∈d，对多网络分类器的各部分参数采用如下堆积梯度下降更新方法：

其中，μ为随机梯度下降的学习速率，λ是前文所述平衡参数，μ和λ可随训练轮次适当调整。对初始的深度神经网络分类器进行多轮次基于前文所述随机梯度下降方法的参数更新，直至参数收敛。

将训练完成的深度神经网络分类器f(x)在目标领域测试评估，并应用于目标领域的图像识别任务。

本实施例中还提供了一种面向跨领域智能分析的多网络对抗学习系统，包括：

多网络分类器模块，用于基于深度神经网络分类器和全连接神经网络辨别器组构建多网络分类器；

选择源领域有标注数据集目标领域无标注数据集，将所述源领域有标注数据集输入所述多网络分类器中正向传播，得到所述深度神经网络分类器的损失函数；将所述目标领域无标注数据集输入所述多网络分类器中正向传播，得到所述全连接神经网络辨别器组的损失函数；

基于所述深度神经网络分类器的损失函数和所述全连接神经网络辨别器组的损失函数，得到所述多网络分类器的目标函数；

训练模块，用于对所述多网络分类器进行训练，使所述全连接神经网络辨别器组损失函数最大化时，所述深度神经网络分类器损失函数与所述全连接神经网络辨别器损失函数之和最小化，得到训练后的深度神经网络分类器。

本实施例中还提供了一种面向跨领域智能分析的多网络对抗学习设备，包括：处理器(processor)、存储器(memory)、通信接口(communicationsinterface)和总线；

其中，

所述处理器、存储器、通信接口通过所述总线完成相互间的通信；

所述通信接口用于该测试设备与显示装置的通信设备之间的信息传输；

所述处理器用于调用所述存储器中的程序指令，以执行上述各方法实施例所提供的多网络对抗学习方法，例如包括：

基于深度神经网络分类器和全连接神经网络辨别器组构建多网络分类器；

选择源领域有标注数据集目标领域无标注数据集，将所述源领域有标注数据集输入所述多网络分类器中正向传播，得到所述深度神经网络分类器的损失函数；将所述目标领域无标注数据集输入所述多网络分类器中正向传播，得到所述全连接神经网络辨别器组的损失函数；

基于所述深度神经网络分类器的损失函数和所述全连接神经网络辨别器组的损失函数，得到所述多网络分类器的目标函数；

对所述多网络分类器进行训练，使所述全连接神经网络辨别器组损失函数最大化时，所述深度神经网络分类器损失函数与所述全连接神经网络辨别器损失函数之和最小化，得到训练后的深度神经网络分类器。

本实施例中还提供了一种面向跨领域智能分析的多网络对抗学习设备，包括：

至少一个处理器、至少一个存储器、通信接口和总线；其中，

所述处理器、存储器、通信接口通过所述总线完成相互间的通信；

所述通信接口用于该测试设备与显示装置的通信设备之间的信息传输；

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述各方法实施例所提供的多网络对抗学习方法，例如包括：

基于深度神经网络分类器和全连接神经网络辨别器组构建多网络分类器；

选择源领域有标注数据集目标领域无标注数据集，将所述源领域有标注数据集输入所述多网络分类器中正向传播，得到所述深度神经网络分类器的损失函数；将所述目标领域无标注数据集输入所述多网络分类器中正向传播，得到所述全连接神经网络辨别器组的损失函数；

基于所述深度神经网络分类器的损失函数和所述全连接神经网络辨别器组的损失函数，得到所述多网络分类器的目标函数；

对所述多网络分类器进行训练，使所述全连接神经网络辨别器组损失函数最大化时，所述深度神经网络分类器损失函数与所述全连接神经网络辨别器损失函数之和最小化，得到训练后的深度神经网络分类器。

本实施例还公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的多网络对抗学习方法，例如包括：

基于深度神经网络分类器和全连接神经网络辨别器组构建多网络分类器；

选择源领域有标注数据集目标领域无标注数据集，将所述源领域有标注数据集输入所述多网络分类器中正向传播，得到所述深度神经网络分类器的损失函数；将所述目标领域无标注数据集输入所述多网络分类器中正向传播，得到所述全连接神经网络辨别器组的损失函数；

基于所述深度神经网络分类器的损失函数和所述全连接神经网络辨别器组的损失函数，得到所述多网络分类器的目标函数；

对所述多网络分类器进行训练，使所述全连接神经网络辨别器组损失函数最大化时，所述深度神经网络分类器损失函数与所述全连接神经网络辨别器损失函数之和最小化，得到训练后的深度神经网络分类器。

本实施例还提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的多网络对抗学习方法，例如包括：

基于深度神经网络分类器和全连接神经网络辨别器组构建多网络分类器；

选择源领域有标注数据集目标领域无标注数据集，将所述源领域有标注数据集输入所述多网络分类器中正向传播，得到所述深度神经网络分类器的损失函数；将所述目标领域无标注数据集输入所述多网络分类器中正向传播，得到所述全连接神经网络辨别器组的损失函数；

基于所述深度神经网络分类器的损失函数和所述全连接神经网络辨别器组的损失函数，得到所述多网络分类器的目标函数；

对所述多网络分类器进行训练，使所述全连接神经网络辨别器组损失函数最大化时，所述深度神经网络分类器损失函数与所述全连接神经网络辨别器损失函数之和最小化，得到训练后的深度神经网络分类器。

综上所述，本发明提出一种面向跨领域智能分析的多网络对抗学习方法和系统，在深度神经网络分类器的基础上增加了一组与类别一一对应的辨别器，每个辨别器分别应用于对其对应类别的源领域、目标领域数据分布进行对抗学习，从而减小领域间对应每一个模式的分布。在训练中，每个数据参与各辨别器训练的权重由数据在深度神经网络分类器正向传播后得到的伪标注决定。分类器的训练目标是通过调整参数，取得最大化辨别器损失函数和最小化分类器损失函数与辨别器损失函数之和的均衡。本方法有效地解决了数据分布呈多模式结构、难以消除偏移的难题，并在多个跨领域智能分析任务中取得了着良好的效果。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

以上所描述的显示装置的测试设备等实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后，本发明的方法仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。