一种基于变分自编码器的无监督子域适应方法

本发明属于机器视觉领域，具体涉及一种基于变分自编码器的无监督子域适应方法。

背景技术：

1、深度学习是学习样本数据的内在规律和表示层次，其最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据，在搜索技术、数据挖掘、机器学习、机器翻译、自然语言处理、多媒体学习、语音、推荐和个性化技术，以及其他相关领域都取得了很多成果。现有的深度学习方法的出色表现主要依赖于两个假设：1)训练样本和测试样本要满足独立同分布；2)有足够的标记样本来训练深度学习模型。而数据的标记是一种繁重而复杂的工作，同时这样训练出来的模型在无标签的数据中泛化能力弱。因此开发了无监督域适应的深度学习方法。

2、无监督域适应是在源域有标签、目标域无标签的情况下的迁移学习问题，希望能通过源域有监督学习模型的知识，借助迁移学习的手段，增强模型的泛化能力，使模型能够在各种无标签的目标域场景都具备接近源域有监督训练的模型的性能。域适应是迁移学习的一个分支，常见的方法有在深度模型中嵌入域适应模块，以此来提取样本的域不变特征，从而极大减少深度学习在各种场景的大量标注工作。通常会采用对抗的方法让判别器无法分辨样本来自源域还是目标域，以此来提取域不变特征；在特征提取方面，现有的无监督域适应方法大多数采用全局特征对齐的方式。上述方法一方面未考虑目标域样本的类别信息，最终导致编码器在提取样本特征时，虽然模糊了样本的域特征，但也同样模糊了样本的类别特征，致使分类精度不佳；另一方面，由于未考虑目标域样本的类别特征信息，导致训练后的模型提取目标域样本特征的能力不足，造成模型的迁移能力不足。

3、针对上述问题，现有的深度学习方法试图通过深度提取特征的方式来获取样本中的类别特征信息，然而对于样本数据分布差异较大的任务，比如图像风格差异极大的情况下，模型在源域上训练后，在目标域测试的精度严重下降。例如领域泛化任务挑战“visda-2017”数据集，该数据集的训练样本由152397张有标记的3d建模图像组成，共计12个类别；测试集由55388张真实世界采集的无标记图像样本组成，共计12个类别。该任务需要模型通过训练有标记的3d模型图像为无标记的真实场景图像分类，训练和测试的样本数据分布差异极大，深度学习常用的残差神经网络模型在该任务中只能取得平均精度52.4％的成绩。

技术实现思路

1、鉴于现有技术中的上述缺陷或不足，本发明旨在提供一种基于变分自编码器的无监督子域适应方法，通过将目标域后验概率逼近源域先验概率分布的方法，实现类别级的特征对齐，提高无监督子域适应效果，增强深度学习模型的泛化性。

2、为了实现上述目的，本发明实施例采用如下技术方案：

3、第一方面，本发明实施例提供了一种基于变分自编码器的无监督子域适应方法，所述方法包括如下步骤：

4、步骤s1，获取源域全体样本xs及所有样本的原标签集ys，获取目标域全体样本xt，并将源域和目标域中每个样本x转变为张量形式，源域和目标域中样本类别数量均为k；

5、步骤s2，在源域上对变分自编码器和分类器做预训练，用预训练完成的变分自编码器对xs提取特征集zs；

6、步骤s3，开始域适应的迭代过程，设置迭代次数q初始值为1；

7、步骤s4，设置执行次数为q次；若q<q，则执行步骤s5；若q>＝q，则转入步骤s8；

8、步骤s5，通过证据下界损失公式训练目标域编码器、解码器，达到最大化证据下界；

9、步骤s6，通过最大化判别器正确判断真实样本和生成样本的能力，所述最大化判别器采用最大化值函数

10、步骤s7，通过最小化值函数训练生成器，所述最小化值函数令q＝q+1，转入步骤s4；

11、步骤s8，使用域适应过程训练好的目标域编码器对目标域全体样本提取特征；根据提取的目标域特征，使用预训练好的分类器对目标域全体样本做分类，实现无监督子域适应。

12、作为本发明的一个优选实施例，步骤s2中对所述变分自编码器的预训练公式如下所示：

13、

14、式(1)中，ns为源域全体样本数量，是源域样本的张量表示，是其对应标签的向量表示，表示生成器对源域样本的输出，表示分类器对生成器的结果的分类。

15、作为本发明的一个优选实施例，步骤s5中所述证据下界损失公式如式(2)所示：

16、

17、式(2)中，为证据下界损失，为目标域的重建损失，为子域特征对齐损失。

18、作为本发明的一个优选实施例，目标域的重建损失如下所示：

19、

20、式(3)中，nt为目标域全体样本数量，为目标域任意样本i的张量表示，de为目标域的解码器，et为目标域的编码器，项为目标域解码器的输出项。

21、作为本发明的一个优选实施例，目标域的子域特征对齐损失如下所示：

22、

23、式(4)中，kl表示采用kullback-leibler距离公式进行计算，m取源域和目标域全体样本中数量少的域的全体样本数量，c表示k个类别中的任意类别，项为目标域任意样本i属于类别c的联合概率分布且表示特征集zs中目标域任意样本i的特征，项为源域任意样本i属于类别c的联合概率分布。

24、作为本发明的一个优选实施例，步骤s6中所述最大化判别器采用最大化值函数公式如下：

25、

26、式(5)中，d为判别器，g为生成器，表示判别器对源域样本的输出，表示生成器对目标域特征的输出，表示判别器对生成器根据特征生成的图像的输出。

27、作为本发明的一个优选实施例，步骤s7中所述最小化值函数如公式(6)所示：

28、

29、式(6)中，d为判别器，g为生成器，表示生成器对目标域特征的输出，表示判别器对生成器根据特征生成的图像的输出。

30、第二方面，本发明实施例还提供了一种基于变分自编码器的无监督子域适应系统，所述系统包括：源域数据采集模块、目标域数据采集模块、预训练模块、源域特征提取模块、域适应模块、目标标域特征提取模块以及子域适应模块；其中，

31、所述源域数据采集模块用于获取源域全体样本xs及所有样本的原标签集ys，并将源域中每个样本x转变为张量形式，源域中样本类别数量为k；

32、所述目标域数据采集模块用于获取目标域全体样本xt，并将目标域中每个样本x转变为张量形式，目标域中样本类别数量为k；

33、所述预训练模块用于在源域上对变分自编码器和分类器做预训练；

34、所述源域特征提取模块用于采用预训练完成的变分自编码器对xs提取特征集zs；

35、所述域适应模块用于从源域到目标域的域适应迭代，具体执行如下步骤：

36、步骤s3，开始域适应的迭代过程，设置迭代次数q初始值为1；

37、步骤s4，设置执行次数为q次；若q<q，则执行步骤s5；若q>＝q，则结束迭代；

38、步骤s5，通过证据下界损失公式训练目标域编码器、解码器，达到最大化证据下界；

39、步骤s6，通过最大化判别器正确判断真实样本和生成样本的能力，所述最大化判别器采用最大化值函数

40、步骤s7，通过最小化值函数训练生成器，所述最小化值函数令q＝q+1，转入步骤s4；

41、所述目标标域特征提取模块用于使用域适应过程训练好的目标域编码器对目标域全体样本提取特征；

42、所述子域适应模块用于根据提取的目标域特征，使用预训练好的分类器对目标域全体样本做分类，实现无监督子域适应。

43、本发明实施例所提供的技术方案具有如下有益效果：

44、本实施例所提供的基于变分自编码器的无监督子域适应方法，将目标域后验概率逼近源域先验概率分布，实现了类别级的特征对齐，提升了分类器对样本风格差异极大的目标域样本的分类精度，使编码器能够准确提取样本的域不变特征，增强了模型的泛化能力，提高了无监督子域适应效果。

45、当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。