一种基于自训练和质心对齐的域自适应图像分类方法

本发明属于图像分类，尤其涉及一种基于自训练和质心对齐的域自适应图像分类方法。

背景技术：

1、图像分类作为计算机视觉的重要任务之一，广泛应用于在多种场景下，如人脸识别、行人重识别、视频检测等。近年来，基于深度学习的图像分类任务已经被广泛探索和研究，此类方法从大量数据中学习并训练图像分类网络，在同源数据集测试中取得了令人满意的精度和性能。

2、图像分类模型的有效性取决于两个条件：一是需要大量的有标记数据集进行训练；二是训练数据和测试数据来自于分布相同的数据集。然而，上述条件在大部分实际场景中均难以满足。首先，制作大量标记的数据集会耗费巨大的人力和时间，并且人工标注不可避免的会引入人为偏差。其次，由于实际场景的多样性，当目标域和源域图像数据分布差异较大时，在源域上训练好的分类模型难以在目标域上发挥有效的性能。

3、为了目标域标记数据稀缺、数据分布差异的问题，域自适应方法是目前的主流方法。域自适应方法通过带标记的源域数据以及无标记的目标域数据，学习源域和目标域共享的域不变特征，使得分类任务在目标域上拥有良好的性能。

技术实现思路

1、为解决上述技术问题，本发明提出了一种基于自训练和质心对齐的域自适应图像分类方法，以解决上述现有技术存在的问题。

2、为实现上述目的，本发明提供了一种基于自训练和质心对齐的域自适应图像分类方法，包括：

3、步骤s1、构建图像分类网络，所述图像分类网络包括特征提取模块、第一线性分类模块、第二线性分类模块；

4、步骤s2、使用源域图像数据和目标域图像数据进行自训练；

5、步骤s3、对源域图像数据在所述第一线性分类模块与所述第二线性分类模块的输出进行一致性正则化处理；

6、步骤s4、分别计算源域图像数据在第一线性分类模块与目标域图像数据在第二线性分类模块输出的各类质心；对源域与目标域的各类质心进行质心对齐；

7、步骤s5、重复步骤s2-步骤s4的过程对所述图像分类网络进行训练，获得域自适应图像分类模型；

8、步骤s6、获取待处理图像，基于所述域自适应图像分类模型完成所述待处理图像的分类。

9、可选的，所述步骤s2中自训练的过程包括：

10、对所述源域图像数据与所述目标域图像数据进行预处理；

11、将预处理后的源域图像数据送入所述特征提取模块，获得第一输出特征；将所述第一输出特征输入至第一线性分类模块进行训练；

12、将预处理后的目标域图像数据送入所述特征提取模块，获得第二输出特征；将所述第二输出特征输入至所述第一线性分类模块，获得若干输出向量，根据置信度在输出向量的标签中筛选目标域图像数据的伪标签；

13、将所述伪标签作为数据标签，所述第二输出特征输入至第二线性分类模块中进行训练。

14、可选的，所述步骤s2自训练的过程中源域图像数据与目标域图像数据采用交叉熵损失函数进行训练；在若干向量中选取最高置信度的作为伪标签，通过置信度阈值对伪标签进行筛选。

15、可选的，所述步骤s1的整体损失函数如下：

16、

17、其中，其中y′t是目标域图像数据在图像分类网络的输出向量概率最大值的标签，xt是目标域图像数据，xs是源域图像数据，ys是源域图像数据的真实标签，μ是设置的置信度阈值。

18、可选的，所述步骤s3中进行一致性正则化处理的过程包括：将所述第一输出特征输入至第一线性分类模块获得第一输出向量；将所述第一输出特征输入至所述第二线性分类模块获得第二输出向量；基于所述第一输出向量与所述第二输出向量，采用均方差损失计算第一线性分类模块与第二线性分类模块对源域图像数据的输出损失。

19、可选的，所述步骤s4中各类质心的计算过程包括：基于第一线性分类模块生成的源域图像数据的输出计算源域的各类质心；基于聚类方法与第二线性分类模块生成的目标域图像数据的输出计算目标域的各类质心与数据簇。

20、可选的，所述步骤s4中的质心对齐包括从距离角度与方向角度进行对齐。

21、可选的，所述步骤s4中质心对齐的过程包括：将距离类质心最近的目标域图像数据伪标签作为该目标域类质心标签；基于欧氏距离进行距离角度的质心对齐，计算目标域图像数据各个数据点的输出向量相较于上一数据点的输出向量产生的移动方向，结合余弦相似度损失进行方向角度的质心对齐。

22、与现有技术相比，本发明具有如下优点和技术效果：

23、本发明首先通过一个特征提取模块和两个分类模块解耦的自训练过程，用以学习基础的分类知识；其次通过拉近两个分类模块对源域的输出，提高分类器的一致性；之后通过计算出源域的质心和目标域的聚类簇，在模型训练的过程中，从距离和方向两个角度，拉近目标域特征和源域类质心的距离，促使目标域特征向着源域类质心的方向移动。本发明结合了特征信息和结构信息，从距离和方向两个角度考虑，引导模型学习域不变特征，有效地解决了因源域和目标域数据分布差异较大导致的图像分类网络性能下降的问题。

技术特征：

1.一种基于自训练和质心对齐的域自适应图像分类方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于自训练和质心对齐的域自适应图像分类方法，其特征在于，

3.根据权利要求2所述的基于自训练和质心对齐的域自适应图像分类方法，其特征在于，

4.根据权利要求3所述的基于自训练和质心对齐的域自适应图像分类方法，其特征在于，

5.根据权利要求2所述的基于自训练和质心对齐的域自适应图像分类方法，其特征在于，

6.根据权利要求1所述的基于自训练和质心对齐的域自适应图像分类方法，其特征在于，

7.根据权利要求6所述的基于自训练和质心对齐的域自适应图像分类方法，其特征在于，

8.根据权利要求7所述的基于自训练和质心对齐的域自适应图像分类方法，其特征在于，

技术总结
本发明公开了一种基于自训练和质心对齐的域自适应图像分类方法，包括：获取源域和目标域的数据集，进行简单的数据预处理；通过自训练过程，让网络获得简单的分类能力；通过一致性正则化损失，提高两个分类模块输出的一致性；拉近目标域数据和源域对应类质心的距离，并促进目标域数据特征向源域类质心方向移动，在结构层面上对齐特征；使分类模型在学习的过程中，有效的将不同领域的知识逐渐对齐。本发明结合了特征信息和结构信息，从距离和方向两个角度考虑，引导模型学习域不变特征，有效地解决了因源域和目标域数据分布差异较大导致的图像分类网络性能下降的问题。

技术研发人员：季兆欣,毕翔,卫星,杨帆,陆阳,赵冲,闻斌,赵德轩,李荣乐
受保护的技术使用者：合肥工业大学
技术研发日：
技术公布日：2024/5/16