基于特征调整的域泛化图像分类方法、系统、终端及介质

本发明涉及机器学习和计算机视觉，尤其涉及的是一种基于特征调整的域泛化图像分类方法、系统、终端及介质。

背景技术：

1、为解决在不同数据分布下模型泛化能力差的问题，域泛化旨在通过仅使用源数据进行模型学习来实现面向对象的泛化。域泛化广泛用于图像分类、目标检测、人脸识别、语音识别等实际应用中。

2、目前，大量域泛化方法致力于解决域偏移问题，包括学习域不变特征表示方法、数据增强方法以及模型学习策略等。其中，基于模型学习策略对模型的训练主要局限于在源域数据上如何训练模型，而忽略了在测试阶段利用目标域样本相关的个体信息进行针对性地自适应推理，使得在目标域上模型对部分样本性能不佳，导致域泛化能力及模型精度较低。

技术实现思路

1、鉴于上述现有技术的不足，本发明的目的在于提供一种基于特征调整的域泛化图像分类方法、系统、终端及介质，旨在解决现有技术中存在的学习模型的域泛化能力较低的问题。

2、为了实现上述目的，本发明第一方面提供一种基于特征调整的域泛化图像分类方法，包括以下步骤：

3、获取目标域的图像及图像类别标签，并获取训练好的域泛化图像分类模型，所述训练好的域泛化图像分类模型包括训练好的基础特征提取网络、训练好的域偏移感知网络、训练好的执行器网络和训练好的基础分类网络；

4、利用所述目标域的图像构建目标集，并将所述目标集输入至所述训练好的域泛化图像分类模型，对所述目标域的图像进行分类，获得最终的分类结果。

5、可选的，对所述训练好的域泛化图像分类模型进行训练的步骤，包括：

6、获取源域的图像，构建域泛化图像分类模型，所述域泛化图像分类模型包括基础特征提取网络、域偏移感知网络、执行器网络和基础分类网络；

7、基于所述源域的图像构建训练集，将所述训练集输入至所述基础特征提取网络，得到原始特征；

8、基于预设的约束条件，将所述原始特征输入至所述域偏移感知网络，获得约束偏差；

9、基于所述约束偏差，将所述原始特征输入至所述执行器网络，获得调整后的特征；

10、将所述调整后的特征输入到所述基础分类网络，获得分类结果；

11、基于所述分类结果和所述图像类别标签计算联合损失，重复执行对所述域泛化图像分类模型进行训练的步骤，直至所述联合损失达到预设的联合损失阈值，获得训练好的域泛化图像分类模型。

12、可选的，还包括利用扰动特征更新所述原始特征，具体包括：

13、基于所述原始特征的统计分布，获取所述原始特征的均值和方差；

14、基于所述均值和所述方差，对所述原始特征的高斯分布进行缩放，获得缩放后的均值和缩放后的方差；

15、利用所述缩放后的均值和所述缩放后的方差产生扰动样本，获得扰动特征；

16、利用所述扰动特征更新所述原始特征。

17、可选的，所述将所述原始特征输入至所述域偏移感知网络，获得约束偏差，包括：

18、获取所述图像的分类类别，及每个所述分类类别对应的类中心；

19、基于所述原始特征和预设的结构约束条件，获得结构约束偏差；

20、基于所述原始特征、所述类中心和预设的分布约束条件，获得分布约束偏差；

21、基于所述结构约束偏差和所述分布约束偏差，获得所述原始特征的约束偏差。

22、可选的，所述基于所述原始特征和预设的结构约束条件，获得结构约束偏差，包括：

23、将所述原始特征投影到与所述原始特征具有相同维度的空间，获得投影后的特征；

24、基于所述图像的分类类别，对所述投影后的特征进行归一化处理，获得结构约束特征；

25、计算所述投影后的特征与所述结构约束特征的距离，获得结构约束偏差。

26、可选的，所述基于所述原始特征、所述类中心和预设的分布约束条件，获得分布约束偏差，包括：

27、基于所述预设的分布约束条件，获得所述原始特征与各个所述类中心之间的相关性；

28、基于所述相关性，获得所述原始特征与各个所述类中心的权重；

29、基于所述原始特征与各个所述类中心之间的距离和所述权重，获得分布约束偏差。

30、可选的，所述基于所述分类结果和所述图像类别标签计算联合损失，包括：

31、基于所述分类结果、所述图像类别标签及所述图像类别标签的数量，计算交叉熵损失；

32、基于所述图像的分类类别，对投影后的特征进行归一化处理，获得结构约束条件；并基于所述结构约束条件和所述投影后的特征构建结构约束损失函数；

33、基于所述交叉熵损失和所述结构约束损失函数，计算联合损失。

34、本发明第二方面提供一种基于特征调整的域泛化分类系统，所述系统包括：

35、数据获取模块，用于获取目标域的图像及图像类别标签，并获取训练好的域泛化图像分类模型，所述训练好的域泛化图像分类模型包括训练好的基础特征提取网络、训练好的域偏移感知网络、训练好的执行器网络和训练好的基础分类网络；

36、域泛化分类模块，用于利用所述目标域的图像构建目标集，并将所述目标集输入至所述域泛化图像分类模型，对所述目标域的图像进行分类，获得最终的分类结果。

37、本发明第三方面提供一种智能终端，所述智能终端包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的基于特征调整的域泛化分类程序，所述基于特征调整的域泛化分类程序被所述处理器执行时实任意一项上述基于特征调整的域泛化图像分类方法的步骤。

38、本发明第四方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有基于特征调整的域泛化分类程序，所述基于特征调整的域泛化分类程序被处理器执行时实现任意一项上述基于特征调整的域泛化图像分类方法的步骤。

39、与现有技术相比，本发明的有益效果如下：

40、本发明通过获取目标域的图像及图像类别标签，并获取训练好的域泛化图像分类模型，且训练好的域泛化图像分类模型包括训练好的基础特征提取网络、训练好的域偏移感知网络、训练好的执行器网络和训练好的基础分类网络；利用目标域的图像构建目标集，并将目标集输入至训练好的域泛化图像分类模型，对目标域的图像进行分类，获得最终的分类结果。

41、可见，本发明设计的训练好的域泛化图像分类模型是一种新型的传感器-执行器网络模型，该模型中的各个子模块能够通过引入域偏移传感器来感知由域偏移引起的约束偏差，并根据源域图像特征的统计分布特点对源域图像特征的统计参数进行缩放得到扰动后的源域图像特征，并根据约束偏差对缩放扰动后的源域图像特征进行调整优化，获得调整后的特征，各个子模块的功能相辅相成，能够提高分类效率，并提高图片分类模型的精度与泛化能力，而且由于子模块具备良好的自适应调节能力，无需依赖复杂的数据生成和增强，使得模型在不同的环境下都能够保持良好的性能，具有良好的鲁棒性和稳健性。

技术特征：

1.一种基于特征调整的域泛化图像分类方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于特征调整的域泛化图像分类方法，其特征在于，对所述训练好的域泛化图像分类模型进行训练的步骤，包括：

3.根据权利要求2所述的基于特征调整的域泛化图像分类方法，其特征在于，还包括利用扰动特征更新所述原始特征，具体包括：

4.根据权利要求2或3所述的基于特征调整的域泛化图像分类方法，其特征在于，所述将所述原始特征输入至所述域偏移感知网络，获得约束偏差，包括：

5.根据权利要求4所述的基于特征调整的域泛化图像分类方法，其特征在于，所述基于所述原始特征和预设的结构约束条件，获得结构约束偏差，包括：

6.根据权利要求4所述的基于特征调整的域泛化图像分类方法，其特征在于，所述基于所述原始特征、所述类中心和预设的分布约束条件，获得分布约束偏差，包括：

7.根据权利要求5所述的基于特征调整的域泛化图像分类方法，其特征在于，所述基于所述分类结果和所述图像类别标签计算联合损失，包括：

8.基于特征调整的域泛化分类系统，其特征在于，所述系统包括：

9.智能终端，其特征在于，所述智能终端包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的基于特征调整的域泛化分类程序，所述基于特征调整的域泛化分类程序被所述处理器执行时实现如权利要求1-7任意一项所述基于特征调整的域泛化图像分类方法的步骤。

10.计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于特征调整的域泛化分类程序，所述基于特征调整的域泛化分类程序被处理器执行时实现如权利要求1-7任意一项所述基于特征调整的域泛化图像分类方法的步骤。

技术总结
本发明提供的基于特征调整的域泛化图像分类方法、系统、终端及介质，具体涉及机器学习和计算机视觉技术领域，本方案通过获取目标域的图像及图像类别标签，并获取训练好的域泛化图像分类模型，且训练好的域泛化图像分类模型包括训练好的基础特征提取网络、训练好的域偏移感知网络、训练好的执行器网络和训练好的基础分类网络；利用目标域的图像构建目标集，并将目标集输入至训练好的域泛化图像分类模型，对目标域的图像进行分类，获得最终的分类结果。该方案基于传感器网络捕获到的域偏移信息，能够自适应地调整基础网络模型学习到的图片特征表示，消耗的计算资源和时间较少，分类效率高，具有良好的鲁棒性和稳健性。

技术研发人员：何志海,陈烁硕,唐雨顺,阚哲涵,欧阳健,吴昊
受保护的技术使用者：南方科技大学
技术研发日：
技术公布日：2024/1/16