一种基于深度学习融合模型的不同国别相似人脸分类方法

本发明涉及人脸分类，具体涉及一种基于深度学习融合模型的不同国别相似人脸分类方法。

背景技术：

1、

2、深度学习是一种基于统计学的新兴学科，它可以自行学习不同数据分布的不同特征而实现为混杂数据分类的目的。现有技术中，有方案以celeba和twitter作为数据来源，制作成样本大小40k的中日韩人脸数据集，使用resnet进行分类得到平均准确率75.03％。还有方案制作了样本大小10k的包含中日韩印泰的五国人脸数据集，将mobilenet和八度卷积结合后改进了中心损失函数获得了87.84％的平均准确率。

3、相似人脸(如中日韩人脸)分类存在着类间差异较小而类内差异较大以及整体区分度不高等问题，是非常典型的细粒度图像分类问题，细粒度图像分类技术是深度学习中的一门分支，细粒度图像分类技术可以使比较难以区分的类别得到区分。然而，上述现有研究中，较少有从细粒度图像分类的角度研究人类种群的分类方法，或者其细粒度图像分类方法效果尚待提高。此外，目前大多数的细粒度图像分类技术都需要为细粒度图像样本提供专家级别的部件标注，这种强监督分类耗时耗力且容易错漏，导致不同国别相似人脸分类的效率和准确性较差。因此，如何提高不同国别相似人脸分类的效率和准确性是亟需解决的技术问题。

技术实现思路

1、针对上述现有技术的不足，本发明所要解决的技术问题是：如何提供一种基于深度学习融合模型的不同国别相似人脸分类方法，通过融合resnet网络和se模块来学习更高级别的特征表示并捕捉人脸图像中的细粒度特征；同时在模型训练阶段引入互信道损失函数模块来使网络学习到更具判别性的特征表示且使分类问题更加明显，进而保证弱监督训练条件下的模型训练效果，从而提高不同国别相似人脸分类的效率和准确性。

2、为了解决上述技术问题，本发明采用了如下的技术方案：

3、一种基于深度学习融合模型的不同国别相似人脸分类方法，包括：

4、s1：获取待分类的人脸图像；

5、s2：将人脸图像输入经过训练的人脸分类模型中，输出得到对应的预测国别类型；

6、训练人脸分类模型时，包括如下步骤：

7、s201：获取包含作为训练样本的人脸图像及其真实国别类型的训练数据；

8、s202：将作为训练样本的人脸图像输入基于resnet网络和se模块融合构建的主干特征提取网络中，提取得到对应的细粒度特征图；

9、s203：将细粒度特征图输入全连接层，输出得到对应的预测国别类型；

10、s204：基于预测国别类型和对应的真实国别类型计算对应的全局损失；

11、s205：将细粒度特征图输入互信道损失函数模块中，输出得到对应的局部区域损失；

12、s206：将全局损失和局部区域损失进行混合得到对应的模型损失，并通过模型损失优化人脸分类模型的参数；

13、s207：重复步骤s201至s206，直至人脸分类模型收敛；

14、s3：将人脸分类模型输出的预测国别类型作为待分类人脸图像的国别人脸分类结果。

15、优选的，主干特征提取网络为嵌入了se模块的resnet152网络；具体是将se模块设置在resnet152网络中每个特征提取阶段的末尾。

16、优选的，se模块包括依次串联的全局平均池化层、第一全连接层、relu激活函数层和第二全连接层；其中第一全连接层将全局平均池化层输出的c个特征通道缩减1/r倍，经过relu激活函数层后，通过第二全连接层将c/r个特征通道扩张回c个。

17、优选的，主干特征提取网络的处理步骤如下：

18、s2021：将人脸图像作为主干特征提取网络的输入；

19、s2022：通过7x7的卷积核对人脸图像进行步长为2的卷积操作，再使用3x3的卷积核进行步长为2的最大池化操作，得到第一特征图；

20、s2023：将第一特征图输入连续的三个第一特征提取块中，再通过第一se模块调整特征通道权重，得到第二特征图；

21、第一特征提取块包括依次串联的通道数为64的1x1卷积层、通道数为64的3x3卷积层和通道数为256的1x1卷积层；

22、第一se模块的特征通道数目c为256，缩放参数r为16；

23、s2024：将第二特征图输入连续的八个第二特征提取块中，再通过第二se模块调整特征通道权重，得到第三特征图；

24、第二特征提取块包括依次串联的通道数为128的1x1卷积层、通道数为128的3x3卷积层和通道数为512的1x1卷积层；

25、第二se模块的特征通道数目c为512，缩放参数r为32；

26、s2025：将第三特征图输入连续的三十六个第三特征提取块中，再通过第三se模块调整特征通道权重，得到第四特征图；

27、第三特征提取块包括依次串联的通道数为256的1x1卷积层、通道数为256的3x3卷积层和通道数为1024的1x1卷积层；

28、第三se模块的特征通道数目c为1024，缩放参数r为64；

29、s2026：将第四特征图输入连续的三个第四特征提取块中，再通过第四se模块调整特征通道权重，得到第四特征图，即最终的细粒度特征图；

30、第四特征提取块包括依次串联的通道数为512的1x1卷积层、通道数为512的3x3卷积层和通道数为2048的1x1卷积层；

31、第四se模块的特征通道数目c为2048，缩放参数r为128。

32、优选的，互信道损失函数模块包括判别力组件和多样性组件；

33、判别力组件中，依次对细粒度特征图进行带0～1掩码的通道自注意力操作、跨通道最大池化操作、全局平均池化操作和softmax逻辑概率回归操作，最终得到判别力组件的预测值；

34、多样性组件中，依次对细粒度特征图进行softmax逻辑概率回归操作、跨通道最大池化操作、求和操作、除以类别数量和平均化操作，最终得到多样性组件的预测值。

35、优选的，通过如下公式计算模型损失：

36、loss(f)＝lce(f)+μ×lmc(f)；

37、式中：loss(f)表示模型损失；lce(f)表示全局损失；lmc(f)表示局部区域损失；μ表示权重超参数。

38、优选的，全局损失为交叉熵损失。

39、优选的，通过如下公式计算局部区域损失：

40、lmc(f)＝ldis(f)-λ×ldiv(f)；

41、式中：lmc(f)表示局部区域损失；ldis(f)表示判别力组件的损失；ldiv(f)表示多样性组件的损失；λ表示权重超参数。

42、优选的，通过如下公式计算判别力组件的损失：

43、

44、

45、mi＝diag(maski)*；

46、式中：ldis(f)表示判别力组件的损失；lce(·,·)表示真实国别类型与判别力组件的预测值的交叉熵损失；gap、ccmp和cwa分别表示全局平均池化操作、跨通道最大池化操作和通道注意力操作；maski表示0～1的随机掩码；y表示真实国别类型；w、h表示特征图的宽和高；k表示wh个特征图像素的遍历标记；fi，j，k表示第i个类别特征通道组中第j个特征通道的第k个像素；diag表示diag函数。

47、优选的，通过如下公式计算多样性组件的损失：

48、

49、

50、式中：ldiv(f)表示多样性组件的损失；c表示特征通道数；ccmp表示跨通道最大池化操作；softmax表示softmax激活函数操作。

51、本发明中基于深度学习融合模型的不同国别相似人脸分类方法与现有技术相比，具有如下有益效果：

52、本发明通过训练后的人脸分类模型对输入的人脸图像进行识别和预测，得到对应的预测国别类型。其中人脸分类模型通过基于resnet网络和se模块融合构建的主干特征提取网络提取人脸图像的细粒度特征图：一方面，本发明的resnet网络与传统的卷积神经网络相比具有更深的层数，能够学习到更高级别的特征表示，这对于人脸识别任务来说非常重要，因为人脸特征有很多细节和微小的差异；同时resnet网络的重点是通过学习残差来优化特征表示，其通过引入残差块来学习到输入与目标之间的残差关系，并且能够保留训练历史并且消除由于深度增加带来的梯度消失的问题，进而更好地捕捉人脸图像中的细粒度特征，从而提高不同国别相似人脸分类的准确性。另一方面，本发明在resnet网络中融合了se模块，se模块通过学习每个通道之间特征的相关性来自适应地调整权重，增强重要特征的表示，在人脸图像中，一些细粒度特征可能对人脸识别任务尤为重要，通过se模块可以更好地捕捉这些关键特征信息；同时se模块通过对通道间特征的压缩和重新分配，可以提取出更加有用和丰富的特征表示，有助于提高resnet网络的表达能力，捕捉更多人脸图像的细粒度特征，进而改善相似人脸(如中日韩人脸)分类存在的类间差异较小而类内差异较大以及整体区分度不高等问题；此外se模块与resnet网络的残差块进行耦合形成嵌入式结构，可以在不(或略微)增加网络复杂度的情况下引入注意力机制，进而在提取人脸图像的特征时能够更精细地调节和加权重要的特征，从而进一步提高不同国别相似人脸分类的准确性。

53、本发明中，训练人脸分类模型时引入了互信道损失函数模块来计算局部区域损失，并结合resnet网络的全局损失来优化模型参数。其中互信道损失函数模块能够提供多样化的空间注意力来将不同通道的细粒度特征进行区分，并通过损失函数制约细粒度特征的分布，并且在区分的过程中跨通道关注多个空间区域，进而达到在深层网络中产生多样化空间注意力的目标，可以完成细粒度图像分类中最关键的自动寻找具有判别力区域的步骤，同时互信道损失函数模块通过最大化同一类别图像之间的相似度和最小化不同类别图像之间的相似度来训练网络，可以促使网络学习到更具判别性的特征表示，从而进一步提高相似人脸分类的准确度；此外互信道损失函数模块通过增强同一类别图像之间的相似性来提高类内紧度，使得同一类别的人脸图像在特征空间上更加聚集，并且通过减小不同类别图像之间的相似性，增加类间距离，使得不同类别之间的人脸图像在特征空间上更加分散，使分类问题更加明显，进而更好的改善相似人脸(如中日韩人脸)分类存在的类间差异较小而类内差异较大以及整体区分度不高等问题，进一步提高人脸分类模型的判别能力。

54、综上，本发明通过在训练人脸分类模型时引入了互信道损失函数模块来使网络学习到更具判别性的特征表示且使分类问题更加明显，进而保证弱监督训练条件下的模型训练效果，从而提高不同国别相似人脸分类的效率和准确性。