多模态分数融合方法、装置、存储介质及设备与流程

本发明涉及生物特征识别领域，特别是指一种多模态分数融合方法、装置、存储介质及设备。

背景技术：

1、随着深度学习在生物特征识别领域的大规模应用，人脸识别，虹膜识别等基于图像识别的任务准确率得到了显著提升。但是不同的生物特征有着不同的优势与不足，比如人脸识别无接触体验好，准确率也较高，但容易被假体攻击。虹膜识别有很高的识别率且不易造假，但是对于图像采集质量有较严格的环境要求，对模糊图像的识别率很低。指纹识别是普及度最高的生物特征识别方法，但是识别率并不是很高且容易被假体攻击。

2、针对单模态生物特征识别存在的缺点，多模态生物特征识别技术应运而生，其可以有效的利用不同模态间的独立性进一步提高识别率，使得融合后的结果可以高于任何一个单模态。

3、但是，目前的多模态生物特征识别中比对分数融合的方法通常较简单，一般采用加权方法，不能充分发挥不同模态的优点，难以达到良好的识别精度。

技术实现思路

1、为解决现有技术的缺陷，本发明提供一种多模态分数融合方法、装置、存储介质及设备，能够充分发挥不同模态的优点，达到良好的识别精度。

2、本发明提供技术方案如下：

3、第一方面，本发明提供一种多模态分数融合方法，所述方法包括：

4、获取第一模态比对分数和第二模态比对分数，并将所述第一模态比对分数和第二模态比对分数进行归一化；

5、将归一化后的第一模态比对分数和第二模态比对分数组成分数对，并对所述分数对进行多项式核映射，得到高维数据；

6、将所述高维数据输入训练后的逻辑回归模型，得到融合后的比对分数。

7、进一步的，所述逻辑回归模型通过如下方法训练得到：

8、构造包括若干第一模态比对分数样本和第二模态比对分数样本的训练集，并将所述第一模态比对分数样本和第二模态比对分数样本进行归一化；

9、所述第一模态比对分数样本和第二模态比对分数样本均包括相同人的比对分数和不同人的比对分数，所述不同人的比对分数通过真实的生物特征图像与根据算法生成的虚拟的生物特征图像比对得到；

10、构造由归一化后的第一模态比对分数样本和第二模态比对分数样本组成的样本对，并对所述样本对进行多项式核映射，得到高维数据样本；

11、利用逻辑回归算法对所述高维数据样本进行建模，并利用损失函数训练获得逻辑回归模型的参数，完成逻辑回归模型的训练。

12、进一步的，所述构造包括若干第一模态比对分数样本和第二模态比对分数样本的训练集，并将所述第一模态比对分数样本和第二模态比对分数样本进行归一化，包括：

13、获取n个人的第一模态比对分数样本fi和第二模态比对分数样本gi，并将相同人的第一模态比对分数样本和第二模态比对分数样本组成相同人样本对将不同人的第一模态比对分数样本和第二模态比对分数样本组成不同人样本对

14、根据所述训练集计算不同人的第一模态比对分数的分布和不同人的第二模态比对分数的分布

15、利用如下公式对第一模态比对分数样本fi和第二模态比对分数样本gi进行归一化：

16、

17、

18、其中，fi和gi分别为第i个人的第一模态比对分数样本和第二模态比对分数样本，fi和gi分别为归一化后的第i个人的第一模态比对分数样本和第二模态比对分数样本，i∈[1,n]；和分别为训练集中，第i对相同人的第一模态比对分数样本和第二模态比对分数样本，和分别为训练集中，第i对不同人的第一模态比对分数样本和第二模态比对分数样本。

19、进一步的，所述构造由归一化后的第一模态比对分数样本和第二模态比对分数样本组成的样本对，并对所述样本对进行多项式核映射，得到高维数据样本，包括：

20、构造由归一化后的第一模态比对分数样本fi和第二模态比对分数样本gi组成的样本对(fi,gi)；

21、通过如下公式对所述样本对进行多项式核映射，得到高维数据样本：

22、(1,fi，gi，fi2，figi，gi2)＝poly_kernel((fi,gi))

23、其中，poly_kernel()为多项式核映射，(1,fi，gi，fi2，figi，gi2)为高维数据样本。

24、进一步的，所述获取第一模态比对分数和第二模态比对分数，并将所述第一模态比对分数和第二模态比对分数进行归一化，包括：

25、获取第一模态比对分数f和第二模态比对分数g，并利用如下公式对第一模态比对分数f和第二模态比对分数g进行归一化：

26、

27、

28、其中，f和g分别为归一化后的第一模态比对分数和第二模态比对分数；

29、所述将归一化后的第一模态比对分数和第二模态比对分数组成分数对，并对所述分数对进行多项式核映射，得到高维数据，包括：

30、将归一化后的第一模态比对分数f和第二模态比对分数g组成分数对(f,g)；

31、通过如下公式对所述分数对进行多项式核映射，得到高维数据：

32、(1,f,g,f2,fg,g2)＝poly_kernel((f,g))

33、其中，(1，f，g，f2，fg，g2)为高维数据。

34、进一步的，所述利用逻辑回归算法对所述高维数据样本进行建模，并利用损失函数训练获得逻辑回归模型的参数，完成逻辑回归模型的训练，包括：

35、利用逻辑回归算法对所述高维数据样本进行如下建模：

36、xi＝θ1+θ2fi+θ3gi+θ4fi2+θ5figi+θ6gi2

37、其中，若样本对为相同人，则其标签y(i)＝1，若样本对为不同人，则其标签y(i)＝0；

38、利用损失函数，通过sgd算法训练获得逻辑回归模型的最优参数θ；

39、所述逻辑回归模型如下：

40、

41、其中，θt＝[θ1，θ2，θ3，θ4，θ5，θ6]，hθ(xi)为预测为相同人的概率；

42、训练后的逻辑回归模型为：

43、

44、其中，hθ(x)表示为相目同人的概率。

45、进一步的，所述第一模态比对分数为人脸比对分数，所述第二模态比对分数为虹膜比对分数；

46、或者，所述第一模态比对分数为指纹比对分数，所述第二模态比对分数为指静脉比对分数；

47、或者，所述第一模态比对分数为左眼虹膜比对分数，所述第二模态比对分数为右眼虹膜比对分数。

48、进一步的，通过如下方法生成虚拟的生物特征图像：

49、将随机向量输入由多层全连接层组成的映射网络进行非线性映射，并将非线性映射的结果进行仿射变换得到风格信息；

50、将已学习的常量输入包括多层卷积层的生成网络，在所述常量之后以及每次卷积层之后，均引入噪声信息，并基于所述风格信息通过adain操作进行风格迁移，生成虚拟的生物特征图像。

51、第二方面，本发明提供一种多模态分数融合装置，所述装置包括：

52、比对分数获取模块，用于获取第一模态比对分数和第二模态比对分数，并将所述第一模态比对分数和第二模态比对分数进行归一化；

53、第一映射模块，用于将归一化后的第一模态比对分数和第二模态比对分数组成分数对，并对所述分数对进行多项式核映射，得到高维数据；

54、融合模块，用于将所述高维数据输入训练后的逻辑回归模型，得到融合后的比对分数。

55、进一步的，所述逻辑回归模型通过如下模块训练得到：

56、训练集构造模块，用于构造包括若干第一模态比对分数样本和第二模态比对分数样本的训练集，并将所述第一模态比对分数样本和第二模态比对分数样本进行归一化；

57、所述第一模态比对分数样本和第二模态比对分数样本均包括相同人的比对分数和不同人的比对分数，所述不同人的比对分数通过真实的生物特征图像与根据算法生成的虚拟的生物特征图像比对得到；

58、第二映射模块，用于构造由归一化后的第一模态比对分数样本和第二模态比对分数样本组成的样本对，并对所述样本对进行多项式核映射，得到高维数据样本；

59、训练模块，用于利用逻辑回归算法对所述高维数据样本进行建模，并利用损失函数训练获得逻辑回归模型的参数，完成逻辑回归模型的训练。

60、进一步的，所述训练集构造模块包括：

61、获取单元，用于获取n个人的第一模态比对分数样本fi和第二模态比对分数样本gi，并将相同人的第一模态比对分数样本和第二模态比对分数样本组成相同人样本对将不同人的第一模态比对分数样本和第二模态比对分数样本组成不同人样本对

62、计算单元，用于根据所述训练集计算不同人的第一模态比对分数的分布和不同人的第二模态比对分数的分布

63、归一化单元，用于利用如下公式对第一模态比对分数样本fi和第二模态比对分数样本gi进行归一化：

64、

65、

66、其中，fi和gi分别为第j个人的第一模态比对分数样本和第二模态比对分数样本，fi和gi分别为归一化后的第i个人的第一模态比对分数样本和第二模态比对分数样本，i∈[1，n]；figen和分别为训练集中，第i对相同人的第一模态比对分数样本和第二模态比对分数样本，和分别为训练集中，第i对不同人的第一模态比对分数样本和第二模态比对分数样本。

67、进一步的，所述第二映射模块包括：

68、样本对构造单元，用于构造由归一化后的第一模态比对分数样本fi和第二模态比对分数样本gi组成的样本对(fi，gi)；

69、第一映射单元，用于通过如下公式对所述样本对进行多项式核映射，得到高维数据样本：

70、(1，fi，gi，fi2，figi，gi2)＝poly_kemel((fi，gi))

71、其中，poly_kemel()为多项式核映射，(1，fi，gi，fi2，figi，gi2)为高维数据样本。

72、进一步的，所述比对分数获取模块用于：获取第一模态比对分数f和第二模态比对分数g，并利用如下公式对第一模态比对分数f和第二模态比对分数g进行归一化：

73、

74、

75、其中，f和g分别为归一化后的第一模态比对分数和第二模态比对分数；

76、所述第一映射模块包括：

77、分数对构造单元，用于将归一化后的第一模态比对分数f和第二模态比对分数g组成分数对(f，g)；

78、第二映射单元，用于通过如下公式对所述分数对进行多项式核映射，得到高维数据：

79、(1，f，g，f2，fg，g2)＝poly_kernel((f，g))

80、其中，(1，f，g，f2，fg，g2)为高维数据。

81、进一步的，所述训练模块包括：

82、建模单元，用于利用逻辑回归算法对所述高维数据样本进行如下建模：

83、xi＝θ1+θ2fi+θ3gi+θ4fi2+θ5figi+θ6gi2

84、其中，若样本对为相同人，则其标签y(i)＝1，若样本对为不同人，则其标签y(i)＝0；

85、训练单元，用于利用损失函数，通过sgd算法训练获得逻辑回归模型的最优参数θ；

86、所述逻辑回归模型如下：

87、

88、其中，θt＝[θ1，θ2，θ3，θ4，θ5，θ6]，hθ(xi)为预测为相同人的概率；

89、所述融合模块中，训练后的逻辑回归模型为：

90、

91、其中，hθ(x)表示为相同人的概率。

92、进一步的，所述第一模态比对分数为人脸比对分数，所述第二模态比对分数为虹膜比对分数；

93、或者，所述第一模态比对分数为指纹比对分数，所述第二模态比对分数为指静脉比对分数；

94、或者，所述第一模态比对分数为左眼虹膜比对分数，所述第二模态比对分数为右眼虹膜比对分数。

95、进一步的，通过如下过程生成虚拟的生物特征图像：

96、将随机向量输入由多层全连接层组成的映射网络进行非线性映射，并将非线性映射的结果进行仿射变换得到风格信息；

97、将已学习的常量输入包括多层卷积层的生成网络，在所述常量之后以及每次卷积层之后，均引入噪声信息，并基于所述风格信息通过adain操作进行风格迁移，生成虚拟的生物特征图像。

98、第三方面，本发明提供一种用于多模态分数融合的计算机可读存储介质，包括用于存储处理器可执行指令的存储器，所述指令被所述处理器执行时实现包括第一方面所述的多模态分数融合方法的步骤。

99、第四方面，本发明提供一种用于多模态分数融合的设备，包括至少一个处理器以及存储计算机可执行指令的存储器，所述处理器执行所述指令时实现第一方面所述的多模态分数融合方法的步骤。

100、本发明具有以下有益效果：

101、本发明首先进行训练，对多模态比对分数样本归一化对齐，然后采用多项式核映射对多模态比对分数样本进行高维映射，最后采用逻辑回归算法对映射后的分数样本进行建模，并通过损失函数计算逻辑回归模型的最优参数。然后进行多模态识别，将获取的多模态比对分数进行相同的归一化和高维映射处理后输入最优参数的逻辑回归模型，即可得到融合后的比对分数。本发明的多模态分数融合方法能够充分发挥不同模态的优点，达到良好的识别精度。