一种超光谱人脸融合与识别方法、电子设备及存储介质

本发明属于模式识别、数字图像处理，尤其涉及一种超光谱人脸图像融合与识别方法、系统、电子设备及存储介质。

背景技术：

1、早期人脸识别均在可见光波段下进行，但该方式有着难以克服的弊端。例如，当环境光照变化较大，可见光识别性能会显著下降；此外，可见光受限于白天环境，在夜间无法工作，而现实中许多应用不可回避地发生在夜间条件下。基于上述技术困扰，后续研究者们开始发掘新的成像波段，即红外线下的人脸识别。然而，由于现有采集设备限制，红外线人脸图像相对于可见光人脸图像往往成像质量较低，识别率普遍无法满足现实需求。解决该问题的关键在于研究一种既能保留可见光丰富信息和高识别率又能保持红外线特殊优势的人脸识别技术，即超光谱人脸识别。超光谱人脸识别通过融合可见光与红外线两个波段的互补信息，可以在保留高识别率的同时，实现白天、黑夜、晴朗、雨雾等全天候下工作能力，并提供更多互补图像信息。同时，超光谱人脸识别还可以解决可见光人脸识别的环境光照易变性这一常见困扰。此外，将可见光与热红外融合可以保留人体热辐射和人脸活体信息，尤其适合于人脸反欺骗问题，可以大大提高人脸识别的安全性。

2、到目前为止，学者们对超光谱人脸识别的研究还不够充分和深入，部分学者仍使用人工设计算子的方法，部分学者简单地将一般场景图像融合的方法迁移至人脸识别场景，其准确性不高、鲁棒性差、特异性不好，不能满足多变的超光谱人脸识别这一特定应用环境。近年来，随着计算机显卡gpu运算能力的显著提升和数据集的大规模化，卷积神经网络等深度学习技术已经越来越显示出它对传统方法的性能优势，如具有鲁棒性更高、无需手工设计算子等便捷性。然而，现有的常见深度神经网络人脸识别模型大多针对可见光下的单光谱人脸识别问题而提出，既没有考虑超光谱人脸识别问题的图像融合这一前提要求，也没有考虑超光谱人脸识别的训练数据远小于可见光情形的这一现实限制，直接将其移植到超光谱人脸识别问题上尚存在困难。另一方面，现有的多数超光谱融合方法多面向非人脸目标，且极少考虑图像质量较低、更挑战性的热红外人脸图像的融合问题。

3、超光谱人脸识别中另一个常见的问题是异源图像质量不对等(heterogeneousquality disparity)现象。超光谱人脸识别的前提是将红外和可见光人脸图像预先融合起来，而红外与可见光存在成像机制的本质区别，且采集距离与条件有显著差异，因此不可避免地出现红外与可见光异源图像间的质量不对等现象。通常来说，可见光相机成像分辨率更高、噪声更小、且最大工作距离较远，对应可见光人脸图像质量较高；而红外线成像仪分辨率更低、噪声干扰更大、且最大工作距离较短，导致红外线人脸图像质量也较低。而当高质量图像和低质量图像进行融合时，往往导致融合图像质量也较差，进而大大降低最终超光谱人脸识别的准确率，无法体现超光谱人脸识别的优势。

4、通过上述分析，现有技术存在的问题及缺陷为：

5、(1)由于传统机器学习方法的手动特征提取方式受限于单一面部姿势、脸部特征点的准确定位等条件，其鲁棒性远没有大数据支持下的深度学习方法高。

6、(2)现有的多光谱图像融合多为自然环境中，并没有针对人脸任务进行特异化，使得方法在超光谱人脸图像融合与识别任务中表现较差。

7、(3)现有的热红外采集仪采集的热红外图像质量较低，现有方法未对其做特异的增强工作，使得融合图像质量较差。

8、解决以上问题及缺陷的难度为：

9、(1)如何有效的提升热红外图像的质量进而提升最终的融合结果；

10、(2)如何有效的融合不同光谱的优势信息量，使得呈现理想的融合效果；

11、解决以上问题及缺陷的意义为：

12、针对目前常规可见光与红外人脸识别技术的各自弊端，充分利用多光谱成像的信息互补优势，寻找超光谱人脸特征的分解与融合方法，设计高效的适用于恶劣环境中的超光谱识别神经网络结构，并通过研究鲁棒的异源图像质量对等化技术来满足深度学习背景下的超光谱人脸识别需求，为超光谱人脸识别技术提供新算法支持，使得人脸识别技术变得更加实用、可靠、安全和普及化。

技术实现思路

1、针对现有技术存在的问题，本发明提供了一种超光谱人脸融合与识别方法、电子设备及存储介质，尤其涉及一种基于retinex理论图像分解的超光谱人脸图像融合与识别方法、电子设备及存储介质。

2、本发明是这样实现的，一种超光谱人脸图像融合与识别方法，所述超光谱人脸图像融合与识别方法，包括以下步骤：

3、步骤一，获取多光谱人脸图像集并进行预处理，得到预处理后的多光谱人脸图像集。预处理的目的是使人脸图像拥有相近的图像尺寸，并尽可能排除背景的干扰，同时使得同一个人需要进行融合的可见光人脸图像与热红外人脸图像尽可能的配准，方便后续的融合操作的进行；

4、步骤二，使用传统人脸图像增强算法对热红外人脸图像进行增强，以提升热红外人脸图像的质量，进而提升后续融合网络的效果；

5、步骤三，构建谱不变(spectrum invariant)的人脸图像分解网络；

6、步骤四，构建复合损失函数，并利用步骤二增强后的多光谱人脸图像集对人脸图像分解网络进行训练得到训练好的多光谱人脸图像分解网络。

7、步骤五，将可见光与热红外人脸图像分别输入训练好的多光谱人脸图像分解网络得到各自分量，利用retinex理论进行超光谱人脸融合图像的重建，得到超光谱人脸数据集。

8、步骤六，设计基于resnet特征提取模块和三元组损失函数的人脸识别模型，并使用超光谱人脸数据集进行迁移学习后的模型实现超光谱人脸识别。

9、进一步，所述步骤一中的对人脸年龄图像集进行预处理，得到预处理后的人脸年龄图像集包括：

10、对所述多光谱人脸图像集进行人脸检测，根据检测出来的人脸关键点对人脸进行裁剪、对齐，使得人脸图像的关键点位置保持统一，同时需要保持需要融合的可见光人脸图像及热红外人脸图像一一配对，即为最终的多光谱人脸图像集。

11、对所述预处理后的多光谱人脸图像集按比例随机划分为训练集、验证集和测试集。

12、进一步，所述步骤二中的使用传统人脸图像增强算法对热红外人脸图像进行增强包括：

13、其中，网络首先使用限制对比度的自适应直方图均衡化(clahe)来变换热红外人脸图像的像素值，从而增强热红外人脸图像的对比度。进一步，使用盲解卷积算法对热红外人脸图像进行图像去模糊，即使用最大似然算法和点扩散函数(psf)的初始估计值对对比度增强后的人脸图像进行反卷积，以达到热红外人脸图像去模糊的目的。

14、进一步，所述步骤三中的构建谱不变(spectrum invariant)的人脸图像分解网络包括：

15、其中，所述谱不变的人脸图像分解网络的设计基于retinex理论，即图像可以被分解成反射分量与亮度分量。反射分量表征了物体的本质属性，在任何亮度条件下都被认为是一致的，亮度分量表征了图像中的亮度变化信息。人脸图像分解网络堆叠了多个卷积模块，每个卷积模块分别由卷积层、批归一化层和激活层组成，输入一张人脸图像，网络输出其反射分量与亮度分量，大小与输入保持一致，网络同时采用了对称结构的跳跃连接方式。

16、其中，对称结构的跳跃连接方式从中间的两层跳跃连接开始，逐步向两边移动并进行连接，类似于unet中编码器与解码器的跳跃连接方式。其目的是更好地处理图像的边缘和细节，并减少信息丢失。

17、进一步，所述步骤四中的根据多光谱人脸预处理图像集对人脸图像分解网络进行训练得到训练好的多光谱人脸图像分解网络包括：

18、训练多光谱人脸图像分解网络的目的是能高效的分解出输入图像的反射分量与亮度分量。根据retinex理论，不同照度下的同一人脸图像的反射分量应保持一致，而变化的是亮度分量。为达到这一目标，本实例对数据集中的每张人脸图像都模拟了光照的变化，即对一张人脸图像snormal生成了对应低照度的人脸图像slow。具体模拟的方式是通模拟的光场变化图像ilow与原图snormal进行线性混合(blend)得到对应低照度的人脸图像slow。

19、进而构建分解网络的复合损失函数l以约束不同照度同一人脸图像反射分量的一致性，同时保证亮度分量的局部一致性及结构感知性。

20、其中，所述的复合损失函数l包括重建损失lrecon，反射一致性损失lir，亮度平滑性损失lis，总损失为：

21、l＝lrecon+λirlir+λislis

22、式中，λir和λis分别表示了反射一致性损失lir和亮度平滑性损失lis的权重。

23、其中，基于网络输出的snormal的反射分量rnormal及亮度分量inormal与slow的反射分量rlow与亮度分量ilow，重建损失lrecon为：

24、

25、反射一致性损失是为了保证低照度图像与正常照度图像反射分量的一致性，故反射一致性损失lir为：

26、lir＝||rlow-rnormal||1

27、对于亮度分量的基本要求是在纹理细节上足够平滑的同时能保留整体的结构框架，故亮度平滑性损失lis为：

28、

29、其中表示图像梯度，λg为权重参数。

30、基于上述损失函数对网络进行训练，训练时输入为单光谱(既有可见光也有热红外)的人脸图像snormal及其模拟照度变化后的人脸图像slow，通过模拟照度变化使得网络具有分解人脸图像反射分量与亮度分量的能力，最终得到谱不变的人脸图像分解网络用于可见光与热红外人脸图像的分解。

31、进一步，所述步骤五中的可见光与热红外人脸图像分别输入图像分解网络得到各自分量，利用retinex理论进行超光谱人脸融合图像的重建，包括：

32、步骤(1)，将热红外人脸图像和可见光人脸图像分别输入到训练好的人脸图像分解网络，得到热红外人脸图像的反射分量rir和亮度分量iir以及可见光人脸图像的反射分量rvis和亮度分量ivis；

33、步骤(2)，将rir与rvis加权求和；

34、步骤(3)，根据retinex理论用加权求和的反射分量与iir计算出重建后人脸图像，即为融合得到的超光谱人脸图像sfusion，公式如下：

35、

36、w1和w2分别是rir和rvis的权重；

37、其中，当对多光谱人脸图像集中的热红外人脸图像进行图像增强时，步骤(1)中热红外人脸图像先做同样的图像增强，然后再输入到训练好的人脸图像分解网络。

38、进一步，所述步骤六中的设计基于resnet特征提取模块和三元组损失函数的人脸识别模型，并使用超光谱人脸数据集进行迁移学习后的模型进行超光谱人脸识别，包括：使用resnet特征提取模块，结合三元组损失函数triplet loss构建人脸识别模型，并使用可见光人脸识别数据集进行预训练；然后利用超光谱人脸数据集对该人脸识别模型进行迁移学习得到超光谱人脸识别模型，实现超光谱人脸识别功能。

39、为了评估本发明超光谱人脸融合算法的有效性以及最终超光谱人脸识别的性能，按照融合流程融合了测试集上热红外与可见光人脸图像得到融合后的超光谱人脸图像，并在本发明使用的数据集上微调现有的深度人脸识别模型对融合后的超光谱人脸图像进行识别测试，计算相应的gar、eer、d-prime与auc指标。

40、本发明的另一目的在于提供一种应用所述的超光谱人脸图像融合与识别方法的超光谱人脸图像融合与识别的电子设备，所述超光谱人脸图像融合与识别电子设备包括图像采集仪、显示器、图形处理器、通信接口、存储器、中央处理器和通信总线。

41、其中，所述图像采集仪、所述显示器、所述图形处理器、所述通信接口、所处存储器和所述中央处理器通过所述通信总线完成相互间的通信；

42、所述图像采集仪，用于采集图像数据；

43、所述显示器，用于显示图像识别数据；

44、所述图形处理器，用于计算图像数据；

45、所述存储器，用于存放计算机程序；

46、所述中央处理器，用于执行所述存储器上存放的所述计算机程序时，实现所述的人脸图像融合方法。

47、本发明所述电子设备的存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：

48、获取多光谱人脸图像集并进行预处理，得到预处理后的多光谱人脸图像集；构建超光谱人脸图像融合与识别网络；根据多光谱人脸预处理图像集对人脸图像分解网络进行训练；输入热红外与可见光人脸图像进入超光谱人脸图像融合与识别网络按照步骤五的流程进行处理得到融合的超光谱人脸图像。

49、本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：

50、获取多光谱人脸图像集并进行预处理，得到预处理后的多光谱人脸图像集；构建超光谱人脸图像融合与识别网络；根据多光谱人脸预处理图像集对人脸图像分解网络进行训练；输入热红外与可见光人脸图像进入超光谱人脸图像融合与识别网络按照步骤五的流程进行处理得到融合的超光谱人脸图像。

51、结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明针对超光谱人脸图像融合与识别问题基于retinex思想，将不同光谱的人脸图像分解成反射分量与亮度分量，通过反射分量的加权求和与热红外图像的亮度分量反重建出超光谱人脸图像，同时使用传统的增强算法来解决热红外图像质量较差得问题。实现了鲁棒高效的超光谱人脸图像融合与识别以及相应的超光谱人脸识别功能。