基于特征融合的生物识别方法、系统、装置及存储介质与流程

1.本发明属于生物识别技术领域，具体涉及基于特征融合的生物识别方法、系统、装置及存储介质。


背景技术：

2.近年来，随着信息技术的快速发展，智能设备的广泛部署，使得指纹识别、人脸识别、虹膜识别、语音识别等身份识别技术普遍应用于日常生活中的方方面面。然而这种单模态生物特征识别技术在实际应用中不仅受外部环境的影响，还受到单模态生物特征自身的局限性，极大的限制了其应用场景，降低了身份识别的准确性。比如在指纹识别中，指纹破损、沾水等会影响其采集和识别的正确率；在人脸识别中，受年龄的增长，佩戴口罩会影响其识别效率；在虹膜识别中，受外部光照、佩戴眼镜会影响其识别准确率。因此，如何弥补单一生物特征识别的缺陷，提高身份识别的准确性，成为目前生物识别技术领域亟待解决的问题。


技术实现要素：

3.本发明的目的是提供基于特征融合的生物识别方法、系统、装置及存储介质，用以解决现有技术中存在的上述问题。
4.为了实现上述目的，本发明采用以下技术方案：
5.第一方面，提供基于特征融合的生物识别方法，包括：
6.获取目标对象的人脸图像和指静脉图像；
7.对人脸图像和指静脉图像进行图像预处理，得到预处理后的人脸图像和指静脉图像；
8.分别对预处理后的人脸图像和指静脉图像进行图像特征提取，得到人脸特征信息和指静脉特征信息；
9.将人脸特征信息和指静脉特征信息进行初步特征融合，得到第一融合特征信息，再将第一融合特征信息与人脸特征信息和指静脉特征信息进行二次特征融合，得到第二融合特征信息；
10.将第二融合特征信息导入训练完成的分类器进行特征分类，得到分类结果；
11.根据分类结果判定得到目标对象的生物识别结果。
12.基于上述技术内容，通过对目标对象的人脸图像和指静脉图像进行特征提取，然后进行双模态的特征融合，得到双模态融合特征，以保证特征信息的最大化，再基于双模态融合特征进行特征分类，根据特征分类结果判定得到目标对象的生物识别结果，可以提高对目标对象的生物识别效率和准确率，并且可以弥补传统单模态生物特征识别的不足和应用局限性，拓展生物特征识别应用场景。
13.在一个可能的设计中，所述分别对预处理后的人脸图像和指静脉图像进行图像特征提取，得到人脸特征信息和指静脉特征信息，包括：
14.将预处理后的人脸图像和指静脉图像导入双通道卷积神经网络模型中，通过双通道卷积神经网络模型分别对预处理后的人脸图像和指静脉图像进行双通道特征提取，得到人脸特征信息和指静脉特征信息。
15.在一个可能的设计中，所述通过双通道卷积神经网络模型分别对预处理后的人脸图像和指静脉图像进行双通道特征提取，包括：
16.通过双通道卷积神经网络模型的多层卷积层和池化层分别对预处理后的人脸图像和指静脉图像进行双通道特征提取。
17.在一个可能的设计中，所述将人脸特征信息和指静脉特征信息进行初步特征融合，得到第一融合特征信息，包括：
18.将人脸特征信息和指静脉特征信息导入双通道卷积神经网络模型中，经过fusion conv降维后再经过softmax层处理，分别得到自注意力权重；
19.根据各自的自注意力权重将人脸特征信息和指静脉特征信息进行初步特征融合，得到第一融合特征信息。
20.在一个可能的设计中，所述将第一融合特征信息与人脸特征信息和指静脉特征信息进行二次特征融合，得到第二融合特征信息，包括：基于resnet残差结构将第一融合特征信息与人脸特征信息和指静脉特征信息进行二次特征融合，得到第二融合特征信息。
21.在一个可能的设计中，所述分类器为双通道卷积神经网络模型经分类样本训练后得到的全连接层。
22.在一个可能的设计中，所述对人脸图像和指静脉图像进行图像预处理，包括：对人脸图像进行灰度归一化、图像去噪和图像增强处理，对指静脉图像进行roi区域截取、图像增强和图像去噪处理。
23.第二方面，提供基于特征融合的生物识别系统，包括获取单元、预处理单元、特征提取单元、特征融合单元、分类单元和判定单元，其中：
24.图像获取单元，用于获取目标对象的人脸图像和指静脉图像；
25.预处理单元，用于对人脸图像和指静脉图像进行图像预处理，得到预处理后的人脸图像和指静脉图像；
26.特征提取单元，用于分别对预处理后的人脸图像和指静脉图像进行图像特征提取，得到人脸特征信息和指静脉特征信息；
27.特征融合单元，将人脸特征信息和指静脉特征信息进行初步特征融合，得到第一融合特征信息，再将第一融合特征信息与人脸特征信息和指静脉特征信息进行二次特征融合，得到第二融合特征信息；
28.分类单元，将第二融合特征信息导入训练完成的分类器进行特征分类，得到分类结果；
29.判定单元，用于根据分类结果判定得到目标对象的生物识别结果。
30.第三方面，提供基于特征融合的生物识别装置，包括：
31.存储器，用于存储指令；
32.处理器，用于读取所述存储器中存储的指令，并根据指令执行第一方面中任意一种所述的方法。
33.第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有指
令，当所述指令在计算机上运行时，使得所述计算机执行第一方面种任意一种所述的方法。同时，还提供一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行第一方面种任意一种所述的方法。
34.有益效果：本发明通过对目标对象的人脸图像和指静脉图像进行特征提取，然后通过双通道卷积神经网络模型进行双模态的特征融合，得到双模态融合特征，以保证特征信息的最大化，再基于双模态融合特征进行特征分类，根据特征分类结果判定得到目标对象的生物识别结果，可以提高对目标对象的生物识别效率和准确率，并且可以弥补传统单模态生物特征识别的不足和应用局限性，拓展生物特征识别应用场景。
附图说明
35.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
36.图1为本发明实施例的方法步骤示意图；
37.图2为本发明实施例的系统构成示意图；
38.图3为本发明实施例的装置构成示意图。
具体实施方式
39.在此需要说明的是，对于这些实施例方式的说明用于帮助理解本发明，但并不构成对本发明的限定。本文公开的特定结构和功能细节仅用于描述本发明的示例实施例。然而，可用很多备选的形式来体现本发明，并且不应当理解为本发明限制在本文阐述的实施例中。
40.应当理解，除非另有明确的规定和限定，术语“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在实施例中的具体含义。
41.在下面的描述中提供了特定的细节，以便于对示例实施例的完全理解。然而，本领域普通技术人员应当理解可以在没有这些特定细节的情况下实现示例实施例。例如可以在框图中示出系统，以避免用不必要的细节来使得示例不清楚。在其他实施例中，可以不以非必要的细节来示出众所周知的过程、结构和技术，以避免使得实施例不清楚。
42.实施例1：
43.本实施例提供了基于特征融合的生物识别方法，如图1所示，方法以下步骤包括：
44.s1.获取目标对象的人脸图像和指静脉图像。
45.具体实施时，可通过相应的摄像头采集目标对象的人脸图像，通过相应的指静脉终端采集目标对象的指静脉图像。在各种生物识别特征中，人脸图像是最自然、最明显的个人识别特征；指静脉是体内生物特征，不易被损坏、伪造和复制，并且每个人/每个手指之间指静脉特征都具有差异，因此，采用目标对象的人脸图像和指静脉图像进行后续的识别处理，能有效提高识别的准确度。
46.s2.对人脸图像和指静脉图像进行图像预处理，得到预处理后的人脸图像和指静脉图像。
47.具体实施时，对人脸图像和指静脉图像进行图像预处理具体包括：对人脸图像进行灰度归一化、图像去噪和图像增强处理，灰度归一化处理以去除光线对图像后续处理的影响，图像去噪可去除图像中非人脸部分的干扰，使人脸部分更清晰，图像增强可采用小波变换的方式进行，首先将人脸部分图像分解为大小、位置和方向均不相同的分量，然后根据需求放大需要强调的分量，减少不必要的分量，最后利用小波逆转得到增强后的人脸图像。对指静脉图像进行roi区域截取、图像增强和图像去噪处理。对指静脉图像进行roi区域(region of interest,感兴趣区域)截取，以去除过多的背景无用信息，首先采用prewitt边缘检测算子对指静脉原图垂直方向上的上下边缘进行边缘检测，对于存在伪边缘的现象，通过设置连通域阈值去除伪边缘，使用最小二乘线性回归拟合手指的中轴线，根据拟合直线与水平线的夹角将图像旋转矫正，拟合手指上下边缘的内切线，根据图像水平方向上的亮度变化趋势，选择指关节处(即亮度峰值)，最后截取手指静脉roi区域。为了获得清晰指静脉纹路，还需要对截取的roi图像进行clahe(contrast limited adaptive histogram equalization，对比度受限自适应直方图均衡化)，并在clahe图像增强之后添加gabor滤波器，用于去除图像增强后的噪声，roi区域图像经过clahe图像增强、gabor滤波后，相比于原图可以得到清晰的静脉纹路。
48.s3.分别对预处理后的人脸图像和指静脉图像进行图像特征提取，得到人脸特征信息和指静脉特征信息。
49.具体实施时，将预处理后的人脸图像和指静脉图像导入预置的双通道卷积神经网络模型中，通过双通道卷积神经网络模型分别对预处理后的人脸图像和指静脉图像进行双通道特征提取，得到人脸特征信息和指静脉特征信息。双通道卷积神经网络模型包括特征提取模块、特征融合模块和分类识别模块。双通道卷积神经网络模型的特征提取模块通过多层卷积层和池化层分别对预处理后的人脸图像和指静脉图像进行双通道特征提取。特征提取模块可采用alexnet网络的前五层卷积层作为特征提取模块的多层卷积层，alexnet网络是较为简单的cnn模型，整个网络共有8层，5层卷积层和3层全连接层。第一层卷积层输入为224x224x3的图像，使用96个大小为11x11的卷积核，得到的feature map尺寸为55x55x96。每一层卷积层后均使用relu激活函数，经第五层卷积层和最大池化层，输出feature map尺寸13x13x256。也可采用vgg-19网络的前16层卷积层或者mobilenetv2网络的feature层等。
50.s4.将人脸特征信息和指静脉特征信息进行初步特征融合，得到第一融合特征信息，再将第一融合特征信息与人脸特征信息和指静脉特征信息进行二次特征融合，得到第二融合特征信息。
51.具体实施时，人脸特征信息和指静脉特征信息导入双通道卷积神经网络模型的特征融合模块后，经过fusionconv降维后再经过softmax层处理，分别得到自注意力权重，特征融合模块后根据其各自的自注意力权重将人脸特征信息和指静脉特征信息进行初步特征融合，得到第一融合特征信息，然后基于resnet残差结构将第一融合特征信息与人脸特征信息和指静脉特征信息进行二次特征融合，得到第二融合特征信息。
52.s5.将第二融合特征信息导入训练完成的分类器进行特征分类，得到分类结果。
53.具体实施时，所述分类器为双通道卷积神经网络模型经分类样本训练后得到的全连接层，包含于分类识别模块，通过将第二融合特征信息导入分类识别模块，利用全连接层进行特征分类，得到分类结果。
54.典型的卷积神经网络模型主要由卷积层、池化层和全连接层三个部分构成。卷积层使用特定尺寸大小(一般为n*n大小的正方形)的卷积核在输入图像移动进行逐像素卷积操作，以检测图像中信息。卷积神经网络的第一层卷积层可提取图像上较为低级的特征，包括颜色、边缘等信息。随着图像经过的卷积层层数越多，图像上被提取的特征越深越复杂，所包含的信息也就越多。针对输入图像以及实际需求，可以设计不同深度的卷积神经网络模型。卷积层负责提取图像的特征，是构建整个卷积神经网络模型的核心层。池化层是对经卷积层输出的特征图进行压缩，提取主要特征，从而大大降低了数据维度。常见的池化层有最大池化和平均池化。为避免在融合模块出现过拟合现象，减少融合后的运算量，本实施例所提出的双模态融合方法采用自适应均值池化。全连接层连接经卷积层和池化层处理后输出的特征，最终用于分类识别。其中，在全连接层中使用relu激活函数提升cnn网络性能，使用dropout技术防止模型过拟合。
55.s6.根据分类结果判定得到目标对象的生物识别结果。
56.具体实施时，在通过双通道卷积神经网络模型得到分类识别结果后，即可根据分类识别结果判定得出目标对象的生物识别结果。
57.为验证本实施例提出的双模态特征提取、融合及识别方法的有效性，同时体现其与单模态生物特征识别的优势，特选用指静脉公开数据集sdumla-fv和finger vein usm(fv-usm)以及人脸公开数据集casia-webface进行测试。sdumla-fv数据集包含106个人左右手的食指、中指和无名指的6张指静脉图片，共636类(106*6)手指，3816张(106*6*6)图像。fv-usm数据集包含123个人左右手的食指和中指的6张图片，共492类(123*4)手指，2952张(123*4*6)图像，该数据集提供了已经截取好的roi图像，方便指静脉图像的处理。casia-webface数据集是应用人脸识别最广泛的公开数据集之一，该数据集是收集网络上的人脸图像，共10575类，494414张图像。在测试中，根据指静脉图像的类别数，随机从人脸数据集中选择相应的类别数。根据测试结果，本实施例基于双模态特征融合的识别方法在dumla-fv数据集与casia-webface人脸数据集的特征融合识别准确率达到99.80％，在fv-usm数据集和casia-webface人脸数据集的特征融合实验识别准确率达到99.95％，相比单模态下的识别准确率均得到了很大提升。
58.实施例2：
59.本实施例提供了基于特征融合的生物识别系统，如图2所示，包括获取单元、预处理单元、特征提取单元、特征融合单元、分类单元和判定单元，其中：
60.图像获取单元，用于获取目标对象的人脸图像和指静脉图像；
61.预处理单元，用于对人脸图像和指静脉图像进行图像预处理，得到预处理后的人脸图像和指静脉图像；
62.特征提取单元，用于分别对预处理后的人脸图像和指静脉图像进行图像特征提取，得到人脸特征信息和指静脉特征信息；
63.特征融合单元，将人脸特征信息和指静脉特征信息进行初步特征融合，得到第一融合特征信息，再将第一融合特征信息与人脸特征信息和指静脉特征信息进行二次特征融
合，得到第二融合特征信息；
64.分类单元，将第二融合特征信息导入训练完成的分类器进行特征分类，得到分类结果；
65.判定单元，用于根据分类结果判定得到目标对象的生物识别结果。
66.实施例3：
67.本实施例提供了基于特征融合的生物识别装置，如图3所示，在硬件层面，包括：
68.数据接口，用于建立处理器与图像采集器件的数据对接，以获取相应的人脸图像和指静脉图像；
69.存储器，用于存储指令；
70.处理器，用于读取所述存储器中存储的指令，并根据指令执行实施例1中基于特征融合的生物识别方法。
71.可选地，该计装置还包括内部总线。处理器与存储器和显示器可以通过内部总线相互连接，该内部总线可以是isa(industry standard architecture，工业标准体系结构)总线、pci(peripheral component interconnect，外设部件互连标准)总线或eisa(extended industry standard architecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。
72.所述存储器可以但不限于包括随机存取存储器(random access memory，ram)、只读存储器(read only memory，rom)、闪存(flash memory)、先进先出存储器(first input first output，fifo)和/或先进后出存储器(first in last out，filo)等。所述处理器可以是通用处理器，包括中央处理器(central processing unit，cpu)、网络处理器(network processor，np)等；还可以是数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field－programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
73.实施例4：
74.本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，使得所述计算机执行实施例1中基于特征融合的生物识别方法，其中，所述计算机可读存储介质是指存储数据的载体，可以但不限于包括软盘、光盘、硬盘、闪存、优盘和/或记忆棒(memory stick)等，所述计算机可以是通用计算机、专用计算机、计算机网络或者其他可编程系统。本实施例还提供一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行实施例1中基于特征融合的生物识别方法。其中，所述计算机可以是通用计算机、专用计算机、计算机网络或者其他可编程系统。
75.最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。