一种复杂场景多模态生物特征图像获取方法及其装置的制造方法
【技术领域】
[0001]本发明涉及光学、计算机视觉和模式识别等技术领域，特别是涉及一种复杂场景多模态生物特征图像获取方法及其装置。
【背景技术】
[0002]目前，随着人类科学技术的不断发展，生物特征识别技术得到了广泛的应用。生物特征识别是指计算机通过获取和分析人体的生理和行为特征，实现自动身份鉴别的科学和技术。常见的生物特征模态包括指纹、虹膜、人脸、掌纹、手形、静脉、笔迹、步态、语音等。人体多种模态的生物特征信息主要分布于面部(人脸、虹膜)和手部(指纹、掌纹、手形、静脉)。相比手部生物特征，人体面部的人脸和虹膜特征具有表观可现、信息丰富、采集非接触的独特优势，在中远距离身份识别和智能视频监控应用场景具有不可替代的重要作用，因而得到了国际学术界、产业界乃至政府部门的高度关注。此外，步态生物特征具有远距离可感知、信息独特、易于秘密捕获、非侵犯性高、难于隐藏和伪装等优点，也逐渐受到一些研究机构的重视。
[0003]生物识别学科和技术领域经过多年的发展，在严格受控的条件下基本上可以正确识别高度配合的用户，但是，在数字化生物特征信息获取过程中，如果受到内在用户的生理变化(如眨眼、斜视、姿态、表情、运动等)和外界环境(即所在场景)变化(如光照、遮挡、距离等)的影响，生物识别的性能将急剧下降，无法满足复杂场景环境下对用户的身份识别的需求，因此严重制约了生物识别的学科进步、技术推广和产业发展。
[0004]当前，虹膜和人脸识别技术得到了快速发展，相比于虹膜和人脸成像，步态生物特征更易于远距离感知，一般使用市场上现成的摄像头即可进行数据采集。由于步态生物特征受成像装置视角的影响很大，如何布局多摄像机进行多视角采集，将直接影响步态识别的精度。
[0005]此外，多模态生物特征识别在适用人群范围、识别精度和安全防伪等方面比单模态的生物识别技术具有独特优势，因此多模态生物识别装置的研究也是最近几年的发展热点。
[0006]但是，现有的多模态生物特征获取设备主要面向受控环境，对成像目标的范围和姿态以及成像场景环境条件都具有较为严格的限制，同时，现有的多模态生物特征成像设备一次只能获取一个人的信息，无法同时采集多个目标的多模态生物特征，无法满足复杂成像场景中用户的身份识别需求。目前，高质量、多模态生物特征数据的便捷高效获取已经成为生物识别学科和技术应用从受控条件到复杂现实环境拓展和跨越的重大瓶颈，严重影响生物特征识别的精确性、鲁棒性、实时性甚至安全性。
[0007]因此，目前迫切需要开发出一种技术，其可以对现实复杂场景条件(如室外大范围且背景复杂、环境光照变化、目标人群多且存在运动、姿态变化及相互遮挡等情况)下多个用户的生物特征进行多模态识别，满足复杂成像场景中多用户的身份识别需求，实现对大范围内的虹膜、人脸、步态多模态生物特征进行有效获取。
【发明内容】
[0008]有鉴于此，本发明的目的是提供一种复杂场景多模态生物特征图像获取方法及其装置，其可以对现实复杂场景条件(如室外大范围且背景复杂、环境光照变化、目标人群多且存在运动、姿态变化及相互遮挡等情况)下多个用户的生物特征进行多模态识别，满足复杂成像场景中多用户的身份识别需求，实现对大范围内的虹膜、人脸、步态多模态生物特征进tx有效获取，进一步提尚识别的准确性，实现远距尚、尚分辨、尚速的多t旲态生物特征识另IJ，有利于提高用户的产品使用感受，具有重大的生产实践意义。
[0009]为此，本发明提供了一种复杂场景多模态生物特征图像获取方法，包括步骤:
[0010]第一步:向用户需要拍摄的预设拍摄场景提供多光谱的补偿照明；
[0011]第二步:采集所述预设拍摄场景的多元图像，其中，所述预设拍摄场景的多元图像包括多个用户的虹膜和人脸图像、场景高分辨率图像、场景高动态图像、多个用户的红外图像以及多个用户的深度图像;第三步:对所述预设拍摄场景的多元图像进行预设数据处理操作，获得初始化的多元图像数据；
[0012]第四步:根据所述初始化的多元图像数据，对所述预设拍摄场景进行感知建模，获得所述预设拍摄场景对应的真实结构场景模型，以及检测获得所述预设拍摄场景中的预设生物特征信息；
[0013]第五步:判断所述预设拍摄场景的真实结构场景模型具有的建模信息是否符合预设建模信息条件，以及所述预设拍摄场景中的预设生物特征信息是否符合预设生物特征条件，当所述预设拍摄场景的真实结构场景模型具有的建模信息符合预设建模信息条件，同时所述预设拍摄场景中的预设生物特征信息符合预设生物特征条件时，根据所述预设拍摄场景对应的真实结构场景模型具有的建模信息以及所述预设拍摄场景中的预设生物特征信息，执行预设成像处理操作，获得最终的多模态生物特征图像并进行显示。
[0014]其中，在所述第一步中，通过由多个多光谱光源组成的多光谱光源模块向所述预设拍摄场景提供多光谱的补偿照明。
[0015]其中，在所述第二步中，通过由多个光场成像传感器组成光场成像模块来采集所述预设拍摄场景中多个用户的虹膜和人脸图像；
[0016]通过由多个面阵图像传感器组成的高分辨率成像模块采集所述预设拍摄场景的高分辨率图像；；
[0017]通过由多个高动态图像传感器组成的高动态成像模块采集所述预设拍摄场景的场景尚动态图像；
[0018]通过由多个红外图像传感器组成的红外成像模块采集所述预设拍摄场景中多个用户的红外图像；
[0019]通过由多个深度摄像机组成的深度成像模块采集所述预设拍摄场景中多个用户的深度图像。
[0020]其中，所述深度摄像机为飞行时间法TOF摄像机。
[0021]此外，本发明还提供了一种复杂场景多模态生物特征图像获取装置，包括:
[0022]主动多元成像单元，用于向用户需要拍摄的预设拍摄场景提供多光谱的补偿照明，以及采集所述预设拍摄场景的多元图像，其中，所述预设拍摄场景的多元图像包括多个用户的虹膜和人脸图像、场景高分辨率图像、场景高动态图像、多个用户的红外图像以及多个用户的深度图像，然后将所述多元图像发送给逻辑控制平台；
[0023]逻辑控制平台，与主动多元成像单元相连接，用于根据用户输入的图像获取开始或者停止指令，对应控制主动多元成像单元的启动或者停止运行，并且在接收到主动多元成像单元发来的所述预设拍摄场景的多元图像后，实时转发给并行数据计算平台，以及判断所述预设拍摄场景的真实结构场景模型具有的建模信息是否符合预设建模信息条件，以及所述预设拍摄场景中的预设生物特征信息是否符合预设生物特征条件，当所述预设拍摄场景的真实结构场景模型具有的建模信息符合预设建模信息条件且所述预设拍摄场景中的预设生物特征信息符合预设生物特征条件时，发送所述预设拍摄场景对应的真实结构场景模型具有的建模信息以及所述预设拍摄场景中的预设生物特征信息给并行数据计算平台中的高级成像算法处理系统；
[0024]并行数据计算平台，具体包括多元传感数据处理系统、生物特征场景感知与建模系统、多模态生物特征主动感知系统和高级成像算法处理系统;其中:
[0025]多元传感数据处理系统，与逻辑控制平台相连接，用于对所述预设拍摄场景的多元图像进行预设数据处理操作，获得初始化的多元图像数据；
[0026]生物特征场景感知与建模系统，分别与多元传感数据处理系统和逻辑控制平台相连接，用于根据所述初始化的多元图像数据，对所述预设拍摄场景进行感知建模，获得所述预设拍摄场景对应的真实结构场景模型，并发送给逻辑控制平台；
[0027]多模态生物特征主动感知系统，分别与多元传感数据处理系统和逻辑控制平台相连接，用于检测获得所述预设拍摄场景中的预设生物特征信息，并发送给逻辑控制平台；
[0028]高级成像算法处理系统，与逻辑控制平台相连接，用于根据所述预设拍摄场景对应的真实结构场景模型具有的建模信息以及所述预设拍摄场景中的预设生物特征信息，执行预设成像处理操作，获得最终的多模态生物特征图像并进行显示。
[0029]其中，所述主动多元成像单元包括多光谱光源模块、光场成像模块、高分辨率成像模块、高动态成像模块、红外成像模块以及深度成像模块；
[0030]所述多光谱光源模块、光场成像模块、高分辨率成像模块、高动态成像模块、红外成像模块以及深度成像模块分别与所述逻辑控制平台相连接。
[0031]其中，包括装置外壳，所述装置外壳的正面中心位置设置有主成像镜头；
[0032]所述主成像镜头的左侧设置有红外成像镜头，所述主成像镜头的右侧设置有深度成像镜头；
[0033]所述装置外壳的正面四周分别均匀分布有四个光场成像镜头组；
[0034]所述光场成像镜头组、红外成像镜头和深度成像镜头的周围分别有多个多光谱光源。
[0035]其中，所述逻辑控制平台包括现场可编程门阵列FPGA和单片机ARM逻辑控制芯片，其中:
[0036]现场可编程门阵列FPGA用于根据用户输入