0距离为5m-8m范围内)获取多目标人脸和步态的3D图像，在较远区域(距装置1000距离为8m-15m范围内)获取多目标人脸和步态的2D图像。对于本发明，其以生物特征识别为应用背景，面向现实复杂场景条件(如室外大范围且背景复杂、环境光照变化、目标人群多且存在运动、姿态变化及相互遮挡等情况)，通过光电技术、视觉计算技术等领域的技术融合与创新，对大范围内的虹膜、人脸、步态多模态生物特征进行有效检测获取，并层次化获取多模态生物特征的多维图像信息，在生物识别、视频监控、智能安防等领域具有广阔的应用前景。
[0119]此外，本发明还可以通过生物特征场景感知与建模系统和多模态生物特征主动感知系统对真实物理场景进行感知建模、对目标进行检测定位，为主动多元成像系统提供反馈校正，完成室外大范围且背景复杂、昼夜和光照变化等条件下场景的目标生物特征感知，实现多场景多模态生物特征信息的鲁棒控制成像，利用成像端与算法端的协同有效控制来保障高质量的多元数据获取。
[0120]另外，本发明突破了传统生物特征获取设备成像景深有限且目标对象单一的局限，利用光场成像等计算成像技术，实现对处于场景不同深度的多目标生物特征进行选择性成像，不仅扩大场景的成像景深，亦可有选择性的确定成像平面，提高成像质量同时增强仪器设备的灵活性;针对复杂环境中多目标之间产生人群遮挡问题，本发明以深度信息为先验知识，利用相关计算成像技术，对场景目标的遮挡物进行识别、分割和剔除，实现对多人群目标环境下的生物特征信息更为全面精细的感知。
[0121]综上所述，与现有技术相比较，本发明提供了一种复杂场景多模态生物特征图像获取方法及其装置，其可以对现实复杂场景条件(如室外大范围且背景复杂、环境光照变化、目标人群多且存在运动、姿态变化及相互遮挡等情况)下多个用户的生物特征进行多模态识别，满足复杂成像场景中多用户的身份识别需求，实现对大范围内的虹膜、人脸、步态多丰旲态生物特征进彳丁有效获取，进一步提尚识别的准确性，实现远距尚、尚分辨、尚速的多模态生物特征识别，有利于提高用户的产品使用感受，具有重大的生产实践意义。
[0122]以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
【主权项】
1.一种复杂场景多模态生物特征图像获取方法，其特征在于，包括步骤: 第一步:向用户需要拍摄的预设拍摄场景提供多光谱的补偿照明； 第二步:采集所述预设拍摄场景的多元图像，其中，所述预设拍摄场景的多元图像包括多个用户的虹膜和人脸图像、场景高分辨率图像、场景高动态图像、多个用户的红外图像以及多个用户的深度图像； 第三步:对所述预设拍摄场景的多元图像进行预设数据处理操作，获得初始化的多元图像数据； 第四步:根据所述初始化的多元图像数据，对所述预设拍摄场景进行感知建模，获得所述预设拍摄场景对应的真实结构场景模型，以及检测获得所述预设拍摄场景中的预设生物特征信息； 第五步:判断所述预设拍摄场景的真实结构场景模型具有的建模信息是否符合预设建模信息条件，以及所述预设拍摄场景中的预设生物特征信息是否符合预设生物特征条件，当所述预设拍摄场景的真实结构场景模型具有的建模信息符合预设建模信息条件，同时所述预设拍摄场景中的预设生物特征信息符合预设生物特征条件时，根据所述预设拍摄场景对应的真实结构场景模型具有的建模信息以及所述预设拍摄场景中的预设生物特征信息，执行预设成像处理操作，获得最终的多模态生物特征图像并进行显示。2.如权利要求1所述的方法，其特征在于，在所述第一步中，通过由多个多光谱光源组成的多光谱光源模块向所述预设拍摄场景提供多光谱的补偿照明。3.如权利要求1所述的方法，其特征在于，在所述第二步中，通过由多个光场成像传感器组成光场成像模块来采集所述预设拍摄场景中多个用户的虹膜和人脸图像； 通过由多个面阵图像传感器组成的高分辨率成像模块采集所述预设拍摄场景的场景高分辨率；； 通过由多个高动态图像传感器组成的高动态成像模块采集所述预设拍摄场景的场景尚动态图像； 通过由多个红外图像传感器组成的红外成像模块采集所述预设拍摄场景中多个用户的红外图像； 通过由多个深度摄像机组成的深度成像模块采集所述预设拍摄场景中多个用户的深度图像。4.如权利要求1所述的方法，其特征在于，所述深度摄像机为飞行时间法TOF摄像机。5.一种复杂场景多模态生物特征图像获取装置，其特征在于，包括: 主动多元成像单元，用于向用户需要拍摄的预设拍摄场景提供多光谱的补偿照明，以及采集所述预设拍摄场景的多元图像，其中，所述预设拍摄场景的多元图像包括多个用户的虹膜和人脸图像、场景高分辨率、场景高动态图像、多个用户的红外图像以及多个用户的深度图像，然后将所述多元图像发送给逻辑控制平台； 逻辑控制平台，与主动多元成像单元相连接，用于根据用户输入的图像获取开始或者停止指令，对应控制主动多元成像单元的启动或者停止运行，并且在接收到主动多元成像单元发来的所述预设拍摄场景的多元图像后，实时转发给并行数据计算平台，以及判断所述预设拍摄场景的真实结构场景模型具有的建模信息是否符合预设建模信息条件，以及所述预设拍摄场景中的预设生物特征信息是否符合预设生物特征条件，当所述预设拍摄场景的真实结构场景模型具有的建模信息符合预设建模信息条件且所述预设拍摄场景中的预设生物特征信息符合预设生物特征条件时，发送所述预设拍摄场景对应的真实结构场景模型具有的建模信息以及所述预设拍摄场景中的预设生物特征信息给并行数据计算平台中的高级成像算法处理系统； 并行数据计算平台，具体包括多元传感数据处理系统、生物特征场景感知与建模系统、多模态生物特征主动感知系统和高级成像算法处理系统;其中: 多元传感数据处理系统，与逻辑控制平台相连接，用于对所述预设拍摄场景的多元图像进行预设数据处理操作，获得初始化的多元图像数据； 生物特征场景感知与建模系统，分别与多元传感数据处理系统和逻辑控制平台相连接，用于根据所述初始化的多元图像数据，对所述预设拍摄场景进行感知建模，获得所述预设拍摄场景对应的真实结构场景模型，并发送给逻辑控制平台； 多模态生物特征主动感知系统，分别与多元传感数据处理系统和逻辑控制平台相连接，用于检测获得所述预设拍摄场景中的预设生物特征信息，并发送给逻辑控制平台； 高级成像算法处理系统，与逻辑控制平台相连接，用于根据所述预设拍摄场景对应的真实结构场景模型具有的建模信息以及所述预设拍摄场景中的预设生物特征信息，执行预设成像处理操作，获得最终的多模态生物特征图像并进行显示。6.如权利要求5所述的装置，其特征在于，所述主动多元成像单元包括多光谱光源模块、光场成像模块、高分辨率成像模块、高动态成像模块、红外成像模块以及深度成像模块； 所述多光谱光源模块、光场成像模块、高分辨率成像模块、高动态成像模块、红外成像模块以及深度成像模块分别与所述逻辑控制平台相连接。7.如权利要求5所述的装置，其特征在于，包括装置外壳(300)，所述装置外壳的正面中心位置设置有主成像镜头(303); 所述主成像镜头(303)的左侧设置有红外成像镜头(304)，所述主成像镜头(303)的右侧设置有深度成像镜头(305); 所述装置外壳的正面四周分别均匀分布有四个光场成像镜头组(306); 所述光场成像镜头组(306)、红外成像镜头(304)和深度成像镜头(305)的周围分别有多个多光谱光源(302)。8.如权利要求5所述的装置，其特征在于，所述逻辑控制平台包括现场可编程门阵列FPGA和单片机ARM逻辑控制芯片，其中: 现场可编程门阵列FPGA用于根据用户输入的图像获取开始或者停止指令，对主动多元成像单元中的多光谱光源模块、光场成像模块、高分辨率成像模块、高动态成像模块、红外成像模块以及深度成像模块进行驱动控制，实现对应控制主动多元成像单元的启动或者停止运行及控制参数调节，以及数据的传输缓存;单片机ARM逻辑控制芯片用于负责逻辑控制平台与并行数据计算平台之间的数据调度配合。
【专利摘要】本发明公开了一种复杂场景多模态生物特征图像获取装置，包括：主动多元成像单元，逻辑控制平台、并行数据计算平台，其中，逻辑控制平台，与主动多元成像单元相连接，并行数据计算平台与逻辑控制平台相连接，并行数据计算平台具体包括多元传感数据处理系统、生物特征场景感知与建模系统、多模态生物特征主动感知系统和高级成像算法处理系统。此外，本发明还公开了一种复杂场景多模态生物特征图像获取方法。本发明公开的一种复杂场景多模态生物特征图像获取方法及其装置，其可以对现实复杂场景条件下多个用户的生物特征进行多模态识别，满足复杂成像场景中多用户的身份识别需求，实现对大范围内的虹膜、人脸、步态多模态生物特征进行有效获取。
【IPC分类】G06K9/20
【公开号】CN105574525
【申请号】CN201510967025
【发明人】孙哲南, 侯广琦, 谭铁牛, 秦娅楠
【申请人】天津中科智能识别产业技术研究院有限公司
【公开日】2016年5月11日
【申请日】2015年12月18日