用于移动终端的多模态生物特征识别模组及方法与流程

本发明属于智能识别认证技术领域，具体涉及一种用于移动终端的多模态生物特征识别模组及方法。

背景技术：

现有的移动终端上的身份认证大多还是采用密码等方式完成，虽然目前也有利用生物特征进行认证的方式出现，但现在方法还存在受限设备、生物特征模态单一的应用局限。

技术实现要素：

本发明目的在于解决上述的技术问题而提供一种用于移动终端的多模态生物特征识别模组及方法，旨为移动终端上的安全登陆、安全支付等需要进行身份认证的应用提供一种更安全可靠的解决方案。

为实现上述目的，本发明采用如下技术方案：

一种用于移动终端的多模态生物特征识别模组，包括：

混合光源单元，包括成像所需的多种光源，用于根据不同成像方式的需要提供相适应的成像光源；

多元成像单元，包括多种成像模块，用于以多种成像方式为识别认证提供目标对象的相应的生物特征图像；

协处理器单元，用于对多元成像单元形成的图像进行预处理，对预处理后图像按预设规则进行图像质量评价；或对符合要求的图像与移动终端采集的生物特征图像进行图像融合、特征提取与编码、识别；

传输单元，用于负责多模态生物特征识别模组与移动终端的连接与数据交互，通过所述移动终端为所述模组供电；或是将所述模组的数据传输至远端服务器；由所述移动终端或远端服务器对符合要求的图像与移动终端采集的生物特征图像进行图像融合、特征提取与编码、识别；

机械单元，用于实现所述模组与移动终端连接并可使所述模组在移动终端上进行不同位置切换，以及所述模组的单元模块的连接；

逻辑控制单元，负责对所述混合光源单元、多元成像单元、协处理器单元、传输单元以及机械单元的控制调度，当所述协处理器单元的图像质量评论不符合要求时，控制所述混合光源单元和\或多元成像单元调节参数,或通过所述移动终端发出配合指令后重新采集生物特征图像。

所述混合光源单元包括有用于进行深度成像的脉冲光、调制光、结构光、半导体激光的一种或几种，以及用于进行高分辨成像的多光谱光源。

所述多光谱光源发射可见光和近红外光，波长范围为400-900nm。

所述多元成像单元的成像方式包括光场成像、深度成像、高分辨成像的一种或几种。

所述光场成像为采用微透镜阵列形式的光场成像；所述深度成像为TOF成像、结构光成像、立体视觉成像、激光扫描成像的任一种；所述高分辨成像为采用滤光片形式的多光谱成像，其中，所述滤光片位于传感器前端可采用阵列形式或转轮形式进行切换。

所述协处理器单元的处理器可采用FPGA、ARM、DSP或RISC的一种或几种。

所述机械单元包括所述模组与移动终端的安装连接切换装置以及所述模组的所述混合光源单元、多元成像单元、协处理器单元、传输单元间的机械组合连接装置。

所述模组采用蓝牙、wifi、u盘模式、无线usb的一种或几种与所述移动终端进行数据交互。

所述移动终端包括智能手机、平板电脑、智能手表、智能眼镜、车载系统中的一种；所述多模态生物特征包括虹膜、人脸、掌纹、指纹、掌静脉、心跳的一种或几种。

本发明的目的还在于提供一种用于移动终端的多模态生物特征识别方法，包括以下步骤：

步骤1、逻辑控制单元控制混合光源单元发射成像所需光源；

步骤2、多元成像单元对目标对象的多模态生物特征进行图像采集；

步骤3、协处理器单元对采集的图像预处理，对预处理后图像按预设规则进行图像质量评介，判断图像质量是否满足要求，是则进行下一步操作，否则通过逻辑控制单元对光源和成像单元调节，或控制移动终端发出配合指令信号，返回步骤1；

步骤4、选择由协处理器单元将质量满足要求的图像与移动终端获取的图像进行多源图像融合、特征提取与编码、识别；或选择通过传输单元发送给移动终端或远端服务器，在移动终端平台上或远端服务器上将该质量满足要求的图像与移动终端获取的图像进行多源图像融合、特征提取与编码、识别；

步骤5、识别结果在移动终端上进行显示，完成识别过程。

本发明多模态生物特征识别模组可以直接外置于多种移动终端上，并利用多模态生物特征在身份认证上更安全鲁棒的优势，满足移动终端上的身份认证需求，对促进更为便捷、智能、可靠的移动终端身份认证应用推广具有重要的现实意义。

附图说明

图1所示为本发明实施例提供的用于移动终端的多模态生物特征识别模组的结构示意图；

图2所示为本发明实施例提供的用于移动终端的多模态生物特征识别模组的识别方法的流程图。

具体实施方式

下面，结合实例对本发明实质性特点和优势作进一步的说明，但本发明并不局限于所列的实施例。

请参阅图1所示，一种用于移动终端的多模态生物特征识别模组，包括：

混合光源单元，包括成像所需的多种光源，用于根据不同成像方式的需要提供相适应的成像光源；

多元成像单元，包括多种成像模块，用于以多种成像方式为识别认证提供目标对象的相应的生物特征图像；

协处理器单元，用于对多元成像单元形成的图像进行预处理，对预处理后图像按预设规则进行图像质量评价；或对符合要求的图像与移动终端采集的生物特征图像进行图像融合、特征提取与编码、识别；

传输单元，用于负责多模态生物特征识别模组与移动终端的连接与数据交互，通过所述移动终端为所述模组供电；或是将所述模组的数据传输至远端服务器；由所述移动终端或远端服务器对符合要求的图像与移动终端采集的生物特征图像进行图像融合、特征提取与编码、识别；

机械单元，用于实现所述模组与移动终端连接并可使所述模组在移动终端上进行不同位置切换，以及所述模组的单元模块的连接；

逻辑控制单元，负责对所述混合光源单元、多元成像单元、协处理器单元、传输单元以及机械单元的控制调度，当所述协处理器单元的图像质量评论不符合要求时，控制所述混合光源单元和\或多元成像单元调节参数,或通过所述移动终端发出配合指令后重新采集生物特征图像。

需要说明的是，本发明传输单元既可以将该模组采集的源图像或处理后的图像发送给移动终端，也可以将移动终端采集到的数据发送给模组，实现移动终端与模组之间数据的传输，从而在移动终端上或模组上实现对移动终端采集的图像与模组采集的图像进行整合处理识别，从而完成识别过程，如果识别通过，移动终端会在屏幕上显示识别通过的结果，比如可以打开移动终端，或者打开移动终端某一应用等；否则，识别不通过，不能继续在移动终端上进行其它操作。

所述移动终端采集的生物特征图像可以由移动终端自带的摄像模块对目标对象的图像进行采集，并与模组采集的对应的图像进行融合处理，以实现认证识别的有效性，解决了单一图像认识的缺陷，保证了识别认证的准确性，同时通过选择多种生物模态方式，即通过多种途径完成识别，为用户使用提供了多种认证识别方式，增强了用户的使用体验。

本发明中，所述逻辑控制单元通过移动终端发出配合指令信号是指向移动终端发出控制指令，通过移动终端的显示屏或者麦克风发出文字或语音提示，让用户调整姿态。

本发明中，所述混合光源单元和\或多元成像单元调节参数是指调整混 合光源单元的光源的强度等参数，多元成像单元的分辨率、曝光系数、白平衡等成像参数。

为多种成像方式需要提供相应的所需要的光源，所述混合光源单元包括有用于进行深度成像的脉冲光、调制光、结构光、半导体激光的一种或几种，以及用于进行高分辨成像的多光谱光源等多种光源，具体使用时，可以根据成像方式的不同选择相应的光源开启为成像提供适应的光源。

具体实现上，所述多光谱光源可以是发射可见光和近红外光，它们的波长范围可以为400-900nm，或者其它范围。

为了实现模组的多种成像，提升模组的广泛适用性，其中，所述多元成像单元的成像方式包括光场成像、深度成像、高分辨成像的一种或几种，并可以实现三维成像。具体在使用时，如果所需验证识别的生物特征为某一种模态，则根据该模态性质选择某一种或几种成像方式(如光场成像、深度成像、高分辨成像)；如果所需验证识别的生物特征为某几种模态，则根据这几种模态的性质分别选择合适的一种或几种成像方式进行成像，从而实现模组的多种成像。对应的在光源开启上，如果进行深度成像，就开启深度成像光源；多光谱成像，就根据成像目标开启所需波段的多光谱光源；目标一般都在光源正前方，而且距离较近，可以保证照在目标对象上。

具体实现上，所述光场成像可以是采用微透镜阵列形式的光场成像；所述深度成像可以为TOF成像、结构光成像、立体视觉成像、激光扫描成像的任一种；所述高分辨成像可以采用滤光片形式的多光谱成像，其中，所述滤光片位于传感器前端可采用阵列形式或转轮形式进行切换。

具体实现上，所述协处理器单元的处理器可采用FPGA、ARM、DSP或RISC的一种或几种。

其中，所述机械单元包括所述模组与移动终端的安装连接切换装置以及所述模组的所述混合光源单元、多元成像单元、协处理器单元、传输单元间的机械组合连接装置，通过安装连接切换装置如支架，可以实现模组与移动终端之间的位置、方位或角度的切换调节，保证图像采集的调节需要，其中所述混合光源单元、多元成像单元、协处理器单元、传输单元通过机械组合连接装置在一起形成模组整体。

需要说明的是，所述模组可以采用蓝牙、wifi、u盘模式、无线usb的一种或几种与所述移动终端进行数据交互，也可以采用其它方式与移动终端进行数据交互，如NFC、红外传送等无线传输技术或有线传输数据。

需要说明的是，本发明中，所述移动终端可以是智能手机、平板电脑、智能手表、智能眼镜、车载系统中的一种；所述多模态生物特征包括虹膜、人脸、掌纹、指纹、掌静脉、心跳的一种或几种，具体不限。

需要说明的是，本发明多模态生物特征识别模组可以直接外置于多种移动终端上使用，与移动终端连接，通过模组本身或移动终端，或通过无端服务器三种方式择一进行采集图像的识别处理，利用多模态生物特征在身份认证上更安全鲁棒的优势，满足移动终端上的身份认证需求。

请参阅图2所示，本发明还于提供一种用于移动终端的多模态生物特征识别方法，采用前述的用于移动终端的多模态生物特征识别模组实现，具体实现上包括以下步骤：

步骤1、逻辑控制单元控制混合光源单元发射成像所需光源；

步骤2、多元成像单元对目标对象的多模态生物特征进行图像采集；

步骤3、协处理器单元对采集的图像预处理，对预处理后图像按预设规则进行图像质量评介，判断图像质量是否满足要求，是则进行下一步操作，否则通过逻辑控制单元对光源和成像单元调节，或控制移动终端发出配合指令信号，返回步骤1；

步骤4、选择由协处理器单元将质量满足要求的图像与移动终端获取的图像进行多源图像融合、特征提取与编码、识别；或选择通过传输单元发送给移动终端或远端服务器，在移动终端平台上或远端服务器上将该质量满足要求的图像与移动终端获取的图像进行多源图像融合、特征提取与编码、识别；

步骤5、识别结果在移动终端上进行显示，完成识别过程。

可以看出，本发明多模态生物特征识别模组通过直接外置于相应的移动终端上，与移动终端连接，通过模组本身或移动终端，或通过无端服务器三种方式择一进行采集图像的识别处理，并利用多模态生物特征在身份认证上更安全鲁棒的优势，满足移动终端上的身份认证需求，解决了现有认识方式 单一，无法满足多模态生物特征识别的要求，无法满足用户的使用要求的问题，对促进更为便捷、智能、可靠的移动终端身份认证应用推广具有重要的现实意义。

尽管这里参照本发明多个解释性实施例对本发明进行了描述，但是，应该理解，本领域技术人员可以设计出很多其他的修改和实施方式，这些修改和实施方式将落在本申请公开的原则范围和精神之内。

更具体地说，在本申请公开、附图和权利要求的范围内，可以对主题组合布局的组成部件和/或布局进行多种变型和改进。除了对组成部件和/或布局进行的变型和改进外，对于本领域技术人员来说，其他的用途也将是明显的。