用于移动平台的多模态生物特征识别系统及方法与流程

本发明属于智能识别技术领域，具体涉及一种用于移动平台的多模态生物特征识别系统及方法。

背景技术：

现有生物特征识别系统已经成熟，在识别结果上表现也较为满意。但随着现代社会对更为便利和安全的用户身份认证技术的紧迫需要，现有的生物特征识别产品尚存在一些不足，例如生物模态较为单一、图像种类单一、人机交互性不足、设备移动性和扩展性不足等。

技术实现要素：

本发明的目的在于解决上述的技术问题而提供一种用于移动平台的多模态生物特征识别系统及方法，可以应用于现有移动设备上，与移动设备协同工作或者单独工作。

为实现上述目的，本发明采用如下技术方案：

一种用于移动平台的多模态生物特征识别系统，包括：

主动光源模块，包含多个主动光源，用于根据中央控制模块的指令打开相应主动光源为图像采集提供所需要的光；

图像采集模块，包含多个成像单元，用于根据所述中央控制模块的指令控制相应成像单元采集目标对象的多模态生物特征图像；

数据处理模块，用于对图像采集模块采集的多模态生物特征图像进行稳像、多源图像融合处理，对形成的图像质量评价，然后将评价处理结果反馈至所述中央控制模块；

所述中央控制模块，与所述主动光源模块、图像采集模块连接，用于控制所述图像采集模块通过传输模块将待识别图像传送到所述数据处理模块，接收所述数据处理模块的评价反馈信息，当所述数据处理模块的评价反馈信 息为图像不合格时，对光源参数、成像参数或移动平台调节，或通过人机交互模块与目标对象交互，提示目标对象作相应动作配合图像采集，然后重新采集目标对象的多模态生物特征图像，直至形成合格的待识别图像；当所述数据处理模块的评价反馈信息为图像合格时，控制将所述数据处理模块处理形成的合格的待识别图像通过所述传输模块传送至数据计算模块识别；

所述数据计算模块，用于自所述数据处理模块接收合格的待识别图像，对待识别图像的多模态生物特征进行特征提取、编码、匹配及识别，将识别处理结果信息通过所述传输模块反馈至所述中央控制模块，由所述人机交互模块输出识别结果。

所述数据处理模块和\或数据计算模块设置于云端服务器或设置于本地，所述中央控制模块、主动光源模块、图像采集模块、人机交互模块设置于本地。

所述数据计算模块包括设置在云端的带计算功能的存储服务器，或者远程的模板或特征数据库。

所述用于移动平台的多模态生物特征识别系统还包括有：

存储模块，用于对所述图像采集模块和数据处理模块的数据进行存储，配合实现所述传输模块与中央控制模块的功能；

供电模块，用于为所述主动光源模块、图像采集模块、中央控制模块、人机交互模块以及传输模块，或为设在本地的数据处理模块、数据计算模块提提供工作电压。

所述存储模块包括本地的存储芯片、SD/CF卡、SAN、云存储服务器的一种或几种。

所述人机交互模块通过语音、图像、视频、信号灯、投影、三维显示、激光显示中一种或几种方式实现与用户的交流互动。

所述光源包含近红外光源、可见光源、深度成像所需要的照明光、结构光、脉冲光、半导体激光。

所述图像采集模块包括高分辨成像单元、深度成像单元、高动态成像单元、光场成像单元；所述高分辨成像单元包括可见光成像单元和近红外成像单元；深度成像单元包括为激光扫描深度成像单元、结构光深度成像单元、 TOF深度成像单元、光场深度成像单元。

所述图像采集模块通过感兴趣区域硬件挖窗形式实现将图像传输至所述数据处理模块。

本发明的目的还在于提供一种用于移动平台的多模态生物特征识别方法，采用所述用于移动平台的多模态生物特征识别系统进行多模态生物特征识别，包括以下步骤：

1)中央控制模块控制主动光源模块发射图像采集所需要的光；

2)中央控制模块控制图像采集模块采集目标对象的多模态生物特征图像；

3)中央控制模块控制图像采集模块将采集的多模态生物特征图像通过传输模块传送到数据处理模块，由数据处理模块进行稳像处理、多源图像融合，对形成的图像质量评价，并将评价处理结果发送给所述中央控制模块；

4)所述中央控制模块根据步骤3)的质量评价处理结果判断图像是否合格，是则通过传输模块将多模态生物特征图像发送给数据计算模块；否则调整主动光源模块或图像采集模块的参数或调节移动平台，或通过人机交互模块对目标对象做出提示配合图像采集，之后返回步骤1)开始新一轮图像采集过程；

5)数据计算模块接收自所述数据处理模块传送来的多模态生物特征图像并识别，并将识别处理结果通过所述传输模块反馈给所述中央控制模块，所述中央控制模块根据识别结果控制人机交互模块进行识别结果显示。

本发明通过多种成像模式组合完成多种模态生物特征识别，可适应更为严格的身份认证需求，并且通过与移动平台集成，更扩展了系统的应用范围，提高了系统应用的便捷性。

附图说明

图1为本发明实施例提供的用于移动平台的多模态生物特征识别系统原理示意图；

图2为本发明实施例提供的图像成像单元的示意图；

图3为本发明实施例提供的一种用于移动平台的多模态生物特征识别系 统的识别方法的流程图。

具体实施方式

下面，结合实例对本发明的实质性特点和优势作进一步的说明，但本发明并不局限于所列的实施例。

参见图1所示，一种用于移动平台的多模态生物特征识别系统，包括：

主动光源模块，包含多个主动光源，用于根据中央控制模块的指令打开相应主动光源为图像采集提供所需要的光；

图像采集模块，包含多个成像单元，用于根据所述中央控制模块的指令控制相应成像单元采集目标对象的多模态生物特征图像；

数据处理模块，用于对图像采集模块采集的多模态生物特征图像进行稳像、多源图像融合处理，对形成的图像质量评价，然后将评价处理结果反馈至所述中央控制模块；

所述中央控制模块，与所述主动光源模块、图像采集模块连接，用于控制所述图像采集模块通过传输模块将待识别图像传送到所述数据处理模块，接收所述数据处理模块的评价反馈信息，当所述数据处理模块的评价反馈信息为图像不合格时，对光源参数、成像参数或移动平台调节，或通过人机交互模块与目标对象交互，提示目标对象作相应动作配合图像采集，然后重新采集目标对象的多模态生物特征图像，直至形成合格的待识别图像；当所述数据处理模块的评价反馈信息为图像合格时，控制将所述数据处理模块处理形成的合格的待识别图像通过所述传输模块传送至数据计算模块识别；

所述数据计算模块，用于自所述数据处理模块接收合格的待识别图像，对待识别图像的多模态生物特征进行特征提取、编码、匹配及识别，将识别处理结果信息通过所述传输模块反馈至所述中央控制模块，由所述人机交互模块输出识别结果。

需要说明的是，本发明实施例中，所述数据处理模块与数据计算模块设置于云端服务器，所述中央控制模块、主动光源模块、图像采集模块、人机交互模块设置于本地。所述中央控制模块控制图像采集模块采集图像通过所述传输模块，如网络传输到数据处理模块处理，数据处理模块处理完成后， 如图像合格则直接传输到数据计算模块进行识别处理，如果数据处理模块处理完成后图像不合格，不符合要求，则反馈至中央控制模块，由中央控制模块生成反馈控制信号传输到主动光源模块、图像采集模块，控制光源模块调节光源参数或图像采集模块的图像采集参数，或通过人机交互模块与目标对象，如用户进行人机交互，提示用户调整所在位置等，配合图像采集，或是控制对移动平台进行相应调节，以实现最终采集到符合要求的图像，以上几种调节方式根据数据处理模块的反馈结果的具体情况，决定采用一种或几种方式来调节。

所述数据处理模块在接收至图像采集模块发送来的图像时，可以通过多种图像处理方式对图像进行处理，如深度成像、三维成像、多源图像融合、移动平台下的稳像方法，具体不同的图像对象选择适用不同的处理方式，以并对图像质量评价，并将处理结果传输给中央控制模块，由所述中央控制模块决定是否传送到图像计算模块识别，或调节光源模块、图像采集模块或移动平台或对目标对象通过人机交互模块提示后进行图像的重新采集再处理。

需要说明的是，本发明中，所述生物特征可以是人体虹膜、人脸、掌纹、指纹等多模态生物特征，在具体对这些生物特征进行图像采集时，可以是利用相应的多个成像单元的一种或几种组合来进行多模态生物特征图像的采集，并根据不同模态特征图像的采集需要，控制相应的主动光源模块的主动光源提供相应的图像采集所需要的光或光照。

本发明实施例中，所述数据处理模块与数据计算模块可以是设置于云端服务器，数据处理模块与数据计算模块的处理过程在云端服务器进行，所述中央控制模块、主动光源模块、图像采集模块、人机交互模块设置于本地，它们之间通过相应的传输模块实现数据或信号的传输。另外，本发明中，所述数据处理模块与数据计算模块也可以是与所述中央控制模块、主动光源模块、图像采集模块、人机交互模块一样全部设置于本地，所有识别过程全部在本地完成，还可以是所述数据处理模块与所述中央控制模块、主动光源模块、图像采集模块、人机交互模块一样全部设置于本地，只有所述数据计算模块可以是云端服务器进行识别处理，具体架构不限。

所述传输模块负责系统中各模块单元间的数据传输以及与云端等远程 服务器进行数据通信和网络传输，实现系统内各模块间的数据或信号或指令的传送，保证系统内各模块间通信畅通。

具体实现上，所述数据计算模块包括设置在云端的带计算功能的存储服务器，或者远程的模板或特征数据库。

进一步的，本发明中，所述用于移动平台的多模态生物特征识别系统还包括有：

存储模块，用于对所述图像采集模块和数据处理模块的数据进行存储，配合实现所述传输模块与中央控制模块的功能；

供电模块，用于为系统内各模块供电，包括为所述主动光源模块、图像采集模块、中央控制模块、人机交互模块以及传输模块，或设置于本地的数据处理模块、数据计算模块提供工作电压。

具体的，所述存储模块可以是包括本地的存储芯片、SD/CF卡、SAN、云存储服务器的一种或几种。

为了实现更加全面的人机交互，本发明中，所述人机交互模块可以是通过语音、图像、视频、信号灯、投影、三维显示、激光显示中一种或几种方式实现与用户的交流互动，例如通过语音提示用户调整姿态，通过图像显示识别结果提示用户进行动作等等。

为了实现对不同模态生物特征图像的采集，本发明中所述光源可以是包含近红外光源、可见光源、深度成像所需要的照明光、结构光、脉冲光、半导体激光等多种分别适应用于不同模态生物特征图像的采集所要的光源，这样以可以根据采集不同的模态生物特征图像选择相应的光源进行光照。

参见图2所示，其中，所述图像采集模块可以包括高分辨成像单元、深度成像单元、高动态成像单元、光场成像单元；所述高分辨成像单元进一步的可以包括可见光成像单元和近红外成像单元；所述深度成像单元包括可以为激光扫描深度成像单元、结构光深度成像单元、TOF深度成像单元、光场深度成像单元。

本发明通过图像采集模块包括多种成像单元，可以提供多种不同的成像方式，实现对不同模态生物特征均可进行图像的采集并识别处理，扩展了系统的使用范围，提高了系统的广泛适用性能。

进一步的，为了实现图像数据的高速传输，本发明中，所述图像采集模块可以选择通过感兴趣区域硬件挖窗形式实现将采集的图像传输至所述数据处理模块进行处理，这样大大提高了图像传输速度，提高了传输效率。

需要说明的是，本发明系统中可用于手机、平板电脑、车载系统、运动装备、穿戴设备、机器人等移动平台中的任意一种。

本发明的目的还在于提供一种用于移动平台的多模态生物特征识别方法，采用所述用于移动平台的多模态生物特征识别系统进行多模态生物特征识别，包括以下步骤：

1)中央控制模块控制主动光源模块发射图像采集所需要的光；

2)中央控制模块控制图像采集模块采集目标对象的多模态生物特征图像；

3)中央控制模块控制图像采集模块将采集的多模态生物特征图像通过传输模块传送到数据处理模块，由数据处理模块进行稳像处理、多源图像融合，对形成的图像质量评价，并将评价处理结果发送给所述中央控制模块；

4)所述中央控制模块根据步骤3)的质量评价处理结果判断图像是否合格，是则通过传输模块将多模态生物特征图像发送给数据计算模块；否则调整主动光源模块或图像采集模块的参数或调节移动平台，或通过人机交互模块对目标对象做出提示配合图像采集，之后返回步骤1)开始新一轮图像采集过程；

5)数据计算模块接收自所述数据处理模块传送来的多模态生物特征图像并识别，并将识别处理结果通过所述传输模块反馈给所述中央控制模块，所述中央控制模块根据识别结果控制人机交互模块进行识别结果显示。

从以上分析，可以看出，本发明通过多种成像模式组合完成多种模态生物特征识别，可适应更为严格的身份认证需求，并且通过与移动平台集成，更扩展了系统的应用范围，提高了系统应用的便捷性。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。