一种多模态生物特征身份认证方法、装置及系统与流程
本发明涉及身份识别认证技术领域。更具体地，涉及一种多模态生物特征身份认证方法、装置及系统。
背景技术：
对出入境人员的身份鉴别及管控对于国家的边防安全意义重大，生物特征识别技术可以为其提供强大的身份认证技术支撑。目前应用市场上最主流的几种识别方式包括人脸、指纹、虹膜识别，其中人脸识别是最自然、最方便、最易接受的身份识别方法，指纹识别和虹膜识别则拥有更高的稳定性和识别精度。但在实际应用中，人脸识别会因为乔装、表情、光照等问题而导致识别率下降，指纹可能因伤疤或长茧而难于获取，虹膜识别则会受到剧烈光照变化、戴眼镜等复杂因素影响。多模态生物特征识别技术可以弥补传统的单模态生物特征识别技术的许多不足之处。首先，多模态生物特征识别技术可以利用不同类型的数据带来的互补信息，提高系统识别准确性；其次，多个生物特征的伪造冒充显然比单个生物特征要困难，这使得多模态生物特征识别具有更高的可靠性；另外，任何一种生物特征，都无法保证其在各类社会群体中都具备的普遍性。在某些特定情况下，某种生物特征可能变得不够明显(例如：面部整容、指纹磨损、眼部残疾等)，从而导致基于该特征的身份识别系统不再适用。多模态生物特征融合可在特征层、匹配层和决策层进行，由于特征层的融合受到所处理信息相容性的限制，决策层的融合只涉及到有限的信息，而匹配层融合既避免了把不同特征结合到一起，又可以利用比决策层融合更多的信息。
此外，由于某些犯罪人员或可疑人员可能会私自伪造证件或通过面部整容、指纹重塑等方式篡改自身某些生物特征从而进行犯罪活动，仅通过证件或单一生物特征识别进行身份认证出现误识的几率较大。
有鉴于此，提出一种基于多模态生物特征识别的身份认证装置、方法及系统。
技术实现要素：
本发明的目的在于提供一种基于多模态生物特征识别的身份认证方法、装置及系统。
为达到上述目的，本发明采用下述技术方案：
一种基于多模态生物特征识别的身份认证方法，包括：
s1.获取证件信息和至少两种生物特征信息作为注册信息，生成注册生物特征模板；
s2.读取证件信息，获取证件唯一标识，并至少获取目标生物体两种对应注册信息中已获取的生物特征作为认证信息；
s3.从数据库中检索s2中证件唯一标识对应的注册生物特征模板，并将s2中所述生物特征与注册生物特征模板进行同种生物特征的1:1特征匹配，根据匹配度对其进行多模态数据融合分析，若验证通过，身份确定；若验证失败，进入s4；
s4.至少获取目标生物体对应注册信息中已获取的两种生物特征，与数据库中全部注册人员进行同种生物特征的1：n特征匹配，根据匹配度对其进行多模态数据融合分析，得到最终认证结果。
进一步地，所述注册信息中生物特征至少包括虹膜、指纹、脸部特征中的两种；所述认证信息中生物特征至少包括虹膜、指纹、脸部特征中的两种。
进一步地，所述1:1生物特征多模态数据融合在匹配层使用加权求和法进行融合分析，包括对虹膜联合指纹和/或脸部特征进行融合：
若虹膜匹配度高于预设阈值
还包括对指纹联合脸部特征进行融合：
若指纹匹配度高于预设阈值
进一步地，所述1:n生物特征多模态数据融合在匹配层使用加权求和法进行融合分析，
包括对虹膜联合指纹和/或脸部特征进行融合分析：
若1:n特征匹配结果中的虹膜最高匹配度高于预设阈值
还包括对指纹联合脸部特征进行融合分析：
若1:n特征匹配结果中的指纹最高匹配度高于预设阈值
一种基于多模态生物特征识别的身份认证装置，包括：
证件认证模块,用于在认证现场读取证件信息,获取证件唯一标识；
生物特征录入模块，获取目标生物体多种生物特征，作为认证信息；
1:1生物特征验证模块，根据所述证件认证模块读取到的证件唯一标识，从数据库中检索对应的注册生物特征模板，并与目标生物体进行同种生物特征匹配，得出同种生物特征的匹配度，根据匹配度对其进行数据融合分析，确定验证通过或失败；
1:n生物特征识别模块，在1:1生物特征识别模块验证失败时，对认证信息与数据库中全部注册人员进行同种生物特征匹配,得出同种生物特征的匹配度，根据匹配度对其进行数据融合分析,得到最终认证结果。
进一步地，所述生物特征至少包括虹膜、指纹、脸部中的两种，所述1:1生物特征验证模块至少进行虹膜、指纹、脸部中的两种生物特征验证，所述1:n生物特征识别模块分别至少进行虹膜、指纹、脸部中的两种生物特征识别。
进一步地，所述1:1生物特征验证模块包括对虹膜联合指纹和/或脸部特征进行融合：
若虹膜匹配度高于预设阈值
还包括对指纹联合脸部特征进行融合：
若指纹匹配度高于预设阈值
进一步地，所述1:n生物特征识别模块进行生物特征进行融合所述1:n生物特征多模态数据融合在匹配层使用加权求和法进行融合分析，包括对虹膜联合指纹和/或脸部特征进行融合分析：
若1:n特征匹配结果中的虹膜最高匹配度高于预设阈值
还包括对指纹联合脸部特征进行融合分析：
若1:n特征匹配结果中的指纹最高匹配度高于预设阈值
进一步地，所述1:1生物特征验证模块和1:n生物特征识别模块在匹配层使用加权求和法进行多模态数据融合。
一种设置有身份注册装置和如上所述的身份认证装置的身份认证系统，所述身份注册装置用于生物特征信息的注册和证件信息的注册。
本申请所记载的技术方案实现了同时结合证件信息，认证人员进行多模态生物特征身份认证，有效提升生物识别系统的认证速度、认证的灵活性、识别率；利用生物特征信息和证件信息的双重认证，实现对出入境人员特别是篡改证件信息或某种生物特征的犯罪或可疑人员的有效身份鉴别。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细的说明；
图1为基于多模态生物特征识别的身份认证方法示意图；
图2为基于多模态生物特征识别的出入境人员身份认证装置示意图；
图3为基于多模态生物特征识别的出入境人员身份认证系统示意图；
图4为基于多模态生物特征识别的出入境人员身份信息注册装置示意图。
具体实施方式
为了更清楚地说明本发明，下面结合优选实施例和附图对本发明做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本发明的保护范围。
本申请提供一种基于多模态生物特征识别的身份认证方法，如图1所示，包括：
s1.获取证件信息和至少两种生物特征信息作为注册信息，生成注册生物特征模板；
s2.读取证件信息，获取证件唯一标识，并至少获取目标生物体两种对应注册信息中已获取的生物特征作为认证信息；
s3.从数据库中检索s2中证件唯一标识对应的注册生物特征模板，并将s2中所述生物特征与注册生物特征模板进行同种生物特征的1:1特征匹配，根据匹配度对其进行多模态数据融合分析，若验证通过，身份确定；若验证失败，进入s4；
s4.至少获取目标生物体对应注册信息中已获取的两种生物特征，与数据库中全部注册人员进行同种生物特征的1：n特征匹配，根据匹配度对其进行多模态数据融合分析，得到最终认证结果。
所述1:1是指认证人员的生物特征信息只与证件标识下所记录的注册信息进行匹配验证。
在一个实施例中，注册时，使用的证件为身份证，所述的证件唯一标识为身份证号码，所述的生物特征信息为虹膜、指纹和人脸特征，根据上述三种生物特征生成注册生物特征模板；在其他实施例中，证件也可以是其他特制实体卡片，或者电子卡片，该卡片可被读取唯一的标识。
认证时，读取身份证的身份号码，获取认证人员虹膜、指纹和人脸特征中至少两种特征。
根据身份证号码查找该号码下所对应的生物特征模板，将认证人员的虹膜、指纹和人脸特征分别与注册生物特征模板中的虹膜、指纹和人脸进行1：1匹配，多模态生物特征的数据融合。
虹膜识别技术较指纹人脸拥有更多的独立特征点，且可对目标生物体进行活体检测，是目前公认的除dna之外的最精确的生物识别技术，比指纹识别准确1200倍，比人脸识别准确12000倍。因此，认为虹膜认证结果可信度最高，指纹次之，人脸最差，匹配层融合策略正是在此基础上设计的。
所述1:1生物特征多模态数据融合在匹配层使用加权求和法进行融合分析，包括对虹膜联合指纹和/或脸部特征进行融合：
若虹膜匹配度高于预设阈值
若虹膜匹配度低于预设阈值
若虹膜匹配度处于预设阈值
在一个实施例中，认证人员录入的生物特征为指纹和人脸时，将认证人员的指纹和人脸特征分别与注册生物特征模板中的指纹和人脸进行匹配，多模态生物特征的数据融合。
若指纹匹配度高于预设阈值
所述1:1生物特征多模态数据融合可以是使用加权求和法在匹配层进行融合，具体如下：
其中，s11为融合匹配度，
当融合匹配度s11高于预设阈值时，判定验证通过；否则，判定验证失败。
当1:1生物特征认证失败时，所述1:n生物特征多模态数据融合在匹配层使用加权求和法进行融合分析，
包括对虹膜联合指纹和/或脸部特征进行融合分析：
若1:n特征匹配结果中的虹膜最高匹配度高于预设阈值
若虹膜最高匹配度低于预设阈值
若虹膜最高匹配度处于预设阈值
在一个实施例中，认证人员录入的生物特征为指纹和人脸时，将认证人员的指纹和人脸特征分别与注册生物特征模板中的指纹和人脸进行匹配，多模态生物特征的数据融合。
对指纹联合脸部特征进行融合分析：
若1:n特征匹配结果中的指纹最高匹配度高于预设阈值
若指纹最高匹配度低于预设阈值
若指纹最高匹配度处于预设阈值
所述1:n生物特征多模态数据融合可以是使用加权求和法在匹配层进行融合，具体如下：
其中，s1n为融合匹配度，
得到融合匹配度后,使用最小距离分类器实现最终身份判决。
本申请还提供了一种基于多模态生物特征识别的身份认证装置，如图2所示，用于出境人员的身份认证，该装置包括：
证件认证模块,用于在认证现场读取证件信息,获取证件唯一标识；
生物特征录入模块，获取目标生物体多种生物特征，作为认证信息；
1:1生物特征验证模块，根据所述证件认证模块读取到的证件唯一标识，从数据库中检索对应的注册生物特征模板，并与目标生物体进行同种生物特征匹配，得出同种生物特征的匹配度，根据匹配度对其进行数据融合分析，确定验证通过或失败；
1:n生物特征识别模块，在1:1生物特征识别模块验证失败时，对认证信息与数据库中全部注册人员进行同种生物特征匹配,得出同种生物特征的匹配度，根据匹配度对其进行数据融合分析,得到最终认证结果。
在一个实施例中，该装置采用c/s网络架构。所述证件认证模块和生物特征录入模块设置在客户端，1:1生物特征验证模块和1:n生物特征识别模块设置在服务器端。
客户端负责完成证件信息采集和生物特征信息采集，生物特征信息采集包括生物特征图像采集、图像预处理及特征提取三个主要步骤；服务器端负责存储管理注册人员身份信息综合数据库,并完成特征匹配及认证工作，包括1:1生物特征匹配认证和1:n生物特征匹配认证；客户端与服务器通过可靠网络进行数据交互。
证件认证
客户端证件认证模块在认证现场对认证人员的证件信息进行采集，其中包括证件唯一标识如居民身份证号，并发送至服务器作为1:1生物特征验证的索引。
人脸特征认证
客户端人脸特征录入模块利用光学图像采集设备获取到的质量合格的人脸图像后，对其进行光线补偿、灰度变换、滤波除噪等预处理及特征提取，并将提取的特征信息发送至服务器进行1:1或1:n人脸特征匹配，得到人脸特征匹配度。其中，1:1人脸特征匹配是现场采集的人脸特征信息与证件信息对应的注册人员人脸特征信息进行比对；1:n人脸特征匹配是现场采集的人脸特征信息与数据库中所有注册人员人脸特征信息进行比对。
指纹特征认证
客户端指纹特征录入模块利用光学成像设备、晶体传感器和光源获取到的质量合格的指纹图像后，对其进行畸变矫正、指纹图像分割、均衡、收敛、平滑、增强等预处理及特征提取，并将提取的特征信息发送至服务器端进行1:1或1:n指纹特征匹配，得到指纹特征匹配度。其中，1:1指纹特征匹配是现场采集的指纹特征信息与证件信息对应的注册人员指纹特征信息进行比对；1:n指纹特征匹配是现场采集的指纹特征信息与数据库中所有注册人员指纹特征信息进行比对。
虹膜特征认证
客户端虹膜特征录入模块使用红外图像采集设备和红外光源来获取到的质量合格的眼部图像后，对其进行虹膜边界定位、眼皮/睫毛/光源像点检测、虹膜区域分割等预处理及特征提取，并将提取的特征信息发送至服务器端进行1:1或1:n虹膜特征匹配，得到虹膜特征匹配度。其中，1:1虹膜特征匹配是现场采集的虹膜特征信息与证件信息对应的注册人员虹膜特征信息进行比对；1:n虹膜特征匹配是现场采集的虹膜特征信息与数据库中所有注册人员虹膜特征信息进行比对。
在一个实施例中，客户端证件认证模块首先读取待认证人员a的证件信息(身份证号为idsn)，并将其发送至服务器，服务器通过证件唯一标识身份证号在数据库中检索到对应的注册人员信息；
客户端生物特征录入模块获取待认证人员a的虹膜特征、指纹特征和人脸特征，并将其发送至服务器；服务器1:1生物特征验证模块分别将这些虹膜、指纹、人脸信息与数据库中身份证号为idsn的注册人员虹膜、指纹、人脸信息进行1:1特征匹配，分别得出虹膜、指纹和人脸的特征匹配度，融合模块对其进行匹配层融合。
进一步地，若认证人员a的认证信息为虹膜联合指纹和/或人脸特征，所述1:1生物特征验证模块对认证人员a的虹膜联合指纹和人脸特征进行融合时：
若虹膜匹配度高于预设阈值
若虹膜匹配度低于预设阈值
若虹膜匹配度处于预设阈值
同理，若认证人员a的认证信息为指纹和人脸特征，所述1:1生物特征验证模块对认证人员a的指纹联合人脸特征进行融合时：
若指纹匹配度高于预设阈值
若指纹匹配度低于预设阈值
若指纹匹配度处于预设阈值
所述融合可以是使用加权求和法在匹配层进行融合，具体方法如下：
其中，s11为融合匹配度，
在一个实施例中，1:1生物特征验证模块验证失败，则认证人员a身份待定，接下来由1:n生物特征识别模块对其做进一步身份鉴别。客户端生物特征录入模块获取待认证人员a的虹膜特征、指纹特征和人脸特征发送至服务器，服务器1:n生物特征识别模块分别将这些虹膜、指纹、人脸信息与数据库中所有注册人员的虹膜、指纹、人脸信息进行1:n特征匹配，分别得出虹膜、指纹和人脸的特征匹配度，融合模块对其进行匹配层融合，得到最终认证结果。
进一步地，若认证人员a的认证信息为虹膜联合指纹和/或人脸特征，所述1:n生物特征识别模块对认证人员a的虹膜联合指纹和/或人脸特征进行融合时：
若1:n虹膜特征匹配结果中的最高匹配度高于预设阈值
若最高匹配度低于预设阈值
若最高匹配度处于预设阈值
在一个实施例中，认证人员a的1:n虹膜特征匹配结果中的最高匹配度处于预设阈值
同理，若认证人员a的认证信息为指纹特征和人脸特征，所述1:n生物特征识别模块对指纹联合人脸特征进行融合时：
若1:n指纹特征匹配结果中的最高匹配度高于预设阈值
若最高匹配度低于预设阈值
若最高匹配度处于预设阈值
所述融合可以是使用加权求和法在匹配层进行融合，具体方法如下：
其中，s1n为融合匹配度，
得到融合匹配度后,使用最小距离分类器实现最终身份判决。
所述的身份认证装置，可以在不同应用场景下对用户进行多模态生物特征身份认证，有效提升生物识别系统的灵活性、识别率，同时结合证件信息，利用生物特征信息和证件信息的双重认证，实现对出入境人员的有效身份鉴别，特别是篡改证件信息或生物特征的犯罪或可疑人员。
所述身份认证装置还设置人机交互接口，例如：可根据具体认证需求，选择进行身份注册的生物特征种类、进行身份认证的生物特征种类，设定多模态融合时的各个阈值等。
本申请还提供一种基于多模态生物特征识别的出入境人员身份认证系统，如图3所示，设置有上述的身份认证装置还设置有身份注册装置。
所述的身份注册装置如图4所示，身份注册装置也采用c/s网络架构：客户端包括证件注册模块和生物特征注册模块，分别负责采集人员的证件信息和人脸、指纹、虹膜等生物特征信息作为注册信息，并通过网络发送至服务器端，由注册信息存储模块存储于出入境人员身份信息综合数据库。其中：
证件信息注册
客户端使用证件读卡器直接采集证件信息，并通过网络发送至服务器存储于出入境人员身份信息综合数据库。
人脸信息注册
客户端使用光学图像采集设备获取质量合格的人脸图像,并对人脸原始图像进行滤波除噪等预处理后进行特征提取生成人脸特征模板，并发送至服务器端存储于出入境人员身份信息综合数据库。
指纹信息注册
客户端使用指纹采集设备(包括光学成像设备、晶体传感器和光源)获取质量合格的指纹图像，并对原始指纹图像进行畸变矫正、指纹图像分割、均衡、收敛、平滑、增强等预处理后进行特征提取生成指纹特征模板，并发送至服务器端存储于出入境人员身份信息综合数据库。
虹膜信息注册
客户端使用虹膜采集设备(包括红外成像设备和850nm红外光源)来获取清晰的双目图像，并对双目图像进行虹膜边界定位、眼皮/睫毛/光源像点检测、虹膜区域分割等预处理，之后进行特征提取生成虹膜特征模板，并发送至服务器端存储于出入境人员身份信息综合数据库。
在一个实施例中，所述客户端进行人员的信息注册和身份认证。
在一个实施例中，所述客户端设置人机交互接口，为触控式接口和/或语音式接口和/或按键式接口，以选择进行身份认证的方式。例如：可根据具体身份认证需要，选择进行身份注册的生物特征种类、进行身份认证的生物特征种类，设定多模态融合时的各个阈值、设定单次认证时限等。
其中，选择进行身份注册的生物特征包括选择两种及两种以上的生物特征进行身份注册，例如，选择人脸信息、指纹信息，或人脸信息、虹膜信息，或虹膜信息、指纹信息或人脸信息、指纹信息、虹膜信息进行注册。
进行身份认证的生物特征包括选择一种或两种及两种以上的生物特征进行身份认证，例如：选择人脸信息或指纹信息或虹膜信息或选择人脸信息、指纹信息，或人脸信息、虹膜信息，或虹膜信息、指纹信息，或选择人脸信息、指纹信息、虹膜信息进行认证。
在一个实施例中，还可认证生物体的其他特征信息，如指静脉、掌纹、声纹等。
本系统的身份注册装置和身份认证装置用于单一或多种生物特征信息以及证件信息的采集和认证，并拥有多种认证方式，将有效提升生物识别系统的灵活性、识别率，同时结合证件信息，实现对出入境人员特别是篡改证件信息或某种生物特征的犯罪或可疑人员的有效身份鉴别。
本系统中的身份注册装置和身份认证装置中，为了防止客户端采集的生物特征信息和证件信息在进行网络传输时被窃听从而发生泄密，通信信道采用vpn专用网络进行加密通讯；为了防止信息在进行网络传输时部分丢失或被篡改，系统使用哈西算法进行数据完整性校验，增强了传输数据的防篡改性,也实现了数据完整性认证，给服务器端认证的准确性提供保障。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定，对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。
- 还没有人留言评论。精彩留言会获得点赞！