用于多模态生物特征识别的方法、装置及系统与流程

本发明涉及计算机数据处理技术，具体地，涉及一种用于多模态生物特征识别的方法、装置及系统。

背景技术：

生物特征是人体天然携带的信息，与传统的密码、身份信息相比，具有唯一性、稳定性、防伪性、不可抵赖性。所谓唯一性，指任何两个人该特征都是不同的；所谓稳定性，指该特征在一段时间内，不会随条件的变化而变化；所谓防伪性，指这个生物特征无法被恶意假冒；所谓不可抵赖性，指该生物特征是可以作为唯一标示识别出对应的用户，具有不可抵赖性。

目前，用于身份识别的人体生物特征有人脸、掌纹、虹膜、指纹、dna(脱氧核糖核酸)等，行为特征有步态、签名等。在实际应用的过程中，单独一种生物特征的使用在不同程度上遇到以下的问题困扰：

1.噪声

传感器在实际应用中，由于物理缺陷或其他的外部因素干扰，采集到的数据会产生部分噪声，从而影响到身份认证的准确性。例如：光照条件影响得到人脸图像会有影响。

2.非普遍适用性

一些个体无法提供特定的生物特征。例如，失去双手的残疾人无法提供指纹信息。

3.安全性

生物特征容易被窃取，如利用人脸的相片可以骗过基于人脸的生物特征识别系统。

4.类间相似

对用户数量比较庞大的生物特征识别系统，不同的用户在生物特征之间可能有一定的重叠，例如有些双胞胎的人脸信息是非常类似的。

5.类内变化

随着时间的推移，用户的生物特征可能产生部分变化，如小孩子长大后声纹信息发送了变化，因此其生物识别产生差异，影响系统性能。

可见，目前的单独一种生物特征的使用具有一定局限性。

技术实现要素：

鉴于现有技术的上述缺陷，各种不同实施方式提供了一种用于多模态生物特征识别的方法、装置及系统。

根据一种实施方式提供的用于多模态生物特征识别的方法可以包括，但不限于：

针对输入的不同类型生物特征分别进行单模态识别；

将不同类型生物特征的单模态识别结果进行融合计算得到多模态识别结果。

根据另一种实施方式提供的用于多模态生物特征识别的装置可以包括，但不限于：

单模态识别模块，用于针对输入的不同类型生物特征分别进行单模态识别；

融合计算模块，用于将不同类型生物特征的单模态识别结果进行融合计算得到多模态识别结果。

根据另一种实施方式提供的用于多模态生物特征识别的系统至少可以包括：

一个或多个处理器；

存储器，所述存储器中存储有一个或多个程序，所述一个或多个程序被所述一个或多个处理器执行时本文各实施方式所述的方法中的操作。

根据各种不同实施方式，在多模态生物识别场景下，多种生物特征融合构成用户的生物特征数据立方体，更加全面的描述客户的生物特征信息，避免单一识别算法的场景局限性。

具体而言，多模态生物特征识别有以下三个优点：

1.系统可靠性更高，通过对不同类型的数据进行融合可以提高系统的性能和容错能力、减少噪声等不确定因素的影响，达到更高的准确率。

2.系统适用性更广，使用多模态生物特征识别，可以使身份识别系统适用于更广泛的人群。

3.系统安全性更强，伪造多个身份特征比伪造一个生物特征的难度提高了，因此系统更加安全。

附图说明

图1是示出了根据一种实施方式的用于多模态生物特征识别的方法的流程图；

图2是示出了根据另一种实施方式的用于多模态生物特征识别的方法的流程图；

图3示出了根据又一种实施方式的用于多模态生物特征识别的方法的流程图；

图4示出了根据一种实施方式的用于多模态生物特征识别的装置的示意性框图；

图5示出了根据各种实施方式的多模态生物特征识别复合模型。

具体实施方式

为了便于理解本发明技术方案的各个方面、特征以及优点，下面结合附图对本发明进行具体描述。应当理解，下述的各种实施方式只用于举例说明，而非用于限制本发明的保护范围。

根据一种实施方式，如图1所示，本实施方式提供的用于多模态生物特征识别的方法可以包括：

s101.针对输入的不同类型生物特征分别进行单模态识别；所述不同类型生物特征包括dna、指纹、虹膜、人脸、视网膜、指静脉、耳型、声纹、掌形等中的一种或多种。

s103.将不同类型生物特征的单模态识别结果进行融合计算得到多模态识别结果。

根据本实施方式，通过将多种生物特征融合构成用户的生物特征数据立方体，更加全面的描述客户的生物特征信息，避免单一识别算法的场景局限性。

举个例子，采用声纹识别和指纹识别相结合，避免单独声纹识别场景中背景音嘈杂，或者指纹识别场景中指纹不清晰等偶然情况，通过设置适当的组合计算方式，其识别准确率大大提高。

在可选实施方式中，处理s101可以包括针对所述不同类型生物特征的训练元组进行有放回抽样得到所述不同类型生物特征各自的训练集，将所述不同类型生物特征各自的训练集放入各自的生物特征识别的算法模型进行分类，以得到所述不同类型生物特征各自的单模态识别结果。进一步地，处理s103可以包括针对所述不同类型生物特征，计算所述分类的错误分类率；根据所述不同类型生物特征各自的错误分类率计算所述不同类型生物特征各自的权重；根据所述不同类型生物特征各自的单模态识别结果和各自的权重进行融合计算得到多模态识别结果。

根据另一种实施方式，如图2所示，该实施方式提供的用于多模态生物特征识别的方法可以包括：

s201.针对所述不同类型生物特征的训练元组进行有放回抽样得到所述不同类型生物特征各自的训练集；

s203.将所述不同类型生物特征各自的训练集放入各自的生物特征识别的算法模型进行分类，以得到所述不同类型生物特征各自的单模态识别结果；

s205.将不同类型生物特征的单模态识别结果进行融合计算得到多模态识别结果。

同样地，根据本实施方式，通过将多种生物特征融合构成用户的生物特征数据立方体，更加全面的描述客户的生物特征信息，避免单一识别算法的场景局限性。

根据又一种实施方式，如图3所示，该实施方式提供的用于多模态生物特征识别的方法可以包括：

s302.针对所述不同类型生物特征的训练元组进行有放回抽样得到所述不同类型生物特征各自的训练集；

s304.将所述不同类型生物特征各自的训练集放入各自的生物特征识别的算法模型进行分类，以得到所述不同类型生物特征各自的单模态识别结果；

s306.针对所述不同类型生物特征，计算所述分类的错误分类率；

s308.根据所述不同类型生物特征各自的错误分类率计算所述不同类型生物特征各自的权重，例如，可以按照下述公式计算所述权重：

其中，wi表示第i类生物特征的权重，error(mi)表示错误分类率，i为自然数。

s310.根据所述不同类型生物特征各自的单模态识别结果和各自的权重进行融合计算得到多模态识别结果，例如，可以按照下述公式进行所述融合计算：

其中，r表示多模态识别结果，ri表示第i类生物特征的单模态识别结果，k表示所述不同类型生物特征的类型数，i为1到k的自然数。

本领域技术人员应当理解，在上述实施方式中，用于多模态生物特征识别的方法的各个处理、操作虽然是按照一定顺序进行描述，但是，所述各处理、操作不一定必须按照上述顺序执行。

下面描述根据一种实施方式的用于多模态生物特征识别的装置。

如图4所示，用于多模态生物特征识别的装置包括但不限于：

单模态识别模块410，用于针对输入的不同类型生物特征分别进行单模态识别；

融合计算模块420，用于将不同类型生物特征的单模态识别结果进行融合计算得到多模态识别结果。

在另一实施方式中，所述单模态识别模块410针对输入的不同类型生物特征分别进行单模态识别可以包括：

针对所述不同类型生物特征的训练元组进行有放回抽样得到所述不同类型生物特征各自的训练集；

将所述不同类型生物特征各自的训练集放入各自的生物特征识别的算法模型进行分类，以得到所述不同类型生物特征各自的单模态识别结果。

可选地，所述融合计算模块420将不同类型生物特征的单模态识别结果进行融合计算得到多模态识别结果可以包括：

针对所述不同类型生物特征，计算所述分类的错误分类率；

根据所述不同类型生物特征各自的错误分类率计算所述不同类型生物特征各自的权重；

根据所述不同类型生物特征各自的单模态识别结果和各自的权重进行融合计算得到多模态识别结果。

根据各实施方式所述的用于多模态生物特征识别的装置，通过将多种生物特征融合构成用户的生物特征数据立方体，更加全面的描述客户的生物特征信息，避免单一识别算法的场景局限性。

下面结合具体示例对本发明的技术方案进行详细说明。

根据上述各种实施方式可知，本发明的实现方法在多模态生物识别的结果反馈，多模态生物识别过程是基于多个单模态的识别结果计算的复合模型，如图5所示。例如，首先，对于输入的不同类型生物特征分别进行单模态识别，将单模态生物识别的相似度反馈为一个百分制的数字；其次，将上述相似度进行结果融合计算；最后，计算出一个多模态识别相似度。单模态的识别过程可以分配到不同的cpu(中央处理单元)上，因此，多模态生物识别过程是可以并行的。

如图5所示，对单一客户采集其生物信息数据d(d1,d2,d3,…)，其中di分别代表某一种生物特征，如d1代表人脸，d2代表声纹，d3代表指纹，d4代表虹膜，d5代表指静脉等。这些生物特征分别通过对应的单模态生物特征识别模型m1、m2、m3、m4、m5进行识别，得到相似度r1、r2、r3…，相似度可以是一个1-100的分值。上述相似度通过结果融合模型mmix进行结果融合，最后得到相似度r，在通过阈值进行判断识别结果。对于融合模型mmix的算法，例如，可以采用下述方式。

给定数据集d，它包含2个类标记的元组，其中是误分类n个与正确分类y个。

输入：

·d：类标记的训练元组集，假设当前有5种生物特征识别，d1代表人脸，d2代表声纹，d3代表指纹，d4代表虹膜，d5代表指静脉的训练元组.

·k：生物特征的类型数，k＝5

·mi：生物特征识别的算法模型，其中m1代表人脸，m2代表声纹，m3代表指纹，m4代表虹膜，m5代表指静脉算法模型

输出：一个多模态复合模型

方法：

获取每个算法模型的错误率

(1)将d中其中d1代表人脸，d2代表声纹，d3代表指纹，d4代表虹膜，d5代表指静脉的训练元组的每个元组的权重初始化为1/2；

(2)fori＝1tokdo

(3)针对人脸、声纹、指纹、虹膜、指静脉的训练元组进行有放回抽样得到di；

(4)使用训练集di放入模型mi进行分类，得到ri；该模型mi为各个生物特征识别的算法模型,ri是一个1～100分数，表示识别结果；

(5)利用算法模型mi分类后，计算mi的错误分类率，如下：

其中误分类n个与正确分类y个；

(6)endfor

使用组合分类器对待测试生物特征元组x进行分类：

(1)将每个类的权重初始化为0；

(2)fori＝1tokdo

(3)每个生物特征的分数权重如下：

(4)测试出每个生物特征识别算法的分数ri＝mi(x)；

(5)将wi加到ri的权重

(6)endfor

(7)

在所述实施方式中，通过5种生物特征进行识别，基于这样的识别方法可以获得如下优点：

1.系统可靠性更高，通过对不同类型的数据进行融合可以提高系统的性能和容错能力、减少噪声等不确定因素的影响，达到更高的准确率。

2.系统适用性更广，使用多模态生物特征识别，可以使身份识别系统适用于更广泛的人群。

3.系统安全性更强，伪造多个身份特征比伪造一个生物特征的难度提高了，因此系统更加安全。

此外，各种实施方式还提供了一种用于多模态生物特征识别的系统，所述系统可以包括：

一个或多个处理器；

存储器，所述存储器中存储有一个或多个程序；

所述一个或多个处理器执行所述一个或多个程序时进行如下操作：

针对输入的不同类型生物特征分别进行单模态识别；

将不同类型生物特征的单模态识别结果进行融合计算得到多模态识别结果。

根据另一实施方式，所述一个或多个处理器执行所述一个或多个程序时进行如下操作：

针对所述不同类型生物特征的训练元组进行有放回抽样得到所述不同类型生物特征各自的训练集；

将所述不同类型生物特征各自的训练集放入各自的生物特征识别的算法模型进行分类，以得到所述不同类型生物特征各自的单模态识别结果。

根据另一实施方式，所述一个或多个处理器执行所述一个或多个程序时进行如下操作：

针对所述不同类型生物特征，计算所述分类的错误分类率；

根据所述不同类型生物特征各自的错误分类率计算所述不同类型生物特征各自的权重；

根据所述不同类型生物特征各自的单模态识别结果和各自的权重进行融合计算得到多模态识别结果。

其中，按照下述公式计算所述权重：

其中，wi表示第i类生物特征的权重，error(mi)表示错误分类率，i为自然数。

其中，按照下述公式进行所述融合计算：

其中，r表示多模态识别结果，ri表示第i类生物特征的单模态识别结果，k表示所述不同类型生物特征的类型数，i为1到k的自然数。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件结合硬件平台的方式来实现。基于这样的理解，本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。本领技术人员应当理解，以上所公开的仅为本发明的实施方式而已，当然不能以此来限定本发明之权利范围，依本发明实施方式所作的等同变化，仍属本发明权利要求所涵盖的范围。