专利名称：融合人脸和指纹视觉信息的协同性别识别方法
技术领域：
本发明涉及性别识别方法，具体涉及一种融合人脸和指纹视觉信息的协同性别识别方法。
背景技术：
近年来，性别识别逐渐吸引了计算机视觉和模式识别领域中越来越多的研究者的关注。生理学家和疑犯鉴别专家主要通过人类的生理特征来进行性别识别，其中，人脸的视觉信息是他们最常用的生理特征。目前，现有的许多方法也主要利用人脸信息来进行性别识别，通常，这些方法都是基于人脸的全局特征(如原始像素)和判别分类算法(如SVM， Boosting)。指纹的视觉信息也被广泛地应用于性别识别。与人脸相比，由于指纹采集设备的特殊的传感器结构，指纹对光照和姿态变化具有更强的鲁棒性，因此，使用指纹进行性别识别相对简单且鲁棒性好。然而，在以前的使用指纹进行性别识别的方法中，研究者们都利用指纹的某种具体特征来进行性别识别，如脊的密度、脊线数、脊和谷的宽度、手指大小，以及白线数等。与人脸特征相比，指纹的这些特征通常比较难提取并且缺乏判别能力。除人脸和指纹外，其他生物特征的视觉信息也被广泛地应用于性别识别，如手的形状、脚的形状、牙齿、步态以及体型等。值得注意的是，融合不同的生物特征对提高性别识别的性能是非常有益的，这一事实已经得到证实。Sian等人在特征层(Feature Level)通过典型相关分析(Canonical Correlation Analysis)融合人脸和步态来进行性别识别，其识别性能得到了显著提高。^iang等人通过融合人脸和多视角步态(Multi-view Gait)来进行性别识别。Sian等人和^iang等人都使用SVM进行分类。在生物特征的视觉信息提取方面，Jain和I^atr通过融合提取的人脸和指纹信息来进行身份识别，并且，他们使用的人脸一指纹对不是来自同一个人的，而是在如下假设下随便组合的，即假设同一个人的人脸图像和指纹在统计上是相互独立的。本发明应用了一个包含来自一个人的人脸和相关指纹的大型数据库，该数据库是国际上迄今为止第一个包含同一个人的指纹和人脸图像的数据库。
发明内容
本发明的目的在于对越来越被关注的性别识别问题，提出一种新的融合人脸和指纹信息的性别识别方法。该方法能获得有鲁棒性和很强识别能力的能够用于性别识别的特征表示。为实现上述目的，本发明设计了一种新的用于创建视觉词来加强图像表示的识别能力的监督方法。使用该方法得到的视觉词消除了图像特征表达中冗余的特征维度，加强了对性别分类有帮助的维度，从而极大的加强了最终得到的图像特征表达的分类能力。进一步地，这种图像特征表示可以自然的潜入到一个生成框架Latent Dirichlet Allocation(LDA)中，用来进行性别识别。目标的性别通过不同的由一组视觉词组成的潜在研究对象的结合决定。本方法对于男性和女性的类别都进行了生成模型的训练。一般的LDA方法单独作用于每个类别，而不利用类之间的联系。本方法利用类之间的联系来加强提出模型的识别能力，通过最大化类之间的组间距来实现。最后，在决策层，通过融合不同模态下得到的性别估计来获得最终的识别结果。根据本发明的一个方面，提供一种融合人脸和指纹视觉信息的协同性别识别方法，其特征在于，包括如下步骤
步骤A 基于词袋模型的图像特征表示步骤，其包括通过常规的图像网格获得图像块； 通过在每个所述图像块中提取局特征获得特征集，使用训练样本中的男性和女性类别间决策超平面来得到标准向量，其中，所述标准向量的每个成分用来测量相关特征用于分类的贡献；重新按照所述贡献对特征的维数进行重新排列并得到新的特征；重新得到图像的词袋模型；
步骤B 使用识别性潜在狄利克雷分布(D-LDA)的性别识别针对人脸和指纹两种模态分别建立模型并进行模型推断得到模型参数，其中，所述模型推断步骤包括对所述词袋模型最大的下界进行估计；将分类间距最大化；
步骤C 性别决策融合步骤，其包括针对给出的样本，分别得到两种模态的标签；建立融合两种模态的综合风险函数，最终的决策通过最小化综合决策风险来得到。优选地，所述步骤A包括如下步骤
步骤Al 对图像的每个所述图像块提取局部二值模式可以得到局部特征，并得到区分训练样本集中男性和女性的决策超平面的法向量；
步骤A2:根据所述法向量中的元素大小，重新排列图像全局特征的维度，从而得到新的图像特征，在此基础上，重新构造图像的视觉词集；
步骤A3:在得到所述视觉词集之后，通过规则的词袋模型(Bag-of -Words Model)得到最终的图像特征表达。优选地，所述步骤B包括如下步骤
步骤Bl 对性别和指纹两种形式的男性和女性分别建立潜在狄利克雷分布的生成式模型所描述的后验概率模型；
步骤B2 使用变分推断对所述步骤Bl中所描述的后验概率模型，由KL发散原理进行推断；
步骤B3 通过最大化模型对数似然概率的下界和类间最大分类阈值训练模型，得到所建立的各个模型的参数。优选地，所述步骤C包括如下步骤
步骤Cl 对每个带有提取视觉词的测试样本，对两种性别和指纹两种模式的似然函数计算，通过变分推断分别得到两种模式的类别标签；
步骤C2 定义模式的决策值，建立对性别和指纹模式的融合的决策贝叶斯风险函数 步骤C3 通过最小化融合风险函数，得到最终的决策。本发明相对于现有的性别识别方法的显著效果在于，同时应用同一样本的人脸和指纹，并将两者融合来进行性别识别。本方法具有很好的鲁棒性和区别能力，并在包含同一个人的人脸和指纹的大型的数据库进行验证，结果表明本方法能够很好地完成性别识别工作，能够应用于性别识别的各个方面。
图1为根据本发明提供的性别识别方法的流程图2为在所有训练样本上分别由决策超平面的法向量生成的指纹图像； 图3为识别性潜在狄利克雷分布的模型的图形表示和参考模型示意图； 图4为在所有训练样本上分别由决策超平面的法向量生成的人脸图像。
具体实施例方式以下结合附图以及实施例对本发明的技术方案作进一步详细说明。以下实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和过程，但本发明的保护范围不限于下述的实施例。在本发明的一个实施例中，根据本发明提供的性别识别方法的流程图如图1所示，本实施例具体实施包括如下步骤
步骤A 基于词袋模型的图像特征表示
假设图像为J图像块集为
则对每个图像块提取局部二值模式(Local Binary I^attern，LBP)可以得到局部特
ffisft^ ,其中F/l O孤。图像j的全局特征可表示为JTiDJfIi，…Jf 了，其中，M m H
双表示训练样本的总数。通过线性支持向量机，可以得到区分训练样本集中男性和女性的决策超平面的法向量 ο為UfJ ,其中，支持向量& (ID /□ J , F表示支持向量的个数)和$通过优化下面的目标函数得到，即
权利要求
1.一种融合人脸和指纹视觉信息的协同性别识别方法，其特征在于，包括如下步骤 步骤A 基于词袋模型的图像特征表示步骤，其包括通过常规的图像网格获得图像块；通过在每个所述图像块中提取局特征获得特征集，使用训练样本中的男性和女性类别间决策超平面来得到标准向量，其中，所述标准向量的每个成分用来测量相关特征用于分类的贡献；重新按照所述贡献对特征的维数进行重新排列并得到新的特征；重新得到图像的词袋模型；步骤B 使用识别性潜在狄利克雷分布的性别识别针对人脸和指纹两种模态分别建立模型并进行模型推断得到模型参数，其中，所述模型推断步骤包括对所述词袋模型最大的下界进行估计；将分类间距最大化；步骤C 性别决策融合步骤，其包括针对给出的样本，分别得到两种模态的标签；建立融合两种模态的综合风险函数，最终的决策通过最小化综合决策风险来得到。
2.根据权利要求1所述的融合人脸和指纹视觉信息的协同性别识别方法，其特征在于，所述步骤A包括如下步骤步骤Al 对图像的每个所述图像块提取局部二值模式可以得到局部特征，并得到区分训练样本集中男性和女性的决策超平面的法向量；步骤A2:根据所述法向量中的元素大小，重新排列图像全局特征的维度，从而得到新的图像特征，在此基础上，重新构造图像的视觉词集；步骤A3:在得到所述视觉词集之后，通过规则的词袋模型就可以得到最终的图像特征表达。
3.根据权利要求1所述的融合人脸和指纹视觉信息的协同性别识别方法，其特征在于，所述步骤B包括如下步骤步骤Bl 对性别和指纹两种形式的男性和女性分别建立潜在狄利克雷分布的生成式模型所描述的后验概率模型；步骤B2 使用变分推断对所述步骤Bl中所描述的后验概率模型，由KL发散原理进行推断；步骤B3 通过最大化模型对数似然概率的下界和类间最大分类阈值训练模型，得到所建立的各个模型的参数。
4.根据权利要求1所述的融合人脸和指纹视觉信息的协同性别识别方法，其特征在于，所述步骤C包括如下步骤步骤Cl 对每个带有提取视觉词的测试样本，对两种性别和指纹两种模式的似然函数计算，通过变分推断分别得到两种模式的类别标签；步骤C2 定义模式的决策值，建立对性别和指纹模式的融合的决策贝叶斯风险函数 步骤C3 通过最小化融合风险函数，得到最终的决策。
全文摘要
本发明涉及一种利用机器视觉和模式识别技术，基于人脸和指纹的性别识别方法。具体方法如下1)基于词袋模型来表示图像特征，提出一种新的创建视觉词的监督方法，消除冗余的特征维数，加强了对性别分类有帮助的维度；2)提出改进的LDA模型，将分类间距最大化，来加强整个模型的识别能力；3)将人脸和指纹两种可视化形态的决策融合，分别训练模型，最终的决策通过最小化决策风险来得到。本方法具有很好的鲁棒性和区别能力，并在包含同一个人的人脸和指纹的大型的数据库进行验证，结果表明本方法能够很好的完成性别识别工作，能够应用于性别识别的各个方面。
文档编号A61B10/00GK102266241SQ20111022383
公开日2011年12月7日 申请日期2011年8月5日 优先权日2011年8月5日
发明者刘欢喜, 吴哲, 朱俊, 李雄, 赵杰 申请人:上海交通大学