专利名称：指纹与指静脉双模态识别决策级融合法的制作方法
技术领域：
本发明属于模式识别技术领域，具体涉及指纹识别、手指静脉识别及其决策级融 合的方法。
背景技术：
多模态生物特征识别技术是一种集成多种或多个生物特征源提供的证据得分以 做出更为准确和快速的决策。多模态生物特征识别技术的应用弥补了单种生物特征认证不 稳定、错误率较高等缺点。该方面的研究始于1995年，Brunelli和Falavigna提出基于语 音与人脸特征的双模态生物特征识别系统，取得了较好的效果；1996年，Maes第一次实现 了一个结合了生物特征(指纹)和非生物特征(密码)的系统；1997年，Bigim提出了一种 用贝叶斯方法在决策层次上整合了不同的生物特征；1999年，Lin Hong,Anil Jain等从理 论上定量地证明了多模态生物特征认证系统相对于单生物特征认证系统在实现效率上的 提高且Jain教授成功研制了综合了指纹，人脸，手掌的多模态识别系统。Ben-Yacoub选取 人脸信息和声音信息构建融合系统。FengG等提出了对人脸和掌纹融合的策略。近十年出 现了大量的多模态生物特征识别相关论文，大多都是基于指纹、人脸、声纹、掌纹等的融合 策略。至今未见成型的基于指纹与手指静脉的多模态识别系统，现有研究停留在理论 上。与本发明相关的公开文献主要包括[1]李昊，傅曦.精通Visual C++指纹模式识别系统算法及实现[M].北京人民 邮电出版社，2008 88-93 ；[2]Comparing Images Using the Hausdorff Distance, IEEE trans.on PatternAnalysis and Machine Intelligence,1993 ；[3]Dubuisson, M. P. , and Jain, A. K. :A modified Hausdorff distance for objectmatching. Proc. 12th Int. Conf.on Pattern recognition, Jerusalem, Israel, 1994，pp.566-568。
发明内容
本发明的目的在于提供一种使用价值高、可靠性强的指纹与指静脉双模态识别决 策级融合法。本发明的目的是这样实现的包括指纹模块与静脉模块两个模块；指纹模块与静脉模块读取指纹图像与静脉图 像；对读取的指纹与手指静脉图像依据各自图像的特点进行图像质量评价，得出质量分数； 指纹图像与静脉图像分别进行预处理后进行识别，其中指纹识别采用基于细节点匹配的方 法，静脉识别使用改进的Hausdorff距离进行手指静脉识别，得到各自的识别结果；最后根 据这两种模态的图像质量分数设计权重，将二者的识别结果进行决策级融合，得到最终识别结果。所述的决策级的融合方法，是在得到指纹与指静脉的图像质量评价分数及识别结 果后，根据这两种模态的图像质量分数设计权值，以此确定指纹模块与指静脉模块的识别 结果在最终的融合结果中所占的比例，即最后的融合结果由上述识别结果与识别结果所占 的权重共同决定。所述的手指静脉图像质量分数，是采用手指静脉图像的对比度、有效区域大小以 及图像位置的偏移四个方面来综合评价静脉图像的质量，将得到的几种质量分数按一定权 值累加起来以求得图像最终的质量分数该质量分数用于后续识别的权重设计。本发明的主要贡献和特点在于本发明为待识别图像质量对识别精度影响较大的 问题提出新的解决思路，对待融合的指纹与手指静脉图像均进行客观合理的质量评价，有 效地改善了图像质量差所带来的影响，有助于低质量的图像的识别，使识别结果更加可靠。 实验结果表明，本发明基于融合后系统的性能优于单一的指纹识别或手指静脉识别系统， 具有很强的实用性。
图1基于图像质量评价的指纹与手指静脉双模态系统的决策级融合的模块组成；图2实验数据库中的部分指纹与指静脉图像；图3多模态系统单样本认证的指纹和手指静脉示例图像组；图4的表1是三种识别方式的1 1认证结果；图5的表2是三种识别方式的1 N识别结果。
具体实施例方式下面结合附图举例对本发明做更详细地描述1图像质量评价 首先对静脉及指纹图像进行质量评价。1. 1手指静脉图像的质量评价通过对大量手指静脉图像的实验分析得出，影响静脉图像的主要因素为1)图 像有效区域大小静脉图像的有效面积越大，则包含的信息量越多，图像质量越好；2)图 像位置偏移度采集时手指太偏会造成图像信息量较少，计算误差较大，从而拒真率较高； 3)图像对比度在静脉图像采集过程中，光偏暗会造成图像整体偏暗，图像对比度较小，反 之则会造成图像整体偏亮，严重时造成血管消失，不利于静脉纹路的提取；4)图像模糊度 若图像过于模糊会使得静脉血管与背景之间的差别较小，从而影响后续的增强、分割等操 作.因此本发明从以上角度综合评价指静脉图像质量，并将这几个质量分数按一定权值累 加，得到最终的指静脉图像质量分数。(1)面积质量分数静脉图像有效面积是指图像前景区域的面积，所以本文的面积质量分数S1由静脉 图像前景区域总面积Sf占图像总面积St的比率来确定.由于指静脉图像的背景区域几乎 为黑色，其平均灰度值较小，而前景区域的平均灰度相对较大，因此，可将原始图像分块，此 处取块大小为4X4像素，根据每块的平均灰度来判别该块是否为前景区域，并将前景区域面积累加得到SF。若前景区域面积Sf超过整个图像面积St的3/4，则S1为满分.质量分数 S1具体计算方法如下 (2)位置偏移质量分数位置偏移量是指静脉图像前景区域的质心相对于整幅图像几何中心的偏移量，包 括水平偏移量和垂直偏移量两个参数，从而偏移质量分数S2由水平偏移分数Phs和垂直偏 移分数Pvs综合确定。首先求得前景区域质心坐标为 其中，Xi表示图像区域I中第i个像素的横坐标，Yj表示图像区域中第j个元素 的纵坐标，N表示图像区域I的像素点总数。水平偏移分数Phs和垂直偏移分数Pvs计算方法如下 其中Ix为图像几何中心的横坐标，Iy为图像几何中心的纵坐标t则偏移质量分数S2为 (3)对比度质量分数对比度是指图像灰度差异的大小，用图像的均方差来表示
式中，C为图像均方差，Xi代表一个像素点的灰度值，xM为图像灰度的平均值，N为 图像中的像素的总个数。则对比度质量分数S3为S3=^-XlOO(8)其中，C为所求对比度值，Cv为标准对比度值，即使静脉识别系统对该类图像的处 理性能达到最佳的值。通过对大量的指静脉图像分析得出，Cv的值在40左右时，系统的综 合性能最好.若最后求得S3的值大于100，则令其值为100。(4)模糊度质量分数
若静脉图像比较模糊，其纹路方向的均值与非纹路方向的均值比较接近，则求得 的均值差值不大，而图像纹路清晰，黑白比较分明，则求得的均值差值相对较大。根据上述分析，首先将图像前景区域分成4X4像素大小的块，对每个图像块计算 其纹路方向与非纹路方向的均值的差值，若该差值小于给定阈值，则该块为模糊块，统计所 有模糊块的总面积SM，然后根据Sm占图像前景区域总面积Sf的比率来确定图像的模糊度质 量分数S4 在得到这四个参数后，对指静脉图像进行综合评价质量分数5“1 = 1,2,3,4)越 低，则其权重越大，对总分影响也越大，且其权重与其它三项的总的质量分数也是相关的， 这样的设计原则使得评分更为准确.综上所述，本发明静脉总质量分数Svein为 1.2指纹图像质量评价根据指纹图像采集的特点，通常影响指纹图像质量的因素主要有以下几个方面 (1)若指纹按得太轻会使采集到的图像面积过小，导致能够提取的指纹信息量减少；(2)而 手指按得太偏造成采集的特征点数目减少而影响后续的处理；(3)手指过干使得图像中的 脊线连续不好；而手指过湿则使得图像脊谷边界不清晰；(4)指纹不够清洁、指纹龟裂等因 素，容易造成部分区域纹线模糊不清，影响图像增强效果.因此指纹质量评价主要由图像 有效面积、位置偏移量、干燥度、潮湿度及模糊度五个参数组成.其中，面积质量分数、位置 偏移分数及模糊度分数按照上述静脉相应质量分数的求取方法获得。潮湿度分数和干燥度分数求取方法如下通过对大量的指纹图像综合分析得出，指纹图像潮湿区域的直方图中像素大部分 分布在低灰度区，灰度值分布在0-100之间的像素数将占总像素数的60%以上，灰度值分 布在150-255之间的像素数占总像素数的30%以下，而干燥区域情况相反。针对以上分析，鉴于背景区域与图像的干湿程度关系不大，本发明仅对前景区域 进行干燥度和潮湿度的判断。首先将前景区分成大小为4X4像素的块，再判断每块是干燥 块Sd还是潮湿块Sw并将块面积分别累加，最后计算这两个累加面积与前景面积Sf的比率 来确定干燥度分数M1和潮湿度分数M2。 M2=(I-L)XlOO(12)其中，i，j分别为干燥及潮湿块数，η为干燥块数，N为图像总块数。与静脉图像评价类似，设上面获得的5个质量分数分别为=Mi (i = 1,2,…，5)，则 指纹图像总质量分数SFingCT为 2指纹与手指静脉识别完成质量评价后，进行单独的指纹识别及指静脉识别。2. 1指纹识别基于细节点匹配的指纹识别方法(1)首先求取指纹图像的方向图，采用方向滤波方式进行图像增强，依据指纹的方 向信息即方向图来对图像进行二值化并采用基于八邻域的细化算法进行细化。(2)再对细化后的指纹图像提取出细节点即端点与分叉点和奇异点即中心点与三 角点，并采用纹路跟踪的方法去除伪特征点。(3)利用提取出的中心点和三角点进行配准，使输入图像与模板图像处于同一标准。(4)对配准后的图像进行细节点匹配操作，匹配算法的具体步骤如下1)读入模板特征点P和样本特征点P'，判断P和P'是否满足P P'。其中 P^P'，即P = P' +Δ，Δ的大小是界限盒的误差，即在匹配细节点P，P'时，对于细节 点P，如果在一定的极角和半径误差容许范围内细节点P'落在其界限盒内，且二者的方向 和类型也相符，则判定这两个细节点P，P'相匹配。2)累加分数，相似特征点个数；3)根据相似度计算公式计算匹配相似度，与合格阈值进行比较，判断匹配是否成 功。2. 2指静脉识别基于改进的Hausdorff距离的手指静脉识别方法(6)首先对原始静脉图像进行提取手指区域、直方图均衡、中值滤波、细化等操作。(7)再对细化后的图像提取出其特征点即端点和交叉点。设模板图像提取出的特 征点集为A = (ai，a2，…，am)，输入待匹配图像特征点集为B = (b1;b2，…，bn)。(8)则图像点集A，B之间的改进的Hausdorff距离(MHD距离)定义为 其中，Na为点集A中特征点的个数。MHD距离的计算由欧氏距离变换来实现，其具体定义如下Dis(p) = min(dM(p，q)，q e B)(14)其中，dM(p，q)表示特征点ρ和特征点q之间的距离，B为目标物体的元素集合。 在距离变换时我们将其定义为 为了减少计算量，将上式改写为dM(p, q) = (px-qx)2+(py2-qy2)(16)(9)根据上述距离变换公式计算出特征点集A到特征点集B的平均Hausdorff距 离DisAB及特征点集B到特征点集A的平均Hausdorff距离DisBA。(10)将DisAB与DisBA中的大者作为我们求得的相似性度量值与预设阈值进行比较，判断匹配是否成功；进行识别时则将与待识别样本不匹配程度最小的样本作为最终识 别结果。3基于图像质量分数的决策级融合方法在求得指纹图像与指静脉图像的质量分数SFingCT和Svein及指纹识别系统与指静脉 识别系统的识别结果1_ 和Ivein后，采用线性拟合的方式得到最终的识别结果。其中， Ipinger和Ivein的取值为1或0，1表示系统验证成功，0表示验证失败。融合系统的结果用I 表示，若I >0.5，则双模态识别系统验证结果成功，否则失败。由于指纹与指静脉的图像质 量的好坏程度不同，所以本发明对这两种模态的识别结果赋予不同的权重，以获得最佳的 识别结果，从而I定义为I = ω Ifinger+(I-Q)Ivein(17)为充分考虑这两种模态的图像质量对识别结果的影响，式中ω的值由指纹质量 分数SFingCT和静脉质量分数Svein综合决定 ω = 4实验结果分析为了验证本文方法的有效性，选用实验室建立的指纹指静脉双模态图像库中的图 像进行测试。该库包含300个人的指纹及指静脉图像，其中每人采集指纹图像5幅，共1500 幅，图像大小为256X300 ；采集静脉图像5幅，共1500幅，图像大小为320X240。图像库中 的指纹与指静脉图像对应ID号相同的为同一人的图像数据，本发明实验数据库中的部分 图像如图2所示。融合模块进行实验时，首先对库中样本进行单样本认证实验。此处选取两组具有 代表性的样本来展示实验结果。如图3所示第一组样本中，指纹图像质量很差而指静脉图 像质量良好，指纹识别为失败，即IfingCT = 0，手指静脉识别结果为成功，即Irein = 1，由于指 纹图像质量低于静脉图像质量，即SFingCT < Svein，从而I > 0. 5，即最终的多模态系统的结果 为通过；第二组样本中，指纹图像质量较好而指静脉图像质量较差，指纹识别结果为IfingCT =1，手指静脉识别结果为Irein = 0，且指纹图像质量高于静脉图像质量SFingCT > Svein,即I > 0. 5，融合后的多模态识别系统结果也为通过。由此可见，融合后的系统能克服单一的指 纹识别和指静脉识别中由于图像质量过差而造成的认证失败现象，从而验证了多模态识别 方法能克服单模态生物特征识别方法的局限性。为了比较指纹识别、静脉识别及本文融合方法的性能，这里分别对这三种识别方 式进行1 1认证实验及1 N识别实验。实验时从每个人的5幅指纹图像中，任选一幅 作为待识别样本构成验证库，其余4幅构成模板库；静脉识别及融合识别以同样的方式构 成验证库与模板库，实验结果如表1及表2所示。从指纹识别及指静脉识别的实验结果可以得出，本文所采用的指纹及指静脉识别 算法能够较好地对大多数图像实现匹配、识别，但对少数图像质量过差的图像，其识别效果 并不理想.对于少数质量过差的指纹图像，其增强后的纹线结构不清晰，使得特征提取环 节出现大量的伪特征点，进而影响到最后的识别；而对于平移及曝光比较严重的静脉图像，其进行特征提取则会造成特征提取后的特征点间的相对位移较大，同样不利于后续匹配、 识别，从而证明了采用图像质量评价算法的必要性。实验结果表明，本方法有效地弥补了单 一模态识别系统的不足，其识别率优于利用单一的指纹识别或手指静脉识别，且拒识率低 于单一的生物特征识别技术，融合系统整体的性能好于单一的指纹识别和手指静脉识别， 效果十分理想。
权利要求
一种指纹与指静脉双模态识别决策级融合法，包括指纹模块与静脉模块两个模块；其特征是指纹模块与静脉模块读取指纹图像与静脉图像；对读取的指纹与手指静脉图像依据各自图像的特点进行图像质量评价，得出质量分数；指纹图像与静脉图像分别进行预处理后进行识别，其中指纹识别采用基于细节点匹配的方法，静脉识别使用改进的Hausdorff距离方式进行识别，得到各自的识别结果；最后根据这两种模态的图像质量分数设计权重，根据这个权重将二者的识别结果进行决策级融合，得到最终识别结果。
2.根据权利要求1所述的指纹与指静脉双模态识别决策级融合法，其特征是静脉图 像的质量评价方法包括面积质量分数、位置偏移质量分数、对比度质量分数和模糊度质量 分数的计算，具体方法为(1)面积质量分数的计算方法面积质量分数S1由静脉图像前景区域总面积Sf占图像总面积St的比率来确定，将原 始图像分块，块大小为4X4像素，根据每块的平均灰度来判别该块是否为前景区域，并将 前景区域面积累加得到Sf，若前景区域面积Sf超过整个图像面积St的3/4，则S1为满分，质 量分数S1具体计算方法如下 (2)位置偏移质量分数的计算方法位置偏移量质量分数S2由水平偏移分数Phs和垂直偏移分数Pvs综合确定，首先求得前 景区域质心坐标为 其中，Xi表示图像区域I中第i个像素的横坐标，Yi表示图像区域中第j个元素的纵 坐标，N表示图像区域I的像素点总数；水平偏移分数Phs和垂直偏移分数Pvs计算方法如下 其中Ix为图像几何中心的横坐标，Iy为图像几何中心的纵坐标，则偏移质量分数S2为S2 = PHSXPvsAOO(3)对比度质量分数的计算方法对比度是指图像灰度差异的大小，用图像的均方差来表示式中，C为图像均方差，Xi代表一个像素点的灰度值，xM为图像灰度的平均值，N为图像 中的像素的总个数，则对比度质量分数S3为 其中，C为所求对比度值，Cv为标准对比度值，即使静脉识别系统对该类图像的处理性 能达到最佳的值；(4)模糊度质量分数的计算方法首先将图像前景区域分成4X4像素大小的块，对每个图像块计算其纹路方向与非纹 路方向的均值的差值，若该差值小于给定阈值，则该块为模糊块，统计所有模糊块的总面积 SM，然后根据Sm占图像前景区域总面积Sf的比率来确定图像的模糊度质量分数S4 在得到这四个质量分数后，对静脉图像进行综合评价质量分数3“1 = 1,2,3,4)越 低，则其权重越大，静脉总质量分数Svein为
3.根据权利要求2所述的指纹与指静脉双模态识别决策级融合法，其特征是基于改 进的HausdorfT距离的手指静脉识别方法为(1)首先对原始静脉图像进行提取手指区域、直方图均衡、中值滤波、细化等操作；(2)再对细化后的图像提取出其特征点即端点和交叉点，模板图像提取出的特征点集 为A=(ai，a2，…，am)，输入待匹配图像特征点集为B = (ai，b2，…，bn);(3)则图像点集A，B之间的改进的Hausdorff距离、即MHD距离为iyA α^Α其中，Na为点集A中特征点的个数；MHD距离的计算由欧氏距离变换来实现，其具体定义如下 其中，dM(p，q)表示特征点ρ和特征点q之间的距离，B为目标物体的元素集合，在距离 变换时 将上式改写为 (4)根据距离变换公式Dis(p) =min(dM(p,q),qe B)计算出特征点集A到特征点集 B的平均Hausdorff距离Disiffi及特征点集B到特征点集A的平均Hausdorff距离DisBA ；(5)将Disiffi与DisBA中的大者作为求得的相似性度量值与预设阈值进行比较，判断匹 配是否成功；进行识别时则将与待识别样本不匹配程度最小的样本作为最终识别结果。
4.根据权利要求3所述的指纹与指静脉双模态识别决策级融合法，其特征是决策级 融合的方法为，在求得指纹图像与指静脉图像的质量分数SFingCT和Svein及指纹识别与指静脉识别的识 别结果Ivein后，采用线性拟合的方式得到最终的识别结果；其中，1_ 和Ivein的 取值为1或0，1表示系统验证成功，0表示验证失败；融合的结果用I表示，若I >0.5，则 双模态识别验证结果成功，否则失败；其中I = ω IfingCT+(1-ω)Ι_，式中ω的值由指纹质 量分数SFingCT和静脉质量分数Svein综合决定 全文摘要
本发明提供的是一种指纹与指静脉双模态识别决策级融合法。包括指纹模块与静脉模块两个模块；指纹模块与静脉模块读取指纹图像与静脉图像；对读取的指纹与手指静脉图像依据各自图像的特点进行图像质量评价，得出质量分数；指纹图像与静脉图像分别进行预处理后进行识别，其中指纹识别采用基于细节点匹配的方法，静脉识别使用改进的Hausdorff距离方式进行识别，得到各自的识别结果；最后根据这两种模态的图像质量分数设计权重，根据这个权重将二者的识别结果进行决策级融合，得到最终识别结果。本发明基于融合后系统的性能优于单一的指纹识别或手指静脉识别系统，具有很强的实用性。
文档编号G06K9/00GK101901336SQ20101019743
公开日2010年12月1日 申请日期2010年6月11日 优先权日2010年6月11日
发明者冯伟兴, 李雪峰, 王晨晖, 王科俊, 管凤旭, 马慧 申请人:哈尔滨工程大学