专利名称：非接触式快速人手多模态信息融合识别方法
技术领域：
本发明属于生物特征身份识别技术领域，具体涉及一种非接触式手形、掌纹和手 掌静脉图像采集和多模态识别技术，也就是非接触式快速人手多模态信息融合识别方法。
背景技术：
安全可靠的个人身份认证是避免和抑制公共安全事件发生的一个重要环节，而当 今社会，银行金库巨额现金频频被盗、被冒领；防盗门难以阻挡窃贼的到访；恐怖分子持假 护照蒙骗海关以及网络窃密等事件的发生，都体现了钥匙、证件、密码作为个人身份代码， 容易被窃取、伪造和盗用，不安全，所以，公共安全迫切需要安全可靠的个人身份认证。另 外，生产生活需要安全可靠的个人身份认证，如自动考勤系统提高管理效率。生物特征信息能够唯一表示个人身份。在《2006-2020年国家中长期科学和技术 发展规划纲要》中，生物特征识别分别被列为公共安全专题和前沿技术专题中的一项重要 研究内容。起初的研究者都是专注于人类的某一种生物特征，无论是当前可用的生物特征， 例如脸像、指纹、虹膜、手形、视网膜、语音等还是目前正处于研究状态的生物特征，例如步 态、耳廓、气味、脸部温谱、手的静脉结构等以及未来可能要研究的生物特征，例如，DNA，在 出生时进行注册。但是，在开始以多模态生物特征作为研究对象来识别身份的研究之前，似 乎一直被忽略的是，人类自身区分认识或不认识的人、熟悉或不熟悉的人，并不是依靠某个 单一特征的判断，而是对多个特征进行的综合判断，与对象相处的次数越多，识别越准确， 甚至不需要观察对象的头部正面人暴露在外的特征最集中的部位。其实现有的研究和实际应用表明，无论是基于指纹、虹膜、脸像，还是基于掌纹、手 形、声音的生物特征识别技术，都已经在一些特定的或具体的领域得到了使用，并且因为其 各自独特的生物特性，在某些方面甚至表现出及其出色的性能。但是同样不可否认的是，这 些基于单一生物特征的身份识别由于各种各样因素的限制(部分是因为现有的技术条件， 部分是因为生物特征本身固有的性质)，在实际应用中都面临现实的问题，使得各种生物特 征识别技术的优点和缺点同样突出，也就使得目前的识别技术识别不够准确且效果不是很 好，且原始的识别技术需要直接接触识别设备，容易造成疾病的传播以及对人体的损害，而 且原始的识别技术识别速度慢，识别率不是很高，稳定性也较差。
发明内容
发明目的本发明提供一种非接触式快速人手多模态信息融合识别方法，其目的 是解决现有的识别技术速度慢、识别率不是很高、稳定性较差以及效果不是很好的问题。技术方案本发明是通过以下技术方案来实现的
一种非接触式快速人手多模态信息融合识别方法，其特征在于所述方法的具体步骤 如下
(1)人手图像采集；
将人手自然张开，放在摄像头前一个可变的范围内；(2)手形关键特征点定位；
对除大拇指以外的其余四个手指提取指尖及指根点；
(3)手形特征向量提取；
取每个手指指跟两侧点连线的中点作为每个手指的指跟点，然后计算它们到相应指尖 点的长度作为四个手指的绝对长度，计算各个手指绝对长度之间的相对长度，构成特征向 量；
(4)掌纹ROI区域定位与特征向量提取；
获取掌纹ROI图像区域，生成0°、45°、90°、135°四个方向的2D_Gabor滤波器组，将 尺寸和灰度归一化后的掌纹ROI图像(F)分别与4个方向的Gabor滤波器的实部&与虚 部Gi分别作卷积运算，将卷积运算后的计算结果形成0-1编码作为掌纹特征向量；
(5)设定阈值进行手形特征一次匹配，获得被选人员；
所述的进行手形特征一次匹配是用所提取的特征，计算欧式距离进行匹配，采用最近 邻分类方法分类；获得满足某个阈值下的多个被选人员；
(6)使用掌纹识别的方法对备选人员的掌纹图像进行一次匹配，给出最终判断；
根据2D-Gab0r滤波器获得的掌纹特征向量，通过匹配算法对有手形匹配后所得到的 被选人员进行最终的鉴别。“(3)”步骤中所述的相对长度为六个，分别是食指长度与中指长度；食指长度与 无名指长度；食指长度与小指长度；中指长度与无名指长度；中指长度与小指长度；无名指 长度与小指长度。“(5)”步骤中的具体操作为用手形识别的方法对待识别人员的手掌图像进行一 次匹配，得到手指相对长度的欧氏距离Mi (i=l，2，···!!)，根据手形的等误率曲线设定阈值 Thand,当MiCThand时，将Mi所对应的已注册人员姓名存入备选人员姓名数组中。所述的人手图像采集是在人手自然张开、非接触、非固定位置的采集条件下进行 的。“(2)”步骤中的所述的指尖及指根点为食指、中指、无名指和小指的四个指尖点； 食指、中指、无名指和小指之间的三个指跟点以及四个手指的指根两侧的八个点。获取掌纹ROI图像区域的具体步骤为禾Ij用食指与中指之间的指跟点和中指与无 名指之间的指跟点两点的连线及其中点垂线为坐标轴建立新的坐标系，采用相对长度L截 取方形掌纹有效区域，根据新坐标系及原坐标系之间的角度关系将图像旋转，经过缩放归 一化大小为128*128的图像。步骤“(6)”中使用掌纹识别的方法对备选人员的掌纹图像进行一次匹配，得到掌 纹图像经过2D-Gab0r方向滤波的汉明距离Hi (i=l, 2，…1)，求出最小距离Hmin，根据手形 的等误率曲线设定阈值Tpalm，当HmirKTpalm时，则匹配成功，否则待识别人员即为非注册人员。优点及效果本发明提供一种非接触式快速人手多模态信息融合识别方法，其特 征在于所述方法的具体步骤如下
(1)人手图像采集
将人手自然张开，放在摄像头前一个可变的范围内；
(2)手形关键特征点定位对除大拇指以外的其余四个手指提取指尖及指根点；
(3)手形特征向量提取
取每个手指指跟两侧点连线的中点作为每个手指的指跟点，然后计算它们到相应指尖 点的长度作为四个手指的绝对长度，计算各个手指绝对长度之间的相对长度，构成特征向
量
(4)掌纹ROI区域定位与特征向量提取
获取掌纹ROI图像区域，生成0°、45°、90°、135°四个方向的2D_Gabor滤波器组，将 尺寸和灰度归一化后的掌纹ROI图像(F)分别与4个方向的Gabor滤波器的实部&与虚 部Gi分别作卷积运算，将卷积运算后的计算结果形成0-1编码作为掌纹特征向量；
(5)设定阈值进行手形特征一次匹配，获得被选人员
所述的进行手形特征一次匹配是用所提取的特征，计算欧式距离进行匹配，采用最近 邻分类方法分类；获得满足某个阈值下的多个被选人员。(6)使用掌纹识别的方法对备选人员的掌纹图像进行一次匹配，给出最终判断； 根据2D-Gab0r滤波器获得的掌纹特征向量，通过匹配算法对有手形匹配后所得到的
被选人员进行最终的鉴别。本发明为一种多模态生物特征识别技术，多模态生物特征识别成为目前生物特征 识别研究的主要方向，本发明正是为了解决在生物特征识别的研究中遇到的困难以及在推 向实际应用的过程中面临的问题和需要而作出的自然的选择。本发明给身份识别提供了更 加丰富的特征信息，能够在提高识别准确性与可靠性的同时增加识别的鲁棒性。不仅如此， 嵌入数据融合的多生物特征识别依靠其更高的数据容量和更好的抗伪性，作为安全且可以 信任的身份等价物，将推动生物特征识别技术在社会安全方面的不断发展和应用。人手掌上的掌纹特征非常丰富，可用于身份识别的基本特征包括1)主线特征，掌 纹上的三条主线，分别称为生命线、感情线和智慧线；2)褶皱特征，指比主线细、浅的褶皱 线；3)细节点特征，指手掌上布满的和指纹一样的乳突纹；4)三角点特征，指乳突纹在手掌 上形成的三角区域的中心点。以上这些都是掌纹的基本特征，通过选择合适的方法提取出来，就可以进行身份 鉴别了。而且与其他的生物识别技术相比具有很多的特点，1)手掌区域比较大，比指纹含有 更丰富的信息；2)主线和褶皱线特征明显，可以在低分辨率的掌纹图像中提取出来；3)采 集设备简单易行，识别速度快，且成本远低于虹膜识别的采集设备；4)与手形、签名相比掌 纹特征唯一性更强、更稳定。因此，掌纹识别是一种很有发展潜力的身份识别方法
手形识别技术中手形识别系统所利用的特征为手指或手掌的三维立体形状，如长度、 宽度、厚度和手掌表面区域等。手形特征稳定性高，不易随外在环境或生理的变化而改变， 使用方便，所以广泛应可用于门禁、考勤和身份认证领域。手形识别所用的识别特征简单，装置占用空间小，可以在低分辨率图像中提取出 来，所需的计算量很小，同时，手形识别系统的用户接受率很高。如上所述，本发明考虑到掌纹和手形的生理结构，可以通过单一采集设备进行非 接触式采集，从而可以进行多生物特征识别。它的优势在于，1)与其它多生物特征识别相 比，基于人手的多生物特征识别不用进行多次采样，降低了采集设备的成本，也减少了用户 的麻烦，而且采用非接触式方式进行图像采集，将不会对身体产生伤害，包括疾病的传播，大大提高了用户的接受程度；2)与单一的生物识别技术相比，具有更丰富的生物特征信息， 将这些特征融合起来势必会提高识别率，而且稳定性和鲁棒性也会相应提高。本发明是一种使用方便的、快速的、对人体无伤害、无疾病传播、识别速度快的、能 够提高系统识别率和稳定的性的基于手形和掌纹的多模态生物特征的个人身份识别方法。 本发明的优点在于能够更好的利用手形和掌纹识别的优点，即手形识别速度快，掌纹识别 率高；克服原有技术的缺点。这样，首先通过手形识别快速的选出少数被选人员，然后再从 这少数被选人员中利用掌纹识别准确的识别出最终结果，从而有效的提高身份识别系统的 速度和识别率。
图1是本发明的方法步骤的流程框图2是本发明的手形特征点定位过程图；其中图2-1为指尖点区域粗定位图；图2-2为 指根点区域粗定位图；图2-3为曲率的计算图；图2-4为指尖点区域定位图；图2-5为指根 点区域定位图；图2-6为定位指尖点和指根点示意图；图2-7为寻找指跟内侧点过程示意 图；图2-8为四指内侧指跟点示意图；图2-9为全部指跟点示意图3是本发明的手形与掌纹特征提取示意图；其中图3-1为手形特征提取图；图3-2为 掌纹特征提取图4是本发明的手形匹配分布图和等错误率曲线图；其中图4-1为手形匹配分布图； 图4-2为等错误率曲线图5是本发明的掌纹匹配分布图和等错误率曲线图；其中图5-1是掌纹匹配分布图； 图5-2是等错误率曲线图。
具体实施例方式下面结合附图对本发明做进一步的说明
本发明提供一种非接触式快速人手多模态信息融合识别方法，其特征在于所述方法 的具体步骤如下
(1)人手图像采集；
将人手自然张开，放在摄像头前一个可变的范围内；所述的人手图像采集是在人手自 然张开、非接触、非固定位置的采集条件下进行的。(2)手形关键特征点定位；
对除大拇指以外的其余四个手指提取指尖及指根点；指尖及指根点为食指、中指、无名 指和小指的四个指尖点和它们之间的三个指跟点以及四个手指的指根两侧的八个点。(3)手形特征向量提取；
取每个手指指跟两侧点连线的中点作为每个手指的指跟点，然后计算它们到相应指尖 点的长度作为四个手指的绝对长度，计算各个手指绝对长度之间的相对长度，构成特征向 量；所述的相对长度为六个，分别是食指长度与中指长度；食指长度与无名指长度；食指长 度与小指长度；中指长度与无名指长度；中指长度与小指长度；无名指长度与小指长度。(4)掌纹ROI区域定位与特征向量提取；
获取掌纹ROI图像区域，生成0°、45°、90°、135°四个方向的2D_Gabor滤波器组， 将尺寸和灰度归一化后的掌纹ROI图像F分别与4个方向的Gabor滤波器的实部&与虚 部Gi分别作卷积运算，将卷积运算后的计算结果形成0-1编码作为掌纹特征向量；如图 3-2所示，获取掌纹ROI图像区域时，利用食指与中指之间的指跟点和中指与无名指之间的指跟点两点的连线及其中点垂线为坐标轴建立新的坐标系，采用相对长度L截取方形掌纹 有效区域，根据新坐标系及原坐标系之间的角度关系将图像旋转，经过缩放归一化大小为 128*128的图像。(5)设定阈值进行手形特征一次匹配，获得被选人员；
所述的进行手形特征一次匹配是用所提取的特征，计算欧式距离进行匹配，采用最近 邻分类方法分类；获得满足某个阈值下的多个被选人员；也就是说用手形识别的方法对待 识别人员的手掌图像进行一次匹配，得到手指相对长度的欧氏距离Mi (i=l，2，···!!)，根据 手形的等误率曲线设定阈值Thand，当MiCThand时，将Mi所对应的已注册人员姓名存入备 选人员姓名数组中。(6)使用掌纹识别的方法对备选人员的掌纹图像进行一次匹配，给出最终判断； 根据2D-Gab0r滤波器获得的掌纹特征向量，通过匹配算法对有手形匹配后所得到的
被选人员进行最终的鉴别；也就是说使用掌纹识别的方法对备选人员的掌纹图像进行一 次匹配，得到掌纹图像经过2D-Gab0r方向滤波的汉明距离Hi (i=l, 2，…1)，求出最小距离 Hmin，根据手形的等误率曲线设定阈值Tpalm，当HmirKTpalm时，则匹配成功，否则待识别 人员即为非注册人员。图1是非接触式快速人手多模态信息融合识别方法的流程图，包括人手图像采 集、手形特征点定位、手形和掌纹特征向量提取、手形特征一次粗匹配获得被选人员、掌纹 特征细匹配获得最终识别结果等步骤。其中图像采集过程使用单一背景，只需要人手自然张开，放在摄像头前一个可变 的范围内。图2是手形特征点定位过程图。具体实现步骤如下
(1)在处理后的二值图像上，根据轮廓跟踪算法从手掌图像最右端从上至下搜索第一 个轮廓点作为起始点，按逆时针方向跟踪轮廓的8邻域链码信息，记录轮廓边界点坐标。然 后，以轮廓点为中心生成半径为9像素的模板圆，计算模板圆内目标像素个数N(即手掌部 分在模板圆内的面积)来粗定位指尖点、指根点的链码区域。当N<120时，粗定位出指尖点 的链码区域，当N>150时，粗定位出指根点的链码区域。如图2 — 1、2 — 2所示。(2)在粗定位过程中，在手指上和手腕附近存在一些噪声点，对于这些噪声点，利 用噪声点在链码上前后相邻R处的两个轮廓点与该点形成的夹角ζ (s)来加以排除。曲率是用于平衡曲线弯曲程度的参数，如图2 — 3中所示，ζ (s)代表F点两侧向 量FF1和FF2之间的夹角，夹角越大表示该点的曲率越小，曲线弯曲程度越小；夹角越小，表 示该点的曲率越大，曲线弯曲程度越大。计算公式如下
权利要求
1.一种非接触式快速人手多模态信息融合识别方法，其特征在于所述方法的具体步 骤如下(1)人手图像采集；将人手自然张开，放在摄像头前一个可变的范围内；(2)手形关键特征点定位；对除大拇指以外的其余四个手指提取指尖及指根点；(3)手形特征向量提取；取每个手指指跟两侧点连线的中点作为每个手指的指跟点，然后计算它们到相应指尖 点的长度作为四个手指的绝对长度，计算各个手指绝对长度之间的相对长度，构成特征向 量；(4)掌纹ROI区域定位与特征向量提取；获取掌纹ROI图像区域，生成0°、45°、90°、135°四个方向的2D_Gabor滤波器组，将 尺寸和灰度归一化后的掌纹ROI图像(F)分别与4个方向的Gabor滤波器的实部&与虚 部Gi分别作卷积运算，将卷积运算后的计算结果形成0-1编码作为掌纹特征向量；(5)设定阈值进行手形特征一次匹配，获得被选人员；所述的进行手形特征一次匹配是用所提取的特征，计算欧式距离进行匹配，采用最近 邻分类方法分类；获得满足某个阈值下的多个被选人员；(6)使用掌纹识别的方法对备选人员的掌纹图像进行一次匹配，给出最终判断；根据2D-Gab0r滤波器获得的掌纹特征向量，通过匹配算法对有手形匹配后所得到的 被选人员进行最终的鉴别。
2.根据权利要求1所述的非接触式快速人手多模态信息融合识别方法，其特征在于 “(3)”步骤中所述的相对长度为六个，分别是食指长度与中指长度；食指长度与无名指长 度；食指长度与小指长度；中指长度与无名指长度；中指长度与小指长度；无名指长度与小 指长度。
3.根据权利要求1所述的非接触式快速人手多模态信息融合识别方法，其特征在于 “(5)”步骤中的具体操作为用手形识别的方法对待识别人员的手掌图像进行一次匹配，得 到手指相对长度的欧氏距离Mi (i=l，2，···!!)，根据手形的等误率曲线设定阈值Thand，当 MiCThand时，将Mi所对应的已注册人员姓名存入备选人员姓名数组中。
4.根据权利要求1所述的非接触式快速人手多模态信息融合识别方法，其特征在于 所述的人手图像采集是在人手自然张开、非接触、非固定位置的采集条件下进行的。
5.根据权利要求1所述的非接触式快速人手多模态信息融合识别方法，其特征在于 “(2)”步骤中的所述的指尖及指根点为食指、中指、无名指和小指的四个指尖点；食指、中 指、无名指和小指之间的三个指跟点以及四个手指的指根两侧的八个点。
6.根据权利要求1所述的非接触式快速人手多模态信息融合识别方法，其特征在于 获取掌纹ROI图像区域的具体步骤为利用食指与中指之间的指跟点和中指与无名指之间 的指跟点两点的连线及其中点垂线为坐标轴建立新的坐标系，采用相对长度L截取方形掌 纹有效区域，根据新坐标系及原坐标系之间的角度关系将图像旋转，经过缩放归一化大小 为128*128的图像。
7.根据权利要求1所述的非接触式快速人手多模态信息融合识别方法，其特征在于步骤“(6)”中使用掌纹识别的方法对备选人员的掌纹图像进行一次匹配，得到掌纹图像经 过2D-Gabor方向滤波的汉明距离Hi (i=l, 2，…1)，求出最小距离Hmin，根据手形的等误率 曲线设定阈值Tpalm，当HmirKTpalm时，则匹配成功，否则待识别人员即为非注册人员。
全文摘要
本发明提供一种非接触式快速人手多模态信息融合识别方法，其特征在于所述方法的具体步骤如下(1)人手图像采集；(2)手形关键特征点定位；(3)手形特征向量提取；(4)掌纹ROI区域定位与特征向量提取；(5)设定阈值进行手形特征一次匹配，获得被选人员；(6)使用掌纹识别的方法对备选人员的掌纹图像进行一次匹配，给出最终判断；本发明是一种使用方便的、快速的、对人体无伤害、无疾病传播、识别速度快的、能够提高系统识别率和稳定的性的基于手形和掌纹的多模态生物特征的个人身份识别方法。
文档编号G06K9/00GK102073843SQ20101053344
公开日2011年5月25日 申请日期2010年11月5日 优先权日2010年11月5日
发明者李雅红, 桑海峰, 赵云, 黄静 申请人:沈阳工业大学