一种基于图像处理的手机小面积高精度指纹识别方法及系统与流程

本发明涉及指纹识别技术领域，尤其涉及一种基于图像处理的手机小面积高精度指纹识别方法及系统。

背景技术：

随着移动互联网和智能手机的快速发展，移动支付已成为支付领域的新宠。自苹果公司于2013年将touchid集成到智能手机以来，各大互联网巨头纷纷推出指纹支付方案，例如applepay、samsungpay和支付宝钱包等。其中，基于指纹识别的移动终端用户身份认证方式应用得最为广泛。尤其是在互联网新经济、新金融的背景下，指纹识别不再局限于解锁手机这一应用场景，而是被更好地嫁接于安全支付等领域，充分体现其安全、稳定、方便、高效的优点。此外，从便捷性、用户接受度、技术成熟度等方面综合考虑，指纹识别技术相对于人脸、虹膜等其他生物特征技术也具有较大的优势。目前，指纹识别技术已经成为应用于智能手机终端最为成熟的基于生物特征的身份认证与支付交易认证技术。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：由于应用环境的特殊性，面向智能手机的指纹识别技术依然存在着一些关键问题需要解决。与传统的指纹采集仪不同，嵌入到智能手机的采集仪通常都比较小，例如苹果公司的touchid指纹采集仪仅仅6.35×6.35mm²。因此，利用智能手机内嵌的指纹采集仪采集到的指纹图像的面积通常都比较小，普遍都在80×80像素以下，一般只有正常指纹面积的30％～60％左右，所包含的细节特征点数目也较少。已有研究表明，随着指纹采集仪面积的减小，传统的基于细节点的指纹识别方法由于捕捉到的细节点过少导致的性能下降得比较厉害。我们的测试结果表明，传统的基于细节点比对的指纹比对算法在小面积指纹(80×80像素)样本库的准确率只有74.34％左右，远达不到实际应用需要。

因此，当前亟待出现一种小面积高精度指纹识别方案。

技术实现要素：

为了克服现有技术中相关产品的不足，本发明提出一种基于图像处理的手机小面积高精度指纹识别方法及系统，解决目前手机小面积的指纹识别准确率低的问题。

本发明提供了一种基于图像处理的手机小面积高精度指纹识别方法，应用于手机解锁及手机支付，包括：

在用户手指接触手机的指纹采集区域后，指纹采集区域内的指纹传感器被触发由睡眠状态进入工作状态，通过所述指纹传感器采集用户的指纹图像信息；

对所采集的指纹图像信息进行预处理得到图像数据，包括依次进行的图像分割处理、图像智能增强处理、二值化处理以及图像细化处理；

对所述预处理后的图像数据进行指纹特征信息提取；

将提取的所述指纹特征信息与指纹库内的数据进行匹配验证，并在匹配验证成功后控制所述手机解锁及手机支付。

在本发明的某些实施方式中，所述图像分割处理具体包括：分别计算所述指纹图像信息的指纹图像场，包括强度场、梯度场、方向场以及频率场；根据所述强度场和梯度场确定指纹对象，将所述指纹对象从背景部分分割出来；对所述指纹对象依次进行均衡化、收敛以及平滑处理。

在本发明的某些实施方式中，所述图像智能增强处理具体包括：根据方向场以及频率场对指纹对象进行智能增强，其中，在指纹纹线方向上，在该位置的方向场上对指纹纹线进行收敛增强，在指纹纹线的垂直方向上，在该位置频率场上对图像纹线进行震荡加强。

在本发明的某些实施方式中，所述对所述预处理后的图像数据进行指纹特征信息提取具体包括：遍历图像的每个像素点，并判断是否为特征点；若确定为特征点，则继续判断其是否满足边界阈值以及周围方向场是否变化剧烈，若满足则记录该点为特征点，若不满足则忽略，所述特征点的集合为所述指纹特征信息。

在本发明的某些实施方式中，所述将提取的所述指纹特征信息与指纹库内的数据进行匹配验证包括：将提取出的特征点装配成拓扑数据结构，并依次进行特征点以及拓扑数据结构匹配，若均符合则匹配验证成功。

本发明还提供了一种基于图像处理的手机小面积高精度指纹识别系统，应用于上述任一项所述基于图像处理的手机小面积高精度指纹识别方法，包括：

图像采集模块，包括设置在手机的小面积指纹采集区域内的指纹传感器，在用户手指接触指纹采集区域后，指纹采集区域内的指纹传感器被触发由睡眠状态进入工作状态后，采集用户的指纹图像信息；

图像处理模块，用于对所采集的指纹图像信息进行预处理得到图像数据，包括依次进行的图像分割处理、图像智能增强处理、二值化处理以及图像细化处理，以及对所述预处理后的图像数据进行指纹特征信息提取；

图像匹配模块，用于将提取的所述指纹特征信息与指纹库内的数据进行匹配验证，并在匹配验证成功后控制所述手机解锁及手机支付。

在本发明的某些实施方式中，所述图像处理模块具体用于：分别计算所述指纹图像信息的指纹图像场，包括强度场、梯度场、方向场以及频率场；根据所述强度场和梯度场确定指纹对象，将所述指纹对象从背景部分分割出来；对所述指纹对象依次进行均衡化、收敛以及平滑处理。

在本发明的某些实施方式中，所述图像处理模块还用于：根据方向场以及频率场对指纹对象进行智能增强，其中，在指纹纹线方向上，在该位置的方向场上对指纹纹线进行收敛增强，在指纹纹线的垂直方向上，在该位置频率场上对图像纹线进行震荡加强。

在本发明的某些实施方式中，所述图像处理模块还用于：遍历图像的每个像素点，并判断是否为特征点；若确定为特征点，则继续判断其是否满足边界阈值以及周围方向场是否变化剧烈，若满足则记录该点为特征点，若不满足则忽略，所述特征点的集合为所述指纹特征信息。

在本发明的某些实施方式中，所述图像匹配模块用于：将提取出的特征点装配成拓扑数据结构，并依次进行特征点以及拓扑数据结构匹配，若均符合则匹配验证成功。

与现有技术相比，本发明有以下优点：

本发明实施例所述的基于图像处理的高精度指纹识别方法，通过对采集的指纹图像依次进行预处理和指纹特征信息提取，并于指纹库内的数据进行匹配验证，特别是对所采集的指纹图像信息依次进行的图像分割处理、图像智能增强处理、二值化处理以及图像细化处理，有效提高了对手机小面积指纹传感器、干湿手指、指纹残缺和指纹传感器上有灰尘等复杂环境下的活体指纹与原始指纹的间的精准度，极大的提高了手机小面积的指纹识别准确率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所述基于图像处理的手机小面积高精度指纹识别方法的流程示意图；

图2为本发明获取的原始指纹图像；

图3为本发明进行图像智能增强处理后的指纹图像；

图4为本发明进行二值化处理后的指纹图像；

图5为本发明进行图像细化处理的指纹图像；

图6为本发明进行指纹特征信息提取后的指纹图像；

图7为指纹特征信息的等级分布图；

图8为本发明所述基于图像处理的手机小面积高精度指纹识别系统的原理结构图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，以下给出了本发明的较佳实施例。本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例，相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

参阅图1所示，为本发明所述基于图像处理的手机小面积高精度指纹识别方法的流程示意图，所述基于图像处理的手机小面积高精度指纹识别方法应用于基于智能终端的指纹识别服务，如手机(屏幕、应用程序)解锁和手机支付等，具体包括如下步骤：

s101：在用户手指接触手机小面积的指纹采集区域后，指纹采集区域内的指纹传感器被触发由睡眠状态进入工作状态，通过所述指纹传感器采集用户的指纹图像信息。

在本发明实施例中，由于手机进行指纹识别的过程中不需要实时观察图像，只需要在触发时进行指纹图像信息的采集即可，因此，对指纹传感器的要求不高，一般的灰度电容式传感器、cmos传感器都能满足要求，成本较低，同时，所述指纹传感器可以在平时保持睡眠状态，在触发后由睡眠状态进入工作状态并进行指纹图像信息的采集，并在采集操作结束后重新进入睡眠状态，该过程可以有效节约能耗。

s102：对所采集的指纹图像信息进行预处理得到图像数据，包括依次进行的图像分割处理、图像智能增强处理、二值化处理以及图像细化处理。

在本发明实施例中，所述图像分割处理具体包括指纹图像场的计算、图像分割、均衡化、收敛以及平滑处理，如图2-图5所示，图2为获取的原始指纹图像，图3为图像智能增强处理后的指纹图像，图4为二值化处理后的指纹图像，图5为图像细化处理的指纹图像。

所述指纹图像场的计算是指分别计算所述指纹图像信息的指纹图像场，包括强度场、梯度场、方向场以及频率场；其中，指纹图像的强度场主要是反应指纹图像光子或电子的分布情况，是用以描述指纹纹线该点明暗程度的量；指纹图像的梯度场主要是反应指纹图像场的纹线隆起程度等情况；指纹图像的方向场主要是反应指纹图像场的中心、(水平\圆形斜角)纹线的趋势；指纹图像的频率场则主要是反应纹线间隔情况。

所述图像分割是指指纹图像的前景和背景的分割，指纹图像的前景为指纹对象本身，本发明实施例通过计算强度场和梯度场的值来确定指纹对象，并将所述指纹对象从背景部分分割出来。

本发明实施例对所述指纹对象进行均衡化处理是指通过对像素点的灰度场强值运算，使指纹图像在各种灰度场强上都均匀分布相等的像素点数，通过扩展像素点灰度的取值范围，增强图像整体对比度的效果。

本发明实施例对所述指纹对象进行收敛处理和平滑处理是指分别通过高斯模板运算和平滑模板运算，可以有效去除图像采集过程中形成的污染点，提高指纹采集的精准度。

本发明实施例通过图像智能增强处理让获取的指纹图像变得更加清晰，通过获取相关增强信息，利用相关增强信息去增强图像；由于人类的视觉智能增强主要依赖于视觉作用“场”中的“频率场”和“方向场”的刺激分析，因此将视觉对象(指纹纹线)按“场”规律智能增强。

具体的，本发明实施例使用gabor小波滤波器，对特定的朝向和频率刺激敏感，并对该特定的朝向和频率位置刺激敏感，并对该刺激在特定的朝向和频率位置呈小波特性收敛增强，即：

在指纹纹线方向上，在该位置的方向场上对指纹纹线进行收敛增强，以弥补图像中纹线的断裂等不足；在指纹纹线的垂直方向上，gabor函数正好符合纹线相同的特点，可以在该位置频率场上对图像纹线进行震荡加强。

本发明实施例对所述指纹图像信息进行二值化处理是将灰度图像转化成只有两种颜色值的图像，其中，指纹图像黑的脊线区域更黑，白的谷线区域更白，即通过阈值使白色的谷线区域灰度都达到255，黑色的脊线区域都达到0，由此使指纹纹线对象成为黑白两色图像，一般指纹图像二值化有两种方法，包括灰度域值分割法和智能二值化领域分析法，本发明实施例采用智能二值化邻域分析法，原理如下：

位于场中的粒子必然受到场的作用。同样，指纹纹线场(方向场)中的指纹微粒也可以看做受其作用排列，并拥有场的性质。那么，在某一区域内，在某一个指纹微粒的切线方向上，必然是同类指纹微粒。即在某一区域内脊上某点的切线方向上的点还是属于脊，谷也同理。

其具体的实现过程如下：设f(x0-y0)为该点的灰度值，其方向场为o(x0-y0)，w为邻域范围，h为切向像素值之和：h＝sum(f(x,x/cos(o(x0,y0))))(x＝-w/2...w/2)，v为法向像素值之和，v＝sum(f(x,x/sin(o(x0,y0))))(x＝-w/2...w/2)，如果v>h，该点在脊上，反之，在谷上，实际运算中，考虑到误差因素，故在求灰度和时，对每一点都设置了权值，采用加权平均的方法来降低误差，为了加快速度，将gabor函数制成模版，用模版来拟合gabor函数，又因为二维矩形模版运算也很耗时，故将矩形模版变为两条相交的线段性模版，这样作模版运算，运算量就小得多；化简后得到的切向滤波模版是：hw＝1/7(2,2,3,4,3,2,2)，法向滤波模版是为：vw＝1/7(1,1,1,1,1,1,1)。二值化以后的图像如图4所示。

本发明实施例对所述指纹图像信息依次经过平滑、智能增强、二值化等处理以后变成高质量的黑白两色指纹图像，但对二值化指纹图像进行分析、处理和提取特征还比较麻烦，因为指纹特征通常以像素特征点形式出现，而二值化后的纹线宽度由一个以上的像素点组成，因此难以建立宽度只有一个点的特征点模型，所以必须对指纹图像经纹线图像抽象化处理，因此，本申请对二值化后的指纹图像进一步进行图像细化处理，生成指纹图像骨架，如图5所示，图5为图像细化处理的指纹图像。在本发明实施例中，图像细化处理是将棒状的指纹纹线，变成一根骨架形状未变，拓扑结构未变的细曲线，从而将图像的骨架检出或提取，从此建立特征点模型；指纹骨架是指纹纹线的中心线，提取指纹骨架就是提取指纹纹线的中心线(提取轮廓则是提取图像的边缘)，最终，把该指纹区域的黑色脊线部分按宽度对称减薄，使指纹纹线可以成为只剩下宽度为一个像素的线。

s103：对所述预处理后的图像数据进行指纹特征信息提取。

图6为本发明进行指纹特征信息提取后的指纹图像，如图6所示，本发明实施例对对所述预处理后的图像数据进行指纹特征信息提取即是提取图像数据中的奇异点，一个场，如果存在奇异点，则其周围的方向场变化剧烈，对图像数据的提取也是基于该原理，所述奇异点包括端点、叉点、同等级的其他细节特征点或者更高等级的细节特征点。

图7为指纹特征信息的等级分布图，如图7所示，指纹的特征信息有3个等级，level1对应全局特征，纹型包括环型(loop)、弓型(arch)和螺旋型(whorl)。通常作为区分不同指纹和使用最为广泛的两种特征点：端点(ending)和叉点(bifurcation)处于等级level2，level2中其他的特征点比如线段(line-fragment)等在指纹锁等较大面积指纹传感器中较少应用，对于手机小面积指纹识别方案中可以应用起来。level3中特征点在较大面积指纹传感器中页较少应用，对于手机小面积指纹识别方案中可以应用起来。

在本发明实施例中，基于poincareindex来提取指纹图像奇异点，在此定义poincareindex为一条封闭曲线上的点(大约25个)的方向变化之和。沿指纹方向图上封闭曲线逆时针一圈，若曲线上的像素点方向变化之和为0，则该点对应的像素点是普通点；设象素点的方向sita属于[0,pi]，离散化矩形封闭曲线的长度为l，曲线长度不能太小，否则引入伪奇异点，太大则可能包含多个奇异点。

具体的，封闭曲线所围绕的象素点(x，y)的poincareindex通过以下公式计算：poincare(i，j)＝1/(2pi)*sigma，为了简化poincareindex提取奇异点，闭曲线采用5x5的方格，在5x5方格内，计算poincareindex值,以(i,j)为中心，按顺时针方向形成闭合曲线d1,d2,...d12分别表示该点的方向，该闭合曲线poincare(i,j)＝sigma＜1,12＞|di-d((i+1)mod12)|，同理在3x3方格内，对于poincare(i,j)＝sigma＜1,8＞|di-d((i+1)mod8)|由于一些指纹图像存在噪音的问题,可能存在伪奇异点，为了消除伪奇异点，只有在3x3和5x5方格算出的poincare值相同的时候，才算是真正的奇异点，若所得的奇异点附近已有奇异点，则用它们的均值作为最终的奇异点。本发明实施例遍历图像的每个像素点，并判断是否端点、叉点、同等级的其他细节特征点或者更高等级的细节特征点；若确定为端点、叉点、同等级的其他细节特征点或者更高等级的细节特征点，则继续判断其是否满足边界阈值以及周围方向场是否变化剧烈，若满足则记录该点为特征点，若不满足则忽略，所述特征点的集合为所述指纹特征信息。

主要设计思想利用图像区域不变性与局部渐变性，对于每一个补丁(patch)生成一个带有渐变信息的序列，对序列进行学习与训练，结合ai方法，使之鲁棒性得到保证。

算法设计主要分为两步：

1、将图像分为不同的滑动块，检测有效信息，并将检测结果划分为n种(n决定描述大小)。

2、将局部结果重构，检测局部与局部之间有效信息并生成链码chain-code。

为了更有效地达到目的，我们提出了一种“拮抗模型”，对图像的细节与细节之间的联系进密结合在一起，采取监督学习的方式进一步训练。

本算法认为特征不会是一个孤立的特征，不同特征之间存在“拮抗作用”，形成一个密切的关联体，得到的链码chain-code只需要一维卷积即可得到相似性，为了达到更高的精度，加入ai算法，更好地解决了特征的鲁棒性问题。

s104：将提取的所述指纹特征信息与指纹库内的数据进行匹配验证，并在匹配验证成功后控制所述手机解锁成功或者支付成功。

本发明实施例通过将提取出的特征点装配成拓扑数据结构，并依次进行特征点以及拓扑数据结构匹配，若均符合则匹配验证成功。

在本发明实施例中，指纹库内的数据可以是预先存储的，也可以是通过云端数据同步获取的，对于离线状态下，本发明实施例将提取的所述指纹特征信息与指纹库内的数据进行匹配验证，对于在线状态下，则直接将提取的所述指纹特征信息与云端同步获取的数据进行匹配。

本发明实施例所述的基于图像处理的手机小面积高精度指纹识别方法，通过对采集的指纹图像依次进行预处理和指纹特征信息提取，并于指纹库内的数据进行匹配验证，特别是对所采集的指纹图像信息依次进行的图像分割处理、图像智能增强处理、二值化处理以及图像细化处理，有效提高了对手机小面积指纹传感器、干湿手指、指纹残缺和指纹传感器上有灰尘等复杂环境下的活体指纹与原始指纹的间的精准度，极大的提高了手机小面积指纹传感器的指纹识别准确率。

在上述实施例的基础上，本发明还提供了一种基于图像处理的手机小面积高精度指纹识别系统，如图8所示，为本发明所述基于图像处理的手机小面积高精度指纹识别系统的原理结构图，包括图像采集模块100、图像处理模块200以及图像匹配模块300。

所述图像采集模块100包括设置在手机小面积的指纹采集区域内的指纹传感器，在用户手指接触指纹采集区域后，指纹采集区域内的指纹传感器被触发由睡眠状态进入工作状态后，采集用户的指纹图像信息。

所述图像处理模块200用于对所采集的指纹图像信息进行预处理得到图像数据，包括依次进行的图像分割处理、图像智能增强处理、二值化处理以及图像细化处理，以及对所述预处理后的图像数据进行指纹特征信息提取。

所述图像处理模块200进行图像分割处理具体为：分别计算所述指纹图像信息的指纹图像场，包括强度场、梯度场、方向场以及频率场；根据所述强度场和梯度场确定指纹对象，将所述指纹对象从背景部分分割出来；对所述指纹对象依次进行均衡化、收敛以及平滑处理。

所述图像处理模块200进行图像智能增强处理具体为根据方向场以及频率场对指纹对象进行智能增强，其中，在指纹纹线方向上，在该位置的方向场上对指纹纹线进行收敛增强，在指纹纹线的垂直方向上，在该位置频率场上对图像纹线进行震荡加强。

所述图像处理模块200进行指纹特征信息提取具体为：遍历图像的每个像素点，并判断是否为特征点；若确定为特征点，则继续判断其是否满足边界阈值以及周围方向场是否变化剧烈，若满足则记录该点为特征点，若不满足则忽略，所述特征点的集合为所述指纹特征信息。

所述图像匹配模块300用于将提取的所述指纹特征信息与指纹库内的数据进行匹配验证，并在匹配验证成功后控制所述手机解锁成功或者支付成功；所述图像匹配模块300将提取出的特征点装配成拓扑数据结构，并依次进行特征点以及拓扑数据结构匹配，若均符合则匹配验证成功。

本发明实施例所述的基于图像处理的手机小面积高精度指纹识别系统可执行上述实施例所提供的基于图像处理的手机小面积高精度指纹识别方法，所述基于图像处理的手机小面积高精度指纹识别系统具备上述实施例所述基于图像处理的手机小面积高精度指纹识别方法相应的功能步骤以及有益效果，具体请参阅上述基于图像处理的手机小面积高精度指纹识别方法的实施例，本发明实施例在此不再赘述。

本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。以上仅为本发明的实施例，但并不限制本发明的专利范围，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本发明说明书内容所做的等效替换，直接或间接运用在其他相关的技术领域，均同理在本发明专利保护范围之内。