基于卷积神经网络和双向局部特征聚合描述向量的掌纹图像识别方法与流程

本发明涉及掌纹图像识别领域，具体涉及一种基于卷积神经网络和双向局部特征聚合描述向量的掌纹图像识别方法。

背景技术：

在生物特征识别技术中，掌纹识别技术具有较高的识别精度。掌纹具有唯一性和基本终生不变性，具有丰富的可用于身份识别的信息，并且采集掌纹的设备价格低廉，掌纹识别技术也在政府、银行、社会福利保障、电子商务和安全防卫等领域得到成功应用，因此对掌纹识别技术方法的研究具有重要意义。

对于掌纹识别技术来说，掌纹图像特征提取的效果在很大程度上决定了掌纹识别的精度，因此掌纹图像特征提取被认为是掌纹识别的关键步骤，成为掌纹识别技术发展中的重点研究领域之一。现有的掌纹特征提取方法主要分为基于纹理的特征提取方法、基于结构的特征提取方法、基于子空间的特征提取方法和基于统计的特征提取方法，这些方法从不同角度来实现掌纹图像可识别特征的提取，对于掌纹图像识别技术的发展起到重要的促进作用。近年来，卷积神经网络(cnn)作为一种基于多层监督学习的人工神经网络，具有较好的容错性、自适应性和自学习能力，有效改善了传统方法存在的提取特征不充分问题，被广泛应用于图像分类、物体检测与识别和目标跟踪等领域。此外，将cnn网络还可以作为基础特征提取器，并与其他特征提取方法合理相结合，则有可能获得更有效的图像特征表示，从而进一步提高分类、识别或检测方法的性能。

技术实现要素：

本发明的目的在于基于卷积神经网络(cnn)和双向局部特征聚合描述向量(bivlad)相结合，提供一种可以获取更全面、完整的特征信息、具有更高的识别精度以及更好的鲁棒性的掌纹图像识别方法。

为解决上述技术问题，本发明提供技术方案如下：采用深度学习法预训练cnn网络，通过预训练cnn网络提取掌纹图像卷积特征，然后选择具有较好判别能力的卷积层特征与vlad方法相结合，从两个方向充分应用卷积特征中表征的掌纹全局信息和局部信息，并使用分数层上的融合方法实现双向特征信息的互补，从而获得更高的识别精度，具体包括以下步骤：

步骤1：采用深度学习法预训练cnn网络，运用预训练cnn网络对给定数据库的一张掌纹图像进行特征提取，将其中的一层掌纹卷积特征取出形成一个三维特征图谱；

步骤2：基于步骤1，以三维特征图谱中表征图像同一位置的特征元素来构建纵向局部特征向量，并利用特征码本对这张图像的所有纵向cnn特征进行vlad编码，获得纵向局部特征聚合描述向量；其中，特征码本是基于一定数量图像的纵向局部特征向量进行k-means聚类训练得到的；

步骤3：基于步骤1，以三维特征图谱中表征整幅掌纹图像的特征矩阵按行拉伸成向量作为横向局部特征向量，并利用特征码本对这张图像的所有横向cnn特征进行vlad编码，获得横向局部特征聚合描述向量；其中，特征码本是基于一定数量图像的横向局部特征向量进行k-means聚类训练得到的；

步骤4：基于步骤2和3，采用余弦距离对两类待识别特征与特征模板分别进行纵向和横向匹配计算，并在分数层对纵向和横向匹配分数进行融合。

其中步骤1包括以下具体步骤：

(1)采用深度学习法预训练cnn网络，对于一张大小为n×n的掌纹图像，作为已训练好的cnn网络的输入，对其进行特征提取。

(2)在网络层的第ll层，可以得到一个大小为n^l×n^l×d^l的三维特征图谱m^l，其中d^l是第ll层对应的滤波器个数。

步骤2包括以下步骤：

(1)对于这张掌纹图像的特征图谱m^l中的每一个坐标为(x,y)的点，可以得到一个d^l-维的向量其中1≤x≤n^l，1≤y≤n^l，称之为纵向的局部特征向量。这张图像在第ll层可以得到(n^l)²个d^l-维的纵向特征向量的集合，即特征矩阵

(2)对于这张图像，从卷积层ll提取到的每一个纵向局部特征向量都会被分配到离此向量最近的聚类中心

局部特征向量和聚类中心的向量差反应出局部特征向量经过聚类中心的映射后的分布情况。这张图像所有的纵向局部特征向量和其对应的聚类中心的向量差的集合，为纵向vald聚合特征向量它是一个d^l×k-维的向量，我们称这种编码方法为vvlad：

其中,是这张掌纹图像的一个纵向局部特征向量与其对应的聚类中心的向量差。聚类中心是由一定数量的掌纹图像的纵向cnn特征作为训练样本，进行k-means聚类得到的，这k个聚类中心的集合叫做码本：

步骤3包括以下步骤：

对于这张掌纹图像的特征图谱m^l，可以得到一个2维的特征矩阵(n^l)²×d^l，然后提取一个(n^l)²-维的向量其中，1≤i≤d^l，将其称之为横向的局部特征向量。同时，得到d^l个(n^l)²-维的横向局部特征向量的集合，即特征矩阵这张图像的每一个横向局部特征向量都会被分配到离此向量最近的聚类中心

然后得到一个(n^l)²×k-维的横向vald聚合特征向量称这种编码方法为hvlad：

其中，是这张掌纹图像的一个横向局部特征向量与其对应的聚类中心的向量差。聚类中心是由一定数量的掌纹图像的横向cnn特征作为训练样本，进行k-means聚类得到的：

步骤4包括以下具体步骤：

(1)经过编码后得到一张图像两种cnn特征的vlad特征向量，采用余弦距离对两类待识别特征与特征模板分别进行纵向和横向匹配计算，得到匹配分值。

(2)将两种特征的匹配分值进行分数层融合，分数层融合操作如下：

fj＝(f1+f2)/2

其中fj是融合之后的新得分，f1是纵向编码特征与特征向量模板的匹配分值，f2纵向编码特征与模特征向量模板的匹配分值。

与现有技术相比，本发明的有益效果为：经过预训练的cnn网络多层提取特征，选出效果最好的特征。并且对掌纹卷积特征进行双向的提取，保留了图像的全局特征和局部特征，减少了掌纹图像可能会出现的信息丢失现象。经过双向特征的融合，实现了两个特征信息的相互补充，使用来识别的特征信息更为全面和完整，从而能得到更高的识别精度，具有更好的鲁棒性。

附图说明

图1为本发明的一种基于卷积神经网络和双向局部特征聚合描述向量的掌纹图像识别方法的流程图。

图2为本发明的方法在polyu掌纹图像库上进行实验得到的eer比较图。

具体实施方式

结合说明书附图和具体实施方式对发明作进一步说明。

实施例1

本发明具体实施上采用的实验数据来自香港理工大学的公开的polyu掌纹数据库。此数据库是目前世界上公开的最大的掌纹数据库，它包含了来自386个不同手掌的7752张灰度bmp格式的掌纹图像，其中分两次获取，每次平均每个掌纹获取10张图像。每张掌纹图像经过预处理之后得到roi区域为128×128像素。本发明中的实验选取第一次获取的3855张掌纹图像，其中平均每个手掌10张图像。

本发明具体实施上采用的cnn网络为vgg-f，它是基于imagenet大规模图像库训练的深度网络，共有21层，要求的输入图像大小为224×224，本发明用该网络来提取掌纹图像卷积特征。

如图1所示，本发明的具体方法包括以下步骤：

步骤一：获取polyu掌纹图像库中的一张掌纹图像，其大小为128×128，将其放大到224×224像素，然后放入预训练的vgg-f网络中进行特征提取。发明取出掌纹图像的第11层卷积特征，并得到这张图像的特征图谱m¹¹，大小为13×13×256。

步骤二：从特征图谱m¹¹中提取图像的所有纵向局部特征向量大小为256×169，对于这张图像的每一个大小为256×1的纵向局部特征向量都会被分别分配到与其对应的聚类中心图像的每个特征向量与其对应的聚类中心的向量差的集合，形成了它的局部聚合向量大小为(256×400)×1：

其中，将polyu掌纹图像数据库中的1930张掌纹图像(来自386个手掌，平均每个手掌5张掌纹图像)的所有纵向特征矩阵作为聚类样本，得到聚类中心的集合即纵向特征码本，大小为256×400，取聚类中心k的值为400。有公式：

步骤三：从特征图谱m¹¹中提取图像的所有横向局部特征向量大小为169×256。对于这张图像的每一个大小为169×1的横向局部特征向量都会被分别分配到与其对应的聚类中心每个特征向量与其对应的聚类中心的向量差的集合，形成了它的局部聚合向量大小为(169×400)×1：

其中，取polyu掌纹图像数据库中的1930张掌纹图像(来自386个手掌，平均每个手掌5张掌纹图像)的所有横向特征矩阵作为聚类样本，得到聚类中心的集合即纵向特征码本，大小为169×400，取聚类中心k的值为400。有公式：

步骤四：通过计算余弦距离对两类待识别特征与对应的特征模板分别进行纵向和横向匹配，得到匹配分值。然后，将匹配分值都进行分数级的融合，将两种方法得到的匹配分值分别做最大值、最小值以及平均值的融合：

fj＝(f1+f2)/2

进而，重复以上步骤对数据库中3855张图像进行特征提取，然后进行同类图像和异类图像的匹配，然后对所有匹配结果进行统计，可得出相对应3855张掌纹图像的等错误率eer值，其中cnn+vvald方法得到的eer值为0.14％，cnn+hvlad方法得到的eer值为0.18％。

如图2所示，最终得到三种融合方法的eer值分别为最大值融合的0.13％、最小值融合的0.10％和平均值融合得到的最好结果为0.09％。然而，步骤一中，对于由第11层得到的掌纹卷积特征，基于统计结果，得到3855张掌纹图像的cnn卷积特征的等错误率eer值为0.28％。

根据以上步骤，本发明提出了对cnn卷积特征进行双向提取，然后再进行双向编码特征的融合，可以看出，本发明提出纵向卷积特征vlad编码方法(vvlad)和横向卷积特征vlad编码方法(hvlad)在表现性能上都优于仅仅由cnn提取的卷积特征。除此之外，经过对这两种方法得到结果的分数层融合，取得了本实验最好的值即为eer＝0.09％。

综上所述，本发明提出的基于卷积神经网络(cnn)和双向局部特征聚合描述向量(bivlad)的掌纹图像识别方法具有很好的效果，具有较好的鲁棒性。首先预训练的cnn网络可以提取很好的图像特征。其次，本发明对掌纹特征从全局和局部两个方面都进行了提取和编码，使得掌纹特征的信息保全的更好，得到了图像特征信息互补，减少信息丢失。另外，通过编码，使特征更规范化，更容易进行后期的相似度计算以及匹配，从而提高掌纹识别的精度，大大的降低掌纹图像的等错误率eer。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围内。