一种基于多尺度卷积核的掌静脉特征提取方法与流程

本发明涉及手掌静脉特征识别技术领域，尤其涉及一种基于多尺度卷积核的掌静脉特征提取方法。

背景技术

手掌静脉识别是一种新兴的生物特征识别技术，利用人体手掌血液中血红素对近红外光具有较强的吸收特性，获得手掌静脉的分布纹路进行身份识别。掌静脉识别不仅具有非接触式认证和高可靠性的优点，而且必须活体检测，无法造假，安全级别高。随着技术的发展，掌静脉识别技术逐渐应用于安防系统、楼宇门禁、金融银行等领域。

近些年对掌静脉特征提取与识别的方法大致分为两类：一类是基于整体的子空间学习方法；另一类是基于曲线匹配的方法。这两种方法都是基于传统模式识别技术，很少运用深度学习技术。自2012年imagenet比赛，人工智能再次兴起，提出了很多先进的网络结构，如resnet、inception、densenet等。在图像识别、自然语言处理、机器翻译等领域取得了重大突破，尤其是人脸识别技术已经开始商用。

但是，将深度神经网络应用于掌静脉识别的技术依然较少，大部分直接使用已有的成熟网络结构应用于掌静脉识别，识别精度低，其主要原因是掌静脉图像为特殊的网状结构，易变形，局部相关性弱，拓扑结构复杂。一般的深度神经网络采用正方形的卷积核，如3x3、5x5，对局部相关性较强的识别如人脸识别具有明显的效果。如果将这些网络结构直接应用于掌静脉识别，识别效果并不明显，因为该网络结构不适合提取网状结构的掌静脉特征。

技术实现要素：

为解决上述问题，本发明提供了一种基于多尺度卷积核的掌静脉特征提取方法，针对掌静脉图像结构的特殊性，重新设计了卷积网络，尤其是卷积核的形状。该方法采用多尺度卷积核的特征提取网络，并使用3x7、7x3、1x7、7x1的非规则卷积核，以检测掌静脉横向和纵向的网状结构，对掌静脉图像进行特征提取。本发明的技术方案，对掌静脉图像的特征提取具有很好的适应性，同时提高了特征提取的有效性。

一种基于多尺度卷积核的掌静脉特征提取方法，其采用的多尺度卷积核的特征提取网络主要由1个感知层、4个降维层、4个融合层和1个特征向量表示层构成。

所述的感知层由2个基础卷积层、1个叠加层和1个求和层构成，2个基础卷积核分别为3x7和7x3，感知层对掌静脉的线条型和交叉型的特征进行提取。

优选的，所述的基础卷积层由1个卷积核大小为m×n的卷积层、1个批量化层和1个激活函数层构成。

所述的降维层由1个池化层、2个基础卷积层和1个求和层构成，基础卷积核分别为1x1和3x3，降维层的主要功能为降低卷积特征平面的维度。

所述的融合层由多个融合单元构成，4个融合层中每个级别的融合层可以根据识别精度和速度的需求，设置不同个数的融合单元，融合层用于封装多个融合单元，构建网络结构。

优选的，所述的融合单元由3个卷积核为1x1的基础卷积层、2个卷积核为7x1的基础卷积层、2个卷积核为1x7的基础卷积层、1个叠加层和1个求和层构成，包括4条通路，第一条路径依次经过卷积核分别为1x1、7x1和1x7的基础卷积层，第二条路径依次经过卷积核为1x1、1x7和7x1的基础卷积层，第三条路径只经过卷积核1x1的基础卷积层，第四条为残差路径，将前三条路径的输出结果叠加，叠加后的输出再与第四条残差求和。

所述的特征向量表示层由3个全连接层、1个激活函数层，1个dropout层和一个softmax层构成，特征向量表示层，用于将掌静脉的高维特征转换为低维的特征向量。

优选的，所述的特征向量表示层首先经过一个大小为4096的全连接层，激活函数层和dropout层，然后通过大小为512的全连接层，将高维的特征转换为低维的特征向量，即最终提取的掌静脉特征向量，最后经过一个大小为8000的全连接层和softmax层，将低维的特征向量映射到各自的类中心，通过softmax层的分类功能完成掌静脉特征识别的训练。

附图说明

图1是本发明多尺度卷积核的网络结构图；

图2是本发明掌静脉图像示意图；

图3是本发明感知层的结构图；

图4是本发明基础卷积层结构图；

图5是本发明降维层的结构图；

图6是本发明融合层的结构图；

图7是本发明融合层单元的结构图；

图8是本发明特征向量表示层的结构图；

图9是本发明多尺度卷积核的网络参数信息表图。

具体实施方式

为了使本发明的目的，技术方案更加清楚明白，以下结合附图对本发明作进一步描述。

如图1所示，一种基于多尺度卷积核的掌静脉特征提取方法，采用多尺度卷积核的特征提取网络，具体如下：

(1)输入层

多尺度卷积核的特征提取网络的输入层数据为经预处理后的掌静脉图像，如图2所示，a图为通过近红外光拍摄采集的掌静脉roi区域图像，经二值化及图像增强等处理后得到b图，为预处理后的掌静脉图像，可以明显看出掌静脉图像特殊的网状结构，以此掌静脉图像作为的多尺度卷积核的特征提取网络的输入层。

(2)多尺度卷积核的特征提取网络

本发明公开的一种基于多尺度卷积核的特征提取网络结构如图1所示，该网络结构主要由1个感知层、4个降维层、4个融合层和1个特征向量表示层构成，融合层1设置3个融合单元，融合层2设置4个融合单元，融合层3设置6个融合单元，融合层4设置3个融合单元：

感知层使用卷积核为3x7和7x3的卷积层，相比正方形的卷积核，这种长条形的卷积核更适合提取掌静脉的网状结构，感知更多有意义的特征；

降维层利用池化层和卷积层的两路叠加，不仅满足了对卷积特征平面降维的需求，而且减少了降维过程中的信息损失；

融合层可以根据需求配置不同个数的融合单元，融合单元的设计不再使用正方形的3x3和5x5卷积核，这里使用7x1和1x7的卷积核，通过多层级联，提取更丰富的高级特征，完成高维掌静脉的特征融合；

特征向量表示层将掌静脉的高维卷积特征转换为低维的特征向量，利用softmax层完成特征向量的学习。

该网络结构首先经过感知层，然后经过4级降维层和融合层，最后经过特征向量表示层，最终完成掌静脉特征的提取。

(2.1)感知层的设置

如图3所示为感知层的网络结构，由1个卷积核为3x7的基础卷积层(basicconv)，1个卷积核为7x3的基础卷积层，1个求和层(add)和1个叠加层(concat)构成。感知层由2条通路构成，1条通路经过卷积核为3x7的基础卷积层，另1条通路经过卷积核为7x3的基础卷积层，然后两条通路经过求和层完成对应通道的求和运算，最后将这三路输出经过叠加层，输出给下一级网络。感知层的两个基础卷积的stride设置为2，主要因为掌静脉分布稀疏，不需要提取密集的特征，同时可以将卷积特征平面降低，减少计算量。

优选的，所述的基础卷积层，如图4所示，由1个卷积核大小为mxn的卷积层(convolution)，一个批量化层(batchnorm)和一个激活函数层(relu)构成。首先输入经过卷积核大小为m×n、stride为s的卷积层，然后经过批量化层，最后经过一个激活函数层。批量化层的主要作用是解决网络梯度消散和爆炸问题，可以更加稳定的训练网络，这里激活函数层选择relu，主要因为relu是最简单的激活函数，并且实施效果好。

(2.2)降维层的设置

如图5所示为降维层的网络结构，由1个池化层(maxpool)，2个基础卷积层和1个求和层构成。降维层由2条通路构成，1条通路经过池化层，另1条通路首先经过一个卷积核为1x1的基础卷积层，然后再经过一个卷积核为3x3的基础卷积层，最后将2条通路对应通道求和，作为下一级网络的输入。

卷积核为1x1的基础卷积层主要功能是压缩卷积通道数，降低下一级基础卷积层的计算量。卷积核为3x3的基础卷积层，stride为2，用于降低卷积特征平面。这样设计的降维层相比直接使用池化层，减少了卷积特征降维过程中的信息损失。

(2.3)融合层的设置

如图6所示为融合层的网络结构，其由多个融合单元级联构成，每个融合单元的网络结构一样，可以根据识别精度和速度，在不同级别的融合层上灵活配置不同的融合单元个数。本发明技术方案中融合层1配置3个融合单元，融合层2配置4个融合单元，融合层3配置6个融合单元，融合层4配置3个融合单元。

优选的，所述的融合单元，如图7所示，其网络结构由3个卷积核为1x1的基础卷积层，2个卷积核为7x1的基础卷积层，2个卷积核为1x7的基础卷积层，1个叠加层和1个求和层构成。融合单元包括4条通路，第1条通路路径依次经过卷积核分别为1x1、7x1和1x7的基础卷积层，第2条通路路径依次经过卷积核为1x1、1x7和7x1的基础卷积层，第3条通路路径只经过卷积核1x1的基础卷积层，第四条为残差路径。将前三条路径的输出结果叠加，叠加后的输出再与第四条残差求和。

融合单元第1条和第2条路径中卷积核为1x1的基础卷积用于压缩输入卷积通道数，减少后续的计算量；第4条路径主要用于引入残差，降低深层网络的退化问题，可以使深层网络获得更高的表达能力。在求和层的计算中，如果残差的通道数小于前三条路径叠加后的总通道数，残差层不足的通道数全部补零计算。

(2.4)特征向量表示层的设置

如图8所示为特征向量表示层的网络结构，特征向量表示层由三个全连接层(fc)，一个激活函数层(relu)，一个dropout层和一个softmax构成。特征向量表示层首先经过一个大小为4096的全连接层，激活函数层和dropout层，然后通过大小为512的全连接层，将高维的特征转换为低维的特征向量，即获得掌静脉最终提取的特征向量，最后经过一个大小为8000的全连接层和softmax层，将低维的特征向量映射到各自的类中心，通过softmax层的分类功能完成掌静脉特征识别的训练。

在本发明的实施例中，dropout的参数设置为0.5，主要目的是降低网络过拟合，最后一个全连接层设置为8000，训练中用到了8000类数据训练，如果训练数据不是8000，可以根据实际训练类数作相应的修改。

本发明技术方案针对掌静脉图像的网状结构特殊性，具有横向和纵向的网状特征，通过设计非规则的卷积核并利用多尺度卷积核的特征提取网络，使对掌静脉的特征提取具有良好的适应性和有效性。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。