一种基于联合损失和卷积神经网络的指静脉识别方法

1.本发明涉及计算机视觉和生物特征识别技术，具体涉及一种适用于指静脉身份验证的方法。


背景技术：

2.随着信息技术发展，人们对信息安全的需求逐渐增加，生物特征识别因此得到广泛的应用。生物特征识别技术是利用人体生物特征或行为特征进行身份认证，常用的有：指纹识别、人脸识别、虹膜识别等。指纹和人脸是生物的外部特征，使用方便，识别速度快，但是存在被盗取、仿造的风险。虹膜是生物内部特征，安全性更高，但是身份认证时用户体验不佳。指静脉是一种生物内部特征，具有唯一性、非接触式采集、安全性高等优点，具有巨大的研究价值。
3.指静脉识别首先通过传感器采集手指的静脉图像，对静脉图像进行预处理，然后提取手指静脉的特征，与数据库中的静脉特征模板进行对比，完成身份认证。现有的指静脉识别方法可以大致分为两类，一类是传统的静脉识别方法，另一类是基于深度学习的识别方法。
4.传统的静脉识别方法，基于传统的图像处理技术，以指静脉的纹路、几何拓扑结构、局部二进制码等作为衡量指静脉差异的特征，利用预设的模型提取特征的可量化属性作为模板，在识别阶段比较待测样本和模板的差异。这类方法依赖专家的手工设计，算法的泛化能力有限，在手指平移、旋转等情况下，识别性能会大幅下降。
5.基于深度学习的方法，通过构建人工神经网络，从大量数据中学习指静脉的特征表示，相比于传统的方法，有更好的泛化能力，算法的识别准确率也更高。但是该类方法普遍存在训练样本量少，损失函数设计不恰当等问题，从而使得深度学习在指静脉识别领域上的应用受限。


技术实现要素：

6.针对现有技术在指静脉特征提取中存在表达能力具有局限性、应用受限的缺点，提供一种使网络具有更强的特征表示能力的指静脉识别方法。
7.本发明为解决上述技术问题所采用的技术方案是，
8.综上所述，由于采用了上述技术方案，本发明的有益效果是：
9.本发明提出了一种基于联合损失和卷积神经网络的指静脉识别方法。基于深度卷积神经网络，使指静脉识别网络可以表示更深层的特征，通过欧式度量空间和余弦度量空间的联合损失函数，让样本特征类内紧凑、类间分散，使网络具有更强的特征表示能力，同时，基于样本配对的训练方法，解决了深度学习方法训练数据量少的困难，从而提高了识别效果。
附图说明
10.图1为本发明的数据集划分协议示意图；
11.图2为本发明的训练过程示意图；
12.图3为本发明的联合损失示意图；
具体实施方式
13.步骤1、采集指静脉图像进行预处理得到指静脉样本并标注分类标签，建立指静脉数据集；
14.步骤2、构建并训练指静脉识别的深度卷积神经网络：
15.深度卷积神经网络包括特征提取网络和分类网络；特征提取网络用于从指静脉样本中提取出静脉特征向量输入分类网络；分类网络用于接收静脉特征向量输出指静脉识别结果；
16.特征提取网络在训练时基于联合损失优化网络；联合损失函数l＝l1+l2，其中，l1为从欧氏空间上约束样本的特征表示，l2在余弦空间上约束样本的特征表示：
[0017][0018][0019]
其中，α和β是调节因子，分别用于调节l1和l2损失的大小，防止两者差异过大，||
·
||2表示向量的2-范数，f(
·
)表示特征提取函数，xi(i∈n)表示第i个输入的指静脉图像，n表示一个批次的样本数量，分别表示第i个输入的指静脉图像的锚点样本a、与锚点样本同类的正样本p和与锚点样本不同类的负样本n，β表示类间距离与类内距离的增加间隔；l2中，表示第i个样本特征与网络权重向量之间的夹角，由于||xi||2和进行了特征向量化，所得结果为1，可进行简化，s表示缩放因子，m表示权重和特征之间的增加间隔，θj表示权重w
yj
和第j个样本(i≠j)向量间的夹角。联合损失函数让网络从欧式度量空间和余弦度量空间学习指静脉的特征表示，并且通过样本配对的训练方式，令原始的样本数量的数据规模从n扩充为
[0020]
分类网络在训练阶段通过预测样本所属类别，通过预测值与真实值的误差，借助反向传播算法来更新特征提取网络和分类网络的权重；
[0021]
步骤3、计算识别阈值：
[0022]
深度卷积神经网络训练结束后，去掉分类网络，保留特征提取网络；在指静脉数据集上用特征提取网络提取特征表示，用余弦相似度衡量提取特征与数据集中对应的静脉样本特征之间的距离，与给定的阈值相比，判断两个特征是否相似。再根据相似判断结果来确
定识别阈值的取值。具体的，可通过相似判断结果得到错误拒绝率frr和错误接受率far来评价特征提取网络效果并确定识别阈值的取值。
[0023]
步骤4、基于指静脉特征提取网络输出待判别图像的预测结果：
[0024]
对于注册的指静脉图像，基于指静脉特征提取网络获取该注册指静脉的特征表示，并将特征表示作为注册模板存储到特征数据库；
[0025]
对查询的待判别指静脉图像，通过特征提取网络获取待判别指静脉的特征表示，并计算该特征表示与特征数据库中模板的余弦相似度，与识别阈值比较，判断是否已注册，完成身份识别。
[0026]
具体的，步骤1中，图像预处理包括指静脉图像的感兴趣区域roi提取、图像尺寸归一化。
[0027]
进一步的，所述图像roi提取是采用sobel算子获取手指边界，基于最小二乘法拟合手指中轴线，对手指旋转矫正，基于手指关节腔定位指节，截取指节的图像感兴趣区域。
[0028]
具体的，步骤1中，所述指静脉数据集基于开集协议划分为训练集、验证集和测试集，测试集又分为注册集和查询集。
[0029]
进一步的，步骤2中，指静脉识别的深度卷积神经网络基于现有深度卷积神经网络的改进点在于：特征提取网络采用resnet34结构，用3
×
3的小卷积核替换了7
×
7的卷积核，保留更多的局部细节信息，同时减少网络参数量；同时，将原始残差模块中batchnorm调整到卷积操作之前，这样可以保证输入的分布稳定，让网络可以从原始的数据分布学习；将relu激活函数替换为leaky relu函数，避免出现均值偏移；在残差模块的最后，引入通道注意力模块，让网络关注更重要的信息；对网络最后的输出特征进行l2正则化，便于进行余弦相似度的计算。
[0030]
下面结合实施方式和附图，对本发明作进一步地详细描述。
[0031]
首先，步骤1对采集的图像进行预处理，具体如下：
[0032]
步骤s1-1，输入一张指静脉图像，利用sobel算子在图像进行卷积运算粗步过滤图像的背景信息，获得x方向和y方向梯度，计算如下式：
[0033][0034]
其中，a表示原始图像，g
x
表示指静脉图像在x方向上梯度，gy表示指静脉图像在y方向上梯度。
[0035]
步骤s1-2，由于其他的噪声在粗步过滤图像的背景信息后的图像中分布较为离散，通过并查集计算图像中非零像素的联通数量，将联通数小于5的联通块置为零，获得手指边界的二值图。
[0036]
步骤s1-3，根据手指在相应横坐标xi的上下边界在二值图上的坐标和计算手指中轴线的坐标(其中(i∈[0,w-1]，w为图像宽度)，并基于最小二乘法拟合手指中轴线。
[0037]
步骤s1-4，根据拟合的手指中轴线计算斜率，该斜率对应的角度为手指旋转的角度，利用旋转角度θ对指静脉图像进行旋转矫正得到矫正图像g
′
，旋转角度计算如下：
[0038][0039]
其中，y1、y2是手指中轴线上任意两个点的纵坐标，x1、x2是相应的横坐标。
[0040]
步骤s1-5，指静脉图像roi边界确定。由于手指指关节腔在指静脉图像中呈现为亮度较高的区域，图像沿着手指中轴线的像素值会出现两个峰值，根据两个峰值所在的横坐标可以确定roi区域的左右边界，同时，根据手指上下边界可以确定roi区域的上下边界。具体来说，首先，获取矫正图像g
′
沿中轴线的像素值g
′
[xi][y](i∈[0,w-1])，其中w为图像的宽度，通过滑动窗口遍历像素点，获取像素值最高和次高的坐标x
l
、xr，即roi区域的左右边界。然后，根据步骤s1-2获取矫正图像g
′
的手指上下边界y
up
、y
down
来确定静脉图像roi区域的上边界和下边界h为图像的宽度，表示在图像水平位置h处的手指上边界、下边界，h∈[0,h]。
[0041]
步骤s1-6，根据roi的边界坐标从矫正图像g
′
截取感兴趣区域，并将截取的图像尺寸大小归一化为300
×
100。
[0042]
步骤s1-7，基于开集协议划分指静脉数据集，具体参见图1，取指静脉类别一半的样本作为训练集，剩下作为验证集和测试集(1:1)，测试集进一步划分注册集和查询集。
[0043]
步骤2中，本发明构建的指静脉识别的深度卷积神经网络包括特征提取网络和分类网络。本具体实施方式中，使用pytorch深度学习框架构建深度卷积神经网络。特征提取网络基于resnet34的框架，替换7
×
7的卷积核为3
×
3的小卷积核，保留更多的局部细节特征，并修改了残差模块——将batchnorm调整到卷积操作之前，保证输入的特征分布稳定，让网络可以从原始数据的分布中学习，将relu激活函数替换为leaky relu激活函数，避免在学习中出现均值偏移，在模块的末端引入通道注意力模块se，让网络更加关注信息量大的特征。对网络最后的输出特征进行l2正则化，便于进行余弦相似度的计算。具体参数见下表：
[0044]
[0045][0046]
表1改进resnet34网络结构参数
[0047]
分类网络，是由两个全连接层组成，第一层包含512个神经元，使用swish激活函数，第二层包含n个神经元，输出为1
×
n的矩阵，n为训练的样本类别数，表示样本所属类别的概率分布。
[0048]
步骤3中，在训练集上对指静脉识别的深度卷积神经网络训练如下：
[0049]
令表示指静脉图像对输入的三元组，表示锚点样本，表示与锚点样本同一类别的正样本，表示与锚点样本不同类别的负样本。f(xi)表示特征提取网络提取样本xi的特征表示。
[0050]
模型训练过程如图2所示，首先，利用pytorch的transforms对指静脉图像进行增强预处理，包括随机旋转[-30
°
，30
°
]、随机对比度调整[0,2]。然后，将三个图像样本组成的三元组输入特征提取网络，得到3
×
512维的特征向量，并计算三元组特征对在欧式空间上的类内距离在欧式空间上的类内距离和类间距离最后，将每个指静脉特征表示f(xj)输入分类网络，得到样本类别概率分布，计算样本特征f(x)与分类网络最后一层权重w的余弦相似度cos(f(x),w)，余弦相似度计算公式如下：
[0051][0052]
训练开始时采用xavier初始化方法初始化卷积网络的参数，训练的批大小为64，每次训练迭代中，计算卷积网络的损失值，基于联合损失，使用adam优化卷积网络的参数，训练的最大epoch数为150，选择损失最小的权重进行保存。
[0053]
特别的，本发明还设置了一种联合损失函数，增强网络的特征表示能力，提高预测的效果。参见图3，本发明中对指静脉识别网络训练时采用的联合损失包括两个部分，即l＝l1+l2。其中，l1从欧氏空间上约束样本的特征表示，l2在余弦空间上约束样本的特征表示。损失函数的l1、l2公式如下：
[0054][0055][0056]
式中，α和β是调节因子，用于调节l1和l2损失的大小，防止两者差异过大，||
·
||2表示向量的2-范数，f(
·
)表示特征提取函数，xi(i∈n)表示第i个输入的指静脉图像，n表示一个批次的样本数量，a、p、n分别表示锚点样本、与锚点样本同类的正样本和与锚点样本不同类的负样本，γ表示类间距离与类内距离的增加间隔；l2中，θ
yi
表示第i个样本特征与网络权重向量之间的夹角，s表示缩放因子，m表示权重和特征之间的增加间隔，cosθj为网络权重与第j个样本间的余弦角度。
[0057]
步骤4中，识别阈值是一个区分指静脉图像同类与不同类特征的决策边界，需要以下步骤：
[0058]
步骤s4-1，对步骤1划分的验证集的样本进行两两配对，分为同类样本对和不同类样本对两大类，对数据标注为1和0；图像样本三元组是三个样本，验证集是样本两两配对，通过两两样本间的相似度判断是否为同一类；
[0059]
步骤s4-2，步骤3卷积网络训练结束后，去掉分类网络，保留特征提取网络，用pytorch加载网络的权重；
[0060]
步骤s4-3，利用三方库numpy生成[th
l
,thr]区间内100段等长度的阈值数组{th
l
,th
l+1
,
…
,thr}；
[0061]
步骤s4-4，将验证集的样本对输入特征提取网络，每个样本对得到两个特征表示向量vi和vj。由于向量经过l2正则化，模长为1，两者的内积即是余弦相似度。计算特征表示向量的余弦相似度cos(vi,vj)，遍历阈值数组中每一阈值thi，若cos(vi,vj)》thi，则输出1表示网络预测vi和vj属于同一类别，否则输出0表示不属于同一类别。
[0062]
步骤s4-5，统计模型预测的结果和实际的标签，通过错误拒绝率(frr)和错误接受率(far)来评估特征提取网络的性能，计算公式如下：
[0063]
[0064][0065]
其中，根据s4-1的数据标注，tp表示实际标签为1，模型预测结果也为1，fn表示实际标签为1，模型预测结果为0，fp表示实际标签为0，模型预测结果为1，tn表示实际标签为0，模型预测结果为1。
[0066]
步骤s4-6，遍历完阈值数组中所有元素，得到相应的far和frr，选取far与frr相等时的阈值作为最佳识别阈值t。
[0067]
步骤5中，基于指静脉特征提取网络输出待判别图像的预测结果：
[0068]
步骤s5-1，测试集的指静脉图像，划分为注册集和查询集，对于注册的指静脉图像，基于指静脉特征提取网络获取指静脉的特征表示vr，将特征表示作为模板追加存储到特征数据库；
[0069]
步骤s5-2，，在注册完成后，进入查询阶段，取出特征数据库的特征矩阵m；
[0070]
步骤s5-3，对查询集的待判别指静脉图像，通过特征提取网络获取特征表示vu，并通过python广播机制将vu扩充到与特征矩阵m相同维度，记为v；
[0071]
步骤s5-4，计算待判别的样本特征表示的转置v
t
与特征矩阵m的余弦相似度，将对角线元素置为0，并将矩阵中最大的相似度θ与最佳识别阈值t进行比较，判断待判别样本是否完成注册，若最大相似度θ大于识别阈值t，表明待判别样本已经注册，并可根据其所在特征矩阵的索引查询相应的信息。
[0072]
以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。