一种基于强化学习算法优化卷积神经网络的静脉识别方法与流程

本发明涉及静脉识别技术领域，尤其涉及一种基于强化学习算法优化卷积神经网络的静脉识别方法。

背景技术

随着人工智能领域事业的迅速发展，计算机视觉、深度学习技术的使用在各个识别领域获得越来越突出的表现，相比传统的识别方法在图像、语言、文本等各个方向都取得了更好的效果。目前图像识别的深度学习算法主要是卷积神经网络。卷积神经网络通过预先的学习可以学习到各种图像中的高层抽象特征，这些特征的分辨能力极强，即使图像中的微小差别也能分辨出来。特别是在特征提取中，卷积神经网络由于其窗口可控，计算代价适中的优点成为最普遍，高效的特征提取技术。但卷积神经网络的网络架构设计需要许多人工的经验，如卷积核的大小，池化层采用的方法，层数的设计，过滤器的数量等等，存在许许多多的先验知识和人为设定。

基于卷积神经网络的生物特征识别技术越来越普及，已经正在逐步取代传统的密码等身份认证方式，给人们带来了极大的便利。静脉识别技术由于其天然的防伪性也逐渐受到研究者及商业公司的关注。静脉分布于皮肤表面下，属于活体的内部生理特征，具有很高的安全性、唯一性和防伪性强等特点。

针对不同的识别领域，该领域的图像会有其特殊的性质，目前人为设计的方法多是用于人脸或某个其他实体的识别。在身份认证类的应用，如在指纹、静脉等方面都是小样本小范围内的应用，很难通过预训练得到一个较好的识别模型。同时，在静脉识别技术领域目前可参考的网络结构设计经验还很少，要想在原来模型的基础上进行更进一步的优化比较困难。因此，我们设计了使用强化学习的方法来对卷积网络架构进行学习探索，得出评价最高的模型，然后应用到静脉识别中。

技术实现要素：

为解决上述问题，本发明提供了一种基于强化学习算法优化卷积神经网络的静脉识别方法，探索神经网络结构空间中效果更优的神经网络结构，通过优化神经网络的结构来改进模型，提高模型的认证精度。同时，通过强化学习的方式自动探索神经网络结构空间，以及根据不同结构会给出不同评价的机制，减少人为的经验来学习最优的结构方案，提高网络结构对静脉特征的表征效率。

基于强化学习算法的优化能够使卷积神经网络结构的探索空间更具多样性和可扩展性，如果定义更大或更优的策略空间，就可以得到更符合实际身份认证应用中样本特征的网络结构。

为实现上述目的，本发明采用了如下技术方案：

一种基于强化学习算法优化卷积神经网络的静脉识别方法，利用强化学习算法对卷积神经网络进行优化，再构建静脉识别模型。静脉识别模型包括一个基于强化学习算法的网络探索模型和一个多层的卷积网络评价模型。网络探索模型包括编码器、线性层、非线性层、softmax分类层、解码器和回报评价模块。卷积网络评价模型包括了一个数据输入预处理层、多个正常卷积模块层和间隔的多个压缩卷积模块层、全局池化层、全连接层，最终输出静脉特征向量。通过对提取的静脉特征向量进行比对识别，实现安全、高效、便捷的静脉识别身份验证。

上述技术方案包括以下实施步骤：

(1)构建网络探索模型

(1.1)利用编码器将维度为90的策略空间映射到大小为1x100的实数向量中，其中100是lstm模块中隐藏层的维度，由20个全连接层和softmax函数组成softmax分类层，将lstm模块中最后输出的策略项特征转化成与每一个策略项空间相对应的概率向量，最后解码器将概率向量转化成每一个策略项，解码器在构建网络拓扑结构时，将使用相应概率向量中概率值最大的策略项；

(1.2)对策略空间定义5个策略，包括：残差卷积、3x3的空间可分离卷积、5x5的空间可分离卷积、3x3的平均池化层和3x3的最大值池化层；

(1.3)引入lstm网络，即一个标准的一层lstm模块，包括遗忘门、输入门和输出门，其中隐层神经元的维度是100x100，并使用softmaxtemperature＝5.0，用于描述样本的概率分布的熵；

(1.4)创建回报评价模块，其采用交叉熵的变种，加入回报值，使回报值高的策略产生的概率更大，回报值低的策略产生的概率更小，设x＝[x1，x2，...，xm]是训练lstm网络时输出的向量，其中m是当前策略项的相应策略空间大小；

(2)构建和优化卷积网络评价模块

卷积网络评价模型采用由网络探索模型中生成的正常卷积模块和压缩卷积模块，将两种卷积模块进行多层跳接级联，再进行特征提取；

(2.1)输入层以静脉图像输入；

(2.2)初始处理模块以一层3x3的卷积层对输入的静脉图像进行预处理；

(2.3)经预处理后进入正常卷积模块和压缩卷积模块，每个正常卷积模块重复4次，先进行正常卷积x4再经过压缩卷积，两种卷积模块重复进行3次跳接级联；

(2.4)全局池化层将卷积后的输出进行全局池化；

(2.5)全连接层对全局池化后的特征数据进行分类；

(2.6)交叉熵根据全连接的分类结果求得损失值。

(3)进行网络训练

训练的网络包含两个部分：一是网络探索模型的lstm网络以及softmax分类层，二是用于评价的卷积神经网络，两个网络交替进行训练；

(4)利用训练好的卷积神经网络进行静脉识别

(4.1)用户注册静脉图像输入到卷积网络模型生成特征向量，并作为模板存储到模板存储模块；

(4.2)输入待识别图像，经卷积网络模型特征提取生成待识别特征向量；

(4.3)待识别特征向量与模板存储模块中的模板特征向量进行比对识别，根据卷积神经网络输出的结果判断静脉识别情况。

附图说明

图1是本发明技术方案实施基本流程图；

图2是本发明网络探索模型结构图；

图3是本发明多层的卷积网络评价模型结构图；

图4是本发明网络探索模型中定义的5个策略图；

图5是本发明正常卷积模块的示意图；

图6是本发明压缩卷积模块的示意图；

图7是本发明lstm时序迭代图；

图8是本发明手掌静脉单样本示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合具体实施例，对本发明进行进一步详细说明。

实施例1

以手掌静脉识别为例，手掌静脉相比于手指静脉和手背静脉更具有应用优势，如：(1)手掌静脉拥有更加复杂的纹路结构，具有更丰富的静脉纹路信息，同时具备唯一性；(2)手掌静脉的采集更方便、更友好，光源设计更加容易可靠。目前的静脉识别算法主要是基于特征点和基于纹理特征来进行比对，其中特征点主要是指静脉纹路中的一些显著的关键点，具有很强的辨识度，如端点、分叉点、交点等。

如图1所示是本发明技术方案实施基本流程图。在本实施例中，一种基于强化学习算法优化卷积神经网络的静脉识别方法，包括以下实施步骤：

(1)构建网络探索模型

本发明所使用的基于强化学习算法的网络探索模型结构图如图2所示，第一层是编码器，主体部分是一个一层的lstm网络包括多个线性单元和非线性单元，然后并联多个softmax分类层，解码器最终将数据转换成策略项作为输出。

(1.1)利用编码器将维度为90的策略空间映射到大小为1x100的实数向量中，其中100是lstm模块中隐藏层的维度，由20个全连接层和softmax函数组成softmax分类层，将lstm模块中最后输出的策略项特征转化成与每一个策略项空间相对应的概率向量，最后解码器将概率向量转化成每一个策略项，解码器在构建网络拓扑结构时，将使用相应概率向量中概率值最大的策略项。

(1.2)对策略空间定义5个策略，包括：残差卷积、3x3的空间可分离卷积、5x5的空间可分离卷积、3x3的平均池化层和3x3的最大值池化层。

网络探索模型是基于一个预先定义好的策略空间进行搜索的，本发明技术方案的策略空间定义了5个策略，如图4所示，在正常卷积模块中所有策略的步长为1，在压缩卷积模块中所有策略的步长为2。

如图5和图6分别为按网络探索模型所输出的20个策略项为拓扑，用定义的5个策略所得出的正常卷积模块和压缩卷积模块的结构图，图中的卷积模块编号用图4中的编号表示。

(1.3)引入lstm网络，即一个标准的一层lstm模块，包括遗忘门、输入门和输出门，其中隐层神经元的维度是100x100，并使用softmaxtemperature＝5.0，用于描述样本的概率分布的熵：

设xt为第t次循环的输入，ht-1为第t-1次循环的隐藏层输出，σ表示logistic函数，激活函数都选择tanh，则ft表示经过遗忘门后所剩下的记忆信息因子，其计算公式为：

ft＝σ(wf·[ht-1，xt]+bf)

经过输入门后，计算得记忆单元的记忆信息因子it和当前获得的新记忆

it＝σ(wi·[ht-1，xt]+bi)

从而，当前网络的记忆被更新为：

第t个循环的网络输出为ot，而本次循环的隐藏层输出为ht，计算公式为：

ot＝σ(wo·[ht-1，xt]+bo)

ht＝ot*tanh(ct)

(1.4)创建回报评价模块，其采用交叉熵的变种，加入回报值，使回报值高的策略产生的概率更大，回报值低的策略产生的概率更小，设x＝[x1，x2，...，xm]是训练lstm网络时输出的向量，其中m是当前策略项的相应策略空间大小；由于每个策略项的空间大小不一样，m将会随着每次策略项的不同而相应改变，则经softmax分类层变换后结果为：

经过网络探索模型的n次前向计算后，得到20个策略项概率向量组成的一个策略概率矩阵，令策略矩阵s＝[s1，s2，...，sn]，log_s＝[logs1，logs2，...，logsn]，则j代表的是用训练lstm时产生的n个概率向量，和以这些概率向量为参数定义的多项式为分布而选择出的策略，计算而得的交叉熵，其中a是j的控制因子，公式为：

其中策略项概率的计算公式为：

另，r是与这组策略对应的神经网络架构所训练出来的模型的验证精确度，其中为了训练更稳定更容易收敛，采用了baseline对r做一定的时间延迟平均，得到最终的损失函数为：

其中，baseline初始化为0后通过公式：

baseline＝θ*baseline+(1-θ)*r

进行更新。

(2)构建和优化卷积网络评价模块

如图3多层的卷积网络评价模型结构图所示，卷积网络评价模型采用由网络探索模型中生成的正常卷积模块和压缩卷积模块，将两种卷积模块进行多层跳接级联，再进行特征提取，其步骤如下：

(2.1)输入层以手掌静脉图像输入；

(2.2)初始处理模块以一层3x3的卷积层对输入的手掌静脉图像进行预处理；

(2.3)经预处理后进入正常卷积模块和压缩卷积模块，每个正常卷积模块重复4次，先进行正常卷积x4再经过压缩卷积，两种卷积模块重复进行3次跳接级联，图5和图6分别展示了正常卷积模块和压缩卷积模块的网络结构，input1和input2是本模块的数据输入；

(2.4)全局池化层将卷积后的输出进行全局池化；

(2.5)全连接层对全局池化后的掌静脉图像特征数据进行分类；

(2.6)交叉熵根据全连接的分类结果求得损失值。

(3)进行网络训练

训练的网络包含两个部分：一是网络探索模型的lstm网络以及softmax分类层，二是用于评价的卷积神经网络，两个网络交替进行训练，具体实施步骤如下：

(3.1)网络探索模型的第一次输入被初始化为1x100的全零向量，第一个隐藏层h1初始化为1x100的全零向量，网络的神经元和解码器中的参数全部初始化为从-1.0到1.0的均匀分布，以此通过网络计算和softmax分类输出第一次的策略概率p，并从以p为参数定义的多项式分布，选择出一个策略选项a1。

在此后的循环中，每次都以同样方法，只将输入换成前一次循环的策略项输出和隐藏层输出(如a1和h1)，a1需经过编码器后输入网络，将得到后续的策略项a2，a3，…，a20，以此形成了一个策略(a1，a2，…，a20)。

(3.2)以策略(a1，a2，…，a20)为拓扑，构筑一个正常卷积模块，模块有2个数据输入口，分别是多层的卷积网络评价模型中本卷积模块的上层和再上一层的输出。

a1，a2为模块中第一个节点的2个输入来源的标识；a3，a4为对前面两个输入所做的策略项操作的标识，两者在通道上的叠加并做了整形后的输出即为第一个节点的输入。此后，以同样的方法计算第二、三、四、五个节点的输入。在最后将5个节点中从未做过其他节点的输入的节点进行通道层的叠加，并整形后成为此卷积模块的最终输出，在正常卷积模块中每个卷积核的步长为1，在压缩卷积模块中每个卷积核的步长为2。

(3.3)将正常卷积模块和压缩卷积模块按图3所示拓扑连接构成了多层的卷积网络评价模型。以手掌静脉图像组建训练样本集，样本示例如图8，作为输入来对其中的权重参数进行训练使其损失函数值降到最低，参数优化方法为随机梯度下降法，初始学习率最大值设置为0.05，以指数衰减的形式变化，直到衰减到0.0001，这是一个周期的变化过程，把学习率调整到一个周期的时间跨度设置为10次网络训练循环，每个周期学习率的周期步长会增加一倍；batchsize大小设置为128，当完成一次网络训练循环时，暂停训练，使用手掌静脉数据的验证集进行计算精确度。

由网络探索模型根据精确度作为回报值进行lstm和softmax分类层的权重参数迭代更新，继而在新的参数权重下生成新的策略。在网络探索模型的训练中，参数优化方法采用了adam，学习率设置为0.00035，而回报值的延时平均因子θ设置为0.999，交叉熵控制因子a为0.1。交替训练直到网络探索模型所产生的策略，构成的网络经过训练后所得的验证精确度波动较小为止，本发明技术方案将此波动设置为10％以内。

此外，在每次根据模型策略生成正常卷积模块和压缩卷积模块后，直接按模块类型加入到卷积网络的相应位置，参数直接继承使用上一轮训练中的参数作为初始值，不重新进行初始化，以节省训练整个卷积网络的时间。

(3.4)选出验证精确度最好的一个子模型，使用之前训练的参数继续进行训练，直到loss损失函数不再减小或验证精确度不再提高为止，即得到最终训练好的模型和参数，使用训练好的模型和参数即可以对手掌静脉图像进行特征提取。

(4)利用训练好的卷积神经网络进行手掌静脉识别

(4.1)用户注册手掌静脉图像输入到卷积网络模型生成特征向量，并作为模板存储到模板存储模块。

(4.2)输入待识别图像，经卷积网络模型特征提取生成待识别特征向量。

(4.3)待识别特征向量与模板存储模块中的模板特征向量进行比对识别，根据卷积神经网络输出的结果判断静脉识别情况。

本发明技术方案结合了强化学习在探索最佳策略问题方面和卷积神经网络在图像特征提取方面二者的优势，根据实际中识别手掌静脉图像的应用场景，设计获得一种计算量小、精确度更高和优化效果明显的卷积神经网络。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。