基于三通道神经网络的离线签名鉴定方法及系统

本发明属于签名识别技术领域，涉及一种基于三通道神经网络的离线签名鉴定方法及系统。

背景技术：

手写签名鉴定的过程通常是根据两个给出的签名笔迹信息，判断这两个签名是否来自同一个人。针对手写签名鉴定的研究方法可以依据数据的采集方法分为两类：离线手写签名鉴定和在线手写签名鉴定。离线手写签名鉴定所使用的签字数据直接通过扫描的方式将签名图像以灰度图的格式扫描，并存储为静态图像。而大多数的签字数据是采集的离线的静态图像，且离线手写签名鉴定可将在线数据转换为静态图像的格式，离线手写签名鉴定的应用场景更加广泛。

有一种现有的离线手写签名鉴定方法采用双通道神经网络模型，将双通道神经网络输出层的神经元个数设置为2，样本对以双通道的方式叠加为一张图像，输入神经网络进行训练，最终以2个输出值计算样本对的距离，并根据距离值与阈值的比较，得到判断结果。但现有技术采用的双通道神经网络训练时的收敛速度较慢，不利于使用，且鉴定的精确度不高，不能满足使用的需求。

技术实现要素：

本发明的目的在于提供一种基于三通道神经网络的离线签名鉴定方法及系统，收敛速度快，精度高。

为了达到上述目的，本发明的基础方案为：一种基于三通道神经网络的离线签名鉴定方法，包括如下步骤：

获取签名图像和对比图像，并将签名图像和对比图像转换为灰度图或二值图；

将签名图像和对比图像进行对比，得出差值图像；

设置三通道神经网络，将签名图像和对比图像分别输入三通道神经网络的前两个通道，差值图像输入三通道神经网络的第三通道；

签名图像、对比图像和差值图像在三通道上进行叠加，得到三通道图像；

以三通道图像作为输入，训练神经网络模型，得到鉴定结果。

本基础方案的工作原理和有益效果在于：将签名图像和对比图像的差值图也看作一种重要的基础数据，将三通道神经网络引入到离线签名鉴定领域。整个神经网络的前两个通道为两张签名图像，第三个通道的数据为两张签名图像的差值图。该方法相当于在输入上加入了先验信息，使得神经网络训练能更快收敛，优化网络训练效果，提高鉴定的精确度。

进一步，签名图像和对比图像为灰度图或二值图，其尺寸为w×h×1；

当签名图像和对比图像作对比时，读入模型的数据尺寸为w×h×2；

差值图像的尺寸为w×h×1，签名图像、对比图像和差值图像叠加得到三通道图像，其尺寸为w×h×3。

设置三通道图像，类似rgb图像，当深度学习中训练或者预测图像数据时，将图像按rgb模式读取并输入神经网络模型，取得更好的鉴定效果。

进一步，在神经网络中加入空洞卷积层。

根据确定的空洞卷积，进行模型训练，可以显著提升模型的性能。

进一步，空洞卷积层位于神经网络的基线网络mix2层中。

确定空洞卷积的具体参数和位置，保证空洞卷积对模型性能的提升。

进一步，具体空洞卷积的方法如下：

将空洞率设置为锯齿状结构，空洞率表达式如下：

mi＝max[mi+1-2ri,mi+1-2(mi+1-ri),ri]

其中，mi代表第i层的最大空洞率，ri代表第i层空洞率，设卷积核尺寸为k×k，当满足m2≤k时，即符合设计条件的要求。

此锯齿状的空洞卷积结构加入神经网络中，改善网络性能。

进一步，在神经网络中设置注意力机制。

通过使用通道注意力机制，使神经网络模型的鉴定效果提升。

进一步，注意力机制位于神经网络的最末层，用于对神经网络模型提取的笔迹特征赋予不同的权重。

将注意力机制放置在整个网络的最后，通过优化模型的超参数，获得了超出基线模型的效果。

进一步，具体注意力机制的方法采用senet模块如下：

以x为网络输入，u为网络提取的特征图，将大小为w×h×3的特征图通过fsq函数进行squeeze操作，得到一个大小为1×1×c的向量，其公式为：

uc为第c通道的特征图；

将1×1×c的向量转换为一个新的具有权重信息的1×1×c的向量，即为excitation操作，门机制的公式为：

fex(z,w)＝σ(g(z,w))＝σ(w2δ(w1z))

其中，δ为relu激活函数，σ为sigmoid激活函数，z代表特征图，w表示参数，参数与特征图相乘，得到下一步的特征图；g为中间计算函数；w1将1×1×c的向量压缩到设定好的1×1×r，r即为降维系数，w2再将向量恢复为1×1×c；

得到1×1×c的向量即为所需要的通道权重向量，并与w×h×c的特征向量相乘，即可得到输出图像特征图x％。

senet模块可建立一个注意力机制，学习每个特征通道的重要程度，并显示地建立起不同特征通道之间的相关性，增强对预测结果有效的特征，削弱无效特征，有效地提升模型性能。

进一步，对三通道神经网络进行5折交叉验证，评估三通道神经网络的性能；设置训练集、验证集、测试集的分配比例为0.75：0.05：0.20，将所有数据分为5份，测试集在其中依次选取，完成数据集的5折分配。

5折交叉验证可评估神经网络的性能，以便进行优化神经网络模型性能的操作。

本发明还提供一种基于上述离线签名鉴定方法的鉴定系统，包括图像采集模块、存储模块、对比模块和鉴定模块；

所述图像采集模块用于采集实时手写的签名图像；

所述存储模块用于存储对比图像；

所述对比模块的第一输入端与图像采集模块连接，对比模块的第二输入端与存储模块连接，用于获取差值图像；

所述鉴定模块分别与图像采集模块、存储模块和对比模块的输出端连接，用于输出签名的鉴定结果。

鉴定系统通过采集签名图像，进行签名鉴定，使用简单，易于操作。

附图说明

图1是本发明基于三通道神经网络的离线签名鉴定方法的流程示意图；

图2是本发明基于三通道神经网络的离线签名鉴定系统的流程示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

如图1所示，本发明公开了一种基于三通道神经网络的离线签名鉴定方法，包括如下步骤：

获取签名图像(待预测签名)和对比图像(参考签名)，并将签名图像和对比图像转换为灰度图或二值图，签名图像和对比图像为灰度图或二值图，其尺寸为w×h×1；

将签名图像和对比图像进行对比，得出差值图像(签名差值)；当签名图像和对比图像作对比时，读入模型的数据尺寸为w×h×2，差值图像的尺寸为w×h×1；

设置三通道神经网络，将签名图像和对比图像分别输入三通道神经网络的前两个通道，差值图像输入三通道神经网络的第三通道；

签名图像、对比图像和差值图像在三通道上进行叠加，得到三通道图像；签名图像、对比图像和差值图像叠加得到三通道图像，其尺寸为w×h×3；1，2，3代表通道层数，可以类比rgb图像，1就是r通道，2就是g通道，3就是b通道。

以三通道图像作为输入，训练神经网络模型，得到鉴定结果。第三通道的差值图像作为监督信息，获取签名图像和对比图像的差值，并设置差值的阈值范围(超过阈值可导致训练失败)，初始放入第三通道的差值图像作为监督信息，再通过神经网络进行拟合。

在神经网络中加入空洞卷积层，优选空洞卷积层位于神经网络的inceptionv3网络mix2层中，具体空洞卷积的方法如下：

将空洞率设置为锯齿状结构，如类似[1,2,5]的结构，空洞率表达式如下：

mi＝max[mi+1-2ri,mi+1-2(mi+1-ri),ri]

其中，mi代表第i层的最大空洞率，ri代表第i层空洞率，设卷积核尺寸为k×k，当满足m2≤k时，即符合设计条件的要求。根据确定的空洞卷积具体参数和位置，进行模型训练，可以显著提升模型的性能。

在神经网络中设置注意力机制，注意力机制可以方便地添加在任意网络结构中。优选注意力机制位于神经网络的最末层，用于对神经网络模型提取的笔迹特征赋予不同的权重，使附加通道的监督信息更好地融入输出特征图中。具体注意力机制的方法采用senet模块如下：

以x为网络输入，u为网络提取的特征图，将大小为w×h×3的特征图通过fsq函数(通常为一个全局平均池化层)进行squeeze操作，得到一个大小为1×1×c的向量，其公式为：

u代表特征图，c代表通道，一般提取特征后，通道c数值为256，uc为第c通道的特征图；

fex函数(通常为两个全连接层)通过神经网络的门机制为每个特征通道生成权重，将1×1×c的向量转换为一个新的具有权重信息的1×1×c的向量，即为excitation操作，门机制的公式为：

fex(z,w)＝σ(g(z,w))＝σ(w2δ(w1z))

其中，δ为relu激活函数，σ为sigmoid激活函数，z代表特征图，w表示参数，参数与特征图相乘，得到下一步的特征图；g为中间计算函数，这个函数计算过程可用w1和w2两层参数来代表；w1将1×1×c的向量压缩到设定好的1×1×r，r即为降维系数，w2再将向量恢复为1×1×c；

得到1×1×c的向量即为所需要的通道权重向量，并与w×h×c的特征向量相乘，即可得到se模块的输出图像特征图x％。例如，假设h×w×c的特征向量，通过se模块计算1×1×c的向量(假设值为1，2，3，…，c)，给h×w×1的特征图全部乘1，h×w×2的特征图全部乘2，以此类推。差值图的信息，被捕捉并通过se模块的运算，信息融合到其他位置。例如三通道图像wxhx3，经过神经网络提取后，算出来的图像就变成了w/64xh/64x30，30为通道数，se模块计算通道注意力值，把差值图的信息交互到了其他另外20个通道中，从而使神经网络训练能更快收敛，优化网络训练效果，提高鉴定的精确度。

将senet模块添加在网络的最后一层输出预测结果之前，利用senet模块增强对预测结果有效的特征，削弱无效特征，并在数据集上使用5折交叉验证，证实注意力机制加入会对模型性能带来一定程度的提升。对三通道神经网络进行5折交叉验证，用于评估三通道神经网络的性能。在确定空洞卷积的具体位置和参数设置时，利用5折交叉验证实验，通过多次尝试，确定空洞卷积层的位置，保证设置最优。

5折交叉验证时，设置训练集、验证集、测试集的分配比例为0.75：0.05：0.20，以保证测试集的占比为20％。然后将所有数据分为5份，测试集在其中依次选取，完成数据集的5折分配。比如bhsig260的孟加拉语数据集，共有100个人签名数据，其中75人作为训练集，5人作为验证集，20人作为测试集。测试集是将所有数据平均分成五份进行选取，五份之间不会有重叠，相当于训练五个模型。正式进行实验时，把这五个模型对需要测试的数据进行测试，将五份测试结果按照均等加权汇总，得到最后的输出结果。

如图2所示，本发明还提供一种基于本发明离线签名鉴定方法的鉴定系统，包括图像采集模块、存储模块、对比模块和鉴定模块；

图像采集模块用于采集实时手写的签名图像；

存储模块用于存储对比图像；

对比模块的第一输入端与图像采集模块的输出端电性连接，对比模块的第二输入端与存储模块的输出端电性连接，对比模块用于对比签名图像和对比图像，将本人签名的对比图像与需要鉴定的签名图像作差值相减，获取差值图像；

鉴定模块分别与图像采集模块、存储模块和对比模块的输出端电性连接，鉴定模块将签名图像、对比图像和差值图像在三通道中进行叠加，类似rgb的模式，得到三通道图像，以此作为输入，去训练神经网络，神经网络可输出签名的鉴定结果。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。