一种基于动态与静态特征融合的签名鉴伪方法及系统与流程

本发明涉及数字图像处理与笔迹鉴定技术领域，具体涉及一种基于动态与静态特征融合的签名鉴伪方法及系统。

背景技术：

当今社会，信息技术飞速发展，给人类社会的日常生活带来了极大的便利。与此同时，对个人身份进行准确认证、保护信息安全成为了当今信息化时代亟需解决的一个关键问题。手写签名是人的一种比较稳定的行为特征，利用手写签名进行个人身份的认证具有非侵犯性(或非触性)、易于获取、容易使人接收等特点，是一种重要的个人身份的表示手段。

手写签名鉴伪隶属于笔迹鉴定这一技术领域，传统的基于人工的笔迹鉴定在实际操作中暴露出了种种弊端和缺陷：如鉴定机构缺乏相互配合机制，鉴定人员资格认定标准不规范、鉴定水平参差不齐难以保障鉴定的正确性等等都会对鉴定结果造成负面影响。因此利用计算机自动化、规范化的方式来处理笔迹鉴定这一原本非工程的领域，对该领域的发展具有很大的推动作用。

目前签名鉴伪按实际操作方式的不同可分为联机和脱机两种，两者都有很广的应用背景，可在诸如金融、保险、公安司法部门的刑事调查和法庭审判等领域发挥重要作用。这些技术具有鉴定快、效率高、不受文检人员主观因素的影响等特点。从实际来讲联机手写签名的鉴伪技术已经十分成熟并已进入实用化阶段，然而脱机签名因无法像联机签名获取到签名者手写时的笔画顺序、手写速度、运笔压力等动态信息，无疑在鉴定真伪的难度上会更大，所以脱机签名的鉴定技术目前还不太成熟，但也成为了当下的研究热点。

技术实现要素：

为了克服现有技术上的不足，本发明提供了一种基于动态与静态特征融合的签名鉴伪方法及系统，将签名动态与静态特征结合起来，为签名鉴伪提供更高可信度的依据。

为了解决上述技术问题，本发明提供了一种基于动态与静态特征融合的签名鉴伪方法，其特征是，包括以下步骤：

s1，获取待鉴别的签名图像和完整笔迹视频；

s2，从签名图像中获取签名的静态特征，从完整笔迹视频中获取签名的动态特征；静态特征包括比例特征、纹理特征和弹性网格特征，动态特征包括压力特征和加速度特征；

s3，将签名的静态特征和动态特征进行融合作为签名的组合特征；

s4，计算签名的组合特征与此签名样本之间相似度，若相似度大于预设的阈值则此签名为真迹，否则此签名为伪造的。

进一步的，从签名图像中获取签名的静态特征的过程为：

对签名图像进行预处理获得对应的二值图像；

从二值图像中获取签名的静态特征。

进一步的，从二值图像中获取签名比例特征的具体过程为：

将二值图像投影到一个二维坐标轴上得到投影图；

根据投影图与横坐标的交点确定每行中各个文字的左右边框；

对每行中每个文字由上而下的顺序查询在纵坐标上的黑色像素点确定各个文字的上下边框；

确定边框之后，计算每个文字的面积大小s；再将签名图片中字体进行细化处理，计算每个文字的像素点作为字长l；

将每个文字的l/s的数据作为比例特性。

进一步的，从二值图像中获取签名纹理特征的具体过程为：运用gabor滤波器提取纹理特性。

进一步的，从二值图像中获取签名弹性网格特征的具体过程为：

将二值图像中各字体沿横竖撇捺四方向进行分解，提取横方向汉字子图像fh(x,y)，其中f(x,y)为汉字的二值图像，则横方向第i个网格内特性为：

其他几个方向的特征同理，“横、竖、撇、捺”四个方向特征值结合在一起，构成一个完整的字体特征矢量；这里得到的特征值，按照特征值位置，经行特征值组化，得到签名的弹性网格特征值数据组。

进一步的，从完整笔迹视频中获取签名的压力特征过程为：

将完整笔迹视频按等时间间隔分为m段，在每段中再以等时间采样的方式采集n帧，设笔迹总时长为l，实时笔迹宽度d与时间t的对应函数如下：

d＝d(t)(0≤t≤l)

将mxn个时间点对应的笔迹宽度值用矩阵k表示：

其中，dij(1≤i≤m,1≤j≤n)为第i段内第j个时间点的笔迹宽度，其定义如下：

定义g＝col(k)表示从k中随机选取一列数据，且g＝(d1,d2,...,dm)，，其中di表示第i列数据中笔迹宽度值经组化后得到的值，利用取整函数表示随机选取的m帧(一帧的意思就是一个时间段)对应的压力级fi＝(1≤i≤m)如下，

归一化压力级fi'(1≤i≤m)定义如下：

按上述方式，采集压力特征对应数据，并将此数据作为等间隔采样的时间点对应的压力特征。

进一步的，从完整笔迹视频中获取签名的加速度特征的过程为：

将完整笔迹视频按等时间间隔分为m段，在每段中再以等时间采样的方式采集n帧，设笔迹总时长为l，对每帧图像进行骨架提取，时间间隔为δt为：

将不同时间间隔内的骨架像素点数记为pij＝(1≤i≤m,1≤j≤n)，将对应时间间隔的平均笔速vij，定义如下，

将m*n个时间间隔内对应的平均笔迹加速度用矩阵q表示：

定义函数m＝mid(q)表示将q中每一行元素数值按由大到小的顺序排列，取每行的中位数，m＝(v1,v2,...,vm)归一化的平均笔速vi'(1≤i≤m)定义如下：

按上述方式，采集笔迹加速度特征对应的数据，将此数据作为间隔采样的时间点对应的笔迹加速度特征。

进一步的，采用余弦方法计算签名的组合特征与此签名样本之间相似度。

相应的，本发明还提供了一种基于动态与静态特征融合的签名鉴伪系统，其特征是，包括签名图像数据库模块、图像采集模块、特征提取模块、特征融合模块以及相似性度量模块：

图像采集模块，用于获取待鉴别的签名图像和完整笔迹视频；

特征提取模块，用于从签名图像中获取签名的静态特征，从完整笔迹视频中获取签名的动态特征；静态特征包括比例特征、纹理特征和弹性网格特征，动态特征包括压力特征和加速度特征；

特征融合模块，用于将签名的静态特征和动态特征进行融合作为签名的组合特征；

相似性度量模块，用于计算签名的组合特征与此签名样本之间相似度，若相似度大于预设的阈值则此签名为真迹，否则此签名为伪造的。

进一步的，特征提取模块中包括比例特征提取子模块、纹理特征提取子模块、弹性网格特征提取子模块、压力特征提取子模块、加速度特征提取模块；

比例特征提取子模块，用于从签名图像中获取签名的比例特征；

纹理特征提取子模块，用于从签名图像中获取签名的纹理特征；

弹性网格特征提取子模块，用于从签名图像中获取签名的弹性网格特征；

压力特征提取子模块，用于从完整笔迹视频中获取签名的压力特征；

加速度特征提取模块，用于从完整笔迹视频中获取签名的加速度特征。

与现有技术相比，本发明的有益效果为：本发明通过提取比例特征、纹理特征、弹性网格特征、压力特征及加速度特征等作为动静态特征参数，采用特征融合模型将提取的特征进行融合，以特征夹角余弦作为相似性度量的主要参量，完成签名鉴伪工作，鉴伪结果稳定、客观。

附图说明

图1为本发明系统的结构图；

图2为本发明方法的简要流程图；

图3为本发明方法的详细流程图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

本系统采用了模块化的设计方法，参见图1所示，整个系统主要由签名图像数据库模块、图像预处理模块、特征提取模块、特征融合模块以及相似性度量模块这五大模块组成，辅助模块则包括了图像录入模块和结果输出反馈模块，具体方案如下：

(1)签名图像数据库模块预先存储了注册用户的个人手写签名图像、个人信息(如姓名、性别、身份证号等)等数据化信息，后续的鉴伪过程中调用这些信息来核实待鉴定的签名图像的真伪；

(2)图像预处理模块主要完成对录入进系统的待鉴定签名图像进行预处理的工作，预处理的过程具体包括了灰度化处理、二值化处理、笔迹样本细化处理以及大小归一化处理，这几个具体步骤，将预处理之后的签名图像再用于后续模块的处理；

(3)特征提取模块中包括比例特征提取子模块、纹理特征提取子模块、弹性网格特征提取子模块、压力特征提取子模块、加速度特征提取模块，分别分析并提取签名图像的动态及静态特征。

①比例特征提取子模块：提取签字人每个签名字符的细化后的笔画长度与所占面积的比例特征作为特征值数据。此比例特征属于静态特征。

②纹理特征提取子模块：纹理特征能够反映字符的字型、字位倾斜、笔划方向、笔划和部首搭配这些常用的、比较稳定的、鉴别能力强的特征，本子模块使用gabor滤波器提取签名图像的纹理特征。此纹理特征属于静态特征。

③弹性网格特征提取子模块：该模块利用一组假想的网线对签名图像进行区域划分，使任意两条相邻网线之间的目标像素个数相等。通常是由纵横的直线组成网格。该子模块提取的特征能很好地解决手写体汉字中因书写风格不同引起的笔划位置不稳定、字体局部变形等问题，并且能够有效地反映手写签名的结构细节。此弹性网格特征属于静态特征。

④压力特征提取子模块：使用可根据笔迹宽度表示压力的笔迹采集设备，将图像等分为nxm矩阵。将压力分为4个等级，根据签名图像计算出对应的时间点的压力值，从而形成压力特征，构成一个完整的字体特征矢量。此压力特征属于动态特征。

⑤加速度特征提取子模块：将签名图像分为nxm的网格，时间间隔为t，求得加速度矩阵从而形成加速度特征矢量，构成一个完整的字体特征矢量。此加速度特征属于动态特征。

(4)特征融合模块：该模块采用特征层融合模型对上述提取的动态与静态特征进行融合。

特征层融合是从原始信息中提取特征信息进行综合分析和处理的联合识别。在大量有效的数据基础上，提取相关的特征信息。该特征信息是原数据层融合提取特征信息的统计量或充分表示量，据此对多源信息特征进行分类、汇集、综合以及总结，同时多特征提取可以提供比单特征提取更多的待检测目标的特征信息以及可信度，增大了特征空间维数。简言之，特征层融合就是特征层的联合识别，可以有效的改善鉴伪性能。

(5)特征相似性度量模块：该模块将特征融合模块所得的结果与数据库中预存的签名图像特征融合所得结果用夹角余弦法计算出两者特征之间的夹角余弦，将相似性度量结果与设定的阈值做对比，从而输出签名鉴伪结果。

向量是多维空间中的有向线段，如果两个向量的方向一致，即夹角接近于零，那么这两个向量就相近，而要确定两个向量的方向是否一致，这就要用到余弦定理计算向量的夹角。在二维空间中向量a(x1,y1)和向量b(x2,y2)的夹角余弦公式：

通过计算待鉴定签名图像所提取的特征与数据库中对应图像的特征之间的夹角余弦，即可计算出两者之间的相似度，进而可作为鉴定真伪的评判依据。

系统实际操作时签名实体(连同签名纸张)垂直摆放于扫描仪下方，要求尽量采取光照适中，录入器材像素相对稳定较高，所用的笔、纸质量较高且统一，纸张尽量选择纯白色无花纹，笔选用0.5mm黑色签字笔(签名字符的细化环节可保证系统对不同签字笔的适应性)。拍摄室中至少使用200w的led灯为拍摄提供光源，扫描过程中不会出现反光和阴影等干扰因素，从而提高了系统判断分析的准确性。扫描完成后，将图像传至系统进行识别分析，判断后得出反馈。主要的核心流程为脱机签名图像特征值的提取融合与比对分析，在特征值提取比对方面，主要提取了比例特征、纹理特征、弹性网格特征、压力特征和加速度特征参数，将五大特征融合得出特征组，运用特征夹角余弦作为相似性度量的主要参量，完成签名特征值比对工作，鉴别签名字符的真伪性。签名验证的书写人的签字相关信息是经过注册的，而且登记的每一个人都附有一个身份证号码，验证时只需根据待验证者申明的身份调出相应的参考签名特征值数据作为鉴别即可。

本发明方法的流程参见图2所示，通过提取比例特征、纹理特征、弹性网格特征、压力特征及加速度特征等作为动静态特征参数，采用特征融合模型将提取的特征进行融合，以特征夹角余弦作为相似性度量的主要参量，完成签名鉴伪工作，鉴伪结果稳定、客观。

本发明的系统算法的具体流程，参见图3所示，包括以下过程：

(1)利用扫描仪对待鉴别的签名目标图像进行采样，采集到的签名目标图像一般是彩色的，并将采集到的签名目标图像存放于图像采集数据存储区中。并采集完整笔迹视频。

(2)设存放在图像采集数据存储区中的签名目标图像为i1，对其进行图像灰度化处理得到灰度图像i2，并对i2使用中值滤波以去除噪声，然后使用最大类间方差法(otsu算法)对i2进行阈值分割，得到目标签字二值化图像i3，最终对i3进行大小归一化处理以获得其归一化图像i4，将签名目标图像i1，原始签名灰度图像i2、二值化处理后的目标签名图像i3、归一化图像i4均暂时保存于数据存储区用于后续处理。

(3)将大小归一化的二值图像i4中文字的大小提取出来作为比例特性。

提取比例特征的具体过程为：

将二值图像i4投影到一个二维坐标轴上得到投影图。二维坐标轴中横纵坐标均为长度，计算出该图像的比例，提取图像比例特征。

首先确定每行中各个文字的左右边框：计算投影图与横坐标的交点，记录这些交点所在的列坐标(设待鉴伪的签名为3个字)，分别为d1、d2和d3，用数组依次存储起来，分别对d1和d2、d2和d3之间的黑色像素点的个数进行统计，若和大于零，即可认为d1和d2、d2和d3分别为签名第一个字和第二个字、第二个字和第三个字的左右边框。

再预设两个标志变量jug1＝0,jug2＝0用以确定该字符的上下边框，对每行中每个文字通过由上而下的顺序查询。第一次搜索到黑色像素置jug1＝1，此时可根据该黑色像素点确定上边框所在的行即纵坐标。然后通过由下而上的顺序查询，第一次搜索黑色像素点并置jug2＝1，得到下边框所在的行即纵坐标。从而确定了每个字的上下边框。

确定边框之后，计算每个字符的面积大小s。再将需鉴别签名图片进行字体细化处理，将每个字符的像素点进行计数，作为字长l。将每个字符l/s的数据作为二组的数据，从而得到比例特性。

(4)纹理特性的提取，运用gabor滤波器提取纹理特性。

gabor变换在分析数字图像中局部区域的频率和方向信息方面具有优异的性能，即它能做到时域信号和频率信号的局部化。gabor函数可在空间域和频率域中同时进行测量，并且在这两种域中都是局部的变换，具有明显的方向选择性和频率特性。

由于签名笔画具有一定的线条宽度和方向，首先从签名图像的统计信息入手，每幅笔迹样本图像经每一通道滤波即提取笔迹纹理的特征，在二值图像i4(x,y)中抽取样点(x,y)，则在该点处提取的特征z为该点的纹理特征：

z＝(x,y,f0,θk,σx,σy)

其中，w为滤波器窗口的大小，h(x,y,f0,θk,σx,σy)为去除直流分量后滤波器核心函数：

其中f0与θk分别为波函数的频率和方向参数，σx和σy分别为高斯包络在x方向和y方向上的标准差。在i4(x,y)抽取足够多的样点，则所有样点可以用由式z＝(x,y,f0,θk,σx,σy)提取特征。

计算各个通道滤波器后图像的均值和标准差作为特征组成特征，这里得到的特征值，仍然如图像上的像素点一样分布，我们按照特征值位置，经行特征值向量组化(组化就是将各个向量特征融合，属于专业术语)，得到多维特征值数据组。在此，得到的特征值数据组即是签名图像的纹理特征值。

(5)弹性网格特征值提取。

这里主要是假想的网线对字体图像区域进行分割，这里是利用比例特性得出的字体图像外框，进行一定间隙的竖向划分和横向划分。图中若网格垂直方向和水平方向是均匀分布的，称其为固定网格，若网格垂直方向和水平方向是非均匀分布的，称其为弹性网格。在这里采用弹性网格，能容忍签名风格不同、局部自行变形等问题。

利用归一化二值图像i4，当i4＝1时表示为黑像素点，i4＝0时表示为白像素点。然后将字体沿横竖撇捺四方向进行分解，提取横方向汉字子图像fh(x,y)，其中f(x,y)为汉字的二值图像，则横方向第i个网格内特性为：

其他几个方向的特征同理，“横、竖、撇、捺”四个方向特征值结合在一起，构成一个完整的字体特征矢量。这里得到的特征值，仍然如图像上的像素点一样分布，按照特征值位置，经行特征值组化，亦得到4维特征值数据组。

(6)压力特征提取

签名是一种具有鲁棒性的行为特征，对于同一签名者，其签名时在字迹相同的部位按压力度基本相同。因此，利用签名的压力特征，可对签名者身份有效地进行鉴别。本文采用能够以0～3mm宽度的笔迹反映压力大小，将完整笔迹视频按等时间间隔分为m段，在每段中再以等时间采样的方式采集n帧，设笔迹总时长(签一个名字所用的时间叫做笔迹总时长)为l，实时笔迹宽度d与时间t的对应函数如下：

d＝d(t)(0≤t≤l)

将mxn个时间点对应的笔迹宽度值用矩阵k表示：

其中，dij(1≤i≤m,1≤j≤n)为第i段内第j个时间点的笔迹宽度，其定义如下：

定义g＝col(k)表示从k中随机选取一列数据，且g＝(d1,d2,...,dm)，，其中di表示第i列数据中笔迹宽度值经组化后得到的值(组化就是对向量进行融合)，本文将压力值分为4个级别(4个级别只是本文对它的定义，分别为a、b、c、d四个等级)，利用取整函数表示随机选取的m帧(一帧的意思就是一个时间段)对应的压力级fi＝(1≤i≤m)如下，

归一化压力级fi'(1≤i≤m)定义如下：

本文中m取5，n取6，对签名中的每个字迹，按上述方式，采集压力特征对应数据，并将此数据作为等间隔采样的5个时间点对应的压力特征。

(7)笔迹加速度特征的提取

由于签名者的书写习惯，签名是一种具有鲁棒性的行为特征，对于同一签名者，其签名时，不同时段平均笔迹加速度之间近似相同的。因此本文提取笔速特征进行签名鉴伪。将完整笔迹视频按等时间间隔分为m段，在每段中再以等时间采样的方式采集n帧，对每帧图像进行骨架提取，时间间隔为δt为：

将不同时间间隔内的骨架像素点数记为pij＝(1≤i≤m,1≤j≤n)，将对应时间间隔的平均笔速vij，定义如下，

将m*n个时间间隔内对应的平均笔迹加速度用矩阵q表示：

定义函数m＝mid(q)表示将q中每一行元素数值按由大到小的顺序排列，取每行的中位数，m＝(v1,v2,...,vm)归(此m与上一个m是同一个意思，上一个m是数学形式的定义，这一个m是将值一一列举)一化的平均笔速vi'(1≤i≤m)定义如下：

本文中m取5，n取6，对签名中的每个字迹，按上述方式，采集笔迹加速度特征对应的数据，将此数据作为间隔采样的5个时间点对应的笔迹加速度特征，进行后续的模型构建。

(8)经过上述的比例特征、纹理特征、弹性网格特征、压力特征和加速度特征的提取，分别得到其特征的l维向量f1、d维向量f2、x维向量f3、n维向量f4及r维向量f5，其中f1＝{fs1,fs2,...,fsl}，f2＝{fg1,fg2,...,fgd}，f3＝{fe1,fe2,...,fex}，f4＝{fm1,fm2,...,fmn}，f5＝{fv1,fv2,...,fvr}；(这些向量维数变量的取值范围都可以无限，因为不能限制一个人的名字必须要有多少个字)。

(目的是将所得到的特征向量值差距变小)(min(f)在数学上是一个固定的函数，表示f的最小值)

最后，对归一化后的上述五种特征进行加权级联融合，即

式中w1、w2、w3、w4和w5为经验权值，通过实验数据获取，且w1+w2+w3+w4+w5＝1。

(9)向量夹角余弦相似度测量

设由上述步骤所获得的待鉴定签名图像的融合特征向量可表示为(分别代表了比例特征、纹理特征、弹性网格特征、压力特征以及加速度特征)，数据库中预先存储签名名字对应的签名图像(查找数据库中的相应的数据就可以找到对应的签名图像，对应指的是名字对应)的特征向量。对于这两个n维向量，使用夹角余弦的概念来衡量它们之间的相似程度。

夹角余弦取值范围为[-1,1]，夹角余弦越大表示两个向量的夹角越小，夹角余弦越小表示两向量的夹角越大。当两个向量的方向重合时夹角余弦取最大值1，当两个向量的方向完全相反夹角余弦最小值-1。

计算待鉴伪签名图像与数据库中对应的图像特征向量之间的夹角余弦值，将其与预先由实验所得出的经验阈值t作比较，若大于该阈值则鉴定为同一人的签名，若小于该阈值，则鉴定为别人伪造的签名。

最后，利用现有的数据样本和仪器对系统的性能进行测试，基本完成了鉴定签字真伪的任务。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。