基于多模态神经网络的多维手写笔迹鉴别方法、装置以及电子设备与流程

本技术涉及图像处理，尤其涉及一种基于多模态神经网络的多维手写笔迹鉴别方法、装置以及电子设备。

背景技术：

1、随着数字化技术的发展，越来越多的场景已经转向无纸化，在无纸化的过程中，一方面将原本纸质的文档中的文字转换成对应的计算机字符来实现数字文档的转换，另一方面，需要将用户书写的笔迹转成电子化进行存档。尤其是在银行和营业厅等服务窗口都需要用户书写一段文字或者签名来作为身份验证的一部分。目前为了实现这样的笔迹电子化，存在两种方式，一种是用户仍然在纸上书写所要求的文字或者签名，并且服务人员将用户书写后的纸件扫描存档，近年来还提出了用户直接在支持手写的显示屏幕上书写，该显示屏幕所连接的计算机通过记录用户在屏幕上使用手指或手写笔经过的轨迹作为用户的书写笔迹并将该书写笔迹直接作为图片进行存档。

2、但是由于计算机图像技术的迅速发展，当前已经出现了可以使用计算机来生成模仿人类签字的签名图像的技术，因此，如果这样由计算机生成的模仿笔迹被用于上述基于笔迹识别用户身份的场景，那么就会导致用户财产或身份被伪造和滥用，严重威胁用户的财产安全。因此，需要一种能够识别用户的签名笔迹是否为用户现场手写的技术方案。

技术实现思路

1、本技术实施例提供一种基于多模态神经网络的多维手写笔迹鉴别方法、装置以及电子设备，以解决现有技术中用户的电子签名容易被计算机伪造而导致安全风险的缺陷。

2、为达到上述技术目的，本技术实施例提出了一种基于笔迹的基于多模态神经网络的多维手写笔迹鉴别方法，所述方法包括：

3、接收用户的签名数据，其中，所述签名数据包含有用户的用户标识和基于用户的签字轨迹生成的签名图像；

4、从所述签名图像提取第一特征数据，其中所述第一特征数据是表征所述用户的签字轨迹的平面特征的特征数据；

5、基于所述第一特征数据获取第二特征数据，其中，所述第二特征数据是表征所述用户的签字轨迹的空间特征的特征数据；

6、使用预先训练的机器学习模型基于所述第一特征数据和所述第二特征数据确定所述签名图像是否是基于实时书写的签字轨迹生成的；

7、当确定所述签名图像是基于实时书写的签字轨迹生成的时，确定所述签名图像为真实笔迹。

8、根据本技术实施例提出的基于笔迹的基于多模态神经网络的多维手写笔迹鉴别方法，所述方法还包括：

9、当所述签名图像为真实笔迹时，基于所述第一特征数据识别所述签字轨迹对应的签名文字；

10、比较所述签名文字与所述用户标识，以确定所述签名文字是否对应于所述用户标识；

11、当确定所述签名文字对应于所述用户标识时，基于所述用户标识确定所述用户的身份。

12、根据本技术实施例的方法还包括：当确定所述签名图像不是基于实时书写的签字轨迹生成的时，输出警报信息。

13、根据本技术实施例的方法中，机器学习模型是进行以下训练后获得的：

14、获取至少一个签名图像训练样本，其中，所述至少一个签名图像训练样本包含有对应于基于用户的实时签字或非实时签字生成的签名图像以及指示该签名图像是基于用户的实时签字生成的签名图像的指标值；

15、对所述签名图像训练样本中的签名图像提取第一特征数据；

16、基于所述第一特征数据获取第二特征数据；

17、将所述第一特征数据和所述第二特征数据输入到所述机器学习模型中，以基于所述第一特征数据和所述第二特征数据计算所述签名图像是基于用户的实时签字生成的签名图像的概率值；

18、当所述至少一个签名图像训练样本中指标值和概率值之间的差值小于预设训练精度阈值的签名图像训练样本的数目大于预设训练数目阈值时，确定所述机器学习模型满足预设精度。

19、在根据本技术实施例的方法中，机器学习模型为基于对比学习的多模态模型，

20、并且所述将所述第一特征数据和所述第二特征数据输入到所述机器学习模型中，以基于所述第一特征数据和所述第二特征数据计算所述签名图像是基于用户的实时签字生成的签名图像的概率值包括：

21、基于所述第一特征数据和所述第二特征数据生成用户签名轨迹对应的轨迹时序数据，其中所述轨迹时序数据表示所述签名轨迹中的各个点在空间中对应的时间顺序；

22、对所述第一特征数据进行第一编码处理，并且对所述第二特征数据和所述轨迹时序数据进行第二编码处理；

23、将所述第一编码处理结果与所述第二编码处理结果在所述机器学习模型的特征矩阵中进行比较，以生成所述概率值。

24、在根据本技术实施例的方法中，在从所述签名图像提取第一特征数据之前，所述方法还包括：

25、对于所述签名图像中的每个像素点定义滤波窗口，所述滤波窗口包括当前像素点以及周围的预定数目的像素点；

26、对所述滤波窗口内的图像数据执行平均化，以获得当前像素点的第一滤波结果；

27、基于每个像素点的第一滤波结果生成滤波后的签名图像。

28、本技术实施例还提供了一种基于多模态神经网络的多维手写笔迹鉴别装置，所述装置包括：

29、接收模块，用于接收用户的签名数据，其中，所述签名数据包含有用户的用户标识和基于用户的签字轨迹生成的签名图像；

30、提取模块，用于从所述签名图像提取第一特征数据，其中所述第一特征数据是表征所述用户的签字轨迹的平面特征的特征数据；

31、特征数据生成模块，用于基于所述第一特征数据获取第二特征数据，其中，所述第二特征数据是表征所述用户的签字轨迹的空间特征的特征数据；

32、第一确定模块，用于使用预先训练的机器学习模型基于所述第一特征数据和所述第二特征数据确定所述签名图像是否是基于实时书写的签字轨迹生成的；

33、第二确定模块，用于当确定所述签名图像是基于实时书写的签字轨迹生成的时，确定所述签名图像为真实笔迹。

34、根据本技术实施例提出的基于笔迹的基于多模态神经网络的多维手写笔迹鉴别装置，所述装置还包括：

35、签名识别模块，用于当所述签名图像为真实笔迹时，基于所述第一特征数据识别所述签字轨迹对应的签名文字；

36、比较模块，用于比较所述签名文字与所述用户标识，以确定所述签名文字是否对应于所述用户标识；

37、身份识别模块，用于当确定所述签名文字对应于所述用户标识时，基于所述用户标识确定所述用户的身份。

38、根据本技术实施例的基于笔迹的基于多模态神经网络的多维手写笔迹鉴别装置，所述装置还包括滤波模块，用于：

39、对于所述签名图像中的每个像素点定义滤波窗口，所述滤波窗口包括当前像素点以及周围的预定数目的像素点；

40、对所述滤波窗口内的图像数据执行平均化，以获得当前像素点的第一滤波结果；

41、基于每个像素点的第一滤波结果生成滤波后的签名图像。

42、本技术实施例还提供了一种电子设备，包括：

43、存储器，用于存储程序；

44、处理器，用于运行所述存储器中存储的所述程序，以执行根据本技术实施例的基于多模态神经网络的多维手写笔迹鉴别方法。

45、本技术实施例还提供了一种计算机可读存储介质，其上存储有可被处理器执行的计算机程序，其中，该程序被处理器执行时实现如本技术实施例提供的基于多模态神经网络的多维手写笔迹鉴别方法。

46、根据本技术实施例的基于多模态神经网络的多维手写笔迹鉴别方法、装置以及电子设备，通过从包含有用户的用户标识和基于用户的签字轨迹生成的签名图像的图像数据中的签名图像提取表征用户签字轨迹的平面特征的第一特征数据，并基于提取的第一图像特征获取表征用户的签字轨迹的空间特征的第二特征数据；使用预先训练的机器学习模型基于该第一特征数据和第二特征数据确定签名图像是否是基于实时书写的签字轨迹生成的；并且当确定签名图像是基于实时书写的签字轨迹生成的时，基于第一特征数据来执行文字识别以识别用户身份。因此，本技术实施例的基于多模态神经网络的多维手写笔迹鉴别方法，能够在用户笔迹的平面特征的基础上进一步接合用户笔迹的空间特征来判断用户的签名笔迹是否是基于实时书写笔迹生成的，从而能够消除他人通过计算机技术伪造用户的签名来通过身份识别导致的安全风险，大大提高了用户身份识别的准确性和安全性。

47、上述说明仅是本技术技术方案的概述，为了能够更清楚了解本技术的技术手段，而可依照说明书的内容予以实施，并且为了让本技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本技术的具体实施方式。