文件签名识别方法、装置、存储介质及设备与流程

本发明涉及图像处理领域，具体涉及文件签名识别方法、装置、存储介质及设备。

背景技术：

1、随着pdf电子文档在企业办公、政府机构等范围的广泛应用，为防止电子文件被修改或伪造，一般需要在相应位置进行签名，以电子文档签名的验证保障电子文档真实性和完整性。

2、目前，对于相关pdf电子文档签名验证以及判断是否缺失对应的签名，最直接的方式是基于视觉比较的人工验证方法，由相关工作者通过视觉对比来验证签名的真实性和判断是否存在签名信息。该方法完全依赖经验以及检验者的仔细度，效率较低，容易产生误判或疏漏，无法满足大批量pdf电子文档自动化验证的需求。另外，目前的pdf电子文档签名验证还有基于位置匹配的自动化验证，通过记录特定文档模块中签名的位置信息，并提取该位置的签名作为标准签名；在验证过程中将文档中的签名与标准签名进行比较，通过两者之间的相似度输出判断结果，该方法对于电子文档的签名位置要求较高，并且识别速度较慢，应用范围有限。

技术实现思路

1、基于此，本发明提供文件签名识别方法、装置、存储介质及设备，通过签名提示关键词截取签名区域，再对签名区域的手写签名进行识别，提高了电子文档签名的识别效率及准确性。

2、第一方面，本发明提供一种文件签名识别方法，包括：

3、获取待处理文档，将所述待处理文档转换为若干张图片；

4、将所述图片逐帧输入签名定位模型，识别并截取签名区域；

5、将所述签名区域输入签名识别模型，得到识别后的签名。

6、进一步的，所述将所述图片逐帧输入签名定位模型，识别并截取签名区域，具体包括：

7、将所述图片输入文本识别模型得到识别文本，将所述识别文本与预设的关键词进行匹配确定签名提示文本，得到签名提示文本的位置坐标；

8、根据所述签名提示文本的位置坐标得到签名提示文本的中心坐标；

9、将所述图片输入霍夫直线检测模型得到图片的所有直线；

10、计算所述签名提示文本的中心坐标与图片中各条直线的距离，筛选与签名提示文本的中心坐标距离最小的四条直线；

11、根据所述与签名提示文本的中心坐标距离最小的四条直线的相交点得到签名区域的坐标范围。

12、进一步的，所述计算所述签名提示文本的中心坐标与图片中各条直线的距离，筛选与签名提示文本的中心坐标距离最小的四条直线，具体为：

13、计算所述签名提示文本的中心坐标与图片中各条直线的距离；

14、按照所述距离由小到大对图片中的所有直线进行排序；

15、筛选与签名提示文本的中心坐标距离最小的四条直线。

16、进一步的，所述将所述签名区域输入签名识别模型，得到识别后的签名，具体包括：

17、截取所述签名区域的第一图片；

18、将所述第一图片输入卷积神经网络模型，得到第一特征图；

19、将所述第一特征图输入训练后的transformer网络得到签名区域中识别后的签名。

20、进一步的，所述transformer网络的训练过程具体包括以下步骤：

21、步骤s501，获取训练手写签名图片集合；

22、步骤s502，将所述训练手写签名图片集合进行预处理，得到扩展训练集；

23、步骤s503，将所述扩展训练集中的任意一张训练图片输入至transformer网络得到识别后的签名文字；

24、步骤s504，根据训练图片所述transformer网络输出训练图片中字符边界框坐标、分类概率以及位置置信度；

25、步骤s505，将所述字符边界框坐标、分类概率以及位置置信度与训练图片的标记进行验证处理，得到验证损失；

26、步骤s506，若所述验证损失大于预设第一阈值，则重复执行步骤s503-步骤s505，直至所述验证损失小于预设第一阈值；

27、步骤s507，若所述验证损失小于预设第一阈值，输出训练好的transformer网络。

28、进一步的，所述将所述训练手写签名图片集合进行预处理，得到扩展训练集，包括：

29、将所述训练手写签名图片集合划分为训练数据集和测试数据集；

30、将所述训练数据集进行数据增强处理，得到增强训练数据集；

31、将所述增强训练数据集输入至生成对抗网络，得到未分类的增强训练数据集；

32、将所述增强训练数据集输入至卷积神经网络模型进行分类，将分类后的增强训练数据集；

33、将所述分类后的增强训练数据集和未分类的增强训练数据集输入至标记样本标签模型，得到标记的增强数据集；

34、对标记的增强数据集与所述训练手写签名图片集合进行合并，得到扩展训练集。

35、第二方面，本发明还提供一种文件签名识别装置，包括：

36、文档转换模块，用于获取待处理文档，将所述待处理文档转换为若干张图片；

37、签名区域截取模块，用于将所述图片逐帧输入签名定位模型，识别并截取签名区域；

38、签名识别模块，用于将所述签名区域输入签名识别模型，得到识别后的签名。

39、进一步的，所述签名区域截取模块包括：

40、提示文本识别单元，用于将所述图片输入文本识别模型得到识别文本，将所述识别文本与预设的关键词进行匹配确定签名提示文本，得到签名提示文本的位置坐标；

41、中心坐标计算单元，用于根据所述签名提示文本的位置坐标得到签名提示文本的中心坐标；

42、直线识别单元，用于将所述图片输入霍夫直线检测模型得到图片的所有直线；

43、直线筛选单元，用于计算所述签名提示文本的中心坐标与图片中各条直线的距离，筛选与签名提示文本的中心坐标距离最小的四条直线；

44、区域截取单元，用于根据所述与签名提示文本的中心坐标距离最小的四条直线的相交点得到签名区域的坐标范围。

45、第三方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面中任一项文件签名识别方法的步骤。

46、第四方面，本发明还提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时，执行第一方面中任一项文件签名识别方法。

47、采用上述技术方案的有益效果为：通过关键词匹配的方法得到电子文档中的所有签名提示文本，再结合电子文档中的直线检测，得到签名区域的矩形框，不需要复杂的模板匹配，并且该方法简单高效地确定出电子文档的签名区域，减少对非签名区域的识别处理；并且在手写签名识别的过程中采用transformer网络与卷积神经网络结合的方式，兼顾全局注意力和局部注意力，能够充分的提取特征，提高手写签名的识别准确率。

技术特征：

1.一种文件签名识别方法，其特征在于，包括：

2.如权利要求1所述的文件签名识别方法，其特征在于，所述将所述图片逐帧输入签名定位模型，识别并截取签名区域，具体包括：

3.如权利要求2所述的文件签名识别方法，其特征在于，所述计算所述签名提示文本的中心坐标与图片中各条直线的距离，筛选与签名提示文本的中心坐标距离最小的四条直线，具体为：

4.如权利要求1所述的文件签名识别方法，其特征在于，所述将所述签名区域输入签名识别模型，得到识别后的签名，具体包括：

5.如权利要求4所述的文件签名识别方法，其特征在于，所述transformer网络的训练过程包括以下步骤：

6.如权利要求5所述的文件签名识别方法，其特征在于，所述将所述训练手写签名图片集合进行预处理，得到扩展训练集，包括：

7.一种文件签名识别装置，其特征在于，包括：

8.如权利要求7所述的文件签名识别装置，其特征在于，所述签名区域截取模块包括：

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-6中任一项文件签名识别方法的步骤。

10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时，执行权利要求1-6中任一项文件签名识别方法。

技术总结
本发明提供文件签名识别方法、装置、存储介质及设备，包括：获取待处理文档，将所述待处理文档转换为若干张图片；将所述图片逐帧输入签名定位模型，识别并截取签名区域；将所述签名区域输入签名识别模型，得到识别后的签名。该文件签名识别方法通过签名提示关键词截取签名区域，再对签名区域的手写签名进行识别，提高了电子文档签名的识别效率及准确性。

技术研发人员：张鉴扬,易满成,陈韬,魏艳霞,祁倬锐,罗锋,王越尧,王文睿,刘丹,郑博超,凤阳
受保护的技术使用者：广东电网有限责任公司广州供电局
技术研发日：
技术公布日：2024/3/27