基于图像矩的签名跨模态对齐方法、系统、设备及介质与流程

本发明涉及计算机信息处理、大数据、人工智能应用，具体是一种基于语义驱动的手写文本分割识别方法。

背景技术：

1、基于手写电子签名中包含签署人生物特征识别技术与签署人唯一对应关系，且签署行为体现签署人的主动意愿，使得原笔迹电子签名在金融、政务、司法、公共安全、民生等众多领域的广泛推广应用，手写电子签名的应用场景也在逐步扩大，随着手写电子签名笔迹在不同重要领域的应用，各种形式的攻击以及挑战也是层出不穷，这对于手写电子签名笔迹比对的精度以及抗攻击能力带来了较大的威胁，因此提升优化电子手写签署笔迹识别验证的需求也就迫在眉睫。

2、在跨模态手写签名笔迹比对中，要比对的两个签名一个是写在纸张上的离线签名，另一个是使用电子设备签署的在线电子签名，进行笔迹比对前，需要对不同模态的签名进行预处理，使得它们处于同一个模态中，方便后续的笔迹比对。其中一种方法是将纸质离线签名和在线电子签名处理成图片，在图像域进行笔迹比对。而在图像域进行比对时，如果两个签名在空间域差别较大，例如图片大小不同，签名的长宽比例不同，图像中噪声、野点的影响等等，都会给笔迹比对带来不良的影响。

3、公开号：cn115482541a，名称“基于跨模态笔迹的类协同训练方法、笔迹比对系统、设备及介质”的中国发明专利申请，公开一种基于跨模态笔迹的类协同训练方法，采集纸质版手写签名图像转化成二值化签名图像、电子签名序列正写数据及仿写数据回显为签名图像数据；对齐两种模态类型的签名图像，在通道维度进行拼接构建对应电子-纸质签名图像对，进行跨模态比对多任务联合分类训练；综合分类结果判别跨模态笔迹签署人身份。该文献涉及的签名图像对齐为基于图像像素边界框的对齐，容易受到纸质签名图像或电子签名图像中野点的影响导致对齐失败。

技术实现思路

1、有鉴于此，本技术针对现有技术中不同模特电子签名验证识别中，通常使用的基于签名边界框的对齐方法非常容易受到图像中噪声、野点的影响，导致对齐的效果不好的问题，提出的基于图像矩的对齐方法，实现不同模态的签名在图像域的对齐，对齐效果更加稳定，不易受到图像中噪声和野点的影响。

2、根据本技术的一方面，基于图像矩的签名跨模态对齐方法，包括：提取纸质离线签名笔迹特征，对在线电子签名进行笔迹回显，笔划粗化，进行跨模态签名预处理，获得纸质离线签名图片和在线电子签名图片；对签名图片进行基于矩的旋转矫正，获得矩标准化；根据通过离散纸质签名图片得到的矩标准化，对旋转矫正后的在线电子签名图片进行有参考的矩标准化对齐，输出电子签名对齐图片。

3、进一步优选，所述预处理包括：获取纸质离线签名笔迹特征信息，提取纸质离线签名的二值化签名掩膜foff，获得的二值化签名掩膜背景像素值为0和签名像素值为255的纸质离线签名图片；获取在线电子签名笔迹特征信息，根据签名笔迹坐标位置、压力、时间序列回显电子签名轨迹图像，电子签名轨迹进行粗化处理后进行二值化处理，得到一个背景像素值为0，签名像素值为255的在线电子签名的二值化签名掩膜fon，获得在线电子签名图片。

4、进一步优选，所述基于矩的旋转校正包括：对纸质离线签名进行笔迹特征提取，获取纸质离线签名图片或在线电子签名图片中任意点坐标及其像素值，分别计算其签名图片0阶、2阶中心矩，根据两个图片的中心矩，分别计算签名图像长轴和水平方向的夹角作为图片旋转角度；根据旋转角度，构建仿射变换矩阵，对签名图片进行仿射变换，完成签名的旋转校正，其中，计算签名图片0阶、2阶中心矩包括：获取签名图片任意点坐标(x,y)，以及该点的像素值f(x,y)，根据公式：mpq＝∑x∑yxpyqf(x,y)计算签名图片的矩mpq，根据公式：计算签名图片几何中心点的坐标调用公式：计算图像中心矩；所述计算图片旋转角度包括：计算获得的0-2阶图像中心矩，调用公式。计算签名图片长轴和水平方向的夹角θ；构建仿射变换矩阵：其中，μ00，μ11，μ02，μ20为签名图片0阶、2阶中心矩。

5、进一步优选，对旋转校正后的离线纸质签名图片f'off，重新计算离线纸质签名的几何中心重新计算离线纸质签名图片的0阶、2阶中心矩：根据预定的输出图片高度hnorm、宽度wnorm，调用公式：计算离线纸质签名图片尺度变换系数，其中，r为预定义系数；基于尺度变换系数、离线纸质签名的几何中心坐标构建离线纸质签名的仿射变换矩阵：

6、通过仿射变换完成纸质离线签名图片的矩标准化，得到矩标准化后的离线纸质签名图片ioff；对旋转校正后的在线电子签名图片f'on，重新计算在线电子签名的几何中心重新计算在线电子签名图片的0阶、2阶中心矩：根据预定的输出图片高度hnorm、宽度wnorm，调用公式：计算在线电子签名图片尺度变换系数αon；基于电子签名图片尺度变换系数、电子签名的几何中心坐标构建在线电子签名的仿射变换矩阵：

7、对在线电子签名图片f'on进行仿射变换，得到在线电子签名的参考图像i'on。

8、进一步优选，根据离线纸质签名图片hoff中签名区域的高度hoff和在线电子签名参考图像i'on中签名区域的高度h'on，调用公式：计算高度变换系数，构建在线电子签名图片最终的仿射变换矩阵：根据仿射变换矩阵对旋转校正后的在线电子签名图片f'on进行仿射变换，完成在线电子签名图片的矩标准化，得到矩标准化后的在线电子签名图片ion。

9、根据本技术另一方面，提出一种基于图像矩的签名跨模态对齐系统，包括：跨模态签名预处理模块提取纸质离线签名笔迹特征，对在线电子签名进行笔迹回显，笔划粗化，进行跨模态签名预处理，获得纸质离线签名图片和在线电子签名图片；矩标准化模块对签名图片进行基于矩的旋转矫正，获得签名图片矩标准化；签名对齐模块根据离散纸质签名图片矩标准化，对旋转矫正后的在线电子签名图片进行有参考的矩标准化对齐，输出电子签名对齐图片。

10、进一步优选，所述基于矩的旋转校正包括：获取纸质离线签名图片或/和在线电子签名图片中任意点坐标及其像素值，分别计算其签名图片0阶、2阶中心矩，根据两个图片的中心矩，分别计算签名图像长轴和水平方向的夹角作为图片旋转角度；根据旋转角度，构建仿射变换矩阵，对签名图片进行仿射变换，完成签名的旋转校正；其中，计算签名图片0阶、2阶中心矩包括：获取签名图片任意点坐标(x,y)，以及该点的像素值f(x,y)，根据公式：mpq＝∑x∑yxpyqf(x,y)计算签名图片的矩mpq，根据公式：计算签名图片几何中心点的坐标调用公式：计算图像中心矩；所述计算图片旋转角度包括：计算获得的0阶和2阶图像中心矩，调用公式：计算签名图片长轴和水平方向的夹角θ；构建仿射变换矩阵：其中，μ00，μ11，μ02，μ20为签名图片0阶、2阶中心矩。

11、进一步优选，对旋转校正后的离线纸质签名图片f'off，重新计算离线纸质签名的几何中心重新计算离线纸质签名图片的0阶、2阶中心矩：根据预定的输出图片高度hnorm、宽度wnorm，调用公式：计算离线纸质签名图片尺度变换系数，其中，r为预定义系数；基于尺度变换系数、离线纸质签名的几何中心坐标构建离线纸质签名的仿射变换矩阵：

12、通过仿射变换完成纸质离线签名图片的矩标准化；对旋转校正后的在线电子签名图片f'on，重新计算在线电子签名的几何中心重新计算在线电子签名图片的0阶、2阶中心矩：根据预定的输出图片高度hnorm、宽度wnorm，调用公式：计算在线电子签名图片尺度变换系数αon；基于电子签名图片尺度变换系数、电子签名的几何中心坐标构建在线电子签名的仿射变换矩阵：

13、对在线电子签名图片f'on进行仿射变换，得到在线电子签名的参考图像i'on。

14、进一步优选，根据离线电子签名图片ioff中签名区域的高度hoff和在线电子签名参考图像i'on中签名区域的高度h'on，调用公式：计算高度变换系数，构建在线电子签名图片最终的仿射变换矩阵：根据仿射变换矩阵对旋转校正后的在线电子签名图片f'on进行仿射变换，完成在线电子签名图片的矩标准化，得到矩标准化后的在线电子签名图片ion。

15、根据本技术另一方面，提出一种电子设备，包括：处理器；以及存储程序的存储器，其中，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行根据上面所述的基于图像矩的签名跨模态对齐方法。

16、根据本技术另一方面，提出一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，其中，所述计算机指令用于使所述计算机执行根据上面所述的基于图像矩的签名跨模态对齐方法。

17、该申请实现不同模特电子签名验证，基于图像矩的对齐方法，实现不同模态的签名在图像域的对齐，不易受到图像中噪声和野点的影响，对齐效果更加准确稳定，为电子商务、电子政务等实现在线电子签署，以及签署后多模态电子签名的识别、鉴定、鉴真提供可靠稳定的方法，可用于司法鉴定中电子笔迹比对。在大数据、人工智能应用中能够分辨提取准确信息，在对电子文件、电子合同等等的鉴定中起到非常重要作用，进一步提升手写电子签署笔迹比对系统的效率和安全性。可广泛用于电子商务、电子政务等电子手写输入识别验证的场景。