一种基于印刷体模板的手写体分离与定位方法与流程

本发明属于文本图像处理技术领域，尤其是涉及一种基于印刷体模板的手写体分离与定位的方法。

背景技术：

随着科技的发展，随着人工智能的到来，新的一轮技术革命已然开始；计算机已逐步取代了人工的繁重工作。例如，在文本识别领域，由于大量文本信息待处理，传统的人工审阅方式已然无法满足需求；或者学生考试使用的部分自动批阅系统，以及票据、凭据等的识别录入系统，这些不仅节省了由人工参与而浪费的大量时间，同时提高了工作效率。但作为文本识别系统，对其识别的精度一直以来都有很高的要求，也是目前研究的重点；文本识别主要分为手写体识别和印刷体识别两种，考虑到手写体书写的随意性和复杂性等特点，混合识别变的非常有难度，大多数的识别系统都是将其分开进行识别；伴随智能化识别系统的发展，开始逐渐打破了旧的格局，开辟新的天地；文本识别的前提是先对文本进行定位，实际识别应用中文本大多为印刷体和手写体字符的混合，而手写体通常为识别的重点目标，故需提前对待识别的手写体做出精确定位变得至关重要。

因此，有必要开发一种基于印刷体模板的手写体分离与定位方法，对同时含有印刷体和手写体图片中的手写体部分做出精确定位，提高文本识别系统的精确度。

技术实现要素：

本发明要解决的技术问题是，提供一种基于印刷体模板的手写体分离与定位方法，对同时含有印刷体和手写体图片中的手写体部分做出精确定位，提高文本识别系统的精确度。

为解决上述技术问题，本发明采用的技术方案是：该基于印刷体模板的手写体分离与定位的方法，具体包括以下步骤：

(1)图片矫正：将空白模板和含有手写体文本的图片经过二值化处理、轮廓提取和霍夫变换检测矫正图片的倾斜度；

(2)手写分离：将含有手写体文本的图片中的手写体和印刷体进行分离得到纯手写体图片；

(3)文本定位：对得到所述纯手写体图片中的手写体文本进行定位；

(4)直线检测：检测所述步骤(3)中定位到的所述手写体文本中是否有直线，若有直线则采用水平和垂直核卷积技术来检测直线的具体位置并计算输出其坐标值；

(5)干扰筛选：对所述纯手写体文本进行干扰字符筛选，并将干扰的手写体字符去掉，得到所需的手写体字符。

采用上述技方案，将含有手写体文本的图片以其原始印刷后还没有填写手写体的空白模板为参照进行图像处理分析，采用多种算法结合，实现了手写体与印刷体的定位及分离，同时含有印刷体和手写体图片中的手写体部分做出精确定位；提高了文本识别系统的精确度。其中，步骤(1)中在实际拍摄含有手写体文本的图片时，难免会有一定的倾斜性，因此为了能够完全分离手写体文本内容，需要对含有手写体文本的图片进行矫正；实际从步骤(2)中分离出的纯手写体图片中包含有所有手写体的内容，因此对该纯手写体图片的文本进行定位，则可以得出定位效果图；当空白模板中具有直线如下划线，而下划线属于非文本，无法被检测到，而为了避免在步骤五中因对坐标筛选而导致其上部区域中的手写体文本(目标信息)无法匹配最终被去除掉的风险，故先采用水平和垂直核卷积等技术来检测下划线的具体位置并输出其坐标值。

本发明进一步改进在于，所述步骤(2)具体包括以下步骤：

s21模板匹配：将步骤(1)中的所述空白模板通过至少两种匹配算法利用空白模板的滑动寻找匹配点，将含有手写体文本的图片与所述空白模板进行粗匹配；

s22模板裁剪：将步骤s21中的与所述含有手写体文本的图片粗匹配好的所述空白模板进行裁剪，使所述空白模板的大小与所述含有手写体文本的图片的大小相同；

s23特征配准：采用尺度不变特征变换的sift算法来寻找关键特征点，使所述空白模板与所述含有手写体文本的图片中的文本内容重合，使所述空白模板与所述含有手写体文本的图片配准；

s24差异检测：对步骤s23中配准后的所述含有手写体文本的图片，采用不同区域检测算法将其和所述空白模板图片进行对比检测，找出所述空白模板与所述含有手写体文本的图片中的不同区域得到检测结果图，记为图a；

s25模板相减：将步骤s23中配准后的所述含有手写体文本的图片，通过对所述空白模板和所述含有手写体文本的图片采用模板灰度处理后得到的值进行直接相减操作，得到相减结果图，记为图b；

s26相同检测：将步骤s24得到的图a与步骤s25得到的图b通过异或运算法去掉图片中手写部分的内容，得到图c；

s27手写提取：再次将所述图a和图b做或运算得到重叠后的全部文本内容，记作图d；再将图d与图c做相减运算，再经腐蚀处理及高斯去噪后，得到最终的所述纯手写体图片。

采用上述技术方案，含有手写体文本的图片以其原始印刷后还没有填写手写体的空白模板为参照进行图像处理分析，但由于图像的不完全匹配以及手写和印刷灰度值的相似性较高，为了避免难以区分，采用空白模板匹配结合特征值寻找出最佳匹配点，实现两张图片内容的最接近重合，再利用空白模板相减原理和相同值的异或消除运算，以及对比增强与图像去噪声算法，可以确保增加手写体和印刷体差异的同时达到完全分离的目的；实现了在提供空白模板的情况下，无需考虑手写体书写的具体位置以及手写体复杂性的特点，均能够对其进行完全分离；其中匹配过程主要是利用空白模板的滑动来寻找最佳匹配点，这个结果虽然不能够达到理想的匹配状态，但是能尽其最大的能力寻找到模板匹配的合适位置，并裁剪出和模板一样大小的图片；实际电子档扫描的图片会存在大小不一的情况，而在模板匹配时，空白模板的图片大小相比含有手写体文本的图片要小，因此需要将模板图片进行裁剪；为了完全重合空白模板与含有手写体文本的图片中的文本部分，达到模板相减后的最佳差异状态，因此需要对图片进行对齐化；采用尺度不变特征变换的sift算法来寻找关键特征点，以达到空白模板与含有手写体文本的图片的近似对齐，从而使两张图片配准。

作为本发明的优选技术方案，所述步骤(1)的所述空白模板和含有手写体文本的图片的印刷体文本内容及文本内容的位置均相同；所属步骤(1)中的所述二值化处理具体过程为：设定全局阈值128，将大于128的像素群像素值设定为白色，将小于128的像素群像素值设定为黑色；所述轮廓提取采用基于边界跟踪的数字化二值图像拓扑分析算法，该基于边界跟踪的数字化二值图像拓扑分析算法确定二值图像边界的围绕关系，从而定位到图像边界；所述霍夫变换检测是对输入的二值图像中的像素点，按照步长分别计算出每个点上的所有可能的直线，同时记录下每条直线经过的点数，按照阈值筛选符合条件的图像，从而达到图像检测的目的，通过霍夫变换检测可以进行直线检测，并根据得到的直线起始和终止的坐标值计算得到其上部的文本区域的坐标值。所属步骤(1)中的二值化处理：设定全局阈值128，将大于128的像素群像素值设定为白色，将小于128的像素群像素值设定为黑色。轮廓提取：采用基于边界跟踪的数字化二值图像拓扑分析算法，该算法确定二值图像边界的围绕关系，即确定外边界、孔边界以及他们的层次关系，由于这些边界和原图的区域具有一一对应关系(外边界对应像素值为1的连通区域，孔边界对应像素值为0的区域)，因此我们就可以定位到图像边界。霍夫变换：霍夫变换主要是对输入的二值图像中的像素点，按照步长分别计算出每个点上的所有可能的直线。记录下每条直线经过的点数，按照阈值筛选符合条件的图像，已达到图像检测的目的(如：直线、圆、矩形等)，扫描图片的边框一般为直线边框，通过霍夫变换可以进行直线检测，并输出直线坐标。

作为本发明的优选技术方案，所述步骤(3)中文本定位采用east深度学习算法进行定位，所述步骤(3)中文本定位采用east深度学习算法进行定位，所述east算法是通过全卷积网络fcn和非极大值抑制nms，消除中间的冗余过程，减少检测时间来对文本图片中的文本进行定位；所述east算法是基于pvanet网络，提取不同尺寸卷积核下的特征并对其进行组合，将组合后的特征再通过上池化和合并处理后恢复到原图的尺寸，接着依次送入个数为128、64、32的卷积核中做卷积操作，最后分别得到图片中每个文本的得分和文本的形状，达到文本检测的目的。

作为本发明的优选技术方案，所述步骤(5)中所述纯手写体文本进行干扰字符筛选通过对字符的坐标进行筛选来实现，坐标筛选分两份坐标列表进行，一份为所述空白模板的文本坐标，一份为分离后的纯手写体文本坐标，通过设定的阀值来比较两份坐标的差值范围来保留目标项和剔除非选项。

作为本发明的优选技术方案，所述步骤s21中的模板匹配的方法为平方差匹配方法，具体的匹配过程如下：

s211读取图片，将所述空白模板的图像在待匹配图像上进行滑动；

s212滑动每个定格得到子图坐标矩阵，再将其归一化；

s213计算相关系数，找出所述相关系数的最大值的坐标；

s214根据所述相关系数的最大值坐标得到匹配点。

作为本发明的优选技术方案，所述步骤s23中采用尺度不变特征变换的sift算法来寻找关键特征点完成所述空白模板与所述含有手写体文本的图片两幅图像中的特征点的检测和配准的具体过程为：

s231对其中一张图片通过高斯微分函数在其所有尺度空间上的图像进行极值点的检测；为了寻找尺度空间上的极值点，它采取相邻点比较的方式来筛选极值采样点，看其在图像域和尺度域上相邻点的大小，选取稳定的采样点作为特征点；

s232通过拟和三维二次函数以确定关键点的位置和尺度，同时去除低对比度的关键点和不稳定的边缘响应点，以增强匹配稳定性、提高抗噪声能力；

s233采用关键点特征向量的欧式距离来作为所述空白模板与所述含有手写体文本的图片两幅图像中关键点的相似性判定度量，从而达到两张图片配准的目的。作为本发明的优选技术方案，所述步骤s24中采用的不同区域检测算法的具体过程为：将步骤s22中裁剪后所述空白模板与所述含有手写体文本的图片进行所述二值化处理，处理后进行同一位置的逐像素比对，对白色像素差异区域进行保留，并对黑色像色区域进行反转即将像素值0改为255，也一并保留在差异区域的图片上；这样可以完全输出所述空白模板与所述含有手写体文本的图片的不同区域。

作为本发明的优选技术方案，所述步骤s26中异或运算法具体为：对图a和图b进行异或运算，即对同一位置的像素点进行灰度值异或运算，相同灰度值的情况下将灰度值设置为0，不同灰度值情况下设置为1，从而输出图片c。

作为本发明的优选技术方案，所述步骤s27中将图d与图c做相减运算，再经腐蚀处理及高斯去噪的具体过程为：

s271将图d和图c按其对应像素矩阵作矩阵相减运算；

s272设定腐蚀的结构元为矩形结构元，大小为3*3矩阵；

s273利用已设定的结构元对相减运算后的图片进行卷积运算即腐蚀；

s274设置高斯低通滤波器参数；

s275利用高斯低通滤波器对图像矩阵进行加权平均，去除噪点。

相比现有技术，该技术方案具有的有益效果是：将含有手写体文本的图片以其原始印刷后还没有填写手写体的空白模板为参照进行图像处理分析，采用多种算法结合，实现了手写体与印刷体的定位及分离，同时含有印刷体和手写体图片中的手写体部分做出精确定位；提高了文本识别系统的精确度；即提供空白模板的情况下，结合实际项目的需要，适当调整步骤和相关阈值，无需考虑手写体书写的具体位置以及手写体复杂性的特点，该技术都能够对其进行完全分离，同时使用该技术能够对手写体字符做出精准的定位，并排除异常的手写目标。

附图说明

下面结合附图和本发明的实施方式进一步详细说明：

图1是本发明基于印刷体模板的手写体分离与定位的方法的流程图；

图2是本发明基于印刷体模板的手写体分离与定位的方法的步骤(2)中手写体与印刷体分离后得到纯手写体文本的效果图；

图3是本发明基于印刷体模板的手写体分离与定位的方法的步骤(3)中含有手写干扰项的纯手写体文本定位的效果图；

图4是本发明基于印刷体模板的手写体分离与定位的方法中空白模板的印刷体字符定位的效果图；

图5是本发明基于印刷体模板的手写体分离与定位的方法中的步骤(4)的模板下划线检测效果图；

图6是本发明基于印刷体模板的手写体分离与定位的方法中的步骤(5)的排除了手写干扰项后手写体字符定位效果图；

图7是本发明基于印刷体模板的手写分离与定位的方法中的步骤s21的具体流程图；

图8是本发明基于印刷体模板的手写分离与定位的方法中的步骤s27的具体流程图；

图9是本发明基于印刷体模板的手写体分离与定位的方法中步骤s24中的图a；

图10是本发明基于印刷体模板的手写体分离与定位的方法中步骤s25中的图b；

图11是本发明的基于印刷体模板的手写体分离与定位的方法中的步骤a26的图c；

图12是本发明的手写体分离与定位的方法中的步骤a27的图d。

具体实施方式

实施例：如图1～6所示，该手写体分离与定位的方法，该手写体分离与定位的方法，具体包括以下步骤：

(1)图片矫正：将空白模板和含有手写体文本的图片经过二值化处理、轮廓提取和霍夫变换检测矫正图片的倾斜度；

(2)手写分离：将含有手写体文本的图片中的手写体和印刷体进行分离得到纯手写体图片；

s21模板匹配：将步骤(1)中的所述空白模板通过至少两种匹配算法利用空白模板的滑动寻找匹配点，将含有手写体文本的图片与所述空白模板进行粗匹配；

s22模板裁剪：将步骤s21中的与所述含有手写体文本的图片粗匹配好的所述空白模板进行裁剪，使所述空白模板的大小与所述含有手写体文本的图片的大小相同；

s23特征配准：采用尺度不变特征变换的sift算法来寻找关键特征点，使所述空白模板与所述含有手写体文本的图片中的文本内容重合，使所述空白模板与所述含有手写体文本的图片配准；

s24不同检测：对步骤s23中配准后的所述含有手写体文本的图片，采用不同区域检测算法将其和所述空白模板图片进行对比检测，找出所述空白模板与所述含有手写体文本的图片中的不同区域得到检测结果图，记为图a；

s25模板相减：将步骤s23中配准后的所述含有手写体文本的图片，通过对所述空白模板和所述含有手写体文本的图片采用模板灰度处理后得到的值进行直接相减操作，得到相减结果图，记为图b；

s26相同检测：将步骤s24得到的图a与步骤s25得到的图b通过异或运算法去掉图片中手写部分的内容，得到图c；

s27手写提取：再次将所述图a和图b做或运算得到重叠后的全部文本内容，记作图d；再将图d与图c做相减运算，再经腐蚀处理及高斯去噪后，得到最终的所述纯手写体图片即图2；

(3)文本定位：对得到所述纯手写体图片中的手写体文本采用east深度学习算法进行定位，得到的效果图如图3所示；

(4)直线检测：检测所述步骤(3)中定位到的所述手写体文本中是否有直线，若有直线则采用水平和垂直核卷积技术来检测直线的具体位置并计算输出其坐标值，如图5所示；

(5)目标提取：对所述纯手写体文本进行干扰字符筛选，并将干扰的手写体字符去掉，得到所需的手写体字符，如图6所示。

所述步骤(1)的所述空白模板和含有手写体文本的图片的印刷体文本内容及文本内容的位置均相同；所属步骤(1)中的所述二值化处理具体过程为：设定全局阈值128，将大于128的像素群像素值设定为白色，将小于128的像素群像素值设定为黑色；所述轮廓提取采用基于边界跟踪的数字化二值图像拓扑分析算法，该基于边界跟踪的数字化二值图像拓扑分析算法确定二值图像边界的围绕关系，从而定位到图像边界；所述霍夫变换检测是对输入的二值图像中的像素点，按照步长分别计算出每个点上的所有可能的直线，同时记录下每条直线经过的点数，按照阈值筛选符合条件的图像，从而达到图像检测的目的，通过霍夫变换检测可以进行直线检测，并根据得到的输出直线起始和终止坐标计算到其上部的文本区域的坐标值。

所述步骤(3)中文本定位采用east深度学习算法进行定位，所述步骤(3)中文本定位采用east深度学习算法进行定位，所述east算法是通过全卷积网络fcn和非极大值抑制nms，消除中间的冗余过程，减少检测时间来对文本图片中的文本进行定位；所述east算法是基于pvanet网络，提取不同尺寸卷积核下的特征并对其进行组合，将组合后的特征再通过上池化和合并处理后恢复到原图的尺寸，接着依次送入个数为128、64、32的卷积核中做卷积操作，最后分别得到图片中每个文本的得分和文本的形状，达到文本检测的目的。

所述步骤(5)中所述纯手写体文本进行干扰字符筛选通过对字符的坐标进行筛选来实现，坐标筛选分两份坐标列表进行，一份为所述空白模板的文本坐标，一份为分离后的纯手写体文本坐标，通过设定的阀值来比较两份坐标的差值范围来保留目标项和剔除非选项。

如图7所示，所述步骤s21中的模板匹配的方法为平方差匹配方法，具体的匹配过程如下：

s211读取图片，将所述空白模板的图像在待匹配图像上进行滑动；

s212滑动每个定格得到子图坐标矩阵，再将其归一化；

s213计算相关系数，找出所述相关系数的最大值的坐标；

s214根据所述相关系数的最大值坐标得到匹配点。

所述步骤s23中采用尺度不变特征变换的sift算法来寻找关键特征点完成所述空白模板与所述含有手写体文本的图片两幅图像中的特征点的检测和配准的具体过程为：

s231对其中一张图片通过高斯微分函数在其所有尺度空间上的图像进行极值点的检测；为了寻找尺度空间上的极值点，它采取相邻点比较的方式来筛选极值采样点，看其在图像域和尺度域上相邻点的大小，选取稳定的采样点作为特征点；

s232通过拟和三维二次函数以确定关键点的位置和尺度，同时去除低对比度的关键点和不稳定的边缘响应点，以增强匹配稳定性、提高抗噪声能力；

s233采用关键点特征向量的欧式距离来作为所述空白模板与所述含有手写体文本的图片两幅图像中关键点的相似性判定度量，从而达到两张图片配准的目的。

所述步骤s24中采用的不同区域检测算法的具体过程为：将步骤s22中裁剪后所述空白模板与所述含有手写体文本的图片进行所述二值化处理，处理后进行同一位置的逐像素比对，对白色像素差异区域进行保留，并对黑色像色区域进行反转即将像素值0改为255，也一并保留在差异区域的图片上；这样可以完全输出所述空白模板与所述含有手写体文本的图片的不同区域。

所述步骤s26中异或运算法具体为：对图a和图b进行异或运算，即对同一位置的像素点进行灰度值异或运算，相同灰度值的情况下将灰度值设置为0，不同灰度值情况下设置为1，从而输出图片c；

如图8所示，所述步骤s27中将图d与图c做相减运算，再经腐蚀处理及高斯去噪的具体过程为：

s271将图d和图c按其对应像素矩阵作矩阵相减运算；

s272设定腐蚀的结构元为矩形结构元，大小为3*3矩阵；

s273利用已设定的结构元对相减运算后的图片进行卷积运算即腐蚀；

s274设置高斯低通滤波器参数；

s275利用高斯低通滤波器对图像矩阵进行加权平均，去除噪点。

上面结合附图对本发明的实施方式作了详细的说明，但是本发明不限于上述实施方式，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。