一种基于圆形检测的高效鲁棒印章检测与文字识别方法

本发明属于计算机软件，涉及印章检测与文字识别，尤其涉及一种基于圆形检测的高效鲁棒印章检测与文字识别方法。

背景技术：

1、印章检测与文字识别，旨在自动检测和识别文档中的印章，同时识别印章中带有的文字内容。这项技术可以快速确认合同及票据的合法性，并可识别文字内容、定位印章位置，提取、对比印章内容，提高验证效率，降低财税及商务合同签订过程的业务风险。常见的印章形状有圆形印章、椭圆印章、方形印章等。在圆形和椭圆印章中，其字体往往呈现环状排列，且由于盖印章时的角度不同，往往字体的排列方向也不统一，极大的增强了识别印章中文字内容的难度。

2、目前印章检测常用基于深度学习的图像检测方法，如zhang等人采用基于yolov5的浮雕字符检测算法，其有效的提高了模型检测精度，缩短了模型检测时间(参考zhang z,yang g,wang c,et al.recognition of casting embossed convex and concavecharacters based on yolo v5 for different distribution conditions[c].2021international wireless communications and mobile computing(iwcmc,ieee,2021:553-557)。miao等人通过在yolov5算法中嵌入se注意力模块，提高了模型特征抓取能力，进一步提高了模型检测精度。yao等人通过替换损失函数为考虑更为全面ciou loss来加快模型训练过程，使得模型回归更加稳定，有效避免过拟合(参考yao j,qij,zhang j,et al.areal-time detection algorithm for kiwifruit defects based on yolov5[j].electronics,2021,10(14):1711)。基于深度学习的检测方法及其改进虽然可以有效提高模型检测速度、提升检测精度；但是已有的深度学习识别算法面向于日常生活物品的识别，并不适用于印章识别。

3、印章文字识别，与自然场景文字识别(scene text recognition)的技术相关，一般要经过文字区域检测与文字内容识别两部分。其中，在文字区域检测算法中，ctpn是最常用的开源文本检测模型，但它只能检测水平文本行(参考tian z,huang w,he t,etal.detecting text in natural image with connectionist text proposal network[c]//14th european conference on computer vision,2016:56-72)。seglink算法将每个单词切割成有方向的、易于检测的小文字块，并用邻近连接将它们连接成单词，这种方法可以识别有方向的，以及长度变化范围较大的单词和文本行(参考shi b,bai x,belongies,et al.detecting oriented text in natural images by linking segments[c]//computer vision and pattern recognition,2017:3482-3490)。east模型则首次使用全卷积网络(fcn)，生成多尺度融合的特征图，直接进行像素级的文本块预测，实现了多尺度的自然文本框的检测(参考zhou x,yao c,wen h,et al.east:an efficient andaccurate scene text detector[c]//computer vision and pattern recognition,2017:2642-2651)。在文字识别中，最常用的方法是ctc(connectionist temporalclassification)和注意力转移机制(seq2seq)。ctc算法使用blstm网络对字符图像进行特征提取，然后使用ctc损失函数对特征图进行编码与去冗(参考shi b,bai x,yao c,etal.an end-to-end trainable neural network for image-based sequencerecognition and its application to scene text recognition[j].ieeetransactions on pattern analysis and machine intelligence,2017,39(11):2298-2304)。注意力转移机制是一种与ctc编码完全不同的卷积神经网络模型，在seq2seq结构中，编码器将所有输入序列编码成统一的语义向量，然后由解码器解码；在解码过程中，不断地将前一个时刻的输出作为后一个时刻的输入，循环解码，直到输出停止符为止(参考vaswani a,shazeer n,parmar n,et al.attention is all you need[c]//international conference on neural information processing systems,2017:5998-6008)。利用seq2seq替代crnn网络中的ctc模块，避免了ctc需要输出所有字符对应的概率向量，能够加快检测速度和效果。

4、此外，目前已经有一些ai平台提供了印章识别功能。百度ai开放平台提供了印章识别功能，检测并识别合同文件或常用票据中的印章，输出文字内容、印章位置信息以及相关置信度，支持圆形章、椭圆形章、方形章等常见印章(参考https://ai.baidu.com/tech/ocr/seal)；阿里云视觉智能开放平台也提供了公章识别功能，识别图像中公章的位置，输出公章的机关、团体、企事业单位名称，同时给出相关置信度(参考https://vision.aliyun.com/experience/detail？tagname＝ocr&children＝recognizestamp)。

5、目前的印章检测与文字识别现有方法&平台存在以下问题：

6、1、现有的印章检测方法，常采用深度学习的目标检测框架，但其确定的印章区域往往过大，会导致引入印章上以外的多余字体；且深度学习模型需借助gpu等资源，检测时间往往较长。

7、2、现有的印章文字识别技术，常采用场景文字识别的相关技术，其针对水平的、轻微弯曲的文字识别效果较好，但由于印章中的文字字体往往呈现环状排列，且字体的排列方向也不统一，导致场景文字识别技术难以直接检测与识别出印章中的文字。

技术实现思路

1、针对现有技术中存在的问题，本发明的目的在于提供一种基于圆形检测的高效鲁棒印章检测与文字识别方法。本发明通过采用机器学习算法，即圆检测和后处理的筛选操作，在不依靠gpu的条件下，来提升了印章检测的效率，减少引入印章字体外的其他字体；同时，针对印章中文字呈现环状排列导致场景文字识别技术难以检测的难题，采用了圆变矩形算法，通过将印章拉直使环状文字变水平，来提高印章文字识别的准确率。

2、本发明的技术方案为：

3、一种基于圆形检测的高效鲁棒印章检测与文字识别方法，其步骤包括：

4、1)基于圆检测的技术从待检测图片中获取候选印章区域；

5、2)对所述候选印章区域进行拉直，将所述候选印章区域中的环形文字变水平后进行文字识别；

6、3)利用印章中的图片对称性和文字特性，对所述候选印章区域进行过滤，得到该待检测图片中的印章区域，并输出所述印章区域中的文字。

7、进一步的，基于圆检测的技术从待检测图片中获取候选印章区域的方法为：首先利用edpf检测候选印章区域的边缘段，提取完整的圆或椭圆作为所述候选印章区域；随后，将该候选印章区域的剩余边缘段转换为直线段，并通过组合直线段检测弧段，若一对直线段之间的角度变化在设定范围内且角度弯曲方向一致，则判定该对直线段为圆弧段；对所得各所述圆弧段进行组合得到候选圆，对直线段中角度变化大于设定范围的直线段进行组合得到候选椭圆；然后使用亥姆霍兹原理验证候选圆与候选椭圆，将验证通过的候选圆、候选椭圆作为所述候选印章区域。

8、进一步的，所述设定范围为0度到60度。

9、进一步的，进行文字识别的方法为：首先将所述候选印章区域中的环形文字变水平后输入文本检测器，输出候选文字区域；然后利用文字方向纠正器判断候选文字区域中的文字方向是否为正立方向，如果为倒立方向或倾斜，则将对应文字旋转至正立方向后输入文字识别器输出所述候选印章区域中的文字。

10、进一步的，利用印章中的图片对称性和文字特性，对所述候选印章区域进行过滤的方法为：首先将所述候选印章区域进行四等分，得到四个区域，如果四个区域的rgb统计值差别小于设定阈值m，则判定所述候选印章区域是印章圆，否则为非印章圆并过滤掉；然后对判定为印章圆的所述候选印章区域进行文字检测，若未检测到文字或检测出文字超过设定阈值n，则判定所述候选印章区域为非印章圆并过滤掉；将保留的所述候选印章区域作为该待检测图片中的印章区域。

11、一种服务器，其特征在于，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行上述方法中各步骤的指令。

12、一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述方法的步骤。

13、本发明由于采用数字图像处理技术来完成印章检测，不依赖于gpu，即可快速完成识别，且针对残缺、不完整的印章也具备一定的识别能力；此外，为了解决现有场景文字识别模型在环状排列的文字下识别准确率低的难题，本发明增加了圆变矩形算法，将环状文字拉直变成水平文字，便于模型的文字识别；由于圆检测印章的前提假设是该图像中存在印章，且圆形或椭圆形区域仅为印章区域，但真实环境下，此条件较难满足，故本发明又提出了依赖印章的对称性和文字特性，来进行非印章圆的剔除。

14、本发明提出了基于圆形检测的高效印章检测算法，通过利用带印章图片中圆形或椭圆区域是印章区域的特性，在不依赖gpu的条件下，快速的完成印章检测。

15、本发明提出了印章区域文字预处理的算法，来提升文字识别模型的准确率。通过将印章图片圆变矩形的操作，使印章拉直使环状文字变水平，提高了印章文字识别的准确率。

16、本发明提出了依赖印章对称性和文字特性的非印章圆剔除算法。针对一些图片中的非印章圆，利用印章图片的圆具有对称性，且文字较少的特点，进行剔除，在时间成本不变下，提高了印章检测算法的鲁棒性。

17、本专利提出了一个借助圆检测和文字识别剔除不含印章圆图片的新技术，支持非印章图片的输入，无需假设待识别图像中包含圆形印章。

18、同时，本专利在圆检测的基础上进行了非印章圆图片的剔除处理。借助圆形印章的图像对称性和文字内容较少的特点，将大量的非印章圆图像剔除，使本专利能自动的过滤不含印章的带圆形的图片。在文字识别方面，本专利采用在先进的paddleocr的预训练文本检测和识别模型上微调，相较于其他专利从头使用文字图像训练，本专利具有更优的性能和更高的鲁棒性。

19、本发明的优点如下：

20、1.与传统的印章检测算法相比，采用了圆检测和后处理的筛选操作，在不依靠gpu的条件下，极大的提高了印章检测的效率；此外，检测的印章区域更为准确，减少了非印章区域的文字引入。

21、2.与传统的印章文字识别算法相比，借助圆变矩形的预处理操作，使场景文字识别模型在印章文字扭曲严重下能较准确的完成文字识别。

22、3.与现有的印章识别平台相比，本提案的鲁棒性更强，可检测出模糊彩色图像、黑白图像、含多个印章、残缺扭曲和光线不一致等环境下的印章区域；且针对文字扭曲严重的印章，文字识别的最小编辑距离优于其他平台。