一种基于图像处理的记录单识别方法

本发明涉及计算机图像处理，具体涉及一种基于图像处理的记录单识别方法。

背景技术：

1、企业工作生产时会产生大量的记录单，这些记录单存在几个特点：1)有自己统一的文件格式类型，且不同记录单都有对应编号；2)记录单类型多样，往往有几十种甚至几百种不同的记录单；3)生产时每种记录单都会大量生成；4)记录内容多样，如数据填写，结论填写，签名，选项打钩等。

2、这些记录单大部分内容均需要人工手写填写、打钩等，由于人员疏忽、注意力不集中、填写工作量大等原因，经常会出现漏填、错填等情况，导致记录单错误、不完整等质量问题。

3、基于此，为了方便且准确地发现记录单存在的问题，本专利提供了一种基于图像处理的记录单识别方法。输入图像为记录单的扫描件，可以从读入的图像中分辨出不同种类的记录单，并识别出其中的填写内容，最后将得到的识别结果上传到数据库中。

技术实现思路

1、针对现有技术中存在的问题，本发明提供了设计合理、鲁棒性好的一种基于图像处理的记录单识别方法，用区域生长的方法来获取识别区域和矫正倾斜；先矫正图像，再用编号分辨记录单类型，再识别内容，最后上传数据的结构；涵盖三种识别或检查内容的表单模板建立方法。

2、本发明的技术方案如下：

3、一种基于图像处理的记录单识别方法，包括如下步骤：

4、1)图像输入：从图像储存设备中连续输入图像；

5、2)图像矫正：

6、2.1)倾斜矫正：先将输入的图像转换为灰度图，然后通过区域生长的方式获得若干个区域；筛选所要的单元格区域，然后将所有单元格区域合并为一个区域，即是记录单中的表格区域，获得此区域的最小外接矩形，得到此外接矩形的倾斜度，以此倾斜度对原输入图像进行倾斜矫正；

7、2.2)图像缩放：将上一步矫正好的图像缩放到和模板一样的大小，放大比例是原图像尺寸和模板尺寸之比；

8、2.3)图像投影：通过区域生长得到最小外接矩形，然后获得此矩形四个顶点坐标，以此四个坐标和模板的四个坐标进行投影变换，最后得到矫正完成的图像；

9、3)编号识别：

10、3.1)首先，在表单标有编号的位置通过设定坐标来截取感兴趣区域roi后，对此roi阈值分割转换成二值图，将此区域中的所有区域分离得到区域集合z1；

11、3.2)然后根据设定的阈值筛选区域得到区域集合z2，以过滤掉噪点和不需要的标点符号；

12、3.3)再将区域集合z2转换成矩形形状的区域集合z3，对此区域集合中的各个区域进行区域划分得到区域集合z4；区域划分算子能将超过设定长度或高度的区域等分，如单个字符宽高比在0.8到1左右，如果字符连在一起，则此区域的长高比达到1.5以上时，此时该算子能将此区域等分，即把粘连的字符区域分开；

13、3.4)接着将分割完成的区域集合z4和存有原始字符的区域集合z1做交集得到区域集合z5，防止有字符笔画被滤掉；

14、3.5)最后区域集合z5中的区域即包含分割出的各个字符，对其进行光学字符识别得到识别结果；

15、4)识别完成后上传识别结果到数据库。

16、进一步的，所述步骤2.1)中根据以下三个指标来筛选所要的单元格区域：

17、2.1.1)最小尺寸：单个单元格宽和高都至少占图像长和高的2％以上，以此为阈值筛选掉过小的噪声点和字符；

18、2.1.2)最大尺寸：区域生长后的表格外围区域(即一张纸中除了表格之外的区域)的宽或高至少有一项与输入图片相同，由此设定所需区域的宽或宽不能等于原图像的，来过滤掉外边框；

19、2.1.3)矩形度：矩形度越接近1表示形状越接近矩形，越接近0表示越不像矩形，约束所需区域的矩形度来剔除宽或高和单元格接近，但并不是单元格的区域；

20、2.1.4)剩下获得区域就是表格中的各个单元格。

21、进一步的，所述步骤2.2)中模板建立的步骤如下：

22、先将原始表单文件从文档格式转换成图像格式，得到模板图像，在模板图像上框出所有需要识别的roi；然后对各个roi设置需要识别的内容，识别内容包括识别出字符，检查区域内是否打钩，检查区域内是否有书写痕迹；最后将所有表单模板汇总成模板库。

23、进一步的，所述识别出字符：通过建立或者使用已有的字符数据库，训练好对应的神经网络模型。

24、进一步的，所述检查区域内是否打钩：先在此区域内生成数个内接圆，取其中最大的内接圆的半径作为判断阈值，没有打钩痕迹的区域内的最大内接圆半径一定大于包含打钩痕迹的区域。

25、进一步的，所述检查区域内是否有书写痕迹：先将此区域转换成二值图，然后膨胀其中的黑色像素部分，根据区域内的黑色像素面积占比来判断。

26、本发明的有益效果如下：本发明能应对更为复杂的记录单识别场景，如多张填写内容相近，但类型(编号)不同或者内容复杂、单元格数量多的记录单进行分类和准确的识别，且识别和检查内容包括字符，勾选，痕迹等；效率、速度和准确率相较于人工输入提高了很多，节省了人力和时间。

技术特征：

1.一种基于图像处理的记录单识别方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种基于图像处理的记录单识别方法，其特征在于，所述步骤2.1)中根据以下三个指标来筛选所要的单元格区域：

3.根据权利要求1所述的一种基于图像处理的记录单识别方法，其特征在于，所述步骤2.2)中模板建立的步骤如下：

4.根据权利要求2所述的一种基于图像处理的记录单识别方法，其特征在于，所述识别出字符：通过建立或者使用已有的字符数据库，训练好对应的神经网络模型。

5.根据权利要求2所述的一种基于图像处理的记录单识别方法，其特征在于，所述检查区域内是否打钩：将此区域进行区域生长操作分割成数个子区域，在每个子区域内生成一个最大内接圆；选取所有内接圆中的最大半径与阈值进行比较，阈值即是区域内打钩框的最大宽或高；没有打钩痕迹的区域的最大内接圆半径即阈值，一定大于存在打钩痕迹的区域的最大内接圆半径。

6.根据权利要求2所述的一种基于图像处理的记录单识别方法，其特征在于，所述检查区域内是否有书写痕迹：先将此区域转换成二值图，然后膨胀其中的黑色像素部分，根据区域内的黑色像素面积占比来判断。

技术总结
本发明公开了一种基于图像处理的记录单识别方法，包括如下步骤：1)图像输入：从图像储存设备中连续输入图像；2)图像矫正：2.1)倾斜矫正；2.2)图像缩放；2.3)图像投影；3)编号识别；4)识别完成后上传识别结果到数据库；本发明能应对更为复杂的记录单识别场景，如多张填写内容相近，但类型(编号)不同或者内容复杂、单元格数量多的记录单进行分类和准确的识别，且识别和检查内容包括字符，勾选，痕迹等；效率、速度和准确率相较于人工输入提高了很多，节省了人力和时间。

技术研发人员：洪涛,杨逸伦,周习刚,梅超,苏朗,钱燕翔,罗赟
受保护的技术使用者：中国计量大学
技术研发日：
技术公布日：2024/1/22