一种自动高精度表格校正方法和系统与流程

1.本发明属于图片表格识别领域，尤其涉及一种自动高精度表格校正方法和系统。


背景技术：

2.表格矫正是图片表格识别的过程之一。
3.图片表格识别指将一张存在表格图像图片输入到识别系统，识别系统自动识别出其单元格信息和单元格内的文字信息，并将识别到的信息结构化输出。其工作流程为：
4.1)读取图片
5.2)提取格线
6.3)图片根据格线切割,并分别使用文字识别技术识别文本
7.4)将格线数据和文本数据组合,形成结构化表格数据
8.在提取格线之前，需要对图片进行处理，将图片拉伸为表格内容横平竖直的状态，以消除表格图像倾斜或形变带来的负面影响。这个过程称之为表格矫正。对图片所做的拉伸处理称之为图片变换。
9.现有技术中，采用的技术：
10.1)手动框选矫正：
11.在产品应用层面,添加用户手动框选表格的功能，用户将4个拖拽点防止到画面中表格的4个角点上，随后图片矫正模块根据4个拖拽点信息进行变换。
12.2)轮廓线提取校正：
13.在图片中提取轮廓线，并判断最大的轮廓线是否符合矩形特征，如果是，则提取轮廓的4个角点为参考点。进行变换操作，达到矫正目的。
14.3)霍夫线旋转矫正：
15.在图片中适用霍夫变换算法提取横线，并计算所有横线的平均角度。再根据平均角度做二维旋转矫正。
16.现有技术的缺陷：
17.1)手动框选矫正：
18.用户的操作无法达到较高精度，无法适用于较大表格。且操作费时费力，无法批量处理。
19.2)轮廓线提取校正：
20.轮廓线提取的是画面中表格的边线最外沿，容易受到线粗细、线是否完整等情况影响。而且多数表格存在表头、页码等信息，如果这些信息与表格贴近，则它们也会被包含在轮廓线中，导致无法提取角点或角点位置错误。同时这种方式无法识别表格局部，只能识别完整表格，应用场景较有限。
21.3)霍夫线旋转矫正：
22.抗干扰能力差，霍夫线的提取有赖于画面像素的集中分布，如果画面中存在较多元素，则会造成干扰，导致平均角度与实际表格角度存在偏差。
23.无法矫正透视形变。仅通过霍夫变换无法找到表格角点，故只能做旋转矫正，无法修复透视形变。


技术实现要素：

24.为解决上述技术问题，本发明提出一种自动高精度表格校正方法和系统的技术方案，以解决上述技术问题。
25.本发明第一方面公开了一种自动高精度表格校正方法，所述方法包括：
26.步骤s1、将表格的原始图片转换为二值图；
27.步骤s2、应用投影变换方法提取所述二值图中的边框信息，并将边框拟合为矩形框，得到矩形框二值图；
28.步骤s3、使用特征提取方法提取所述矩形框二值图中的最外侧竖线；
29.步骤s4、使用特征提取方法提取所述矩形框二值图中的最外侧横线；
30.步骤s5、计算所述最外侧的横线与最外侧的竖线的交点，两两相交得到4个交点，认为是表格的角点；
31.步骤s6、循环比较所述4个交点，计算当前点与上一个点的x坐标或y坐标差值是否大于第一预设值，若大于第一预设值，则认为需要进行矫正；
32.步骤s7、应用投影变换方法对需要校正的交点进行矫正。
33.根据本发明第一方面的方法，在所述步骤s2中，所述应用投影变换方法提取所述二值图中的边框信息，并将边框拟合为矩形框，得到矩形框二值图的具体方法包括：
34.步骤s2.1、应用投影变换方法提取所述二值图中的边框信息，并得出其中最大的一个，将其视为表格主体的边框；
35.步骤s2.2、此时的所述边框信息为一组点的坐标，将其拟合为矩形框。
36.根据本发明第一方面的方法，在所述步骤s2中，所述应用投影变换方法提取所述二值图中的边框信息，并将边框拟合为矩形框，得到矩形框二值图的具体方法还包括：
37.步骤s2.3、如果所述矩形框角度大于第二预设值，则先进行旋转操作，纠正其旋转角度。
38.根据本发明第一方面的方法，在所述步骤s3中，所述使用特征提取方法提取所述矩形框二值图中的最外侧竖线的具体方法包括：
39.步骤s3.1、通过横向的腐蚀和膨胀操作，将所述矩形框二值图中的横线去除；
40.步骤s3.2、使用概率霍夫线检测方法，找到去除横线的矩形框二值图中存在的竖线；
41.步骤s3.3、合并竖线。
42.根据本发明第一方面的方法在所述步骤s4中，所述使用特征提取方法提取所述矩形框二值图中的最外侧横线的具体方法包括：
43.步骤s4.1、通过纵向的腐蚀和膨胀操作，将所述矩形框二值图中的竖线去除；
44.步骤s4.2、使用概率霍夫线检测方法，找到去除竖线的矩形框二值图中存在的横线；
45.步骤s4.3、合并横线。
46.根据本发明第一方面的方法在所述步骤s4中，所述使用概率霍夫线检测方法，找
到去除竖线的矩形框二值图中存在的横线之前，所述使用特征提取方法提取所述矩形框二值图中的最外侧横线的具体方法还包括：
47.对所述去除竖线的矩形框二值图循环切出高度为第三预设值的切片，切片循环要进行两组，一组是自上至下,另一组是自下至上。
48.根据本发明第一方面的方法，在所述步骤s7中，所述应用投影变换方法对需要校正的交点进行矫正的具体方法包括：
49.步骤s7.1、根据需要校正的4个交点的坐标和期望矫正后的交点的坐标，获取映射关系矩阵；
50.步骤s7.2、根据所述映射关系矩阵对需要校正的4个交点进行矫正。
51.本发明第二方面公开了一种自动高精度表格校正系统，所述系统包括：
52.第一处理模块，被配置为，将表格的原始图片转换为二值图；
53.第二处理模块，被配置为，应用投影变换方法提取所述二值图中的边框信息，并将边框拟合为矩形框，得到矩形框二值图；
54.第三处理模块，被配置为，使用特征提取方法提取所述矩形框二值图中的最外侧竖线；
55.第四处理模块，被配置为，使用特征提取方法提取所述矩形框二值图中的最外侧横线；
56.第五处理模块，被配置为，计算所述最外侧的横线与最外侧的竖线的交点，两两相交得到4个交点；
57.第六处理模块，被配置为，循环比较4个交点，计算当前点与上一个点的x坐标或y坐标差值是否大于第一预设值，若大于第一预设值，则认为需要进行矫正；
58.第七处理模块，被配置为，应用投影变换方法对需要校正的交点进行矫正。
59.根据本发明第二方面的系统，第二处理模块，被配置为，应用投影变换方法提取所述二值图中的边框信息，并得出其中最大的一个，将其视为表格主体的边框；此时的所述边框信息为一组点的坐标，将其拟合为矩形框；如果所述矩形框角度大于第二预设值，则先进行旋转操作，纠正其旋转角度。
60.根据本发明第二方面的系统，第三处理模块，被配置为，通过横向的腐蚀和膨胀操作，将所述矩形框二值图中的横线去除；使用概率霍夫线检测方法，找到去除横线的矩形框二值图中存在的竖线；合并竖线。
61.根据本发明第二方面的系统，第四处理模块，被配置为，通过纵向的腐蚀和膨胀操作，将所述矩形框二值图中的竖线去除；使用概率霍夫线检测方法，找到去除竖线的矩形框二值图中存在的横线；合并横线。
62.根据本发明第二方面的系统，第四处理模块，被配置为，对所述去除竖线的矩形框二值图循环切出高度为第三预设值的切片，切片循环要进行两组，一组是自上至下,另一组是自下至上。
63.根据本发明第二方面的系统，第七处理模块，被配置为，根据需要校正的4个交点的坐标和期望矫正后的交点的坐标，获取映射关系矩阵；根据所述映射关系矩阵对需要校正的4个交点进行矫正。
64.本发明第三方面公开了一种电子设备。电子设备包括存储器和处理器，存储器存
储有计算机程序，处理器执行计算机程序时，实现本发明第一方面中任一项的一种自动高精度表格校正方法中的步骤。
65.本发明第四方面公开了一种计算机可读存储介质。计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时，实现本发明第一方面中任一项的一种自动高精度表格校正方法中的步骤。
66.本发明提出的方案，具有如下有益效果：在进行较大表格识别时，表格的轻微形变即可导致单元格识别错位，对后面的信息整理和分析造成不良影响。本发明可以自动且像素级地矫正表格形变，且耗时很少，4000*4000的图片可以控制在200ms以内。同时如果格线存在轻微的弯曲也可以正常识别并矫正。同时针对不完整的表格也具备良好的效果。
附图说明
67.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
68.图1为根据本发明实施例的一种自动高精度表格校正方法的流程图；
69.图2为根据本发明实施例的自动高精度表格校正方法的详细流程图；
70.图3为根据本发明实施例的表格的原始图；
71.图4为根据本发明实施例的表格的二值图；
72.图5为根据本发明实施例的表格的主体的边框图；
73.图6为根据本发明实施例的表格的矩形框二值图；
74.图7为根据本发明实施例的去横线后的示意图；
75.图8为根据本发明实施例的合并竖线后的示意图；
76.图9为根据本发明实施例的去竖线后的示意图；
77.图10为根据本发明实施例的提取横线后的示意图；
78.图11为根据本发明实施例的提取出很多线段示意图；
79.图12为根据本发明实施例的合并横线后的示意图；
80.图13为根据本发明实施例的表格的角点示意图；
81.图14为根据本发明实施例的校正后的示意图；
82.图15为根据本发明实施例的一种自动高精度表格校正系统的结构图；
83.图16为根据本发明实施例的一种电子设备的结构图。
具体实施方式
84.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例只是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
85.本发明第一方面公开了一种自动高精度表格校正方法。图1为根据本发明实施例的一种自动高精度表格校正方法的流程图，如图1和图2所示，所述方法包括：
86.步骤s1、将表格的原始图片如图3所示，转换为二值图如图4所示；
87.步骤s2、应用投影变换方法提取所述二值图中的边框信息，并将边框拟合为矩形框，得到矩形框二值图；
88.步骤s3、使用特征提取方法提取所述矩形框二值图中的最外侧竖线；
89.步骤s4、使用特征提取方法提取所述矩形框二值图中的最外侧横线；
90.步骤s5、计算所述最外侧的横线与最外侧的竖线的交点，两两相交得到4个交点，认为是表格的角点，如图13所示；
91.步骤s6、循环比较4个交点，计算当前点与上一个点的x坐标或y坐标差值是否大于3，若大于3，则认为需要进行矫正；
92.步骤s7、应用投影变换方法对需要校正的交点进行矫正。
93.在一些实施例中，步骤s8、矫正后的表格所有格线均为横平竖直，端点坐标差小于3，满足后续精细识别的需要，输出图片给需要的模块。
94.在步骤s2，应用投影变换方法提取所述二值图中的边框信息，并将边框拟合为矩形框，得到矩形框二值图。
95.在一些实施例中，在所述步骤s2中，所述应用投影变换方法提取所述二值图中的边框信息，并将边框拟合为矩形框，得到矩形框二值图的具体方法包括：
96.步骤s2.1、应用投影变换方法，open cv中的findcontours函数，提取所述二值图中的边框信息，并得出其中最大的一个，将其视为表格主体的边框，如图5所示；
97.步骤s2.2、此时的所述边框信息为一组点的坐标，调用cv的minarearect函数将其拟合为矩形框，如图6所示；
98.步骤s2.3、如果所述矩形框角度大于2，则先进行旋转操作，纠正其旋转角度。
99.在步骤s3，使用特征提取方法提取所述矩形框二值图中的最外侧竖线。
100.在一些实施例中，在所述步骤s3中，所述使用特征提取方法提取所述矩形框二值图中的最外侧竖线的具体方法包括：
101.步骤s3.1、通过横向的腐蚀和膨胀操作，将所述矩形框二值图中的横线去除，如图7所示；
102.步骤s3.2、使用概率霍夫线检测方法，找到去除横线的矩形框二值图中存在的竖线；
103.步骤s3.3、合并竖线，如图8所示。
104.在步骤s4，使用特征提取方法提取所述矩形框二值图中的最外侧横线。
105.在一些实施例中，在所述步骤s4中，所述使用特征提取方法提取所述矩形框二值图中的最外侧横线的具体方法包括：
106.步骤s4.1、通过纵向的腐蚀和膨胀操作，将所述矩形框二值图中的竖线去除，如图9所示；
107.步骤s4.2、对所述去除竖线的矩形框二值图循环切出高度为200的切片，这样做是为了提高效率；因为霍夫变换是耗时操作，应尽量减小输入到霍夫变换模块的图片大小，切片循环要进行两组，一组是自上至下,另一组是自下至上，每组循环在提取到足够的信息后即停止，防止算力浪费；使用概率霍夫线检测方法，找到去除竖线的矩形框二值图中存在的横线，如图10所示；
108.步骤s4.3、合并横线，如图12所示；由于画面中的线有宽度，所以一根线会提取出很多线段，如图11所示，故需要做合并操作。
109.在步骤s7，应用投影变换方法对需要校正的交点进行矫正。
110.在一些实施例中，在所述步骤s7中，所述应用投影变换方法对需要校正的交点进行矫正的具体方法包括：
111.步骤s7.1、使用getperspectivetransform函数,传入获取到需要校正的4个交点的坐标和期望矫正后的交点的坐标，获取映射关系矩阵；
112.步骤s7.2、使用open cv的perspectivetransform传入所述映射关系矩阵对需要校正的4个交点进行矫正，如图14所示。
113.综上，本发明提出的方案能够在进行较大表格识别时，表格的轻微形变即可导致单元格识别错位，对后面的信息整理和分析造成不良影响。本发明可以自动且像素级地矫正表格形变，且耗时很少，4000*4000的图片可以控制在200ms以内。同时如果格线存在轻微的弯曲也可以正常识别并矫正。同时针对不完整的表格也具备良好的效果。
114.本发明第二方面公开了一种自动高精度表格校正系统。图15为根据本发明实施例的一种自动高精度表格校正系统的结构图；如图15所示，所述系统100包括：
115.第一处理模块101，被配置为，将表格的原始图片如图3所示，转换为二值图如图4所示；
116.第二处理模块102，被配置为，应用投影变换方法提取所述二值图中的边框信息，并将边框拟合为矩形框，得到矩形框二值图；
117.第三处理模块103，被配置为，使用特征提取方法提取所述矩形框二值图中的最外侧竖线；
118.第四处理模块104，被配置为，使用特征提取方法提取所述矩形框二值图中的最外侧横线；
119.第五处理模块105，被配置为，计算所述最外侧的横线与最外侧的竖线的交点，两两相交得到4个交点，认为是表格的角点，如图13所示；
120.第六处理模块106，被配置为，循环比较4个交点，计算当前点与上一个点的x坐标或y坐标差值是否大于3，若大于3，则认为需要进行矫正；
121.第七处理模块107，被配置为，应用投影变换方法对需要校正的交点进行矫正。
122.根据本发明第二方面的系统，所述第二处理模块102具体被配置为，所述应用投影变换方法提取所述二值图中的边框信息，并将边框拟合为矩形框，得到矩形框二值图的具体方法包括：
123.应用投影变换方法，open cv中的findcontours函数，提取所述二值图中的边框信息，并得出其中最大的一个，将其视为表格主体的边框，如图5所示；
124.此时的所述边框信息为一组点的坐标，调用cv的minarearect函数将其拟合为矩形框，如图6所示；
125.如果所述矩形框角度大于2，则先进行旋转操作，纠正其旋转角度。
126.根据本发明第二方面的系统，所述第三处理模块103具体被配置为，所述使用特征提取方法提取所述矩形框二值图中的最外侧竖线的具体方法包括：
127.通过横向的腐蚀和膨胀操作，将所述矩形框二值图中的横线去除，如图7所示；
128.使用概率霍夫线检测方法，找到去除横线的矩形框二值图中存在的竖线；
129.合并竖线，如图8所示。
130.根据本发明第二方面的系统，所述第四处理模块104具体被配置为，所述使用特征提取方法提取所述矩形框二值图中的最外侧横线的具体方法包括：
131.通过纵向的腐蚀和膨胀操作，将所述矩形框二值图中的竖线去除，如图9所示；
132.对所述去除竖线的矩形框二值图循环切出高度为200的切片，这样做是为了提高效率；因为霍夫变换是耗时操作，应尽量减小输入到霍夫变换模块的图片大小，切片循环要进行两组，一组是自上至下,另一组是自下至上，每组循环在提取到足够的信息后即停止，防止算力浪费；使用概率霍夫线检测方法，找到去除竖线的矩形框二值图中存在的横线，如图10所示；
133.合并横线，如图12所示；由于画面中的线有宽度，所以一根线会提取出很多线段，如图11所示，故需要做合并操作。
134.根据本发明第二方面的系统，所述第七处理模块107具体被配置为，所述应用投影变换方法对需要校正的交点进行矫正的具体方法包括：
135.使用getperspectivetransform函数,传入获取到需要校正的4个交点的坐标和期望矫正后的交点的坐标，获取映射关系矩阵；
136.使用open cv的perspectivetransform传入所述映射关系矩阵对需要校正的4个交点进行矫正，如图14所示。
137.本发明第三方面公开了一种电子设备。电子设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时，实现本发明公开第一方面中任一项的一种自动高精度表格校正方法中的步骤。
138.图16为根据本发明实施例的一种电子设备的结构图，如图16所示，电子设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过wifi、运营商网络、近场通信(nfc)或其他技术实现。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
139.本领域技术人员可以理解，图16中示出的结构，仅仅是与本公开的技术方案相关的部分的结构图，并不构成对本技术方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
140.本发明第四方面公开了一种计算机可读存储介质。计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时，实现本发明公开第一方面中任一项的一种自动高精度表格校正方法中的步骤中的步骤。
141.请注意，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。以上实施例仅表达了本技术的几种实施方
式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。