基于文字检测的文档图像纠偏方法、系统、设备及介质与流程

本发明属于扫描文档图像处理，具体涉及一种基于文字检测的文档图像纠偏方法、系统、设备及介质。

背景技术：

1、本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

2、随着档案电子化的需求不断增加，扫描文档图像的倾斜角计算和图像纠偏在图像处理中变得日益重要。倾斜的扫描图像不仅影响人们的阅读体验，还会对后续ocr识别的准确率和召回率造成负面影响。

3、然而，现有的文档倾斜角计算方法要么通用性能不佳，要么检测角度的准确率不高，传统的图像处理方法计算倾斜角往往依赖于图像中标记点或直线特征，而基于深度学习方法计算倾斜角的准确率也不尽人意，从而导致扫描文档图像纠偏方法的准确率较低以及通用性不足。

技术实现思路

1、为了解决上述问题，本发明提出了一种基于文字检测的文档图像纠偏方法、系统、设备及介质，本发明综合运用图像处理和ocr技术，以实现对扫描文档图像中倾斜角的精确计算并进行有效的图像纠偏，显著提高了扫描文档图像纠偏的准确率和通用性。

2、根据一些实施例，本发明的第一方案提供了一种基于文字检测的文档图像纠偏方法，采用如下技术方案：

3、基于文字检测的文档图像纠偏方法，包括：

4、获取扫描文档图像；

5、基于扫描文档图像进行图像方向检测并调整，得到基本扫描文档图像；

6、对基本扫描文档图像进行表格检测，若基本扫描图像存在表格，则根据表格的上下边的坐标计算得到第一倾斜角；

7、若基本扫描文档图像不存在表格，则对基本扫描文档图像进行文字检测，根据文字坐标计算得到第二倾斜角；

8、基于第一倾斜角和第二倾斜角进行加权，得到扫描文档图像的总倾斜角度并进行图像旋转，得到纠偏后扫描文档图像。

9、进一步地，所述基于扫描文档图像进行图像方向检测并调整，得到基本扫描文档图像，包括：

10、基于扫描文档图像进行文字检测，对检测到的文本框进行筛选，保留文本框宽高比或高宽比大于3的文本行，得到符合条件的文本行信息列表；

11、根据文本行信息列表中所有文本行判定是横向还是纵向，得到文本行方向信息列表；

12、文本行方向信息列表中数量最多的值，得到基本扫描文档图像的基本方向；

13、如果扫描文档图像的基本方向为横向，根据文本行信息列表中的检测框坐标截取前设定数量的文本切图，分别使用paddleocr模型判断横向文本行前设定数量的文本切图是0°还是180°，得到横向文本行角度列表，最终对横向文本行角度列表取众数得到文档的最终方向；

14、如果扫描文档图像的基本方向为纵向，先对前设定数量的纵向文本切图顺时针旋转90°，再重复上面横向的处理步骤，得到文档的最终方向；

15、根据文档的最终方向，将扫描文档图像进行旋转相应的角度最终得到基本扫描图像。

16、进一步地，所述对基本扫描文档图像进行表格检测，若基本扫描图像存在表格，则根据表格的上下边的坐标计算得到第一倾斜角，包括：

17、对基本扫描文档图像使用二值化算法转为黑底白字图像，并查找黑底白字图像中的外部轮廓得到轮廓列表；

18、分别对轮廓列表中的轮廓获得最小面积外接矩形，得到外接矩形的四个顶点坐标；

19、舍弃轮廓列表中轮廓的宽 contour_w<0.6* w和轮廓的高 contour_h<0.15* h的轮廓，得到新的轮廓列表，其中，基本扫描文档图像的宽为 w、高为 h；

20、对所有符合条件的轮廓根据面积排序，找出最大的轮廓及其的四个顶点坐标，坐标分别对应最大的轮廓的左上点、右上点、右下点、左下点，基于上述坐标计算得到轮廓的第一倾斜角。

21、进一步地，基于上述坐标计算得到轮廓的第一倾斜角，具体为：

22、；

23、其中，第一倾斜角，四个顶点坐标。

24、进一步地，若基本扫描文档图像不存在表格，则对基本扫描文档图像进行文字检测，根据文字坐标计算得到第二倾斜角，包括：

25、使用paddleocr模型对不存在表格的基本扫描文档图像进行文字检测，对检测到的文本框进行筛选，保留文本框高>5、文本框宽>10、文本框宽高比>10的文本行，得到符合条件的文本行信息列表；

26、根据文本框左上角坐标中的 y坐标对文本行信息列表排序，得到最终的文本行信息列表；

27、遍历最终的文本行信息列表，两两比较文本框之间的交并比iou，删除iou>0的文本行，得到文本行列表；

28、根据文本行列表中的位置坐标，从基本扫描文档图像中切出文本行图像，接着对文本行图像垂直投影得到文本行中每个字的切图，再依次将两两字符成对组成字符图像列表，对字母图像列表中的两两字符依次分别垂直投影得到各字符的右下角坐标，基于上述坐标计算求出对应的倾斜角，得到角度列表；

29、对角度列表排序后取中值，得到文本行最终的倾斜角，即第二倾斜角。

30、进一步地，所述文本框之间的交并比iou，具体为：

31、。

32、进一步地，所述基于第一倾斜角和第二倾斜角进行加权，得到扫描文档图像的总倾斜角度并进行图像旋转，得到纠偏后扫描文档图像，具体为：

33、基于第一倾斜角和第二倾斜角进行加权得到最终的文档图像倾斜角，具体为：

34、；

35、如果扫描文档图像中即检测不到符合条件的表格，又检测不到符合条件的文本框时，则不旋转图像；

36、对基本扫描文档图像使用顺时针旋转度，得到纠偏后扫描文档图像。

37、根据一些实施例，本发明的第二方案提供了一种基于文字检测的文档图像纠偏系统，采用如下技术方案：

38、基于文字检测的文档图像纠偏系统，包括：

39、图像采集模块，用于获取扫描文档图像；

40、图像方向检测调整模块，用于基于扫描文档图像进行图像方向检测并调整，得到基本扫描文档图像；

41、表格检测模块，用于对基本扫描文档图像进行表格检测，若基本扫描图像存在表格，则根据表格的上下边的坐标计算得到第一倾斜角；

42、文本检测模块，用于若基本扫描文档图像不存在表格，则对基本扫描文档图像进行文字检测，根据文字坐标计算得到第二倾斜角；

43、图像加权纠偏模块，用于基于第一倾斜角和第二倾斜角进行加权，得到扫描文档图像的总倾斜角度并进行图像旋转，得到纠偏后扫描文档图像。

44、根据一些实施例，本发明的第三方案提供了一种计算机可读存储介质。

45、一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一个方面所述的基于文字检测的文档图像纠偏方法中的步骤。

46、根据一些实施例，本发明的第四方案提供了一种计算机设备。

47、一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一个方面所述的基于文字检测的文档图像纠偏方法中的步骤。

48、与现有技术相比，本发明的有益效果为：

49、本发明综合运用图像处理和ocr技术，以实现对扫描文档图像中倾斜角的精确计算并进行有效的图像纠偏，显著提高了扫描文档图像纠偏的准确率和通用性；显著提高了计算文档图像倾斜角的准确率，并且具有广泛的通用性，可应用于其他涉及文字的图像纠偏任务中，主要致力于解决现有技术在扫描文档图像纠偏方面的准确率较低和通用性不足的问题。