一种图片文本内容的提取方法、系统及计算存储介质与流程

本发明涉及图像处理术领域，尤其是涉及一种图片文本内容的提取方法、系统及计算存储介质。

背景技术：

1、目前越来越多的行业领域都在推行“不见面办理”“网上办”“掌上办”等服务，在政务领域尤其常见。办理事项往往都涉及到办件图片的审核，审核的内容主要集中在图片上的文本内容，这个时候就需要按一定顺序读取图片上的文本内容并排序输出。现有技术中ocr识别(optical character recognition，光学字符识别)只能做到将图片上的文本内容识别出来，并不能智能的进行排序，使得读取的文本内容顺序杂乱，在一些包含多材料的复杂办件图片上这种不合理情况尤其严重。

技术实现思路

1、本发明提供了一种图片文本内容的提取方法，以解决现有技术中从包含多材料的复杂办件图片读取的文本内容顺序杂乱的技术问题。

2、本发明的一个方面在于提供一种图片文本内容的提取方法，所述提取方法包括如下方法步骤：

3、s1、对图片进行版面分割识别，获取所述图片上的每个图像区域的最小外接矩形；

4、s2、利用每个图像区域的最小外接矩形，计算每个图像区域的第一旋转角，并通过透视变换的方式截取每个图像区域；

5、s3、获取截取的每个图像区域的所有文本框，确定每个文本框的第二旋转角，并通过第二旋转角计算每个图像区域的第三旋转角；

6、对截取的每个图像区域按照第三旋转角进行不裁剪旋转摆正；

7、s4、对旋转摆正的每个图像区域进行ocr识别，并对每个图像区域的每个文本框的文本内容进行第一次拼接；

8、s5、计算图片的标准旋转角，对图片进行不裁剪旋转摆正；

9、s6、对旋转摆正的图片的每个图像区域进行排序，按照排序对第一次拼接后的每个图像区域的文本内容进行第二次拼接；

10、s7、输出第二次拼接后的文本内容。

11、在一个优选的实施例中，在步骤s1中，通过训练一个版面分割识别模型，对图片进行版面分割识别，获取所述图片上的每个图像区域的最小外接矩形。

12、在一个优选的实施例中，在步骤s2包括如下方法步骤：

13、s201、确定每个图像区域的最小外接矩形的四个顶点的排序；

14、s202、对每个图像区域的最小外接矩形建立直角坐标系，在每个图像区域的最小外接矩形的四个顶点中确定第一顶点位置，以及每个图像区域的最小外接矩形的四个顶点的位置；

15、s203、确定每个图像区域的最小外接矩形的第一旋转角；

16、s204、以每个图像区域的最小外接矩形的第一顶点为中心，对每个图像区域按照第一旋转角逆时针旋转；

17、s205、通过透视变换的方式截取旋转后的每个图像区域。

18、在一个优选的实施例中，在步骤s201中，每个图像区域的最小外接矩形的四个顶点的排序，按照如下方法确定：

19、选取每个图像区域的最小外接矩形的四个顶点中的任意一个顶点作为预设的第一顶点；

20、计算预设的第一顶点与其他三个顶点的距离，以预设的第一顶点为起始点，按照顺时针规则或者左手定则确定其他三个顶点的序号。

21、在一个优选的实施例中，在步骤s202中，按照如下方法，在每个图像区域的最小外接矩形的四个顶点中确定第一顶点位置：

22、确定每个图像区域的最小外接矩形四条边中点的坐标；

23、将每个图像区域的最小外接矩形相对的两条边的中点连线；

24、在每个图像区域的最小外接矩形相对的两条边中，以坐标值小的中点指向坐标值大的中点，作为每个图像区域的最小外接矩形相对的两条边的中点连线的方向，形成两条有向线；

25、利用左手定则和两条有向线，在每个图像区域的最小外接矩形的四个顶点中确定第一顶点位置。

26、在一个优选的实施例中，在步骤s203中，每个图像区域的最小外接矩形的第一旋转角，通过如下方法确定：

27、以第一顶点为中心，将第一顶点和第二顶点的连线逆时针旋转至与直角坐标系的x轴重合，第一顶点和第二顶点的连线逆时针旋转的角度作为每个图像区域的最小外接矩形的第一旋转角。

28、在一个优选的实施例中，在步骤s205中，当图像区域的面积小于图片面积的1/20，则该图像区域不截取。

29、在一个优选的实施例中，在步骤s3中包括如下方法步骤：

30、s301、获取截取的每个图像区域的所有文本框；

31、s302、对截取的每个图像区域的所有文本框，通过透视变换的方式截取每个文本框，包括：

32、s3021、确定每个文本框的四个文本框点的排序；

33、s3022、对每个文本框建立直角坐标系，在每个文本框的四个文本框点中确定第一文本框点的位置，以及每个文本框的四个文本框点的位置；

34、s3023、确定每个文本框的第二旋转角；

35、s3024、以每个文本框的第一文本框点为中心，对每个文本框按照第二旋转角逆时针旋转；

36、s3025、通过透视变换的方式截取旋转后的每个文本框；

37、s303、利用二分类图像方向判断器，判断截取的每个文本框，根据判断结果，确定每个文本框的翻转角；

38、s304、将第二旋转角和翻转角之和作为第三旋转角，对截取的每个图像区域按照第三旋转角进行不裁剪旋转摆正。

39、在一个优选的实施例中，在步骤s3021中，每个文本框的四个文本框点的排序，按照如下方法确定：

40、选取每个文本框的四个文本框点中的任意一个文本框点作为预设的第一文本框点；

41、计算预设的文本框点与其他三个文本框点的距离，以预设的第一文本框点为起始点，按照顺时针规则或者左手定则确定其他三个文本框点的序号。

42、在一个优选的实施例中，在步骤s3022中，按照如下方法，在每个文本框的四个文本框点中确定第一文本框点的位置：

43、确定每个文本框四条边中点的坐标；

44、将每个文本框相对的两条边的中点连线；

45、在每个文本框相对的两条边中，以坐标值小的中点指向坐标值大的中点，作为每个文本框相对的两条边的中点连线的方向，形成两条有向线；

46、利用左手定则和两条有向线，在每个文本框的四个文本框点中确定第一文本框点位置。

47、在一个优选的实施例中，在步骤s3023中，每个文本框的第二旋转角，通过如下方法确定：

48、以第一文本框点为中心，将第一文本框点相邻两条边中的长边逆时针旋转至与直角坐标系的x轴重合，第一文本框点相邻两条边中的长边逆时针旋转的角度作为每个文本框的第二旋转角。

49、在一个优选的实施例中，在步骤s4中，对每个图像区域的所有文本框，按照从上到下、从左到有的顺序排序，

50、对排序后的文本框内的文本内容进行第一次拼接。

51、在一个优选的实施例中，在步骤s5中，通过如下方法，计算图片的标准旋转角：

52、s501、获取从图片截取的所有图像区域，以及所有图像区域的第三旋转角；

53、s502、将每个图像区域的第三旋转角与第一旋转角之和，作为每个图像区域的第四旋转角；

54、s503、对所有图像区域进行简单聚类，通过所有图像区域的第四旋转角得到图片的标准旋转角。

55、在一个优选的实施例中，在步骤s503中，所有图像区域的简单聚类，包括:

56、在所有图像区域中，将第四旋转角正负差值小于5°的图像区域作为一类；

57、从包含图像区域最多的类中，查找第四旋转角与第四旋转角均值的差值最小的第四旋转角，作为图片的标准旋转角。

58、在一个优选的实施例中，当包含图像区域最多的类为两个，

59、则统计包含图像区域最多的两个类中，每一个类的文本框数量；在文本框数量最多的类中，查找第四旋转角与第四旋转角均值的差值最小的第四旋转角，作为图片的标准旋转角。

60、在一个优选的实施例中，当包含图像区域最多的两个类的文本框数量相同，

61、则根据包含图像区域最多的两个类中，所有图像区域的第四旋转角的方差选取标准旋转角。

62、在一个优选的实施例中，在步骤s6中，按照如下方法，对旋转摆正的图片的每个图像区域进行排序：

63、对图片建立直角坐标系，按照每个图像区域的最小外接矩形的第一顶点的坐标，由小到大的顺序，对旋转摆正的图片的每个图像区域进行排序。

64、本发明的另一个方面在于提供一种图片文本内容的提取系统，包括，

65、版面分割识别模块，用于对图片进行版面分割识别，获取所述图片上的每个图像区域的最小外接矩形；

66、图像区域截取模块，用于利用每个图像区域的最小外接矩形，计算每个图像区域的第一旋转角，并通过透视变换的方式截取每个图像区域；

67、图像区域旋转摆正模块，用于获取截取的每个图像区域的所有文本框，确定每个文本框的第二旋转角，并通过第二旋转角计算每个图像区域的第三旋转角；

68、对截取的每个图像区域按照第三旋转角进行不裁剪旋转摆正；

69、第一次拼接模块，用于对旋转摆正的每个图像区域进行ocr识别，并对每个图像区域的每个文本框的文本内容进行第一次拼接；

70、图片旋转摆正模块，用于计算图片的标准旋转角，对图片进行不裁剪旋转摆正；

71、第二次拼接模块，用于对旋转摆正的图片的每个图像区域进行排序，按照排序对第一次拼接后的每个图像区域的文本内容进行第二次拼接，输出第二次拼接后的文本内容。

72、本发明的又一个方面在于提供一种计算机存储介质，用于存储有计算机执行指令，计算机执行指令，用于执行一种图片文本内容的提取方法。

73、与现有技术相比，本发明具有以下有益效果：

74、本发明提供的一种图片文本内容的提取方法、系统及计算存储介质，针对包含多材料的复杂办件图片，使用版面分割对图片的每个图像区域进行划分，模拟审核人员读取文本内容的方式，对图片上的多个图像区域的文本内容进行智能的读取，可极大的提高审核人员的工作效率，同时提高了图片文本内容后处理的正确率。