表格检测方法、装置、电子设备及存储介质与流程

本发明涉及人工智能，具体涉及一种表格检测方法、装置、电子设备及存储介质。

背景技术：

1、目前基于深度学习的表格检测算法在学术界和工业界都有了广泛的研究，研究人员将一些已经比较成熟的深度学习方法应用于表格检测中，例如语义分割方法，物体检测方法，序列检测方法及图卷积神经网络方法。但是这些方法取得良好效果的前提是表格结构简单，针对自然场景下的密集表格与扭曲表格的表格检测方法还有待研究。

技术实现思路

1、鉴于以上内容，有必要提出一种表格检测方法、装置、电子设备及存储介质，能够提高表格检测的准确度。

2、本发明的第一方面提供一种表格检测方法，所述方法包括：

3、响应于对目标表格进行检测的指令，获取包含所述目标表格的表格图片；

4、使用预先训练的语义分割模型对所述表格图片进行语义分割，得到语义分割结果，并根据所述语义分割结果确定所述目标表格的表格结构；

5、根据所述表格结构将所述目标表格分为多个块；

6、使用预先训练的双分支模型对每个所述块进行表格检测，得到表格检测结果；

7、将多个所述块的表格检测结果进行融合，得到所述目标表格的表格检测结果。

8、根据本发明的一个可选的实施方式，在所述使用预先训练的语义分割模型对所述表格图片进行语义分割之前，所述方法还包括：

9、确定所述表格图片中的表格区域；

10、获取所述表格区域的顶点坐标；

11、根据所述顶点坐标对所述表格区域进行透视变换，得到目标表格图片；

12、所述使用预先训练的语义分割模型对所述表格图片进行语义分割为对所述目标表格图片进行语义分割。

13、根据本发明的一个可选的实施方式，所述根据所述语义分割结果确定所述目标表格的表格结构包括：

14、根据所述语义分割结果确定所述目标表格的表格结构；

15、确定每个所述表格分隔线间的交点；

16、按照预设方向遍历所述交点；

17、若存在四个交点，所述四个交点中任意相邻的两个所述交点均处于同一表格分隔线中，则确定所述四个交点围成一个单元格；

18、匹配所述单元格和所述表格结构中每个单元格的文本，以确定所述表格结构。

19、根据本发明的一个可选的实施方式，所述根据所述表格结构将所述目标表格分为多个块包括：

20、按照从左到右的方向遍历单元格；

21、每遍历到一个单元格，向右连续获取预设数量的单元格，并与当前遍历到的单元格作为一个块。

22、根据本发明的一个可选的实施方式，所述使用预先训练的双分支模型对每个所述块进行表格检测，得到表格检测结果包括：

23、通过所述双分支模型中的一个分支模型对每个所述块进行表格检测，得到多个第一目标框及每个所述第一目标框的顶点；

24、通过所述双分支模型中的另一个分支模型对每个所述块进行表格检测，得到多个第二目标框及每个所述第二目标框的边；

25、基于每个所述第一目标框的顶点及每个所述第二目标框的边，将多个所述第一目标框及所述多个第二目标框进行配对，得到表格检测结果。

26、根据本发明的一个可选的实施方式，所述将多个所述块的表格检测结果进行融合，得到所述目标表格的表格检测结果包括：

27、对所述表格区域进行文本识别，得到初始文本检测结果，其中，所述初始文本检测结果包括多个文本检测框及与所述文本检测框对应的文本；

28、遍历所述初始文本检测结果中的文本检测框；

29、对所述文本检测框对应的文本进行文本切断，得到文本检测结果，其中，所述文本检测结果包括多个文本框以及对应的文字内容；

30、将所述文本检测结果与所述表格结构进行匹配，得到每个文本框对应的单元格位置信息和文字内容；

31、根据所述文本框对应的单元格位置信息和文字内容生成所述目标表格的表格检测结果。

32、根据本发明的一个可选的实施方式，所述将所述文本检测结果与所述表格结构进行匹配包括：

33、针对每一个所述文本框，获取所述表格结构中与所述文本框距离最近的单元格；

34、计算所述文本框与所述单元格的重合面积；

35、计算所述重合面积与所述单元格面积之间的比值，得到所述文本框与所述单元格的重合率；

36、将所述重合率与预设重合率阈值进行比较，得到比较结果；

37、根据所述比较结果将所述文本框与所述单元格进行匹配。

38、本发明的第二方面提供一种表格检测装置，所述装置包括：

39、获取模块，用于响应于对目标表格进行检测的指令，获取包含所述目标表格的表格图片；

40、识别模块，用于使用预先训练的语义分割模型对所述表格图片进行语义分割，得到语义分割结果，并根据所述语义分割结果确定所述目标表格的表格结构；

41、划分模块，用于根据所述表格结构将所述目标表格分为多个块；

42、检测模块，用于使用预先训练的双分支模型对每个所述块进行表格检测，得到表格检测结果；

43、融合模块，用于将多个所述块的表格检测结果进行融合，得到所述目标表格的表格检测结果。

44、本发明的第三方面提供一种电子设备，所述电子设备包括处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序时实现所述表格检测方法。

45、本发明的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述表格检测方法。

46、本发明提供的表格检测方法、装置、电子设备及存储介质，响应于对目标表格进行检测的指令，获取包含所述目标表格的表格图片，通过使用预先训练的语义分割模型对所述表格图片进行语义分割，得到语义分割结果，并根据所述语义分割结果确定所述目标表格的表格结构，从而根据所述表格结构将所述目标表格分为多个块，有效提高密集表格等复杂表格的检测精度，接着使用预先训练的双分支模型对每个所述块进行表格检测，通过判断表格临接点的上下左右关系使得识别表格结构时能够更加精准，从而进一步提高了表格检测的精度；最后，将多个所述块的表格检测结果进行融合，得到所述目标表格的表格检测结果。

技术特征：

1.一种表格检测方法，其特征在于，所述方法包括：

2.如权利要求1所述的表格检测方法，其特征在于，在所述使用预先训练的语义分割模型对所述表格图片进行语义分割之前，所述方法还包括：

3.如权利要求2所述的表格检测方法，其特征在于，所述根据所述语义分割结果确定所述目标表格的表格结构包括：

4.如权利要求3所述的表格检测方法，其特征在于，所述根据所述表格结构将所述目标表格分为多个块包括：

5.如权利要求3所述的表格检测方法，其特征在于，所述使用预先训练的双分支模型对每个所述块进行表格检测，得到表格检测结果包括：

6.如权利要求1至5中任意一项所述的表格检测方法，其特征在于，所述将多个所述块的表格检测结果进行融合，得到所述目标表格的表格检测结果包括：

7.如权利要求6所述的表格检测方法，其特征在于，所述将所述文本检测结果与所述表格结构进行匹配包括：

8.一种表格检测装置，其特征在于，所述装置包括：

9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序时实现如权利要求1至7中任意一项所述表格检测方法。

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述表格检测方法。

技术总结
本发明涉及人工智能技术领域，提供一种表格检测方法、装置、电子设备及存储介质，响应于对目标表格进行检测的指令，获取包含所述目标表格的表格图片，通过使用预先训练的语义分割模型对所述表格图片进行语义分割，得到语义分割结果，并根据所述语义分割结果确定所述目标表格的表格结构，从而根据所述表格结构将所述目标表格分为多个块，有效提高密集表格等复杂表格的检测精度，接着使用预先训练的双分支模型对每个所述块进行表格检测，通过判断表格临接点的上下左右关系使得识别表格结构时能够更加精准，从而进一步提高了表格检测的精度；最后，将多个所述块的表格检测结果进行融合，得到所述目标表格的表格检测结果。

技术研发人员：雷晨雨,韩茂琨,陈远旭
受保护的技术使用者：平安科技（深圳）有限公司
技术研发日：
技术公布日：2024/1/12