表格图像定位方法、装置、设备、计算机可读存储介质与流程

本技术涉及但不限于图像识别，尤其涉及一种表格图像定位方法、装置、设备、计算机可读存储介质。

背景技术：

1、生活中，扫描技术越来越常见，通过手机就能将图片转化为可编辑的文档等；表格大小、种类与样式复杂多样，例如表格中存在不同的背景填充，不同的行列合并方法，不同的内容文本类型等，并且现有文档既包括现代的、电子的文档，也有历史的、扫描的手写文档，它们的文档样式、所处光照环境以及纹理等都有比较大的差异，表格识别一直是文档识别领域的研究难点。现在的表格定位算法，大多数是基于早期的关键点检测算法，但基于关键点检测算法模型较为复杂，不适合大分辨率的图像输入，并且表格的直线线条特征在图像缩放后容易丢失，从而导致表格定位准确率较低。

技术实现思路

1、本技术实施例提供了一种表格图像定位方法、装置、设备、计算机可读存储介质，能够有效提升表格图像定位的准确率。

2、第一方面，本技术实施例提供了表格图像定位方法，包括：

3、获取待识别表格图像，将所述待识别表格图像输入至预设的实例分割模型进行实例分割，得到与所述待识别表格图像对应的目标掩码和目标矩形框；

4、根据所述目标矩形框从所述待识别表格图像中裁剪出中间表格图像，将所述中间表格图像输入至预设的轻量级图像分类模型进行图像分类处理，得到各个第一表格顶点对应的顶点语义标签，其中，所述中间表格图像对应有多个第一表格顶点；

5、获取所述目标掩码在所述目标矩形框中的外部轮廓信息，利用多边形拟合轮廓函数拟合所述外部轮廓信息，得到所述目标掩码对应的多个第二表格顶点；

6、确定各个所述第二表格顶点对应的顶点位置信息和所述第一表格顶点，将各个所述目标顶点语义标签与各个所述顶点位置信息进行配对，其中，所述目标顶点语义标签为与所述第二表格顶点对应的第一表格顶点对应的顶点语义标签。

7、在一些实施例中，在所述待识别表格图像为视频流的情况下，在所述将所述待识别表格图像输入至预设的实例分割模型进行实例分割之前，所述方法还包括：

8、对所述视频流进行解码处理，得到初始待识别表格图像；

9、对所述初始待识别表格图像进行图像归一化处理，得到归一化处理后的所述待识别表格图像。

10、在一些实施例中，在将所述待识别表格图像输入至预设的实例分割模型进行实例分割之前，所述方法还包括：

11、确定所述待识别表格图像的目标区域边界；

12、确定所述目标区域边界对应的目标图像的像素宽度值和像素高度值；

13、分别在所述像素宽度值和所述像素高度值填充预设像素值，得到填充像素值后的所述待识别表格图像。

14、在一些实施例中，所述实例分割模型为yolov5-seg模型，所述将所述待识别表格图像输入至预设的实例分割模型进行实例分割，得到与所述待识别表格图像对应的目标掩码和目标矩形框，包括：

15、将所述待识别表格图像输入至所述yolov5-seg模型，得到第一实例图像和第二实例图像，其中，所述第一实例图像携带有矩形框位置信息、矩形框置信度值、矩形框对应的目标类别信息和掩码协方差系数，所述第二实例图像携带有图像张量；

16、对所述矩形框位置信息、所述矩形框置信度值和所述目标类别信息进行非极大值抑制处理，得到所述待识别表格图像对应的所述目标矩形框；

17、将所述掩码协方差系数与所述图像张量进行矩阵相乘，得到初始掩码；

18、根据所述目标矩形框对所述初始掩码进行裁剪，得到第一中间掩码；

19、根据sigmod函数对所述第一中间掩码进行激活处理，得到第二中间掩码；

20、对所述第二中间掩码进行上采样处理，得到第三中间掩码；

21、将所述第三中间掩码进行二值化处理，得到所述目标掩码。

22、在一些实施例中，所述轻量级图像分类模型为pp-lcnet模型，所述将所述中间表格图像输入至预设的轻量级图像分类模型进行图像分类处理，得到各个所述第一表格顶点对应的顶点语义标签，包括：

23、从全部的所述第一表格顶点中确定目标参考点，并确定所述目标参考点对应的顶点语义标签；

24、确定各个候选参考点与所述目标参考点之间的相对位置信息，其中，所述候选参考点为所述第一表格顶点中除了所述目标参考点之外的表格顶点；

25、将各个所述相对位置信息和所述目标参考点对应的顶点语义标签输入至所述pp-lcnet模型，得到各个所述候选参考点对应的顶点语义标签。

26、在一些实施例中，所述利用多边形拟合轮廓函数拟合所述外部轮廓信息，得到所述目标掩码对应的多个第二表格顶点，包括：

27、根据所述多边形拟合轮廓函数确定所述外部轮廓信息对应的多边形的边数；

28、当所述边数等于预设阈值，将所述多边形的各个顶点确定为各个所述第二表格顶点；

29、当所述边数不等于所述预设阈值，利用最小旋转矩形函数对所述外部轮廓信息进行拟合处理，得到各个所述第二表格顶点。

30、在一些实施例中，所述目标顶点语义标签包括顶点朝向标签和待配对顶点坐标信息，所述将各个目标顶点语义标签与各个所述顶点位置信息进行配对，包括：

31、依次从所述顶点位置信息中确定参考点坐标信息；

32、依次从全部的所述待配对顶点坐标信息中确定目标配对坐标信息，所述目标配对坐标信息与所述参考点坐标信息相同；

33、依次将目标顶点朝向标签分配给所述参考点坐标信息对应的第二表格顶点，其中，所述目标顶点朝向标签为与所述目标配对坐标信息对应的顶点朝向标签。

34、第二方面，本技术实施例提供了一种表格图像定位装置，包括：

35、实例分割模块，用于获取待识别表格图像，将所述待识别表格图像输入至预设的实例分割模型进行实例分割，得到与所述待识别表格图像对应的目标掩码和目标矩形框；

36、图像分类模块，用于根据所述目标矩形框从所述待识别表格图像中裁剪出中间表格图像，将所述中间表格图像输入至预设的轻量级图像分类模型进行图像分类处理，得到各个第一表格顶点对应的顶点语义标签，其中，所述中间表格图像对应有多个第一表格顶点；

37、轮廓分析模块，用于获取所述目标掩码在所述目标矩形框中的外部轮廓信息，利用多边形拟合轮廓函数拟合所述外部轮廓信息，得到所述目标掩码对应的多个第二表格顶点；

38、图像定位模块，用于确定各个所述第二表格顶点对应的顶点位置信息和所述第一表格顶点，将各个目标顶点语义标签与各个所述顶点位置信息进行配对，其中，所述目标顶点语义标签为与所述第二表格顶点对应的第一表格顶点对应的顶点语义标签。

39、第三方面，本技术实施例提供了一种电子设备，包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如第一方面所述的表格图像定位方法。

40、第四方面，本技术实施例还提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如第一方面所述的表格图像定位方法。

41、本技术实施例提供了一种表格图像定位方法、装置、设备、计算机可读存储介质，方法包括：获取待识别表格图像，将所述待识别表格图像输入至预设的实例分割模型进行实例分割，得到与所述待识别表格图像对应的目标掩码和目标矩形框；根据所述目标矩形框从所述待识别表格图像中裁剪出中间表格图像，将所述中间表格图像输入至预设的轻量级图像分类模型进行图像分类处理，得到各个第一表格顶点对应的顶点语义标签，其中，所述中间表格图像对应有多个第一表格顶点；获取所述目标掩码在所述目标矩形框中的外部轮廓信息，利用多边形拟合轮廓函数拟合所述外部轮廓信息，得到所述目标掩码对应的多个第二表格顶点；确定各个所述第二表格顶点对应的顶点位置信息和所述第一表格顶点，将各个所述目标顶点语义标签与各个所述顶点位置信息进行配对，其中，所述目标顶点语义标签为与所述第二表格顶点对应的第一表格顶点对应的顶点语义标签。根据本技术实施例提供的方案，利用实例分割模型结合轻量级图像分类模型实现表格图像的定位，不需要对表格图像进行压缩，保留表格图像的有效信息，从而能够有效提升表格图像定位的准确率。