文档表格识别方法、装置、设备及存储介质与流程

1.本发明涉及人工智能技术领域，尤其涉及一种文档表格识别方法、装置、设备及存储介质。


背景技术：

2.文档表格识别方式是从表格中提取和访问数据及其他有效信息。为了提高从文档表格中提取信息的效率，目前主要通过最小二乘法拟合表格线算法、基于直线交点交角的区域定位算法等方式定位出单元格，进而从定位出的单元格中提取出有效信息。然而，这些方式无法准确的定位出倾斜表格中的单元格，造成无法准确的提取出文档表格中的相关信息。


技术实现要素：

3.鉴于以上内容，有必要提供一种文档表格识别方法、装置、设备及存储介质，能够准确的定位出倾斜表格中的单元格，从而能够准确的提取出文档表格中的相关信息。
4.一方面，本发明提出一种文档表格识别方法，所述文档表格识别方法包括：
5.当接收到识别请求时，根据所述识别请求获取待处理信息，并识别所述待处理信息所属的信息类型；
6.若所述信息类型为预设类型，从所述待处理信息中识别出初筛线段；
7.对所述初筛线段进行校验过滤处理，得到表格线段；
8.根据所述表格线段定位所述待处理信息的倾斜角度；
9.根据所述倾斜角度分析所述表格线段，得到单元表格；
10.获取预先训练好的文本识别模型，所述文本识别模型包括文本检测网络及文字识别网络；
11.基于所述文本检测网络处理所述单元表格，得到所述单元表格的二值近似图；
12.基于所述文字识别网络处理所述二值近似图，得到所述待处理信息的识别结果。
13.根据本发明优选实施例，所述方法还包括：
14.若所述信息类型不为所述预设类型，获取所述信息类型与所述预设类型的映射函数；
15.切分所述待处理信息，得到多个切分信息；
16.基于所述映射函数对所述多个切分信息进行并行转换处理，得到目标信息。
17.根据本发明优选实施例，所述从所述待处理信息中识别出初筛线段包括：
18.基于cv2.cvtcolor()函数分析所述待处理信息，生成所述待处理信息的灰度图；
19.基于threshold()函数对所述灰度图进行二值化处理，得到目标图像；
20.对所述目标图像执行腐蚀膨胀处理，得到多个图像线段；
21.根据每个图像线段在所述待处理信息中的线段坐标确定每两个图像线段的线段间距；
22.将所述线段间距小于第一预设间距的两个图像线段进行合并处理，得到所述初筛线段。
23.根据本发明优选实施例，所述对所述初筛线段进行校验过滤处理，得到表格线段包括：
24.根据所述线段坐标计算所述初筛线段的线段长度；
25.对所述线段长度进行离散化处理，得到所述初筛线段的长度离散结果；
26.计算每个所述长度离散结果在所述线段长度的数量概率；
27.从所述初筛线段中剔除所述数量概率小于预设概率值所对应的初筛线段，得到特征线段；
28.根据所述线段坐标计算每两个所述特征线段的特征间距；
29.剔除所述特征间距大于第二预设间距的特征线段，得到所述表格线段，所述第二预设间距大于所述第一预设间距。
30.根据本发明优选实施例，所述根据所述倾斜角度分析所述表格线段，得到单元表格包括：
31.基于所述倾斜角度对所述表格线段进行旋转处理，得到目标线段；
32.根据所述目标线段在所述待处理信息中的线段位置对所述目标线段进行交叉处理，得到目标表格；
33.识别出所述目标表格中的定位交点；
34.根据所述定位交点从所述目标表格中提取所述单元表格。
35.根据本发明优选实施例，所述基于所述文本检测网络处理所述单元表格，得到所述单元表格的二值近似图包括：
36.获取所述文本检测网络的特征金字塔网络、概率预测网络及二值化网络，所述特征金字塔网络包括多个不同尺寸的金字塔层，所述概率预测网络包括卷积层、归一化层、激活函数及反卷积层；
37.基于所述特征金字塔网络对所述单元表格进行处理，得到每个多个金字塔层所对应的表格层图；
38.根据预设尺寸需求对所述表格层图进行上采样处理，得到多个采样图；
39.对所述多个采样图进行融合处理，得到特征图；
40.基于所述概率预测网络处理所述特征图，得到所述单元表格的概率图；
41.基于所述二值化网络处理所述特征图，得到所述单元表格的阈值图；
42.根据下列公式分析所述概率图及所述阈值图，得到所述二值近似图：
[0043][0044]
其中，b
i,j
是指所述二值近似图中第i行，第j列的像素信息，k是指所述文本检测网络中的网络配置值，p
i,j
是指所述概率图中第i行，第j列的像素信息，t
i,j
是指所述阈值图中第i行，第j列的像素信息。
[0045]
根据本发明优选实施例，在基于所述文字识别网络处理所述二值近似图之前，所述方法还包括：
[0046]
获取bilstm的学习器；
[0047]
获取样本图及所述样本图中的文本信息；
[0048]
将所述样本图输入至所述学习器中，得到预测向量；
[0049]
基于所述学习器中的向量映射表对所述文本信息进行向量化处理，得到文本向量；
[0050]
根据下列公式计算所述学习器的梯度值：
[0051][0052]
其中，l是指所述梯度值，是指所述预测向量与所述文本向量的相似度，是指所述预测向量；
[0053]
根据所述梯度值调整所述学习器中的网络参数，直至所述梯度值不再增大，得到所述文字识别网络。
[0054]
另一方面，本发明还提出一种文档表格识别装置，所述文档表格识别装置包括：
[0055]
识别单元，用于当接收到识别请求时，根据所述识别请求获取待处理信息，并识别所述待处理信息所属的信息类型；
[0056]
所述识别单元，还用于若所述信息类型为预设类型，从所述待处理信息中识别出初筛线段；
[0057]
处理单元，用于对所述初筛线段进行校验过滤处理，得到表格线段；
[0058]
定位单元，用于根据所述表格线段定位所述待处理信息的倾斜角度；
[0059]
分析单元，用于根据所述倾斜角度分析所述表格线段，得到单元表格；
[0060]
获取单元，用于获取预先训练好的文本识别模型，所述文本识别模型包括文本检测网络及文字识别网络；
[0061]
所述处理单元，还用于基于所述文本检测网络处理所述单元表格，得到所述单元表格的二值近似图；
[0062]
所述处理单元，还用于基于所述文字识别网络处理所述二值近似图，得到所述待处理信息的识别结果。
[0063]
另一方面，本发明还提出一种电子设备，所述电子设备包括：
[0064]
存储器，存储计算机可读指令；及
[0065]
处理器，执行所述存储器中存储的计算机可读指令以实现所述文档表格识别方法。
[0066]
另一方面，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可读指令，所述计算机可读指令被电子设备中的处理器执行以实现所述文档表格识别方法。
[0067]
由以上技术方案可以看出，本发明通过对识别出的初筛线段进行预处理，能够提高所述表格线段的准确性，进而通过所述表格线段能够确定出所述倾斜角度，从而基于所述倾斜角度对所述表格线段进行分析，能够准确的定位出所述待处理信息中的单元表格，进而基于所述文本识别模型能够高效并准确的生成所述识别结果。
附图说明
[0068]
图1是本发明文档表格识别方法的较佳实施例的流程图。
[0069]
图2是本发明文档表格识别装置的较佳实施例的功能模块图。
[0070]
图3是本发明实现文档表格识别方法的较佳实施例的电子设备的结构示意图。
具体实施方式
[0071]
为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。
[0072]
如图1所示，是本发明文档表格识别方法的较佳实施例的流程图。根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。
[0073]
所述文档表格识别方法可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(artificial intelligence，ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
[0074]
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
[0075]
所述文档表格识别方法应用于一个或者多个电子设备中，所述电子设备是一种能够按照事先设定或存储的计算机可读指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(application specific integrated circuit，asic)、可编程门阵列(field－programmable gate array，fpga)、数字信号处理器(digital signal processor，dsp)、嵌入式设备等。
[0076]
所述电子设备可以是任何一种可与用户进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、个人数字助理(personal digital assistant，pda)、游戏机、交互式网络电视(internet protocol television，iptv)、智能穿戴式设备等。
[0077]
所述电子设备可以包括网络设备和/或用户设备。其中，所述网络设备包括，但不限于单个网络电子设备、多个网络电子设备组成的电子设备组或基于云计算(cloud computing)的由大量主机或网络电子设备构成的云。
[0078]
所述电子设备所处的网络包括，但不限于：互联网、广域网、城域网、局域网、虚拟专用网络(virtual private network，vpn)等。
[0079]
s10，当接收到识别请求时，根据所述识别请求获取待处理信息，并识别所述待处理信息所属的信息类型。
[0080]
在本发明的至少一个实施例中，所述待处理信息中包含有需要进行表格识别的信息，所述待处理信息的格式可以是图片，也可以是pdf等。
[0081]
所述信息类型是指与所述待处理信息的格式所对应的类型。
[0082]
在本发明的至少一个实施例中，所述电子设备根据所述识别请求获取待处理信息包括：
[0083]
解析所述识别请求的报文，得到所述报文携带的存储路径及信息标识；
[0084]
基于所述存储路径及所述信息标识生成查询语句；
[0085]
运行所述查询语句，得到所述待处理信息。
[0086]
其中，所述存储路径是指存储所述待处理信息的地址。
[0087]
所述信息标识是指用于指示所述待处理信息的识别码。
[0088]
所述查询语句可以是结构化查询语句。
[0089]
通过解析所述报文，由于无需解析整个请求，因此能够提高所述存储路径及所述信息标识的获取效率，另外，由于无需根据所述信息标识对所述存储路径中的存储信息进行全面遍历，因此根据所述查询语句能够快速获取到所述待处理信息。
[0090]
在本发明的至少一个实施例中，所述电子设备识别所述待处理信息所属的信息类型包括：
[0091]
获取所述待处理信息的属性信息；
[0092]
从所述属性信息中提取所述待处理信息的存储格式；
[0093]
将与所述存储格式所对应的类型确定为所述信息类型。
[0094]
其中，所述属性信息中包括能够指示所述待处理信息的存储格式的相关信息。
[0095]
所述存储格式是指所述待处理信息存储在所述存储路径中的数据格式。
[0096]
例如，所述存储格式为doc，则所述信息类型为：文档。
[0097]
s11，若所述信息类型为预设类型，从所述待处理信息中识别出初筛线段。
[0098]
在本发明的至少一个实施例中，所述预设类型通常是指图片类型，所述图片类型所对应的数据存储形式可以有多个。
[0099]
在本发明的至少一个实施例中，所述初筛线段是指在所述待处理信息中，对线段间距小于第一预设间距的线段进行合并处理后所得到的信息。
[0100]
在本发明的至少一个实施例中，所述方法还包括：
[0101]
若所述信息类型不为所述预设类型，获取所述信息类型与所述预设类型的映射函数；
[0102]
切分所述待处理信息，得到多个切分信息；
[0103]
基于所述映射函数对所述多个切分信息进行并行转换处理，得到目标信息。
[0104]
其中，所述目标信息是指具有所述预设类型的待处理信息。
[0105]
例如，若所述信息类型为pdf类型，所述预设类型为图片类型，因此，所述映射函数为convert_from_path()函数。
[0106]
通过对所述待处理信息进行切分，能够提高转换效率，通过所述映射函数，能够提高转换准确性。
[0107]
在本发明的至少一个实施例中，所述电子设备从所述待处理信息中识别出初筛线段包括：
[0108]
基于cv2.cvtcolor()函数分析所述待处理信息，生成所述待处理信息的灰度图；
[0109]
基于threshold()函数对所述灰度图进行二值化处理，得到目标图像；
[0110]
对所述目标图像执行腐蚀膨胀处理，得到多个图像线段；
[0111]
根据每个图像线段在所述待处理信息中的线段坐标确定每两个图像线段的线段间距；
[0112]
将所述线段间距小于第一预设间距的两个图像线段进行合并处理，得到所述初筛
线段。
[0113]
其中，所述线段坐标是指所述图像线段中首尾两端的坐标。所述线段坐标是在以所述待处理信息构建出的坐标系为基础确定出的坐标。
[0114]
通过对所述多个图像线段进行合并处理，能够避免因识别操作误差而导致的从所述待处理信息中识别出多余的图像线段，从而提高所述初筛线段的识别准确性。
[0115]
具体地，所述电子设备对所述目标图像执行腐蚀膨胀处理，得到多个图像线段包括：
[0116]
设置第一操作区域，所述第一操作区域是指腐蚀和膨胀的横向直条；
[0117]
基于erode()函数及所述第一操作区域对所述目标图像进行腐蚀处理，得到第一图像，并基于dilate()函数及所述第一操作区域对所述第一图像进行膨胀处理，得到横向表格线；
[0118]
设置第二操作区域，所述第二操作区域是指腐蚀和膨胀的竖向直条；基于erode()函数及所述第二操作区域对所述目标图像进行腐蚀处理，得到第二图像，并基于dilate()函数及所述第二操作区域对所述第二图像进行膨胀处理，得到竖向表格线；
[0119]
将所述横向表格线及所述竖向表格线确定为所述多个图像线段。
[0120]
s12，对所述初筛线段进行校验过滤处理，得到表格线段。
[0121]
在本发明的至少一个实施例中，所述表格线段是指线段长度的数量概率大于或者等于预设概率值，且，特征间距小于或者等于第二预设间距的初筛线段。
[0122]
在本发明的至少一个实施例中，所述电子设备对所述初筛线段进行校验过滤处理，得到表格线段包括：
[0123]
根据所述线段坐标计算所述初筛线段的线段长度；
[0124]
对所述线段长度进行离散化处理，得到所述初筛线段的长度离散结果；
[0125]
计算每个所述长度离散结果在所述线段长度的数量概率；
[0126]
从所述初筛线段中剔除所述数量概率小于预设概率值所对应的初筛线段，得到特征线段；
[0127]
根据所述线段坐标计算每两个所述特征线段的特征间距；
[0128]
剔除所述特征间距大于第二预设间距的特征线段，得到所述表格线段，所述第二预设间距大于所述第一预设间距。
[0129]
其中，所述长度离散结果是指所述线段长度在预设范围上所对应的数值，例如，预设范围为(10，15]，该预设范围所对应的数值为2，则，线段长度12所对应的长度离散结果为2。
[0130]
所述预设概率值可以根据实际需求设定。
[0131]
通过对所述线段长度进行离散化处理，以及所述数量概率的确定，能够剔除掉与大部分线段存在较大长度偏差的线段，进而通过所述特征间距能够剔除掉位置偏离较大的线段，从而提高所述表格线段的准确性。
[0132]
s13，根据所述表格线段定位所述待处理信息的倾斜角度。
[0133]
在本发明的至少一个实施例中，所述电子设备根据所述表格线段定位所述待处理信息的倾斜角度包括：
[0134]
基于minareareact()函数生成所述表格线段的端点外接矩形；
[0135]
获取所述端点外接矩形的矩形角度作为所述倾斜角度。
[0136]
其中，所述端点外接矩形是连结所述表格线段中的线段端点所得到的矩形。
[0137]
所述矩形角度可以是所述端点外接矩形的任一角度。
[0138]
通过所述表格线段与所述端点外接矩形的关系，能够准确的确定出所述倾斜角度。
[0139]
s14，根据所述倾斜角度分析所述表格线段，得到单元表格。
[0140]
在本发明的至少一个实施例中，所述单元表格是指由多个定位交点所组成的边框。
[0141]
在本发明的至少一个实施例中，所述电子设备根据所述倾斜角度分析所述表格线段，得到单元表格包括：
[0142]
基于所述倾斜角度对所述表格线段进行旋转处理，得到目标线段；
[0143]
根据所述目标线段在所述待处理信息中的线段位置对所述目标线段进行交叉处理，得到目标表格；
[0144]
识别出所述目标表格中的定位交点；
[0145]
根据所述定位交点从所述目标表格中提取所述单元表格。
[0146]
其中，所述定位交点是指任意两个目标线段之间的相交点。
[0147]
通过所述倾斜角度旋转所述表格线段，能够避免因所述表格线段的倾斜造成无法准确定位出所述待处理信息中的单元格，从而提高了所述单元表格的定位准确性。
[0148]
s15，获取预先训练好的文本识别模型，所述文本识别模型包括文本检测网络及文字识别网络。
[0149]
在本发明的至少一个实施例中，所述文本识别模型是指能够识别出所述单元表格中的文本信息的模型。
[0150]
s16，基于所述文本检测网络处理所述单元表格，得到所述单元表格的二值近似图。
[0151]
在本发明的至少一个实施例中，所述电子设备基于所述文本检测网络处理所述单元表格，得到所述单元表格的二值近似图包括：
[0152]
获取所述文本检测网络的特征金字塔网络、概率预测网络及二值化网络，所述特征金字塔网络包括多个不同尺寸的金字塔层，所述概率预测网络包括卷积层、归一化层、激活函数及反卷积层；
[0153]
基于所述特征金字塔网络对所述单元表格进行处理，得到每个多个金字塔层所对应的表格层图；
[0154]
根据预设尺寸需求对所述表格层图进行上采样处理，得到多个采样图；
[0155]
对所述多个采样图进行融合处理，得到特征图；
[0156]
基于所述概率预测网络处理所述特征图，得到所述单元表格的概率图；
[0157]
基于所述二值化网络处理所述特征图，得到所述单元表格的阈值图；
[0158]
根据下列公式分析所述概率图及所述阈值图，得到所述二值近似图：
[0159][0160]
其中，b
i,j
是指所述二值近似图中第i行，第j列的像素信息，k是指所述文本检测网
络中的网络配置值，p
i,j
是指所述概率图中第i行，第j列的像素信息，t
i,j
是指所述阈值图中第i行，第j列的像素信息。
[0161]
其中，所述预设尺寸需求可以根据实际需求设定。
[0162]
通过所述特征金字塔网络对所述单元表格进行处理后，对上采样处理后所得到的多个采样图进行融合，能够避免所述特征图中存在信息丢失的问题，进而通过结合所述概率图及所述阈值图，能够准确的从所述单元表格中定位出包围文本信息的二值近似图。
[0163]
s17，基于所述文字识别网络处理所述二值近似图，得到所述待处理信息的识别结果。
[0164]
在本发明的至少一个实施例中，所述识别结果是指所述待处理信息中的文本信息。
[0165]
需要强调的是，为进一步保证上述识别结果的私密和安全性，上述识别结果还可以存储于一区块链的节点中。
[0166]
在本发明的至少一个实施例中，在基于所述文字识别网络处理所述二值近似图之前，所述方法还包括：
[0167]
获取bilstm的学习器；
[0168]
获取样本图及所述样本图中的文本信息；
[0169]
将所述样本图输入至所述学习器中，得到预测向量；
[0170]
基于所述学习器中的向量映射表对所述文本信息进行向量化处理，得到文本向量；
[0171]
根据下列公式计算所述学习器的梯度值：
[0172][0173]
其中，l是指所述梯度值，是指所述预测向量与所述文本向量的相似度，是指所述预测向量；
[0174]
根据所述梯度值调整所述学习器中的网络参数，直至所述梯度值不再增大，得到所述文字识别网络。
[0175]
通过所述梯度值对所述网络参数进行调整，能够提高所述文字识别网络的准确性，从而提高所述识别结果的准确性。
[0176]
由以上技术方案可以看出，本发明通过对识别出的初筛线段进行预处理，能够提高所述表格线段的准确性，进而通过所述表格线段能够确定出所述倾斜角度，从而基于所述倾斜角度对所述表格线段进行分析，能够准确的定位出所述待处理信息中的单元表格，进而基于所述文本识别模型能够高效并准确的生成所述识别结果。
[0177]
如图2所示，是本发明文档表格识别装置的较佳实施例的功能模块图。所述文档表格识别装置11包括识别单元110、处理单元111、定位单元112、分析单元113、获取单元114、切分单元115、输入单元116、计算单元117及调整单元118。本发明所称的模块/单元是指一种能够被处理器13所获取，并且能够完成固定功能的一系列计算机可读指令段，其存储在存储器12中。在本实施例中，关于各模块/单元的功能将在后续的实施例中详述。
[0178]
当接收到识别请求时，识别单元110根据所述识别请求获取待处理信息，并识别所
述待处理信息所属的信息类型。
[0179]
在本发明的至少一个实施例中，所述待处理信息中包含有需要进行表格识别的信息，所述待处理信息的格式可以是图片，也可以是pdf等。
[0180]
所述信息类型是指与所述待处理信息的格式所对应的类型。
[0181]
在本发明的至少一个实施例中，所述识别单元110根据所述识别请求获取待处理信息包括：
[0182]
解析所述识别请求的报文，得到所述报文携带的存储路径及信息标识；
[0183]
基于所述存储路径及所述信息标识生成查询语句；
[0184]
运行所述查询语句，得到所述待处理信息。
[0185]
其中，所述存储路径是指存储所述待处理信息的地址。
[0186]
所述信息标识是指用于指示所述待处理信息的识别码。
[0187]
所述查询语句可以是结构化查询语句。
[0188]
通过解析所述报文，由于无需解析整个请求，因此能够提高所述存储路径及所述信息标识的获取效率，另外，由于无需根据所述信息标识对所述存储路径中的存储信息进行全面遍历，因此根据所述查询语句能够快速获取到所述待处理信息。
[0189]
在本发明的至少一个实施例中，所述识别单元110识别所述待处理信息所属的信息类型包括：
[0190]
获取所述待处理信息的属性信息；
[0191]
从所述属性信息中提取所述待处理信息的存储格式；
[0192]
将与所述存储格式所对应的类型确定为所述信息类型。
[0193]
其中，所述属性信息中包括能够指示所述待处理信息的存储格式的相关信息。
[0194]
所述存储格式是指所述待处理信息存储在所述存储路径中的数据格式。
[0195]
例如，所述存储格式为doc，则所述信息类型为：文档。
[0196]
若所述信息类型为预设类型，所述识别单元110从所述待处理信息中识别出初筛线段。
[0197]
在本发明的至少一个实施例中，所述预设类型通常是指图片类型，所述图片类型所对应的数据存储形式可以有多个。
[0198]
在本发明的至少一个实施例中，所述初筛线段是指在所述待处理信息中，对线段间距小于第一预设间距的线段进行合并处理后所得到的信息。
[0199]
在本发明的至少一个实施例中，若所述信息类型不为所述预设类型，获取单元114获取所述信息类型与所述预设类型的映射函数；
[0200]
切分单元115切分所述待处理信息，得到多个切分信息；
[0201]
处理单元111基于所述映射函数对所述多个切分信息进行并行转换处理，得到目标信息。
[0202]
其中，所述目标信息是指具有所述预设类型的待处理信息。
[0203]
例如，若所述信息类型为pdf类型，所述预设类型为图片类型，因此，所述映射函数为convert_from_path()函数。
[0204]
通过对所述待处理信息进行切分，能够提高转换效率，通过所述映射函数，能够提高转换准确性。
[0205]
在本发明的至少一个实施例中，所述识别单元110从所述待处理信息中识别出初筛线段包括：
[0206]
基于cv2.cvtcolor()函数分析所述待处理信息，生成所述待处理信息的灰度图；
[0207]
基于threshold()函数对所述灰度图进行二值化处理，得到目标图像；
[0208]
对所述目标图像执行腐蚀膨胀处理，得到多个图像线段；
[0209]
根据每个图像线段在所述待处理信息中的线段坐标确定每两个图像线段的线段间距；
[0210]
将所述线段间距小于第一预设间距的两个图像线段进行合并处理，得到所述初筛线段。
[0211]
其中，所述线段坐标是指所述图像线段中首尾两端的坐标。所述线段坐标是在以所述待处理信息构建出的坐标系为基础确定出的坐标。
[0212]
通过对所述多个图像线段进行合并处理，能够避免因识别操作误差而导致的从所述待处理信息中识别出多余的图像线段，从而提高所述初筛线段的识别准确性。
[0213]
具体地，所述识别单元110对所述目标图像执行腐蚀膨胀处理，得到多个图像线段包括：
[0214]
设置第一操作区域，所述第一操作区域是指腐蚀和膨胀的横向直条；
[0215]
基于erode()函数及所述第一操作区域对所述目标图像进行腐蚀处理，得到第一图像，并基于dilate()函数及所述第一操作区域对所述第一图像进行膨胀处理，得到横向表格线；
[0216]
设置第二操作区域，所述第二操作区域是指腐蚀和膨胀的竖向直条；基于erode()函数及所述第二操作区域对所述目标图像进行腐蚀处理，得到第二图像，并基于dilate()函数及所述第二操作区域对所述第二图像进行膨胀处理，得到竖向表格线；
[0217]
将所述横向表格线及所述竖向表格线确定为所述多个图像线段。
[0218]
所述处理单元111对所述初筛线段进行校验过滤处理，得到表格线段。
[0219]
在本发明的至少一个实施例中，所述表格线段是指线段长度的数量概率大于或者等于预设概率值，且，特征间距小于或者等于第二预设间距的初筛线段。
[0220]
在本发明的至少一个实施例中，所述处理单元111对所述初筛线段进行校验过滤处理，得到表格线段包括：
[0221]
根据所述线段坐标计算所述初筛线段的线段长度；
[0222]
对所述线段长度进行离散化处理，得到所述初筛线段的长度离散结果；
[0223]
计算每个所述长度离散结果在所述线段长度的数量概率；
[0224]
从所述初筛线段中剔除所述数量概率小于预设概率值所对应的初筛线段，得到特征线段；
[0225]
根据所述线段坐标计算每两个所述特征线段的特征间距；
[0226]
剔除所述特征间距大于第二预设间距的特征线段，得到所述表格线段，所述第二预设间距大于所述第一预设间距。
[0227]
其中，所述长度离散结果是指所述线段长度在预设范围上所对应的数值，例如，预设范围为(10，15]，该预设范围所对应的数值为2，则，线段长度12所对应的长度离散结果为2。
[0228]
所述预设概率值可以根据实际需求设定。
[0229]
通过对所述线段长度进行离散化处理，以及所述数量概率的确定，能够剔除掉与大部分线段存在较大长度偏差的线段，进而通过所述特征间距能够剔除掉位置偏离较大的线段，从而提高所述表格线段的准确性。
[0230]
定位单元112根据所述表格线段定位所述待处理信息的倾斜角度。
[0231]
在本发明的至少一个实施例中，所述定位单元112根据所述表格线段定位所述待处理信息的倾斜角度包括：
[0232]
基于minareareact()函数生成所述表格线段的端点外接矩形；
[0233]
获取所述端点外接矩形的矩形角度作为所述倾斜角度。
[0234]
其中，所述端点外接矩形是连结所述表格线段中的线段端点所得到的矩形。
[0235]
所述矩形角度可以是所述端点外接矩形的任一角度。
[0236]
通过所述表格线段与所述端点外接矩形的关系，能够准确的确定出所述倾斜角度。
[0237]
分析单元113根据所述倾斜角度分析所述表格线段，得到单元表格。
[0238]
在本发明的至少一个实施例中，所述单元表格是指由多个定位交点所组成的边框。
[0239]
在本发明的至少一个实施例中，所述分析单元113根据所述倾斜角度分析所述表格线段，得到单元表格包括：
[0240]
基于所述倾斜角度对所述表格线段进行旋转处理，得到目标线段；
[0241]
根据所述目标线段在所述待处理信息中的线段位置对所述目标线段进行交叉处理，得到目标表格；
[0242]
识别出所述目标表格中的定位交点；
[0243]
根据所述定位交点从所述目标表格中提取所述单元表格。
[0244]
其中，所述定位交点是指任意两个目标线段之间的相交点。
[0245]
通过所述倾斜角度旋转所述表格线段，能够避免因所述表格线段的倾斜造成无法准确定位出所述待处理信息中的单元格，从而提高了所述单元表格的定位准确性。
[0246]
所述获取单元114获取预先训练好的文本识别模型，所述文本识别模型包括文本检测网络及文字识别网络。
[0247]
在本发明的至少一个实施例中，所述文本识别模型是指能够识别出所述单元表格中的文本信息的模型。
[0248]
所述处理单元111基于所述文本检测网络处理所述单元表格，得到所述单元表格的二值近似图。
[0249]
在本发明的至少一个实施例中，所述处理单元111基于所述文本检测网络处理所述单元表格，得到所述单元表格的二值近似图包括：
[0250]
获取所述文本检测网络的特征金字塔网络、概率预测网络及二值化网络，所述特征金字塔网络包括多个不同尺寸的金字塔层，所述概率预测网络包括卷积层、归一化层、激活函数及反卷积层；
[0251]
基于所述特征金字塔网络对所述单元表格进行处理，得到每个多个金字塔层所对应的表格层图；
[0252]
根据预设尺寸需求对所述表格层图进行上采样处理，得到多个采样图；
[0253]
对所述多个采样图进行融合处理，得到特征图；
[0254]
基于所述概率预测网络处理所述特征图，得到所述单元表格的概率图；
[0255]
基于所述二值化网络处理所述特征图，得到所述单元表格的阈值图；
[0256]
根据下列公式分析所述概率图及所述阈值图，得到所述二值近似图：
[0257][0258]
其中，b
i,j
是指所述二值近似图中第i行，第j列的像素信息，k是指所述文本检测网络中的网络配置值，p
i,j
是指所述概率图中第i行，第j列的像素信息，t
i,j
是指所述阈值图中第i行，第j列的像素信息。
[0259]
其中，所述预设尺寸需求可以根据实际需求设定。
[0260]
通过所述特征金字塔网络对所述单元表格进行处理后，对上采样处理后所得到的多个采样图进行融合，能够避免所述特征图中存在信息丢失的问题，进而通过结合所述概率图及所述阈值图，能够准确的从所述单元表格中定位出包围文本信息的二值近似图。
[0261]
所述处理单元111基于所述文字识别网络处理所述二值近似图，得到所述待处理信息的识别结果。
[0262]
在本发明的至少一个实施例中，所述识别结果是指所述待处理信息中的文本信息。
[0263]
需要强调的是，为进一步保证上述识别结果的私密和安全性，上述识别结果还可以存储于一区块链的节点中。
[0264]
在本发明的至少一个实施例中，在基于所述文字识别网络处理所述二值近似图之前，所述获取单元114获取bilstm的学习器；
[0265]
所述获取单元114获取样本图及所述样本图中的文本信息；
[0266]
输入单元116将所述样本图输入至所述学习器中，得到预测向量；
[0267]
所述处理单元111基于所述学习器中的向量映射表对所述文本信息进行向量化处理，得到文本向量；
[0268]
计算单元117根据下列公式计算所述学习器的梯度值：
[0269][0270]
其中，l是指所述梯度值，是指所述预测向量与所述文本向量的相似度，是指所述预测向量；
[0271]
调整单元118根据所述梯度值调整所述学习器中的网络参数，直至所述梯度值不再增大，得到所述文字识别网络。
[0272]
通过所述梯度值对所述网络参数进行调整，能够提高所述文字识别网络的准确性，从而提高所述识别结果的准确性。
[0273]
由以上技术方案可以看出，本发明通过对识别出的初筛线段进行预处理，能够提高所述表格线段的准确性，进而通过所述表格线段能够确定出所述倾斜角度，从而基于所述倾斜角度对所述表格线段进行分析，能够准确的定位出所述待处理信息中的单元表格，
进而基于所述文本识别模型能够高效并准确的生成所述识别结果。
[0274]
如图3所示，是本发明实现文档表格识别方法的较佳实施例的电子设备的结构示意图。
[0275]
在本发明的一个实施例中，所述电子设备1包括，但不限于，存储器12、处理器13，以及存储在所述存储器12中并可在所述处理器13上运行的计算机可读指令，例如文档表格识别程序。
[0276]
本领域技术人员可以理解，所述示意图仅仅是电子设备1的示例，并不构成对电子设备1的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电子设备1还可以包括输入输出设备、网络接入设备、总线等。
[0277]
所述处理器13可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field
‑
programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器13是所述电子设备1的运算核心和控制中心，利用各种接口和线路连接整个电子设备1的各个部分，及执行所述电子设备1的操作系统以及安装的各类应用程序、程序代码等。
[0278]
示例性的，所述计算机可读指令可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器12中，并由所述处理器13执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机可读指令段，该计算机可读指令段用于描述所述计算机可读指令在所述电子设备1中的执行过程。例如，所述计算机可读指令可以被分割成识别单元110、处理单元111、定位单元112、分析单元113、获取单元114、切分单元115、输入单元116、计算单元117及调整单元118。
[0279]
所述存储器12可用于存储所述计算机可读指令和/或模块，所述处理器13通过运行或执行存储在所述存储器12内的计算机可读指令和/或模块，以及调用存储在存储器12内的数据，实现所述电子设备1的各种功能。所述存储器12可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据等。存储器12可以包括非易失性和易失性存储器，例如：硬盘、内存、插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他存储器件。
[0280]
所述存储器12可以是电子设备1的外部存储器和/或内部存储器。进一步地，所述存储器12可以是具有实物形式的存储器，如内存条、tf卡(trans
‑
flash card)等等。
[0281]
所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机可读指令来指令相关的硬件来完成，所述的计算机可读指令可存储于一计算机可读存储介质中，该计算机可读指令在被处理器执行时，可实现上述各个方法实施例的步骤。
[0282]
其中，所述计算机可读指令包括计算机可读指令代码，所述计算机可读指令代码
可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机可读指令代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)。
[0283]
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
[0284]
结合图1，所述电子设备1中的所述存储器12存储计算机可读指令实现一种文档表格识别方法，所述处理器13可执行所述计算机可读指令从而实现：
[0285]
当接收到识别请求时，根据所述识别请求获取待处理信息，并识别所述待处理信息所属的信息类型；
[0286]
若所述信息类型为预设类型，从所述待处理信息中识别出初筛线段；
[0287]
对所述初筛线段进行校验过滤处理，得到表格线段；
[0288]
根据所述表格线段定位所述待处理信息的倾斜角度；
[0289]
根据所述倾斜角度分析所述表格线段，得到单元表格；
[0290]
获取预先训练好的文本识别模型，所述文本识别模型包括文本检测网络及文字识别网络；
[0291]
基于所述文本检测网络处理所述单元表格，得到所述单元表格的二值近似图；
[0292]
基于所述文字识别网络处理所述二值近似图，得到所述待处理信息的识别结果。
[0293]
具体地，所述处理器13对上述计算机可读指令的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。
[0294]
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
[0295]
所述计算机可读存储介质上存储有计算机可读指令，其中，所述计算机可读指令被处理器13执行时用以实现以下步骤：
[0296]
当接收到识别请求时，根据所述识别请求获取待处理信息，并识别所述待处理信息所属的信息类型；
[0297]
若所述信息类型为预设类型，从所述待处理信息中识别出初筛线段；
[0298]
对所述初筛线段进行校验过滤处理，得到表格线段；
[0299]
根据所述表格线段定位所述待处理信息的倾斜角度；
[0300]
根据所述倾斜角度分析所述表格线段，得到单元表格；
[0301]
获取预先训练好的文本识别模型，所述文本识别模型包括文本检测网络及文字识别网络；
[0302]
基于所述文本检测网络处理所述单元表格，得到所述单元表格的二值近似图；
[0303]
基于所述文字识别网络处理所述二值近似图，得到所述待处理信息的识别结果。
[0304]
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显
示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0305]
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
[0306]
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
[0307]
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。所述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一、第二等词语用来表示名称，而并不表示任何特定的顺序。
[0308]
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。