用于校验表格数据的方法、装置、设备和计算机存储介质与流程

本公开的实施例主要涉及图像识别领域，并且更具体地，涉及一种用于校验表格数据的方法、装置、设备和计算机存储介质。

背景技术：

表格是一种有效管理和组织数据的格式，长期以来，纸质表格已经被广泛应用于各个领域。为了辅助办公自动化，需要将已有的纸质表格扫描或拍照，形成电子形式的表格图像。然后进行表格识别，以进行后续处理。在图像识别领域中，正确识别图像中的表格及其内容有着重要意义。例如，对于金融机构而言，正确识别诸如资产负债表、现金流量表、利润表之类的企业财务报表有助于全面地揭示企业的经营状况，进而有助于在信贷审批和其他决策中提高工作效率。

目前在图像识别领域中，主要依赖于ocr(opticalcharacterrecognition，光学字符识别)技术来识别图像中的表格。通过图像预处理、图像分割、字符识别、识别结果处理等一系列过程可以获得识别结果。然而，由于部分图像或者图像的一部分存在像素较低、图片模糊等情况，导致表格中的部分数据识别有误；或者图像中的原始数据本身存在错误。这些问题都是需要在后续处理中格外关注的，如果在后续处理中完全依靠人工来校验表格数据的识别结果，那么工作量巨大，并且校验的准确性和完整性也不能得到保证。这影响了ocr技术在表格自动识别中的应用效果。

对于一些类型的表格，特别是包含多个数值的表格，表格中的至少一些项目之间存在关联关系。因而，期望提供一种能够利用表格中各个项目间的关联关系来校验表格数据的方法。

技术实现要素：

根据本公开内容的示例实施例，提供了一种用于校验表格数据的方案。

在本公开内容的第一方面中，提供了一种用于校验表格数据的方法。具体地，该方法包括：获取表格图像，表格图像中的表格包括多个字段和与多个字段中的每个字段相对应的数值；基于表格图像，识别多个字段中的每个字段和对应的数值；获取与多个字段中的至少一些字段有关的预定关系，预定关系指示与至少一些字段相对应的数值之间的关联关系；以及校验与至少一些字段相对应的数值是否满足预定关系。

在本公开内容的第二方面中，提供了一种用于校验表格数据的装置。具体地，该装置包括：图像获取模块，图像获取模块被配置为获取表格图像，表格图像中的表格包括多个字段和与多个字段中的每个字段相对应的数值；表格识别模块，表格识别模块被配置为基于表格图像识别多个字段中的每个字段和对应的数值；关系获取模块，关系获取模块被配置为获取与多个字段中的至少一些字段有关的预定关系，预定关系指示与至少一些字段相对应的数值之间的关联关系；以及数据校验模块，数据校验模块被配置为校验与至少一些字段相对应的数值是否满足预定关系。

在本公开内容的第三方面中，提供了一种设备，包括一个或多个处理器；以及存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现根据本公开内容的第一方面的方法。

在本公开内容的第四方面中，提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现根据本公开内容的第一方面的方法。

应当理解，发明内容部分中所描述的内容并非旨在限定本公开内容的实施例的关键或重要特征，亦非用于限制本公开内容的范围。本公开内容的其它特征将通过以下的描述变得容易理解。

附图说明

结合附图并参考以下详细说明，本公开内容的各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：

图1示意性地示出了表格图像中可能包含的一个示例表格；

图2示出了根据本公开内容的示例性实施例的用于校验表格数据的示例方法的流程图；

图3示出了根据本公开内容的示例性实施例的其中不存在识别错误的一个示意性识别结果；

图4示出了根据本公开内容的示例性实施例的其中存在识别错误的一个示意性识别结果；

图5示意性示出了根据本公开内容的示例性实施例的用于校验表格数据的装置的框图；以及

图6示出了能够实施本公开内容的多个实施例的计算设备的框图。

具体实施例

下面将参照附图更详细地描述本公开内容的实施例。虽然附图中显示了本公开内容的某些实施例，然而应当理解的是，本公开内容可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开内容。应当理解的是，本公开内容的附图及实施例仅用于示例性作用，并非用于限制本公开内容的保护范围。

在本公开内容的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。

在目前的图像识别领域中，借助于ocr技术对图像中的表格进行识别。由于图像像素低等原因，同时受限于图像识别的技术瓶颈，识别结果不可避免地存在一些识别错误。对于数据准确性非常重要的情况(诸如，对于企业财务报表)，需要将出现错误的概率尽可能降低到最小。如果靠人工对识别结果进行校验，则工作量巨大，且准确度不高。

为了至少部分地解决现有技术方案中的问题，本公开内容的实施例提出了一种用于校验表格数据的方案，来减少后续过程中人工复核的工作量。本公开内容的实施例利用数据表格中与各个项目相对应的数值之间的关联关系来校验相关项目及其对应的数值，将校验的结果以可视化的形式提供给后续复核人员。例如，在企业财务报表中，各个会计科目之间存在勾稽关系。如“资产”科目下的金额数字等于“负债”科目下的金额数字加“所有者权益合计”科目下的金额数字。因而，可以基于“资产”、“负债”和“所有者权益合计”科目下的数字的关系，来确定提取的表格内容是否存在错误。

以此方式，可以大大降低人工复核和调整的工作量，提高表格识别在相关领域的应用效果。在下文中，将参考图1至图6描述本公开内容的实施例的一些示例实现。

图1示意性地示出了表格图像中可能包含的一个示例表格100。如图1所示，“xx表”可以表示示例表格100的表头，即，示例表格100的名称，例如，某公司2017年度资产负债表等。表格主体部分可以具有多个字段以及与这些字段中的每个字段相对应的数值。图1所示的示例表格100具有10个字段，即，字段1至字段10；每个字段具有与之对应的数值，即，数值1至数值10。在图1中，每个数值与在其之前的单元格中的字段相对应，并且指示该字段所具有的或与该字段相关联的属性值等。

例如，示例表格100可以是与温度相关的表格，字段1至字段9可以分别表示某办公楼一层至九层的室温。在这样的表格中，字段1可以为“一层”，而数值1可以为“26”(单位：摄氏度，可以不包括在数值1所在的单元格中)；字段2可以为“二层”，而数值2可以为“28”；字段10可以是一层至九层的平均室温，并且数值10可以表示为(数值1+数值2+……+数值9)/9。又如，在示例表格100是资产负债表的情况下，字段1至字段10可以分别表示不同的会计科目，数值1至数值10可以表示相应的金额数字。例如，字段1可以为“货币资金”，而数值1可以为填表企业所拥有的货币资金的金额，如为100(万元)。类似于上文描述的温度表格，各个字段之间可以存在预定关系。

本领域技术人员应当理解，虽然图1示出的示例表格100具有五行四列的布局，但是根据本公开内容实施例的方法和装置可以应用于具有任何适当布局的表格。另外，虽然示例表格100中示出每个字段仅具有一个对应数值，但是表格中的字段也可以具有多于一个的对应数值，诸如2个或3个。此外，除了图1中所示的表格名称、字段、数值之外，表格还可以包括其他项目，诸如编制单位、编制日期等。

下文结合图2来描述校验表格数据的具体过程。图2示出了根据本公开内容的示例性实施例的用于校验表格数据的示例方法200的流程图。应当理解，方法200可以应用于其中各个项目间具有关联关系的任何表格。

在210，获取表格图像，该表格图像中的表格(例如，示例表格100)包括多个字段(例如，字段1至字段10)和与多个字段中的每个字段相对应的数值(例如，数值1至数值10)。表格图像可以是通过读取本地数据库获取的，可以是经由网络实时接收的，可以是相关工作人员上传至服务器或计算设备的。表格图像可以是扫描或拍照生成的，并且表格图像的格式可以是任何计算机可读格式。本公开的实施例在此方面不受限制。

在220，基于所获取的表格图像，识别该表格图像所包含的表格，包括识别多个字段中的每个字段和对应的数值。在一些实施例中，可以利用ocr技术来识别表格图像中的字段和数值。识别的过程可以包括图像预处理、图像分割、字符识别、识别结果处理等，并且对文字、数字、系统分割字符等各种字符均进行识别。在识别之后，将每个字段及其对应的数值进行关联，并且相关联地存储在例如数据库中，也可以暂时地存储在计算设备的缓存中。

在230，获取与多个字段中的至少一些字段有关的预定关系。以图1所示的示例表格100为例，可以获取与字段1、字段3和字段5相关的预定关系。预定关系可以是数学运算关系，也可以逻辑关系。例如，对于示例表格100，可以有诸如“数值1+数值2”应当等于“数值5”的预定关系；或者“数值1+数值2”应当大于“数值5”的预定关系；“数值1*数值2”应当等于“数值5”的预定关系。

在一些实施例中，预定关系与表格类型有关。例如，可以根据某一表格类型中通常涉及的项目以及这些项目之间的关联关系来预先预定与该类型的表格相关的预定关系。在一些实施例中，可以将预定关系存储在关系库中，然后根据所要校验的表格的表格类型来检索关系库，从而获取预定关系。在一些实施例中，对于所要校验的表格而言，存在多个预定关系，那么则可以依次获取这些预定关系。

在下文中，仅以金融行业中常见的三种类型的财务报表来给出表格中各项目间预定关系的具体示例。表1至表3分别是资产负债表、损益表和现金流量表中的预定关系(在财务领域，通常被称为勾稽关系)。如表1所示，资产负债表中存在至少13个预定关系，例如，编号为2的预定关系表示与“长期投资”对应的数值加上与“合并价差”对应的数值应当等于与“长期投资合计”对应的数值。例如，在所识别的表格为资产负债表的情况下，可以基于“资产负债表”这一表格类型来检索关系库，从而获取如表1所描述的13个预定关系。

表1资产负债表中的预定关系

在下文中分别示意性示出了如表2所示的损益表中的预定关系以及如表3所示的现金流量表中的预定关系，其中分别存储了8个和10个预定关系，其含义与表1类似，在此不再赘述。

表2损益表中的预定关系

表3现金流量表中的预定关系

本领域技术人员应当理解，虽然上文所给出的示例预定关系仅包含加法、减法、乘法等简单的运算，但是预定关系也可以包括更加复杂的运算关系，只要这样的运算关系能够在计算环境中得到验证。另外，虽然上文的示例预定关系仅涉及“等于”、“大于”等逻辑，但是预定关系还可以包括其他逻辑，诸如“与”、“或”等。

继续参考图2，过程进行到240。在240，校验与至少一些字段相对应的数值是否满足所获取的预定关系。举例而言，所获取的预定关系是上文表1中编号为2的预定关系，即，“长期投资+合并价差＝长期投资合计”，那么将所识别的“长期投资”的相应数值与所识别的“合并价差”的相应数值相加，然后确定相加的结果是否等于所识别的“长期投资合计”的相应数值。

如果预定关系未被满足，则过程进行到250。在250，未被满足的预定关系中所涉及的所有字段均被标识。仍以表1中编号为2的预定关系为例，如果“长期投资+合并价差＝长期投资合计”这一预定关系未被满足，那么“长期投资”、“合并价差”、“长期投资合计”这三个字段均被标识。

如果预定关系被满足，则可以确定对于该表格是否还存在未校验的预定关系。在存在未校验的预定关系的情况下，过程回到步骤230，获取未校验的预定关系并进行校验；在不存在未校验的预定关系的情况下，过程继续进行到后续流程。

在一些实施例中，在表格数据识别和校验之后，可以将所识别的表格输出。例如，可以生成包含所识别的表格的文档(诸如excel文档)，并且在该文档中高亮显示(或以其他方式突出显示)步骤250中所标识的每个字段，例如高亮显示“长期投资”、“合并价差”、“长期投资合计”。在这样的实施例中，后续复核人员可以特别关注被高亮显示的字段及其对应数值的正确性，而对于未被高亮显示的字段及其对应数值则可以不进行复核，或者适当放松复核的要求。

在一些实施例中，还可以将所识别的表格实时输出，例如可以输出到相关工作人员的显示设备上。并且在输出表格的同时输出通知，向相关工作人员指示该表格中的哪些数据存疑，例如可以通过提供字段文字(诸如，“长期投资”)的方式给出提醒，也可以通过指示存疑数据在表格中具体位置(诸如，第2行第3列)的方式给出提醒。

下文参考图3和图4来示意性地描述不同的识别结果。图3示出了根据本公开内容的示例性实施例的其中不存在识别错误的一个示意性识别结果。在该示例中，假设图3和图4所示的表格应当满足如下预定关系：

1)“字段a+字段b＝字段c”；以及

2)“字段c+字段d＝字段e”

在图3中，所识别的表格300中的数据满足这两个预定关系。在一些实施例中，预定关系包括与至少一些字段相关联的一个或多个输入项和输出项，预定关系指示一个或多个输入项和输出项之间的数学运算关系。在上文描述的预定关系1)中，字段a和字段b表示输入项，而字段c表示输出项；在上文描述的预定关系2)中，字段c和字段d表示输入项，而字段e表示输出项。

在下文中，将以预定关系1)为示例描述如何确定是否满足预定关系。首先，基于与一个或多个输入项相关联的数值和预定关系，确定与输出项相关联的数值。对于表3而言，2+3＝5，此时可以确定与输出项相关联的数值为5。此时由于从表格图像中识别的与输出项相关联的数值也是5，因而确定的数值和从表格图像中识别的与输出项相关联的数值相匹配。此时可以确定预定关系被满足。类似地，图3表格中的数值满足预定关系2)，因而该表格通过校验。

图4示出了根据本公开内容的示例性实施例的其中存在识别错误的一个示意性识别结果。图3和图4中的表格属于同一类型，具有相同的预定关系，并且差异在于两个表格中的数值不同。在图4中，“字段a+字段b＝字段c”的预定关系被满足，而“字段c+字段d＝字段e”的预定关系未被满足，因此该预定关系中所涉及的三个字段被标识，在输出的识别结果中被突出显示(如图4中以椭圆示出)。

本领域技术人员应当理解，虽然在本公开内容中，对未被满足的预定关系中所涉及的所有字段均进行标识，但是还可以对实施例进行进一步修改，例如可以利用多个预定关系进行交叉校验，从而排除一些原本被标识的字段，进一步降低后续复核的工作量。

在利用根据本公开内容实施例的方法进行表格数据校验之后，用户通过对识别结果的预览，可以根据所输出的提示或者文档中的高亮显示，来对表格进行复核、调整。通过在表格识别中增加按照预定关系的校验功能，进一步提高了表格识别技术(诸如，基于ocr的表格识别)在表格自动识别中的应用效果。

图5示意性示出了根据本公开内容的示例性实施例的用于校验表格数据的装置500的框图。具体地，该装置500包括：图像获取模块510，图像获取模块510被配置为获取表格图像，表格图像中的表格包括多个字段和与多个字段中的每个字段相对应的数值；表格识别模块520，表格识别模块520被配置为基于表格图像识别多个字段中的每个字段和对应的数值；关系获取模块530，关系获取模块530被配置为获取与多个字段中的至少一些字段有关的预定关系，预定关系指示与至少一些字段相对应的数值之间的关联关系；以及数据校验模块540，数据校验模块540被配置为校验与至少一些字段相对应的数值是否满足预定关系。

在一些实施例中，装置500还包括字段标识模块550，字段标识模块550被配置为：响应于与至少一些字段相对应的数值不满足预定关系，标识至少一些字段中的每个字段。

在一些实施例中，装置500还包括文档生成模块560，文档生成模块560被配置为：生成包含所识别的表格的文档；以及在文档中高亮显示所标识的至少一些字段中的每个字段。

在一些实施例中，装置500还包括表格输出模块570，表格输出模块570被配置为：输出所识别的表格；以及输出通知，该通知指示所标识的字段不满足预定关系。

在一些实施例中，关系获取模块530还被配置为：基于表格的表格类型，获取与表格类型相对应的关系库；以及基于关系库确定预定关系。

在一些实施例中，预定关系包括与至少一些字段相关联的一个或多个输入项和输出项，并且预定关系指示一个或多个输入项和输出项之间的数学运算关系。

在一些实施例中，数据校验模块540还被配置为：基于与一个或多个输入项相关联的数值和预定关系，确定与输出项相关联的数值；响应于确定的数值和从表格图像中识别的与输出项相关联的数值相匹配，确定预定关系被满足；以及响应于确定的数值和从表格图像中识别的与输出项相关联的数值不相匹配，确定预定关系没有被满足。

根据本公开内容的示例性实施例，提供了一种设备，包括一个或多个处理器；以及存储装置，用于存储一个或多个程序。当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现根据本公开的方法。

根据本公开内容的示例性实施例，提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现根据本公开的方法。

图6示出了能够实施本公开内容的多个实施例的计算设备600的框图。设备600可以用于实现执行本公开内容的实施例的方法的计算设备。如图所示，设备600包括中央处理单元(cpu)601，其可以根据存储在只读存储器(rom)602中的计算机程序指令或者从存储单元608加载到随机访问存储器(ram)603中的计算机程序指令，来执行各种适当的动作和处理。在ram603中，还可存储设备600操作所需的各种程序和数据。cpu601、rom602以及ram603通过总线604彼此相连。输入/输出(i/o)接口605也连接至总线604。

设备600中的多个部件连接至i/o接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理单元601执行上文所描述的各个方法和处理，例如方法200。例如，在一些实施例中，方法200可以被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由rom602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到ram603并由cpu601执行时，可以执行上文描述的方法200中的一个或多个步骤。备选地，在其他实施例中，cpu601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法200。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)等等。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。