专利名称：确定输入图像中的表单的类别的方法和装置的制作方法
技术领域：
本发明总体上涉及计算机领域，具体来说，涉及表単文档处理系统中确定表单的类别，更具体而言，涉及ー种确定输入图像中的表单的类别的方法和装置。
背景技术：
表単文档处理系统在现在的商业应用中非常普遍，例如在银行、保险、政府机关等场所，经常需要处理大量的电子格式的表単。在表単文档处理系统中，确定表单(通常是以输入图像的形式输入，例如通过扫描获得的输入图像)的类别是一个关键的步骤，因为后续的识别和分析都是基于表单类别来完成的。
在一种已有的确定表单的类别的方法中，采用了预打印特定的机器可识别码在表单上，基于不同的可识别码来标识不同的文档类别。因而，可以通过识别图像中的可识别码来确定表单的类别。在这种方法中，需要将可识别码必须预先打印在表单上，并且ー个系统往往只能识别预设的预打印码。另ー种已知的确定表单的类别的方法是基于表单中的代表性的区域来进行分类，这些区域对不同类的表单是有显著区别的。用户可以人工标注这些代表性区域，或者通过机器来自动学习
发明内容
在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。本发明g在提供一种确定输入图像中的表单的类别的方法和装置。其中，在不需要预打印机器可识别码也无不需要人工标识或训练得出准确的代表性区域的情况下，可以以简单高效的方式自动地确定输入图像中的表单的类别，并且，根据本发明的方案具有广泛的适用性和较好的鲁棒性。此外，在根据本发明的确定输入图像中的表单的类别的方法和装置中，可以准确地区分出相似表单(即线条结构相同，但文本内容不同的表単)，进ー步提高了分类的准确性。为了实现上述目的，根据本发明的ー个方面，提供了ー种方法，包括根据输入图像中的表单的线条信息来确定候选类别列表；如果所述候选类别列表不为空，则进一歩根据预打印内容来确定输入图像中的表单的类别；如果所述候选类别列表为空，则确定所述输入图像中的表单为新类别。根据本发明的另ー个方面，提供了ー种方法，包括将输入图像中的表单的线条信息与每个主类别的线条信息进行比较，其中，每ー个主类别包括至少ー个类别的表単；如果找到具有匹配线条信息的主类别，则根据预打印内容来确定输入图像中的表单的类别；如果没有找到具有匹配线条信息的主类别，则确定所述输入图像中的表单为新类别。根据本发明的另一个方面，还提供了一种装置，包括候选类别列表确定部，被配置成根据输入图像中的表单的线条信息来确定候选类别列表；表单类别确定部，被配置成如果所述候选类别列表不为空，则进一步根据预打印内容来确定输入图像中的表单的类别；如果所述候选类别列表为空，则确定所述输入图像中的表单为新类别。根据本发明的另一个方面，还提供了一种装置，包括主类别搜索部，被配置成将输入图像中的表单的线条信息与每个主类别的线条信息进行比较，其中，每一个主类别包括至少一个类别的表单；表单类别确定部，被配置成如果找到具有匹配线条信息的主类另IJ，则根据预打印内容来确定输入图像中的表单的类别；如果没有找到具有匹配线条信息的主类别，则确定所述输入图像中的表单为新类别。依据本发明的其它方面，还提供了相应的计算机程序代码、计算机可读存储介质和计算机程序产品。
通过以下结合附图对本发明的最佳实施例的详细说明，本发明的这些以及其他优点将更加明显。
本发明可以通过参考下文中结合附图所给出的描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本发明的优选实施例和解释本发明的原理和优点。在附图中图I是示出根据本发明一个实施例的确定输入图像中的表单的类别的方法的流程图；图2是示出根据本发明一个实施例的根据输入图像中的表单的线条信息来确定候选类别列表的处理的流程图；图3是示出根据本发明一个实施例的根据预打印内容来进一步确定输入图像中的表单的类别的处理的流程图；图4示出了根据本发明一个实施例的基于相似性来确定表单的类别的处理的流程图；图5示出了根据本发明另一个实施例的确定输入图像中的表单的类别的方法的流程图；图6是示出根据本发明一个实施例的根据预打印内容来确定输入图像中的表单的类别的处理的流程图；图7是示出根据本发明一个实施例的确定输入图像中的表单的类别的装置的示意图；图8示出了根据该实施例的候选类别列表确定部的示意图；图9是示出根据本发明的一个实施例的表单类别确定部的示意图；图10示出了根据本发明另一个实施例的确定输入图像中的表单的类别的装置的示意图；图11是示出根据本发明一个实施例的表单类别确定部的示意图；以及
图12是其中可以实现根据本发明实施例的方法和/或装置的通用个人计算机的示例性结构的框图。
具体实施例方式在下文中将结合附图对本发明的示范性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的装置结构和/或处理步骤，而省略了与本发明关系不大的其他细节。
图I是示出根据本发明一个实施例的确定输入图像中的表单的类别的方法的流程图。如图I所示，在步骤S102处，可以根据输入图像中的表单的线条信息来确定候选表单类别。其中，输入图像可以是从图像获取装置(例如，扫描仪、数码照相机等)处输入的图像，也可以是从外部存储装置(例如，存储有图像的存储卡、光盘、磁盘等)处输入的图像。此外，可以采用各种合适的图像处理技术来从输入图像中提取表单的线条信息。例如，可以通过Hiroaki Takebe、Katsuhito Fujimoto等人提出的线条提取方法(参见题为“Ruled line extracting program,ruled line extracting apparatus and ruled lineextracting method”的美国专利US7，769，234 B2，其全部内容通过引用合并于此)来获得输入图像中的表单的线条信息。在一个优选的实施例中，表单的线条信息可以包括表单中的每个线条的起点坐标和终点坐标。在另一个优选实施例中，表单的线条信息可以包括表单中的每个线条的长度以及线条之间的比例关系等。因而，在步骤S102处，可以按照输入图像中的表单的线条信息来查找具有匹配线条信息的表单，并将查找出的具有匹配的线条信息的表单类别作为候选类别列表中的一个类别。其中，在本文中，具有匹配的线条信息的表单可以指具有相同表格结构的表单。具体来说，在本发明的一个优选实施例中，当两个表单的所有线条的起点坐标和终点坐标完全相同或者线条的起点坐标和/或终点坐标之间的偏差在可以接受的误差范围以内，可以认为这两个表单具有匹配的线条信息。此时，如果所比较的两个表单的大小不同，首先要对他们进行归一化，以使所比较的两个表单具有相同的大小。此外，在本发明的另一个优选实施例中，当一个表单中的各种线条间的比例都与另一个表单中的各种线条间的比例相同或者它们之间的偏差在可以接受的范围内时，可以认为这两个表单具有匹配的线条信息。接着，在步骤S104处，判断候选类别列表是否为空列表。
具体来说，也就是判断在步骤S102处是否找到具有与输入图像中的表单的线条信息相匹配的线条信息的表单类别。如果候选类别列表不为空(即在步骤S102处找到了具有与输入图像中的表单的线条信息相匹配的线条信息的表单类别)，则在步骤S106处，进一步利用预打印内容在候选类别列表中确定输入图像中的表单的类别。其中，在本文中，表单的预打印内容指空白表单中存在的前景像素，例如，可以包括表格线、字符、标志符号等。另一方面，如果候选类别列表为空(即在步骤S102处没有找到具有与输入图像中的表单的线条信息相匹配的线条信息的表单类别)，则在步骤S108处，确定输入图像中的表单为新类别。可以看出，在图I所示的确定输入图像中的表单的类别的方法中，可以在不需要 预打印机器可识别码也无不需要人工标识或训练得出准确的代表性区域的情况下，自动地确定输入图像中的表单的类别。在上述的确定输入图像中的表单的类别的方法中，根据输入图像中的表单的线条信息来确定候选类别列表的处理可以以各种合适的方式来实现。在本发明的一个实施例中，可以根据线条信息来确定候选类别列表。具体来说，可以利用输入图像中的表单的线条信息来搜索表单字典，并将搜索出的具有与输入图像中的表单的线条信息匹配的线条信息的一个或多个表单类别来构成候选类别列表。在本文中，表单字典可以指按照每个表单类别存储与所述表单类别相关的信息的部件，其中所述与表单类别相关的信息至少可以包括表单类别的线条信息、表单的预打印信息等。以上的通过直接搜索表单字典来确定候选类别列表的处理仅为示例，本发明不限于此。在本发明的另一个实施例，可以根据线条信息、基于表单字典和相似信息来确定候选类别列表。其中，在本文中，相似信息是用来表明表单字典中哪些类别的表单具有相同的表格结构(即，具有相同的线条信息)的信息。图2是示出根据该实施例的基于输入图像中的表单的线条信息来确定候选类别列表的处理的流程图。如图2所示，在步骤S202处搜索表单字典以获得线条信息匹配的表单类别。具体来说，根据输入图像中的表单的线条信息在表单字典中搜索具有与输入图像中的表单的线条信息匹配的线条信息的表单类别。接着，在步骤S204处，针对在步骤S202处搜索出的表单类别来获得相似信息。如上所述，相似信息是表明表单字典中哪些类别的表单具有相同的表格结构的信息。相似信息可以存储在表单字典中，也可以存储在外部的独立存储部件中。因而，在步骤S202处搜索出一个具有匹配的线条信息的表单类别时，可以从表单字典或外部存储部件中来获取对应于该搜索出的表单类别的相似信息。也就是说，从表单字典或外部存储部件中获取相似信息，以获知表单字典中哪些表单类别与搜索出的表单类别具有匹配的线条信息。需要指出的是，尽管以上以针对搜索出的一个具有匹配的线条信息的表单类别来获取相似信息为例进行说明，但以上说明仅为示例，本发明不限于此。事实上，也可以在表单字典中搜索出两个或更多个具有匹配线条信息的表单类别后(但是不必搜完整个表单字典)，针对搜索出的所述两个或更多个表单类别来获取相似信息。通过这样的方式，可以减少误差进一步提闻生成的候选类别列表的准确性，进而提闻分类的准确性。接着，在步骤S206处，基于获得的相似信息来生成候选类别列表。具体来说，基于相似信息来找到具有相匹配的线条信息的表单类别，并将这些具有匹配的线条信息的表单类别构成所述候选类别列表。 这样，通过利用线条信息和相似信息生成了候选类别列表。由于利用了相似信息，可以减少在表单字典中的搜索次数，由此可以减少运算量，提高处理效率。此外，在上述的确定输入图像中的表单的类别的方法中，可以基于输入图像的表单的预打印内容和候选类别的表单的预打印内容之间相似性来实现根据预打印内容来确定输入图像中的表单的类别的处理。图3是示出根据本发明的基于预打印内容来进一步确定输入图像中的表单的类别的处理的流程图。如图3所示，在步骤S302处，获得候选类别的预打印内容。在一个优选示例中，可以从表单字典中获得候选类别列表中的每个候选类别的表单的预打印内容。接着,在步骤S304处,利用预打印内容来计算相似性。具体来说，可以利用每个候选类别的表单的预打印内容与输入图像中的表单的预打印内容来计算相似性。其中，相似性可以是用来表征每个候选类别的预打印内容和输入图像中的表单的预打印内容的对齐程度的参数。在本发明的一个实施例中，可以根据候选类别的表单的预打印内容和输入图像中的表单的预打印内容在对应位置处均为前景像素的像素数量在候选类别的表单的预打印内容的前景像素中所占的比例来计算相似性。如果计算出的比例越大，则表明候选类别的表单的预打印内容和输入图像中的表单的预打印内容的对齐程度越高，因而相似性也越高。接着，在步骤S306处，基于相似性来确定表单的类别。具体来说，可以根据计算出每个候选类别的表单的预打印内容与输入图像中的表单的预打印内容之间的相似性，在候选类别列表中的候选类别中确定输入图像中的表单的类别。在图3所示的方法中，由于利用了表单的预打印内容来进一步地在候选类别中确定输入图像中的表单的类别，因而可以以较高的精度来确定表单的类别。在上述方法中，基于相似性来确定表单的类别的处理可以采用各种合适的方式来实现。在本发明的一个实施例中，可以采用利用最大相似性来在候选类别中确定表单的类别。图4示出了根据该实施例的基于相似性来确定表单的类别的处理的流程图。如图4所示，在步骤S402处，先判断计算出的相似性中的最大相似性是否超过预定阈值。显然，与最大相似性对应的候选类别是候选类别列表中与输入图像中的表单最为相似的类别，即与最大相似性对应的候选类别最有可能是输入图像中的表单的类别。此外，如果输入图像中的表单属于某个候选类别，则二者的预打印内容也应该完全对齐一致，即相似程度应为100%。即使考虑到扫描或图像处理中存在一些误差，二者的相似程度也应该大于预定阈值。优选地，所述预定阈值例如可以是99%、98%、97%、96%、95%等。因而，如果确定计算出的相似性中的最大相似性超过预定阈值，则在步骤S404处，可以将与最大相似性对应的候选类别确定为输入图像中的表单的类别。
另一方面，如果最大相似性没有超过预定阈值，则在步骤S406处,可以确定输入图像中的表单的类别不在候选类别列表中，并将输入图像中的表单的类别确定为新类别。通过这种利用基于预打印内容的相似性来确定表单的类别的处理，可以进一步提高确定表单的类别的处理的准确性。例如，当出现相似表单(即具有相同的表格结构但是其它部分存在不同的表单)情形时，可以实现准确的区分，由此实现了更为准确的表单类别的分类。此外，根据任意上述实施例的确定输入图像中的表单的类别的方法仅为示例，本发明不限于此，而是还可以以其它合适的方式进行改型或修改。在本发明的另一个实施例中，确定输入图像中的表单的类别的方法还可以包括在将输入图像中的表单的类别确定为新类别时执行的更新处理。例如，当没有在表单字典中找到具有与输入图像中的表单的线条信息相匹配的线条信息的表单类别时，可以将输入图像中的表单确定为新类别(例如，参见图I的步骤S108)。在这种情况下，上述的更新处理可以包括将所述新类别增加到表单字典中。具体来说，可以将输入图像中的表单的线条信息和预打印内容作为与所述新类别对应的信息存储到表单字典中。作为另一个示例，当候选类别列表中的候选类别与输入图像中的表单的最大相似性没有超过预定阈值时，也可以将输入图像中的表单确定为新类别。在这种情况下，更新处理可以包括将所述新类别增加到表单字典以及更新相似信息的处理。具体来说，将所述新类别增加到表单字典的处理可以包括将输入图像中的表单的线条信息和预打印内容作为与所述新类别对应的信息存储到表单字典中。更新相似信息的处理可以包括更新表单字典或外部存储部件中的相似信息，以表明所述新类别和每个候选类别具有相同的线条信息。通过这样的更新处理，根据本发明实施例的确定输入图像中的表单的类别的方法可以自动识别之前没有出现过的新的表单类别，由此提高了应用的广泛性。在根据本发明上述实施例的方法中，利用了输入图像中的表单的线条信息和预打印内容来确定表单的类别。上述实施例仅为示例，本发明不限于此，而是还可以以其它方式利用输入图像中的表单的线条信息和预打印内容来确定表单的类别。图5示出了根据本发明另一个实施例的确定输入图像中的表单的类别的方法的流程图。如图5所示，在步骤S502处，基于线条信息进行比较。
具体来说，可以将输入图像中的表单的线条信息与每个主类别的线条信息进行比较。其中，主类别可以是基于表单的线条信息实现的分类。每个主类别可以包括至少一个具有匹配线条信息的表单。不同的主类别可以具有不同的线条信息而具有相同线条信息的表单被归类于同一主类别下。接着，在步骤S504处，判断是否找到主类别。如果找到具有匹配线条信息的主类别，则在步骤S506处，可以进一步根据预打印内容来确定输入图像中的表单的类别。如果没有找到具有匹配线条信息的主类别(例如，不存在匹配线条信息的主类别或尚不存在主类别)，则在步骤S508处，将输入图像中的表单的类别确定为新类别。 可以看出，在图5所示的确定输入图像中的表单的类别的方法中，可以在不需要预打印机器可识别码也无不需要人工标识或训练得出准确的代表性区域的情况下，自动地实现输入图像中的表单类别的识别。在上述的确定输入图像中的表单的类别的方法中，可以采用各种合适的方式来实现根据预打印内容来确定输入图像中的表单的类别的处理。图6是示出根据本发明一个实施例的根据预打印内容来确定输入图像中的表单的类别的处理的流程图。如图6所示,在步骤S602处,基于预打印内容来计算相似性。具体来说，可以基于主类别中每个类别的表单的预打印内容与输入图像中的表单的预打印内容来计算二者之间的相似性。其中，可以根据主类别中的每个类别的表单的预打印内容和输入图像中的表单的预打印内容在对应位置处均为前景像素的像素数量在所述每个类别的表单的预打印内容的前景像素中所占的比例来计算相似性。关于相似性的详细计算，可以参见在上文中提及的实施例中的详细描述，在此不再赘述以使说明书保持简洁。接着，在步骤S604处，可以基于相似性来确定表单类别。具体来说，在针对主类别中每个类别的表单的预打印内容与输入图像中的表单的预打印内容而计算出的相似性中，如果计算出的最大相似性在预定阈值以上，则可以将具有最大相似性的类别作为输入图像中的表单的类别；如果计算出的最大相似性没有超过预定阈值，则可以将输入图像中的表单确定为新类别。关于基于相似性来确定表单类别的详细处理，可以参见在上文中提及的实施例中的详细描述，在此不再赘述以使说明书保持简洁。通过这种利用基于预打印内容之间的相似性来确定表单的类别的处理，可以进一步提高确定表单的类别的处理的准确性。例如，当出现相似表单(即具有相同的表格结构但是其它部分存在不同的表单)情形时，可以实现准确的区分，由此实现了更为准确的表单类别的分类。以上结合图5和图6描述的利用输入图像中的表单的线条信息和预打印内容来确定表单的类别的实施例仅为示例，本发明不限于此，而是还可以以其它方式进行改型或修改。
在本发明的另一个实施例中，图5或图6所示的确定表单的类别的方法还可以进一步包括在将输入图像中的表单的类别确定为新类别时执行的更新处理。如上所述，当没有找到主类别时，可以将输入图像中的表单确定为新类别(例如，参见图5的步骤S508)。在这种情况下，上述的更新处理可以包括将所述新类别作为一个新的主类别，所述新的主类别中包括输入图像中的表单，并且将输入图像中的表单的线条信息作为所述新的主类别的线条信息。另外，如上所述，当找到的主类别中的表单与输入图像中的表单的最大相似性没 有超过预定阈值时，也可以将输入图像中的表单确定为新类别。在这种情况下，上述的更新处理可以包括将所述新类别添加到找到的主类别中，由此实现了对主类别的更新。通过这样的更新处理，根据本发明实施例的确定输入图像中的表单的类别的方法可以在没有人工干预地情况下自动执行，由此提高了应用的广泛性。与根据上述实施例的确定输入图像中的表单的类别的方法对应，本发明的实施例还提供了相应的确定输入图像中的表单的类别的装置。图7是示出根据本发明一个实施例的确定输入图像中的表单的类别的装置的示意图。如图7所示，根据本发明实施例的确定输入图像中的表单的类别的装置包括候选类别列表确定部702和表单类别确定部704。其中，候选类别列表确定部702可以根据输入图像中的表单的线条信息来确定候选类别列表。具体来说，候选类别列表确定部702可以按照输入图像中的表单的线条信息来查找具有匹配线条信息的表单类别，并将查找出的具有匹配的线条信息的表单类别作为候选类别列表中的一个类别。表单类别确定部704可以执行以下处理如果候选类别列表不为空，则进一步根据预打印内容来确定输入图像中的表单的类别；如果候选类别列表为空，则确定输入图像中的表单为新类别。具体来说，表单类别确定部704可以判断候选类别列表确定部702是否找到具有与输入图像中的表单的线条信息相匹配的线条信息的表单类别。如果候选类别列表不为空(即候选类别列表确定部702找到了具有与输入图像中的表单的线条信息相匹配的线条信息的表单类别)，则表单类别确定部704可以进一步利用预打印内容在候选类别列表中确定输入图像中的表单的类别。另一方面，如果候选类别列表为空(即候选类别列表确定部702没有找到具有与输入图像中的表单的线条信息相匹配的线条信息的表单类别)，则表单类别确定部704可以确定输入图像中的表单为新类别。可以看出，在图7所示的确定输入图像中的表单的类别的装置可以在不需要预打印机器可识别码也无不需要人工标识或训练得出准确的代表性区域的情况下，自动地确定输入图像中的表单的类别。在图7所示的确定输入图像中的表单的类别的装置中，候选类别列表确定部可以以各种合适的方式实现。在本发明的一个实施例中，候选类别列表确定部可以根据线条信息从表单字典中搜索具有与输入图像中的表单的线条信息相匹配的线条信息的至少一个表单类别，构成所述候选类别列表。在本发明的另一个实施例中，候选类别列表确定部可以根据线条信息、基于表单字典和相似信息来确定候选类别表单。。图8示出了根据该实施例的候选类别列表确定部的示意图。如图8所示，候选类别列表确定部可以包括表单字典搜索部802、相似信息获得部804、列表生成部806。表单字典搜索部802可以从表单字典中搜索具有与输入图像中的表单的线条信 息相匹配的线条信息的至少一个表单类别。具体来说，表单字典搜索部802可以根据输入图像中的表单的线条信息在表单字典中搜索具有与输入图像中的表单的线条信息匹配的线条信息的表单类别。相似信息获得部804可以在搜索到具有与输入图像中的表单的线条信息相匹配的线条信息的至少一个表单类别时，获得所述至少一个表单类别的相似信息。具体来说，相似信息获得部804可以从表单字典或外部存储部件中来获取对应于该搜索出的表单类别的相似信息。也就是说，从表单字典或外部存储部件中获取相似信息，以获知表单字典中哪些表单类别与搜索出的表单类别具有匹配的线条信息列表生成部806可以基于所述相似信息来获得相似表单类别，并将所述至少一个表单类别与相似表单类别一起构成所述候选类别列表。具体来说，基于相似信息来找到具有相匹配的线条信息的表单类别，并将这些具有匹配的线条信息的表单类别构成所述候选类别列表。这样，通过利用线条信息和相似信息生成了候选类别列表。由于利用了相似信息，可以减少在表单字典中的搜索次数，由此可以减少运算量，提高处理效率。此外，在上述的确定输入图像中的表单的类别的装置中，表单类别确定部可以基于输入图像的表单的预打印内容和候选类别的表单的预打印内容之间相似性来进一步根据预打印内容来确定输入图像中的表单的类别。图9是示出根据本发明的一个实施例的表单类别确定部的示意图。如图9所示，表单类别确定部可以包括预打印内容获得部902、相似性计算部904、类别确定部906。预打印内容获得部902可以从表单字典获得候选类别列表中的每个候选类别的预打印内容。相似性计算部904可以计算每个候选类别的预打印内容与输入图像中的表单的预打印内容之间的相似性。具体来说，相似性计算部904可以根据候选类别的表单的预打印内容和输入图像中的表单的预打印内容在对应位置处均为前景像素的像素数量在候选类别的表单的预打印内容的前景像素中所占的比例来计算相似性。类别确定部906可以根据相似性来确定输入图像中的表单的类别。具体来说，可以根据计算出每个候选类别的表单的预打印内容与输入图像中的表单的预打印内容之间的相似性，在候选类别列表中的候选类别中确定输入图像中的表单的类别。更具体来说，如果计算出的最大相似性在预定阈值以上，则类别确定部906可以将具有最大相似性的候选类别作为输入图像中的表单的类别；如果计算出的最大相似性没有超过预定阈值，则类别确定部906将输入图像中的表单确定为新类别。通过这种利用基于预打印内容的相似性来确定表单的类别的处理，可以进一步提高确定表单的类别的处理的准确性。例如，当出现相似表单(即具有相同的表格结构但是其它部分存在不同的表单)情形时，可以实现准确的区分，由此实现了更为准确的表单类别的分类。此外，由于利用了表单的预打印内容来进一步地在候选类别中确定输入图像中的表单的类别，因而可以以较高的精度实现表单类别的识别。根据任意上述实施例的确定输入图像中的表单的类别的装置仅为示例，本发明不 限于此，而是还可以以其它合适的方式进行改型或修改。在本发明的另一个实施例中，确定输入图像中的表单的类别的装置还可以包括更新部件(图中未示出)。例如，当没有在表单字典中找到具有与输入图像中的表单的线条信息相匹配的线条信息的表单类别时，输入图像中的表单被确定为新类别。在这种情况下，所述更新处理可以将所述新类别增加到表单字典中。具体来说，可以将输入图像中的表单的线条信息和预打印内容作为与所述新类别对应的信息存储到表单字典中。作为另一个示例，当候选类别列表中的候选类别与输入图像中的表单的最大相似性没有超过预定阈值时，输入图像中的表单也可以被确定为新类别。在这种情况下，所述更新部件可以将所述新类别增加到表单字典并更新相似信息。具体来说，所述更新部件可以将输入图像中的表单的线条信息和预打印内容作为与所述新类别对应的信息存储到表单字典中，并更新表单字典或外部存储部件中的相似信息，以表明所述新类别和每个候选类别具有相同的线条信息。通过这样的更新部件，根据本发明实施例的确定输入图像中的表单的类别的装置可以自动识别之前没有出现过的新的表单类别，由此提高了应用的广泛性。在根据本发明上述实施例的装置中，利用了输入图像中的表单的线条信息和预打印内容来确定表单的类别。上述实施例仅为示例，本发明不限于此，而是还可以以其它方式利用输入图像中的表单的线条信息和预打印内容来确定表单的类别。图10示出了根据本发明另一个实施例的确定输入图像中的表单的类别的装置的示意图。如图10所示，确定输入图像中的表单的类别的装置1000可以包括主类别搜索部1002和表单类别确定部1004。主类别搜索部1002可以将输入图像中的表单的线条信息与每个主类别的线条信息进行比较。其中，主类别可以是基于表单的线条信息实现的分类。每个主类别可以包括至少一个具有匹配线条信息的表单。不同的主类别可以具有不同的线条信息而具有相同线条信息的表单被归类于同一主类别下。
表单类别确定部1004可以执行以下处理如果找到具有匹配线条信息的主类别，则根据预打印内容来确定输入图像中的表单的类别；如果没有找到具有匹配线条信息的主类别，则确定所述输入图像中的表单为新类别。可以看出，在图10所示的确定输入图像中的表单的类别装置可以在不需要预打印机器可识别码也无不需要人工标识或训练得出准确的代表性区域的情况下，自动地实现输入图像中的表单类别的识别。在上述的装置中，表单类别确定部可以以各种合适的方式来确定。图11是示出根据本发明一个实施例的表单类别确定部的示意图。如图11所示，表单类别确定部可以包括相似性计算部1104和类别确定部1106。相似性计算部1104可以计算主类别中每个类别的表单的预打印内容与输入图像中的表单的预打印内容之间的相似性。 具体来说，可以根据主类别中的每个类别的表单的预打印内容和输入图像中的表单的预打印内容在对应位置处均为前景像素的像素数量在所述每个类别的表单的预打印内容的前景像素中所占的比例来计算相似性。类别确定部1106可以根据相似性来确定输入图像中的表单所属的类别。具体来说，在针对主类别中每个类别的表单的预打印内容与输入图像中的表单的预打印内容而计算出的相似性中，如果计算出的最大相似性在预定阈值以上，则可以将具有最大相似性的类别作为输入图像中的表单的类别；如果计算出的最大相似性没有超过预定阈值，则可以将输入图像中的表单确定为新类别。通过这种利用基于预打印内容之间的相似性来确定表单的类别的处理，可以进一步提高确定表单的类别的处理的准确性。例如，当出现相似表单(即具有相同的表格结构但是其它部分存在不同的表单)情形时，可以实现准确的区分，由此实现了更为准确的表单类别的分类。以上结合图10和图11描述的利用输入图像中的表单的线条信息和预打印内容来确定表单的类别的实施例仅为示例，本发明不限于此，而是还可以以其它方式进行改型或修改。在本发明的另一个实施例中，图10或图11所示的确定表单的类别的装置还可以进一步包括更新部件(图中未示出)。例如，当没有在表单字典中找到具有与输入图像中的表单的线条信息相匹配的线条信息的表单类别时，输入图像中的表单被确定为新类别。在这种情况下，所述更新处理可以将所述新类别增加到表单字典中。具体来说，可以将输入图像中的表单的线条信息和预打印内容作为与所述新类别对应的信息存储到表单字典中。作为另一个示例，当候选类别列表中的候选类别与输入图像中的表单的最大相似性没有超过预定阈值时，输入图像中的表单也可以被确定为新类别。在这种情况下，所述更新部件可以将所述新类别增加到表单字典并更新相似信息。具体来说，所述更新部件可以将输入图像中的表单的线条信息和预打印内容作为与所述新类别对应的信息存储到表单字典中，并更新表单字典或外部存储部件中的相似信息，以表明所述新类别和每个候选类别具有相同的线条信息。通过这样的更新部件，根据本发明实施例的确定输入图像中的表单的类别的装置可以自动识别之前没有出现过的新的表单类别，由此提高了应用的广泛性。关于根据上述任意实施例的确定表单的类别的装置及其部件的进一步细节可以参见上文结合方法进行的相应描述，在此不再赘述以使说明书保持简洁。另外，应理解，本文所述的各种示例和实施例均是示例性的，本发明不限于此。在本说明书中，“第一”、“第二”等表述仅仅是为了将所描述的特征在文字上区分开，以清楚地描述本发明。因此，不应将其视为具有任何限定性的含义。上述装置中各个组成模块、单元可通过软件、固件、硬件或其组合的方式进行配置。配置可使用的具体手段或方式为本领域技术人员所熟知，在此不再赘述。在通过软件或固件实现的情况下，从存储介质或网络向具有专用硬件结构的计算机(例如图12所示的通用计算机1200)安装构成该软件的程序，该计算机在安装有各种程序时，能够执行各种 功能等。在图12中，中央处理单元(CPU) 1201根据只读存储器(ROM) 1202中存储的程序或从存储部分1208加载到随机存取存储器(RAM) 1203的程序执行各种处理。在RAM 1203中，也根据需要存储当CPU 1201执行各种处理等等时所需的数据。CPU 120UR0M 1202和RAM1203经由总线1204彼此连接。输入/输出接口 1205也连接到总线1204。下述部件连接到输入/输出接口 1205 :输入部分1206(包括键盘、鼠标等等)、输出部分1207(包括显示器，比如阴极射线管(CRT)、液晶显示器(LCD)等，和扬声器等)、存储部分1208 (包括硬盘等)、通信部分1209 (包括网络接口卡比如LAN卡、调制解调器等)。通信部分1209经由网络比如因特网执行通信处理。根据需要，驱动器1210也可连接到输入/输出接口 1205。可拆卸介质1211比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器1210上，使得从中读出的计算机程序根据需要被安装到存储部分1208中。在通过软件实现上述系列处理的情况下，从网络比如因特网或存储介质比如可拆卸介质1211安装构成软件的程序。本领域的技术人员应当理解，这种存储介质不局限于图12所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质1211。可拆卸介质1211的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(⑶-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM 1202、存储部分1208中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。本发明还提出一种存储有机器可读取的指令代码的程序产品。所述指令代码由机器读取并执行时，可执行上述根据本发明实施例的方法。相应地，用于承载上述存储有机器可读取的指令代码的程序产品的存储介质也包括在本发明的公开中。所述存储介质包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等
坐寸o最后，还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的
要素。此外，在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在
包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上虽然结合附图详细描述了本发明的实施例，但是应当明白，上面所描述的实施方式只是用于说明本发明，而并不构成对本发明的限制。对于本领域的技术人员来说，可以对上述实施方式作出各种修改和变更而没有背离本发明的实质和范围。因此，本发明的范围仅由所附的权利要求及其等效含义来限定。根据以上的描述，本申请提供了一下的技术方案附记I. 一种确定输入图像中的表单的类别的方法，包括根据输入图像中的表单的线条信息来确定候选类别列表；如果所述候选类别列表不为空，则进一步根据预打印内容来确定输入图像中的表 单的类别；如果所述候选类别列表为空，则确定所述输入图像中的表单为新类别。附记2.根据附记I所述的方法，其中，根据输入图像中的表单的线条信息来确定候选类别列表的处理包括从表单字典中搜索具有与输入图像中的表单的线条信息相匹配的线条信息的至少一个表单类别，构成所述候选类别列表。附记3.根据附记2所述的方法，其中，根据输入图像中的表单的线条信息来确定候选类别列表的处理还包括在搜索到具有与输入图像中的表单的线条信息相匹配的线条信息的至少一个表单类别时，获得所述至少一个表单类别的相似信息；基于所述相似信息来获得相似表单类别，并将所述至少一个表单类别与相似表单类别一起，构成所述候选类别列表。附记4.根据附记I所述的方法，其中，根据预打印内容来确定输入图像中的表单的类别的处理包括从表单字典获得候选类别列表中的每个候选类别的预打印内容；计算每个候选类别的预打印内容与输入图像中的表单的预打印内容之间的相似性；根据相似性来确定输入图像中的表单的类别。附记5.根据附记4所述的方法，其中，根据候选类别的表单的预打印内容和输入图像中的表单的预打印内容在对应位置处均为前景像素的像素数量在候选类别的表单的预打印内容的前景像素中所占的比例来计算相似性。附记6.根据附记4所述的方法，其中，根据相似性来确定输入图像中的表单的类别的处理包括如果计算出的最大相似性在预定阈值以上，则将具有最大相似性的候选类别作为输入图像中的表单的类别；如果计算出的最大相似性没有超过预定阈值，则将输入图像中的表单确定为新类别。附记7. —种确定输入图像中的表单的类别的方法，包括将输入图像中的表单的线条信息与每个主类别的线条信息进行比较，其中，每一个主类别包括至少一个类别的表单；如果找到具有匹配线条信息的主类别，则根据预打印内容来确定输入图像中的表单的类别；如果没有找到具有匹配线条信息的主类别，则确定所述输入图像中的表单为新类别。附记8.根据附记7所述的方法，其中，根据预打印内容来确定输入图像中的表单的类别的处理包括计算主类别中每个类别的表单的预打印内容与输入图像中的表单的预打印内容之间的相似性；根据相似性来确定输入图像中的表单所属的 类别。附记9.根据附记8所述的方法，其中，根据每个类别的表单的预打印内容和输入图像中的表单的预打印内容在对应位置处均为前景像素的像素数量在所述每个类别的表单的预打印内容的前景像素中所占的比例来计算相似性。附记10.根据附记8所述的方法，其中，根据相似性来确定输入图像中的表单所属的类别的处理包括如果计算出的最大相似性在预定阈值以上，则将具有最大相似性的类别作为输入图像中的表单的类别；如果计算出的最大相似性没有超过预定阈值，则将输入图像中的表单确定为新类别。附记11. 一种确定输入图像中的表单的类别的装置，包括候选类别列表确定部，被配置成根据输入图像中的表单的线条信息来确定候选类别列表；表单类别确定部，被配置成如果所述候选类别列表不为空，则进一步根据预打印内容来确定输入图像中的表单的类别；如果所述候选类别列表为空，则确定所述输入图像中的表单为新类别。附记12.根据附记11所述的装置，其中，所述候选类别列表确定部包括表单字典搜索部，被配置成从表单字典中搜索具有与输入图像中的表单的线条信息相匹配的线条信息的至少一个表单类别，构成所述候选类别列表。附记13.根据附记12所述的装置，其中，所述候选类别列表确定部还包括相似信息获得部，被配置成在搜索到具有与输入图像中的表单的线条信息相匹配的线条信息的表单类别时，获得所述至少一个表单类别的相似信息；列表生成部，被配置成基于所述相似信息来获得相似表单类别，并将所述至少一个表单类别与相似表单类别一起构成所述候选类别列表。附记14.根据附记11所述的装置，其中，表单类别确定部包括预打印内容获得部，被配置成从表单字典获得候选类别列表中的每个候选类别的预打印内容；相似性计算部，被配置成计算每个候选类别的预打印内容与输入图像中的表单的预打印内容之间的相似性；类别确定部，被配置成根据相似性来确定输入图像中的表单的类别。附记15.根据附记14所述的装置，其中，所述相似性计算部被配置成根据候选类别的表单的预打印内容和输入图像中的表单的预打印内容在对应位置处均为前景像素的像素数量在候选类别的表单的预打印内容的前景像素中所占的比例来计算相似性。附记16.根据附记14所述的装置，其中，类别确定部被进一步配置成如果计算出的最大相似性在预定阈值以上，则将具有最大相似性的候选类别作为输入图像中的表单的类别；如果计算出的最大相似性没有超过预定阈值，则将输入图像中的表单确定为新类别。附记17. —种确定输入图像中的表单的类别的装置，包括主类别搜索部，被配置成将输入图像中的表单的线条信息与每个主类别的线条信息进行比较，其中，每一个主类别包括至少一个类别的表单；
表单类别确定部，被配置成如果找到具有匹配线条信息的主类别，则根据预打印内容来确定输入图像中的表单的类别；如果没有找到具有匹配线条信息的主类别，则确定所述输入图像中的表单为新类别。附记18.根据附记17所述的装置，其中，表单类别确定部包括相似性计算部，被配置成计算主类别中每个类别的表单的预打印内容与输入图像中的表单的预打印内容之间的相似性；类别确定部，被配置成根据相似性来确定输入图像中的表单所属的类别。附记19.根据附记18所述的装置，其中，相似性计算部被配置成根据每个类别的表单的预打印内容和输入图像中的表单的预打印内容在对应位置处均为前景像素的像素数量在所述每个类别的表单的预打印内容的前景像素中所占的比例来计算相似性。附记20.根据附记18所述的装置，其中，类别确定部被配置成如果计算出的最大相似性在预定阈值以上，则将具有最大相似性的类别作为输入图像中的表单的类别；如果计算出的最大相似性没有超过预定阈值，则将输入图像中的表单确定为新类别。
权利要求
1.一种确定输入图像中的表单的类别的方法，包括 根据输入图像中的表单的线条信息来确定候选类别列表； 如果所述候选类别列表不为空，则进一步根据预打印内容来确定输入图像中的表单的类别； 如果所述候选类别列表为空，则确定所述输入图像中的表单为新类别。
2.根据权利要求I所述的方法，其中，根据输入图像中的表单的线条信息来确定候选类别列表的处理包括 从表单字典中搜索具有与输入图像中的表单的线条信息相匹配的线条信息的至少一个表单类别，构成所述候选类别列表。
3.根据权利要求2所述的方法，其中，根据输入图像中的表单的线条信息来确定候选类别列表的处理还包括 在搜索到具有与输入图像中的表单的线条信息相匹配的线条信息的至少一个表单类别时，获得所述至少一个表单类别的相似信息； 基于所述相似信息来获得相似表单类别，并将所述至少一个表单类别与相似表单类别一起，构成所述候选类别列表。
4.根据权利要求I所述的方法，其中，根据预打印内容来确定输入图像中的表单的类别的处理包括 从表单字典获得候选类别列表中的每个候选类别的预打印内容； 计算每个候选类别的预打印内容与输入图像中的表单的预打印内容之间的相似性； 根据相似性来确定输入图像中的表单的类别。
5.根据权利要求4所述的方法，其中，根据候选类别的表单的预打印内容和输入图像中的表单的预打印内容在对应位置处均为前景像素的像素数量在候选类别的表单的预打印内容的前景像素中所占的比例来计算相似性。
6.根据权利要求4所述的方法，其中，根据相似性来确定输入图像中的表单的类别的处理包括 如果计算出的最大相似性在预定阈值以上，则将具有最大相似性的候选类别作为输入图像中的表单的类别； 如果计算出的最大相似性没有超过预定阈值，则将输入图像中的表单确定为新类别。
7.一种确定输入图像中的表单的类别的方法，包括 将输入图像中的表单的线条信息与每个主类别的线条信息进行比较，其中，每一个主类别包括至少一个类别的表单； 如果找到具有匹配线条信息的主类别，则根据预打印内容来确定输入图像中的表单的类别； 如果没有找到具有匹配线条信息的主类别，则确定所述输入图像中的表单为新类别。
8.根据权利要求7所述的方法，其中，根据预打印内容来确定输入图像中的表单的类别的处理包括 计算主类别中每个类别的表单的预打印内容与输入图像中的表单的预打印内容之间的相似性； 根据相似性来确定输入图像中的表单所属的类别。
9.一种确定输入图像中的表单的类别的装置，包括 候选类别列表确定部，被配置成根据输入图像中的表单的线条信息来确定候选类别列表; 表单类别确定部，被配置成如果所述候选类别列表不为空，则进一步根据预打印内容来确定输入图像中的表单的类别；如果所述候选类别列表为空，则确定所述输入图像中的表单为新类别。
10.一种确定输入图像中的表单的类别的装置，包括 主类别搜索部，被配置成将输入图像中的表单的线条信息与每个主类别的线条信息进行比较，其中，每一个主类别包括至少一个类别的表单； 表单类别确定部，被配置成如果找到具有匹配线条信息的主类别，则根据预打印内容 来确定输入图像中的表单的类别；如果没有找到具有匹配线条信息的主类别，则确定所述输入图像中的表单为新类别。
全文摘要
本发明公开了确定输入图像中的表单的类别的方法和装置。所述方法包括根据输入图像中的表单的线条信息来确定候选类别列表；如果所述候选类别列表不为空，则进一步根据预打印内容来确定输入图像中的表单的类别；如果所述候选类别列表为空，则确定所述输入图像中的表单为新类别。因而，可以以简单高效地方式来自动地确定表单的类别，并可以在表格结构相同的表单中进行区分。
文档编号G06K9/00GK102750514SQ201110104698
公开日2012年10月24日 申请日期2011年4月20日 优先权日2011年4月20日
发明者于浩, 何源, 孙俊, 直井聪 申请人:富士通株式会社