专利名称：图像处理方法、图像处理设备、图像读取设备、成像设备的制作方法
技术领域：
本发明涉及 一种用于判断已获得的文档图像是否与预先准备的参考图 像相似的图像处理方法和图像处理设备；以及一种使用这种图像处理设备的 图像读取设备和成像设备。
背景技术：
公知的技术是由多个页面组成的文档在预期的页面处被分割，以致于文 档被分类，并且接着单个的被分类文档的页面图像被独立地编档(file)。在一 个示例性方法中，具有识别标志的分割页被事先插入到文档的中断处。然后， 当在通过图像读取装置例如扫描仪读取文档所获得的页面图像中检测到记录 在分割页上的识别标志时，文档被分割。在另一个示例性方法中，当文档将 要被图像读取设备读取时，用于分割文档的页面数目被事先指定。然后，当 指定的页面数目的文档被读取时，文档被分割。
此外，为了通过读取文档而获得的页面图像的编档处理能在短时间内完 成，提出一种图像编档设备，其中多个子文档的页面图像被连续地读取和 存储；然后，索引信息被生成以用于指示页面图像的每一个；然后，基于一 个子文档的指定数目的页面，每个页面的索引信息以一种为每个子文档分割 的方式被存储；从而当每次一个子文档的页面图像被读取时，无需在页面图 像上执行编档处理，编档处理被在多个子文档的页面图像上逐文档地执行(参 见公开号为H8-7071的日本专利申请)。
另 一方面，作为一种匹配通过读取文档获取的页面图像和事先已存储的 预定的图像并且从而判断图像的相似性的技术，公知的方法是，例如，通过 OCR (光学字符读取器)提取通过读取文档所获得的页面图像中的关键字，并且 接着基于所提取的关键字判断图像的相似性。在另一种方法中，将要执行相 似性判断的文档被限制为包含分格线的页形式，并且接着从通过读取文档所 获得的页面图像中提取分格线的特征以判断图像的相似性。
此外，提出一种匹配装置，其中输入文档的特征被提取以使得描述符被生成。然后，描述符与事先存储在描述符数据库中的描述符进行匹配，以使 得与存储在描述符数据库中的描述符具有整体或部分一致性的文档从输入的
文档中被搜索(参见公开号为H7-282088的日本专利申请)。
发明内容
然而，像在现有技术中将分割页插入到文档的方法中，在每一次对文档 的扫描处理中，分割页需要在扫描前插入到文档的预期位置处。此外，分割 页需要在扫描后从文档中被搜索并被移除。此外，在事先指定一个子文档的 页面数目的方法中，允许被指定的页面数目的种类被限制为一个。因此，文 档几乎总是使用相同的页面数目被分割的。这产生了一个问题，就是用于页 面图像的编档处理对于一种文档是不能完成的，其中文档中每个子文档的页 面数目互不相同。
在根据公开号为H8-7071的日本专利申请的上述设备中，为了达到处理
档中的每个的页面数目的描述文件。然后，所生成的描述文件需要事先被读 取。因此，当文档由大量页面组成时，生成描述文件的工作是复杂的。此外， 在根据公开号为H8-7071的日本专利申请的设备中，当文档的一部分具有页 面省略或者页面替代，会产生问题，即每个子文档以非希望的状态存储。
进一步地，才艮据公开号为H7-282088的日本专利申请的上述设备基本地 在单页面基础上对描述符执行匹配处理。即没有预计将多个页面组成的文档 作为处理目标。因此，没有为下述情况给出描述，例如，当文档的一部分具 有页面省略时将要执行的处理，在页面替代的情况下将要执行的处理，和将 文档划分为多个子文档的处理。
本发明已经考虑到这些情形。本发明的一个目的是提供 一种无需通过 用户的特殊操作、能够确定已获得的文档图像的顺序是否与事先存储的文档 的顺序对应的图像处理方法和图像处理设备；以及一种使用该图像处理设备 的图像读取设备和成像设备。
本发明的另一个目的是提供 一种图像处理方法和一种图像处理设备， 即使当大量的文档被获得，该图像处理方法和图像处理设备也能够为每一个 事先存储的文档划分该文档图像，并且容易地判定该已获得的文档图像的顺 序是否与事先存储的文档的顺序对应；以及一种使用这种图像处理设备的图
像读取设备和成像设备。
另外本发明的另一个目的是提供 一种能够提耳又文档图像特征、并且然 后基于所提取的特征和已存储的参考图像的特征容易地判断该文档图像是否
与该参考图像相似的图像处理方法和图像处理设备；以及一种使用这种图像 处理设备的图像读取设备和成像设备。
本发明的另 一个目的是提供 一种能够当文档图^象的顺序被确定为不正 确时通知用户该情形的图像处理方法和图像处理设备；以及一种使用这种图 像处理设备的图像读取设备和成像设备。
根据本发明的该图像处理设备是一种用于判断已获得的文档图像是否与 预先准备的参考图像相似、并且接着基于该判断结果在该文档图像上执行图 像处理的图像处理设备，包括用于存储多个类型识别符的存储装置，每一 个类型识别符包括每一个都用于识别多个参考图像的每一个的一个或多个图 像识别符，并且因此识别文档的类型；用于判断该已获得的文档图像是否与 参考图像相似的判断装置；选择装置，用于当该判断装置判断该文档图像与 参考图像相似时，从存储在该存储装置的图像识别符中选择识别该参考图像 的图像识别符；以及确定装置，用于对包含由该选择装置选择的图像识别符 的每个类型识别符，确定包含在该类型识别符中的图像识别符是否与用来识 别被判断为与该文档图像相似的参考图像的图像识别符对应。
多个类型识别符事先被存储，每一个类型识别符包括每一个都用于识别 多个参考图像的每一个的一个或多个图像识别符。类型识别符(文档类型索 引)例如与识别由多个页面组成的每个子文档(文档的类型)的事物相对应， 并且识别当大量文档被逐文档分类时使用的分类单元。此外，图像识别符(文 档页面索引)用于识别每个参考图像，并且识别组成文档的每个文档页面。 也就是说，参考文档依据文档类型索引(类型识别符)分类。然后，依据文 档类型索引分类的文档包含被一个或多个文档页面索引(图像识别符)识别 的参考图像。
判断该已获得的文档图像是否与参考图像相似。相似性判断的方法可以 是，例如，从单个图像提取的特征相互之间进行比较，以此计算相似性。当 该文档图像被判断为与参考图像相似，从多个图像识别符中选择识别该参考 图像的图像识别符。然后，识别包含所选图像识别符的类型识别符。因此， 确定哪个类型识别符包含与该文档图像相似的参考图像。此外，类型识别符能够被识别。对于每个被识别的类型识别符，确定包含在该类型识别符中的 图像识别符是否与用来识别被判断为与该文档图像相似的参考图像的图像识 别符对应。因此，可以确定已获得的文档图像的顺序是否与包含在事先存储 的每个文档中的参考图像的顺序对应。因此，当组成每个文档的参考图像被 存储一次，能够确定在已获得的文档图像中页面省略的存在或不存在和页面 替代的存在或不存在，而无需通过用户的特殊操作。此外，当上述处理在由 图像读取设备所读取的图像上执行时，除了在读取的文档图像中的页面省略
不存在也可以被判定。
根据本发明的图像处理设备是一种图像处理设备，其中图像识别符包含 用于指示该参考图像是否是包含在文档类型中的第一个参考图像的识别符， 该文档类型是由包含该图像识别符自身的类型识别符所识别的，并且其中该
图像处理设备进一步包括用于以下的装置每次文档图像被判断为与参考 图像相似时，将被判断为相似的文档图像的数目向上计数；以及用于以下的 装置当第一个页被向上计数时，基于由选择装置选择的图像识别符确定该 参考图像是否是第一个参考图像；其中当该参考图像^C确定为不是第一个参 考图像时，该确定装置确定由包含由选择装置选择的图像识别符的类型识别 符识别的文档的顺序与已经被存储的文档的顺序不对应。
用于识别每个参考图像的该图像识别符包含用于指示该参考图像是否是 包含在文档类型中的第 一个参考图像的识别符，该文档类型是由包含该图像 识别符自身的类型识别符所识别的。当第一次判断该文档图像与参考图像相 似时，确定这个参考图像是否为包含该参考图像的文档的第 一个参考图像。 当该参考图像不是第 一个参考图像时，该文档图像的顺序被确定为与被包含 在事先存储的文档中的参考图像的顺序不对应。因此，在第一次判断该文档 图像与参考图像相似的情况下，当与该文档图像相似的参考图像不是该文档 的第一个参考图像时，作出该文档图像的顺序有错误的结论。相应地，即使 获得了大量的文档，对每一个类型识别符，文档能够;波容易地划分，并且将 要被分类的文档分隔能够被检测和划分。同时，能够确定该文档图像的顺序 是否是正确的。
根据本发明的图像处理设备是一种图像处理设备，其中该图像识别符包 含用于指示该参考图像是否是包含在文档类型中的最后一个参考图像的识别
符，该文档类型是由包含该图像识别符自身的类型识别符所识别的，并且其
中该图像处理设备进一步包括用于以下的装置每次文档图像被判断为与 参考图像相似时，将被判断为相似的文档图像的数目向上计数；用于以下的 装置当判断装置判断该文档图像与该参考图像相似时，基于由选择装置选 择的图像识别符确定该参考图像是否是最后 一个参考图像；以及用于以下的 装置当该参考图像被确定为是最后一个参考图像时，确定已计数的文档图 像的数目是否与被包含在类型识别符中的图像识别符的数目对应，该类型识 别符包含由选择装置选择的图像识别符；其中当已计数的文档图像的数目被 确定为与被包含在该类型识別符中的图像识别符的数目不对应时，确定装置 确定由包含由选择装置选择的图像识别符的类型识别符识别的文档的顺序与 已经被存储的文档的顺序不对应。
用于识别每个参考图像的该图像识别符包含用于指示该参考图像是否是 包含在文档类型中的最后一个参考图像的识别符，该文档类型是由包含该图 像识别符自身的类型识別符所识别的。每次文档图像被判断为与参考图像相 似时，将被判断为相似的文档图像的数目向上计数。此外，当文档图像被判 断为与参考图像相似时，确定该参考图像是否是包含该参考图像的文档的最 后一个参考图像。当该参考图像是最后一个参考图像时，确定已计数的文档 图像的数目是否与被包含在该类型识别符中的图像识别符的数目对应。当确 定该文档图像的数目与该图像识别符的数目不对应时，该文档图像的顺序被 确定为与被包含在事先存储的文档中的参考图像的顺序不对应。因此，在该 文档图像与文档的最后一个参考图^^相似的情形下，当目前已经向上计数的 文档图像的数目与被包含在该文档中的参考图像的数目不对应时，作出该文 档图像的顺序有错误的结论。相应地，即使获得了大量的文档，对每一个类 型识别符，文档能够容易地被划分，并且将要被分类的文档分隔能够被检测 和划分。同时，能够确定该文档图像的顺序是否是正确的。
根据本发明的图像处理设备是一种图像处理设备，其中该图像识别符包 含用于指示在文档类型中的页面数目的识别符，该文档类型是由包含该图像 识别符自身的类型识别符所识别的，并且其中该图像处理设备进一步包含 用于以下的装置每次文档图像被判断为与参考图像相似时，将被判断为相 似的文档图像的数目向上计数；用于以下的装置当判断装置判断该文档图 像与该参考图像相似时，基于由选择装置选择的图像识别符检测该参考图像
的页面数目；以及用于以下的装置确定已检测的页面数目是否与已计数的 文档图像的数目对应；其中当已检测的页面数目被确定与已计数的文档图像 的数目不对应时，确定装置确定由包含由选择装置选择的图像识别符的类型 识别符识别的文档的顺序与已经被存储的文档的顺序不对应。
用于识别每个参考图像的该图像识别符包含用于指示在文档类型中的页 面数目的识别符，该文档类型是由包含该图像识别符自身的类型识别符所识 别的。每次文档图像被判断为与参考图像相似时，将被判断为相似的文档图 像的数目向上计数。此外，当该文档图像被判断为与参考图像相似时，检测 该参考图像的页面数目。然后，确定已检测的页面数目是否与已计数的文档 图像的数目对应。当确定该页面数目与该文档图像的数目不对应时，该文档 图像的顺序被确定为与被包含在事先存储的文档中的参考图像的顺序不对 应。因此，在该文档图像与参考图像相似的情形下，当与该文档图像相似的 参考图像的页面数目与目前已经向上计数的文档图像的数目不对应时，作出 该文档图像的顺序有错误的结论。相应地，对于由多个文档图像组成的文档， 能够在页面的基础上确定该文档图像的顺序是否是正确的。
根据本发明的图像处理设备是一种图像处理设备，其中该图像识别符包 含用于指示该图像是一个文档页的正面图像或背面图^象的识别符，该判断装 置判断从该 一个文档页的正面和背面获得的两个文档图像是否分别与参考图 像相似，并且当该判断装置判断该两个文档图像分别与参考图像相似时，该 选择装置从存储在存储装置上的图像识别符中选择每一个识别该参考图像的 图像识别符，并且其中该图像处理设备进一步包括用于以下的装置基于 由选择装置选择的图像识别符，确定该两个参考图像是否是该 一个文档页的 正面图像和背面图像；以及用于以下的装置当该两个参考图像被确定为该 一个文档页的正面图像和背面图像时，确定与从该一个文档页正面获得的文 档图像相似的参考图像是否是该正面图像，以及与从该 一个文档页背面获得 的文档图像相似的参考图像是否是该背面图像；其中当确定与从该一个文档 页正面获得的文档图像相似的参考图像是该背面图像以及与从该 一 个文档页 背面获得的文档图像相似的参考图像是该正面图像时，确定装置确定由包含 由选择装置选择的图像识别符的类型识别符识别的文档的顺序与已经被存储 的文档的顺序不对应。
根据本发明的图像处理设备是一种图像处理设备，进一步包括用于以
下的装置当确定与从该一个文档页正面获得的文档图像相似的参考图像是
该背面图像以及与从该 一个文档页背面获得的文档图l象相似的参考图像是该 正面图像时，交换该两个文档图像的正面和背面。
用于识别每个参考图像的该图像识别符包含用于指示该图像是该一个文 档页的正面图像或背面图像的识别符。当从该一个文档页的正面和背面获得 的两个文档图像被判断为分别与参考图像相似时，确定这两个参考图像是否 是该一个文档页的正面图像和背面图像。当这两个参考图像被确定是该 一个 文档页的正面图像和背面图像时，确定与从该一个文档页正面获得的文档图 像相似的该参考图像是否是该正面图像，以及与从该一个文档页背面获得的 文档图像相似的该参考图像是否是该背面图像。当确定与从该 一 个文档页正 面获得的文档图像相似的该参考图像是该背面图像以及与从该 一 个文档页背 面获得的文档图像相似的该参考图像是该正面图像时，确定该文档图像的顺 序与被包含在事先存储的文档中的参考图像的顺序不对应。此外，当确定与 从该 一 个文档页正面获得的文档图像相似的该参考图像是该背面图像以及与 从该 一个文档页背面获得的文档图像相似的该参考图像是该正面图像时，该 两个文档图像的正面和背面能够被交换以使得在其中正面和背面被替代的该 文档能够被正确地恢复。
根据本发明的图像处理设备是一种图像处理设备，其中该存储装置存储 与该参考图像的图像识别符相关联的特征，并且其中该图像处理设备进一步 包括用于提取该已获得的文档图像的特征的提取装置，其中基于由该提取装 置提取的特征和存储在该存储装置中参考图像的特征，该判断装置判断该文 档图像是否与该参考图像相似。
参考图像的该特征(特征向量，例如哈希值)和该图像识别符(文档页 面索引)以互相相关的方式事先被存储，例如，以哈希表的方式。文档图像 的该特征(特征向量，例如，哈希值)被提取。然后，确定该提取的特征是 否与存储在哈希表中的特征对应。在对应的情形下，对与该特征对应的图像 识别符执行投票。对于该文档图像的各个特征执行相似处理。然后，具有最 大数目投票的图像识别符被识别，以使得该文档图像^c判断为与被具有最大 数目的投票的该图像识别符所识别的参考图像相似。该文档图像的该特征被 提取。然后，基于提取的特征和参考图像已存储的特征，与这些特征对应的 图像识别符被识别。然后，该文档图像被判断为与由该图像识别符识别的该参考图像相似。因此，无需存储该参考图像本身，仅仅通过存储与该参考图 像对应的特征，就能够容易地判断文档图像是否与参考图像相似。
根据本发明的图像处理设备是一种图像处理设备，进一步包括用于以下 的装置当确定装置确定由包含由选择装置选择的图像识别符的类型识别符 识别的文档的顺序与已经被存储的文档的顺序不对应时通知这种情况。
当该文档图像的顺序与事先存储的文档中的参考图像的顺序不对应时， 即当该文档图像的顺序被确定为不正确时，这种情况一皮通知。因此，即使在 获得大量文档的情形下，当页面省略、页面替代、或者类似的情况发生在已 获得的文档中时，用户可以容易地识别该情况。用于通知该用户的一个示例 性方法是将该情况显示在提供在该图像处理设备、该图像读取设备或该成像 设备上的操作板的显示部分上。此外，当该文档图像被连接到计算机的图像 读取设备(扫描仪)读取时，该情况可以在该计算机的显示器上被显示。
根据本发明的图像读取设备是一种图像读取设备，包括用于读取文档 图像的图像读取装置；和任意一个上述图像处理设备；其中该图像处理设备 处理由该图像读取装置读取的文档图像。
根据本发明的成像设备是一种成像设备，包括任意一个上述图像处理 设备；和基于由该图像处理设备处理的文档图像形成输出图像的成像设备。
根据本发明的计算机程序是一种计算机程序，用于使计算机判断已输入 的文档图像是否与事先存储的参考图像相似，并且然后，基于该判断结果， 在该文档图像上执行图像处理，其中该计算机程序包括步骤使该计算机判 断该已输入的文档图像是否与多个参考图像的任意一个相似；当文档图像被 判断为与参考图像相似时，使该计算机从每一个都用于识别参考图像的多个 图像识别符中选择识别该参考图像的图像识别符；并且使该计算机，对于每 个包含该被选择的图像识别符的类型识别符，确定被包含在该类型识别符中 的该图形识别符是否与用来识别被判断为与该文档图像相似的参考图像的该 图像识别符对应。
根据本发明的计算机可读存储器产品存储上述计算机程序。
本发明的上述和进一步的目的和特征将通过接下来的参照附图的详细描 述而更加明显。
图1是显示使用根据本发明的图像处理设备的成像设备的结构的框图;
图2是显示文档匹配处理部分的结构的框图3是显示特征点计算部分的结构的框图4是显示滤波部分的滤波系数的例子的说明图5是显示连通分量的特征点的例子的说明图6是显示对于字符串的特征点的提取结果的例子的说明图7是显示当前特征点和周围特征点的说明图8是显示计算关于当前特征点的不变量的例子的说明图9是显示计算关于当前特征点的不变量的例子的说明图10是显示计算关于当前特征点的不变量的例子的说明图11是显示计算关于当前特征点的不变量的例子的说明图12A和12B是显示哈希表结构的说明图13A和13B是显示文档图像将要被登记的情形的例子的说明图14是显示将要被存储的文档的例子的说明图15A和15B是显示文档图像表和文档分类表的结构的说明图16是显示基于投票结果的相似性判断的例子的说明图17是显示文档存储处理过程的流程图18A到18E是显示对文档图像的顺序的检测处理过程的流程图19是显示文档匹配处理过程的流程图20是显示文档图像表结构的说明图21是显示文档存储处理过程的流程图22A到22E是显示对文档图像顺序的检测过程的流程图23是显示将要被存储的文档的例子的说明图24是显示文档图像表的结构的说明图25是显示文档存储处理过程的流程图26A到26F是显示对文档图像顺序的检测处理过程的流程图；和 图27是显示根据本发明的图像读取设备的结构的框图。
具体实施例方式
本发明将在下面参照显示其实施例的附图进行描述。 (实施例1 )
图1是使用根据本发明的图像处理设备的成像设备100的结构的框图。
成像设备100 (例如，数字彩色复印机或拥有组合功能例如打印机功能、传 真和e-mail分发功能的多功能外围设备)包括彩色图像输入设备l、彩色图 像处理设备2 (图像处理设备)、彩色图像输出设备3、和用于各种操作的操 作板4。当彩色图像输入设备l读取文档时获得的RGB(R:红，G:绿，B:蓝) 的模拟信号的图像数据被输出至彩色图像处理设备2，然后由在彩色图像处 理设备2中预定的处理而被处理，并且然后被作为CMYK(C:青色，M:绛红 色，Y:黄色，K:黑色)的数字彩色信号输出至彩色图像输出设备3。
彩色图像输入设备l是，例如，拥有CCD(电荷耦合装置)的扫描仪。彩 色图像输入设备1从文档图像以RGB模拟信号的形式读取反射的光图像，并 且然后输出读取的RGB信号至彩色图像处理设备2。此外，彩色图像输出设 备3是使用电子摄影术方法或喷墨方法的成像设备，用于输出文档图像的图 像数据到记录纸张之上。此外，彩色图像输出设备3可以是例如显示器的显 示单元。
彩色图像处理设备2是由A/D转换部分20、阴影校正部分21、输入色调 校正部分22、分段处理部分23、文档匹配处理部分24、彩色校正部分25、 黑色生成和底色移除部分26、空间滤波处理部分27、输出色调校正部分28、 色调再现处理部分29、控制这些硬件部分操作的CPU(中央处理单元)、 ASIC(特定用途集成电路)、以及类似的部件构建的。
A/D转换部分20将从彩色图像输入设备1输入的RGB信号转换为，例如， 10-位数字信号，并且然后输出转换的RGB信号至阴影校正部分21。阴影校 正部分21执行校正处理，其中在彩色图像输入设备l的照明系统、图像聚焦 系统、以及图像感测系统中生成的各种失真从输入的RGB信号中被移除，并 且然后输出转换的RGB信号(图像)至输入色调校正部分22。
输入色调校正部分22在移除各种失真后对RGB信号执行调整彩色平衡的 处理，并且执行将信号转换为那些容易被彩色图像处理设备2采用的图像处 理系统处理的例如密度信号的处理。此外，输入色调校正部分22执行图像质 量调整处理，例如页面背景密度移除或对比，并且然后输出处理的RGB信号 至分段处理部分23。
基于输入的RGB信号，分段处理部分23将输入图像的各个像素分离成文 本分量、半色调分量、和图片分量。基于分段结果，分段处理部分23输出用于指示每一个像素属于哪个段的分段类信号至黑色生成和底色移除部分26、
空间滤波处理部分27和色调再现处理部分29。此外，分段处理部分23原样 输出输入的RGB信号至随后阶段的文档匹配处理部分24。
文档匹配处理部分24 二进制化输入的图像(文档图像)，然后计算基于 二进制图像指定的连通分量的特征点(例如重心)，然后从计算的特征点中选 ^r多个特征点，然后基于选择的特征点计算不变量，然后计算用作不变量的 特征(例如哈希值)。在文档存储模式(其中将要存储文档)，文档匹配处理 部分24基于计算的特征存储输入的图像作为参考图像。此外，当文档图像将 要被分类并且同时其要被检测单个文档图像的顺序是否是正确的，文档匹配 处理部分24基于计算的特征判断每个文档图像是否与参考图像相似。然后， 基于判断结果，文档匹配处理部分24为每个文档类型分类文档图像，并且然 后确定包含在每个文档类型中的文档图像的顺序是否对应于参考图像的顺 序。因此，文档图像所属的文档类型能够被确定，并且，同时，在确定的文 档类型中，能够确定文档图像中的页面省略的存在或不存在、文档图像中的 顺序替代的存在或不存在、文档图像的堆叠馈送的存在或不存在、以及类似 情况。
当输入的文档图像的顺序与参考图像的顺序不同时，例如当在一部分文 档图像中存在页面省略时，和当文档图像的顺序被替代时，在文档匹配处理 部分24对所有的文档图像的处理已经完成时，成像设备100在操作板4上显 示文档图像的顺序与参考图像的顺序不同的位置(错误发生位置或者文档划 分重新开始位置)，以此通知用户。此外，文档匹配处理部分24原样输出输 入的RGB信号至随后阶段的彩色校正部分25。
代替上述结构，文档匹配处理部分24被提供在分段处理部分23的随后 阶段中，文档匹配处理部分24可以与输入色调校正部分22平行提供，或者 提供在阴影校正部分n和输入色调校正部分22之间。这里，在这种情形下， 调整彩色平衡的处理以及将数据转换为密度信号的处理由阴影校正部分21 执行。
彩色校正部分25将输入的RGB信号转换到CMY彩色空间，然后依据彩色 图像输出设备3的特点执行彩色校正，并且然后输出校正的CMY信号至黑色 生成和底色移除部分26。特别地，为了在彩色再现中的高保真度目的，彩色 校正部分25基于包含不必要吸收分量的CMY彩色物质的光语特征执行移除彩
色杂质的处理。
基于从彩色校正部分25输入的CMY信号，黑色生成和底色移除部分26 生成K(黑色)信号，并且同时，从输入的CMY信号中减去K信号以生成新的 CMY信号，并且然后输出生成的CMYK信号至空间滤波处理部分27。在黑色生 成和底色移除部分26中的处理的示例将在下面描述。例如，在通过使用轮廓 黑色(skeleton black)的黑色生成处理的情形下，4仑廓曲线(skeleton curve)的输入 输出特征被表示为y=f (x),输入数据由C、 M、和Y表示，输出数据由C，、 M，、 Y，、和K，表示，并且UCR (底色移除)比率由cc ((Kcc〈l)表示。然后，在黑 色生成和底色移除处理中输出的数据被表示为K，={min(C，M， Y)} 、 C，=C- aK，、 M，= M- aK，、和Y，=Y- aK，。
空间滤波处理部分27基于分段类信号通过数字滤波器在从黑色生成和 底色移除部分26输入的CMYK信号上执行空间滤波。由于这点，图像数据的 空间频率特性被校正以使得在彩色图像输出设备3中避免了在输出图像中发 生模糊或颗粒退化。例如，为了改善尤其是黑色字符(文本)或彩色字符的 可再现性，空间滤波处理部分27执行边缘增强处理，以此来加强对于由分段 处理部分23分离为文本分量的分段的高频分量。此外，空间滤波处理部分 27在由分段处理部分23分离为半色调分量的分段上执行用于移除输入半色 调分量的低通滤波。空间滤波处理部分27输出处理的CMYK信号至输出色调 才交正部分28。
输出色调校正部分28执行输出色调校正处理来将从空间滤波处理部分 2 7输入的CMYK信号转换为半色调屏幕区域比率，比率是彩色图像输出设备3 的特征值。然后，输出色调校正部分28输出已经历过输出色调校正处理的 CMYK信号至色调再现处理部分29。
基于从分段处理部分23输入的分段类信号，色调再现处理部分29在从 输出色调校正部分28输入的CMYK信号上执行预定的处理。例如，为了改善 尤其是黑色字符或彩色字符的可再现性，色调再现处理部分29在被分离为文 本分量的分段上执行二进制化处理或多层抖动处理，这样信号会变得合适于 在彩色图像输出设备3中再现高频分量。此外，色调再现处理部分29在由分 段处理部分23分离为半色调分量的分段上执行色调再现处理(半色调生成)， 这样图像最终被分离为像素以使得每个色调能够被再现。此外，色调再现处 理部分29在由分段处理部分23分离为图片分量的分段上执行二进制化处理或多层抖动处理，这样信号会变得合适于在彩色图像输出设备3中再现色调。 彩色图像处理设备2临时将由色调再现处理部分29处理的图像数据
(CMYK信号)存储在存储部分(没有示出)。然后，在预定的执行成像的时 间里，彩色图像处理设备2读取存储在存储部分的图像数据，并且然后输出 读取的图像数据至彩色图像输出设备3。对这些的控制例如由CPU(没有示出) 执行。
操作板4由例如液晶显示器的显示部分、设置按钮和类似的部件构造。 彩色图像输入设备1、彩色图像处理设备2和彩色图像输出设备3的操作是 基于从操作板4中输入的信息(例如对于存储文档的文档存储模式的指定， 可选的关于在每个分类的文档中的文档图像的例如编档、复制、电子分发或 其它类似的输出处理的选择，以及类似的信息)被控制的。
图2是显示文档匹配过程部分24的结构的框图。文档匹配处理部分24 包括特征点计算部分241、特征计算部分242、投票处理部分243、相似性 判断处理部分244、文档分类处理部分245、存储器246、和用于控制这些部 分的控制部分247。
特征点计算部分241在输入的图像上执行随后描述的预定的处理，并且 二进制化输入的图像、提取(计算)基于二进制图像指定的连通分量的特征 点(例如，通过累加在二进制图像中组成连通分量的各个像素的座标值、以 及通过将累加的座标值除以在连通分量中包含的像素的数目而获得的值)。特 征点计算部分241使存储器246存储提取的特征点，并且输出提取的特征点 至特征计算部分242。
图3是显示特征点计算部分241的结构的框图。特征点计算部分241包 含信号转换处理部分2410、分辨率转换部分2411、滤波部分2412、 二进 制处理部分2413、和重心计算部分2414。
当输入的图像是彩色图像时，信号转换处理部分2410消色差和转换彩色 图像为亮度信号或者明度信号，并且然后输出转换的图像至分辨率转换部分 2411。例如，当每个像素的彩色分量RGB分别由Rj、 Gj、和Bj表示时，亮 度信号Yj表示为Yj^JOxRj + O.WxGj + 0.11xBj。这里，本发明并不局限于这
个公式。即RGB信号可以被转换为CIE1976I^aAM言号。
即使当输入的图像是在彩色图像输入设备1中的已经历过光学放大改变 的图像时，分辨率转换部分2411在输入的图像上再次执行放大改变，以此实
现预定的分辨率，并且然后将已经历过放大改变的图像输出至滤波部分2412。
由于这点，即使当放大改变处理已经被彩色图像输入设备1执行由此分辨率 已经改变了时，特征点的提取也能够免受它的影响而实现。这允许对文档的
精确地分类。尤其是，在尺寸减少字符的情形下，避免了以下可能性当连 通分量要由二进制过程处理指定时，被弄脏的字符导致原本分离的区域被指 定，好像它们互相连接，从而计算的重心可能偏离。此外，分辨率转换部分 2411将图像转换为分辨率小于当图像是由彩色图像输入设备1使用单位放大 率所读取时所获得的分辨率的图像。例如，被彩色输入设备l以600dpi (点 每英寸)所读取的图像被转换为以300dpi的图像。这就减少了在随后阶段的 处理量。
滤波部分2412校正输入的图像的空间频率特性(例如，图像的增强处理 和平滑)，并且然后输出校正的图像至二进制处理部分2413。由于依据每个 型号彩色图像输入设备l的空间频率特性是不同的，滤波部分2412将不同的 空间频率特性校正为所需的特性。在从彩色图像输入设备1输出的图像中(例 如，图像信号)，在图像中例如模糊的退化是由例如以下引起的例如镜头和 镜子的光学系统部分；光圈比率、转换效率、和CCD受光表面的后图像；以 及由物理扫描引起的存储效果和扫描不均。滤波部分2412在边界或边缘上执 行增强处理，以此恢复例如在图像中产生的模糊的退化。此外，滤波部分2412 执行平滑用于抑止高频分量，这些高频分量在随后阶段执行的特征点提取处 理中是不需要的。这允许准确提取特征点，并且因此获得准确确定图像的相 似性。这里，在滤波部分2412中使用的滤波系数可以依据所使用的彩色图像 输入设备l的型号、特性或者类似的性质而被适当地设置。
图4是显示滤波部分2412的滤波系数的例子的说明图。如图所示，空间 滤波器是例如具有7x7(7行乘以7列)尺寸的混合滤波器，并且其执行增 强处理和平滑处理。输入的图像的像素被扫描以使得由空间滤波器实行的算 术处理在所有的像素上执行。这里，空间滤波器的尺寸不限制于7 x 7的尺寸。 即尺寸可以是3x3、 5x5、或类似的尺寸。此外，滤波系数的数值是个例子。 即实际值不局限于这个例子，并且可以依据所使用的彩色图像输入设备1的 型号、特性、或类似的性质来而被适当地设置。
二进制处理部分2413将阈值与输入图像的亮度值(亮度信号)或明度值 (明度信号)进行比较，以此来二进制化图像，并且然后输出经历了二进制
化的二进制图像至重心计算部分2414。基于从二进制处理部分2413输入的 二进制图像的每个像素的二进制化信息(例如，由"1"和"0"表示)，重心 计算部分2414对每个像素贴标签(贴标签处理)。然后重心计算部分2414指 定连通分量，连通分量上具有相同标签的像素是连续的，然后提取指定的连 通分量的重心作为特征点。重心计算部分2414使存储器246存储提取的特征 点并且输出提取的特征点至特征计算部分242。这里，特征点由二进制图像 中的座标(x-座标，y-座标)表示。
图5是显示连通分量的特征点的例子的说明图。在图中，指定的连通分 量是字符"A",并且其被指定作为一组像素，该组像素被给予了相同的标签。 这个字符"A"的特征点(重心)被定位于在图中由黑点指示的位置(x-座标， y-座标)。图6是显示对于字符串的特征点的提取结果的例子的说明图。在字 符串由多个字符组成的情形下，基于各种字符提取具有不同的座标的多个特 征点。
特征计算部分242采用每个从特征点计算部分241输入的特征点(即连 通分量的重心的座标值)，作为当前特征点，并且然后提取与当前特征点具有 较小距离的周围的例如四个特征点。
图7是显示当前特征点和周围特征点的说明图。如图所示，例如，为当 前特征点Pl提取被封闭曲线Sl包围的四个特征点(对于当前特征点Pl，当 前特征点P2也作为一个特征点^皮提取)。此外，对于当前特征点P2，例如， 被封闭的曲线S2包围的四个特征点被提取(对于当前特征点P2,当前特征 点Pl也作为一个特征点被提取)。
特征计算部分242从四个被提取的特征点中选择三个特征点以此来计算 不变量。这里，选^^的特征点的数目不局限于三个。即四个、五个、或类似 个数的特征点可以被选择。被选择的特征点的数目依据预期的不变量的种类 而不同。例如，从三个特征点计算的不变量是相似性不变量(关于包括旋转、 平行移动和扩展/缩小的几何改变的不变的参数)。
图8是显示计算关于当前特征点P1的不变量的例子的说明图。图9是显 示计算关于当前特征点P2的不变量的例子的说明图。如图8所示，从当前特 征点Pl周围的四个特征点中选择三个特征点。然后，三种不变量分别由 Hlj(j=l， 2， 3)表示。每个不变量Hlj由表示为Hlj=Alj/Blj的公式计算。 这里，Alj和Blj的每一个表示特征点之间的距离，并且距离基于各自的特征点的座标计算。因此，例如，即使当文档被旋转、移动、或倾斜时，不变 量Hlj并不改变。相应地，以满意的精度确定图像相似性，并且因此能够以 满意的精度确定相似的文档。
相似地，如图9所示，从当前特征点P2周围的四个特征点中选择三个特
征点。然后，三种不变量分别由H2j(j=l, 2， 3)表示。每个不变量H2j由表 示为H2j=A2j/B2j的公式计算。这里，A2j和B2j的每一个表示特征点之间 的距离，并且距离基于各自的特征点的座标计算，与已经描述的相同。依照 相似的过程，可以为其它的当前特征点计算不变量。
基于为每个当前特征点计算的不变量，特征计算部分242计算哈希值(特 征)Hi。当前特征点Pi的哈希值表示为Hi=(Hil x 102 + Hi2 x 10'+ Hi3 x 10°)/E。这里，E是一个常数，其由期望余数为多大来确定。例如，当常数被 设为"10"，余数落入"0"和"9"之间。这就提供了能由被计算的哈希值取 值的范围。此外，i是一个自然数，并且i表示特征点的数目。
为当前特征点计算不变量的方法并不限于上述方法。图IO是显示计算关 于当前特征点P3的不变量的另一个例子的说明图。图ll是显示计算关于当 前特征点P4的不变量的另一个例子的说明图。如图10所示，从当前特征点 P3周围的四个特征点中选择三个特征点，并且四种不变量分别由H3j(j=l, 2， 3, 4)表示。不变量H3j可以由H3j=A3j/B3j计算，与上述方法相似。
如图11所示，从当前特征点P4周围的四个特征点中选4奪三个特征点， 并且四种不变量分别由H4j (j-l，2，3，4)表示。不变量H4j可以由H4 j=A4 j/B4 j 计算。在这种情形下，当前特征点Pi的哈希值Hi通过Hi=(Hil x 103 + Hi2 x 102 + Hi3x 10' + Hi4 x 10。)/E计算。
这里，上述哈希值作为特征是一个例子，并不局限于此。可以应用另一 种哈希函数。上述实例已经描述了四个点被提取作为其它周围特征点的情形。 然而，点的数目不局限于四个。例如，六个特征点可以被提取。在这种情形 下，可以从六个特征点提取五个点。然后，对于提取五个点的六种方法的每 一种方法，可通过从五个点提取三个点来计算不变量，以使得哈希值可以被 计算出来。
例如，当由多个页面组成的文档的图像将要被存储时(在文档存储模式 的情形下)，特征计算部分242为被包含在文档中的单个图像设置参考图像的 文档页面索引(例如，ID1、 ID2、…)。每个文档页面索引被用于识别每个参考图像，并且识别组成文档的每个文档页面。在文档存储模式的情形下，特
征计算部分242为每个文档设置文档类型索引(例如，DocIDl、 DocID2、...)。 每个文档类型索引对应于用于识别由多个页面组成的每个子文档(文档的类 型)的内容，并且识别当大量的文档逐文档地被分类时所使用的分类单元。 在文档存储模式的情形下，特征计算部分242为每个参考图像将在上述处理 中计算的哈希值(例如，Hl、 H2、…)和所设置的文档页面索引存储在哈希 表中。
图12A和12B是显示哈希表2461结构的说明图。如图12A所示，哈希表 2461的结构由包含^^希值和文档页面索引的各个字段构建。更具体地，对应 于文档页面索引，指示文档中位置的点索引和不变量(都没有示出)被存储。 为了判断图像的相似性，图像的匹配信息、文档图像、或类似的将要被匹配 的事务被事先存储在哈希表2461中。哈希表2461被存储在存储器246中。 这里，如图12B所示，当哈希值相互之间相等时(H1=H5 )，在哈希表2461中
的两个表项可以统一。
图13A和13B是显示文档图像将要被存储的情形的例子的说明图。如图 13A所示，当具有三个页面(P1, P2， P3)的文档要被存储时，如图13B所 示，特征计算部分242分别为三个页面的图像(Pl， P2， P3)以页面顺序设 置文档页面索引ID1、 ID2、和ID3，并且然后分别为具有文档页面索引ID1、 ID2、和ID3的单个图像计算哈希值(例如Hl、 H2、...)。特征计算部分242
设置头部标志(其指示每个图像是否是文档的第一个页面)，并且设置末端标 志(其指示每个图像是否是文档的最后一个页面)。这里，当每个图像是文档
的第一个页面时，特征计算部分242将相应的头部标志设置为1。此外，当 每个图像是文档的最后一个页面时，特征计算部分242将相应的末端标志设 置为1。当每个图像不是这些页面时，特征计算部分242将相应的头部标志 和相应的末端标志设置为0。
特征计算部分242为了识别具有三个页面的文档(文档的类型)的整体， 设置文档类型索引DocIDl。同时，特征计算部分242设置已经以页面顺序为
特征计算部分242存储文档页面索引、头部标志、末端标志、和文档类型索 引到稍后描述的文档图像表中。此外，特征计算部分242存储文档类型索引 和参考页面的数目到稍后描述的文档分类表中。
图14是显示将要被存储的文档的例子的说明图。如图14所示，接下来 给出的描述是两种类型文档将要被存储的情形。为由三个页面的参考图像组
成的文档设置文档类型索引DocIDl。然后，为这些页面设置文档页面索引 ID1、 ID2、和ID3。相似地，为由两个页面的参考图像组成的文档设置文档 类型索引DocID2。然后，为这些页面设置文档页面索引ID4和ID5。
图15A是显示文档图像表2462的结构的说明图，图15B是显示文档分类 表2463的结构的说明图。文档图像表2462由包括文档页面索引、头部标志、 末端标志、和文档类型索引的各个字段构建。文档分类表2463由包括文档类 型索引和参考页面数目的各个字段构建。在文档存储模式下，文档图像表2462 和文档分类表2463在每次文档被存储时被更新。图15A和图15B表示如图 14中所示的两种文档将被存储情形时的文档图像表2 4 6 2和文档分类表2463。
即根据文档图像表2462，由文档页面索引ID1识别的参考图像被包含在 由文档类型索引DocIDl识别的文档中，并且是这个文档的第一个页面。由文 档页面索引ID2识别的参考图像被包含在由文档类型索引DocIDl识别的文档 中，并且既不是这个文档的第一个页面也不是这个文档的最后一个页面。由 文档页面索引ID3识别的参考图像被包含在由文档类型索引DocIDl识别的文 档中，并且是文档的最后一个页面。此外，根据文档分类表2463,由文档类 型索引DocIDl识别的文档的参考页面的数目是"3"。
相似地，根据文档图像表2462,由文档页面索引ID4识别的参考图像被 包含在由文档类型索引DocID2识别的文档中，并且是该文档的第一个页面。 由文档页面索引ID5识别的参考图像被包含在由文档类型索引DocID2识别的 文档中，并且是该文档的最后一个页面。此外，根据文档分类表2463，由文 档类型索引DocID2识别的文档的参考页面的数目是"2"。
当文档匹配处理部分24为每个文档类型分类输入的文档图像、并且然后 确定被包含在每个文档类型中的文档图像的顺序是否对应于参考图像的顺序 时，在要判断每个文档图像是否与事先存储的参考图像相似的情形下，特征 计算部分242将单个文档图像的已计算的哈希值存储到存储器246中。
基于由特征计算部分242计算的哈希值(特征)，投票处理部分243搜索 存储在存储器246中的哈希表2461。当哈希值符合时，投票处理部分243为 存储在哈希值上的文档页面索引(即哈希值符合的图像)投票。通过累加投 票获得的结果作为获得的投票的数目输出到相似性判断处理部分244。
基于从投票处理部分243输入的投票结果，相似性判断处理部分244判 断读取的文档图像是否与任何参考图像相似，并且然后输出判断结果至文档 分类处理部分245。更具体地，相似性判断处理部分244将从-投票处理部分 243输入的所获得的投票的数目除以文档图像所获得的投票的最大数目(表 示为特征点的数目x从一个特征点计算来的哈希值的数目)，以此来计算标 准化的相似性。然后，相似性判断处理部分244将计算的相似性与事先确定 的阈值Th(例如，0. 8)进行比较。当相似性大于或等于阈值Th时，判断确 定处理部分244判断文档图像与计算出相似性的参考图像相似。当相似性比 阈值Th小时，相似性判断处理部分244作出不存在与文档图像相似的参考图 像的结论，并且然后输出判断结果(当图像相似时为文档页面索引)至文档 分类处理部分245。这里，从投票处理部分243输入的所获得的投票的数目 可以与事先定义的阈值进行比较。然后，当所获得的投票的数目大于或等于 阈值时，就可以判断文档图像与事先存储的参考图像相似，并且进一步可以 判断在被判断为相似的参考图像中具有最大的获得的投票数目的参考图像对 应于文档图像。
图16是显示基于投票结果的相似性判断的例子的说明图。如图13B所示， 哈希表2462被搜索并且对每一个从文档图像计算得到的哈希值执行投票。然 后，假设作为结果，已经为参考图像执行了投票，其中文档页面索引是ID1、 ID2、和ID3。然后，每个被获得作为投票结果的所获得的投票的数目除以文 档图像所获得的投票的最大数目，以使得标准化的相似性Nl、 N2、和N3被 计算出来。具有已计算的大于或等于阈值Th的相似性的参考图像是具有文档 页面索引ID1的参考图像。因此，文档图像被判断为与具有文档页面索引ID1 的参考图像相似。
文档分类处理部分245具有总体计数器TC，其指示头部标志、末端标 志、对应于正在处理的页面(文档图像)的参考页面的数目、以及所读取的文 档图像的页面数目；页面计数器PC,其指示在每个划分的文档类型中的文档 图像的页面数目；指示错误发生的错误标志；和用于指示其中发生错误的页 面数目的错误发生位置的存储部分。在处理前，总体计数器TC、页面计数器 PC、错误标志、和错误发生位置都被初始化为"0"。这里，当错误发生时， 文档分类处理部分245将错误标志设置为1。
当参考图像与文档图像相似时，即当文档页面索引从相似性判断处理部分244被输入作为判断结果时，文档分类处理部分245基于文档页面索引搜 索文档图像表2462,以此来识别文档页面索引的头部标志、末端标志、和文 档类型索引。此外，文档分类处理部分245基于识别的文档类型索引搜索文 档分类表2463，以此来识别对应于文档类型索引的参考图像的数目，并且然 后将已经被识别的参考页面的头部标志、末端标志、和数目设置为对应于正 在处理的文档图像的参考页面的头部标志、末端标志、和数目。
这里，当指示不存在与文档图像相似的参考图像的判断结果从相似性判 断处理部分244输入时，文档分类处理部分245将参考图像的头部标志、末 端标志、和数目设置为1。此外，每次从相似性判断处理部分244获得判断 结果时，文档分类处理部分245将总体计数器TC加一。
当第一次判断文档图像与参考图像相似时，文档分类处理部分245判断 设置的头部标志是否是1。当头部标志不是l时，即当第一次判断与文档图 像相似的参考图像不是包含这个参考图像的文档类型的第 一个文档页时，文 档分类处理部分245作出错误发生的结论，以此将错误标志设置为1并且将 由总体计数器TC指示的页面数目设置为错误发生位置值。
当头部标志是l时，即当第一次判断的与文档图像相似的参考图像是包 含这个参考图像的文档类型的第一个文档页时，文档分类处理部分245将在 页面计数器PC中的值设置为1。然后，文档分类处理部分245确定设置的末 端标志是否是1。当末端标志是1时，文档类型处理部分245确定在页面计 数器PC中的值是否与参考页面的数目对应。在末端标志是l的情形下，当页 面计数器PC与参考页面的数目不对应时，即在尽管与文档图像相似的参考图 像是在文档类型中的最后一个文档页的情形下，在这个文档图像被判断为与 参考图像相似时已经向上计数的文档图像的数目(在页面计数器PC中的值) 与被包含在文档类型中的参考图像的数目(参考页面的数目)不对应时，文 档分类处理部分245作出错误发生的结论，以此将错误标志设置为1并且将 由总体计数器TC指示的页面数目设置为错误发生位置值。
在末端标志是l的情形下，当在页面计数器PC中的值与参考页面的数目 对应时，在文档图像被判断为与参考图像相似时已经向上计数的文档图像的 数目与被包含在文档类型中的参考图像的数目对应。因此，文档分类处理部 分245作出文档图像的顺序与包含在事先存储的文档类型中的参考图像的顺 序对应的结论。因此，在这种情形下，文档分类处理部分245作出这个文档
图像是包含在当前文档类型中的最后 一个文档图像的结论，并且因此确定文 档划分位置定位在当前文档图像和接下来将要处理的文档图像之间。
此外，当头部标志是l时，文档分类处理部分245确定错误标志是否是 1。当错误标志是l时，文档划分处理部分245将错误发生位置的值记录到记 录器(没有示出)中，并且然后作出在这个文档图像之前处理的文档图像是 包含在在前文档类型中的最后一个文档图像的结论，以此来确定文档划分位 置定位在之前处理的文档图像和当前文档图像之间。这里，指示确定的文档 划分位置的信息与错误的发生位置一起作为确定信号被输出，并且然后存储 到记录器中。用于记录确定信号的记录器可以在彩色图像处理设备2的内部 或外部被提供。当记录器是非易失性存储器时，已检测的错误的位置可以被 保存。
此外，当文档分类处理部分245已经完成上述对所有文档图像的处理时， 成像设备100可以在操作板4上显示被记录在记录器中的错误发生位置，以 此来通知用户通过彩色图像输入设备1输入的文档的顺序与事先存储的文档 的顺序不同，以及不同的位置。上述确定信号可以例如与文档图像一起，通 过网络被传送至打印机或多功能外围设备，并且可以通过计算机或者被直接 输出至打印机。
因此，无需用户的特殊操作，输入的文档图像可以根据事先存储的文档 的顺序被容易地分类。同时，可以确定文档图像的顺序是否与事先存储的文 档的顺序对应。此外，即使当大量的文档图像被输入时，文档图像可以被容 易地划分并且将要被分类的文档分割能够被检测和划分。此外，可以确定每 个被分类文档是否与事先存储的文档的顺序对应。此外，当输入的文档图像 的顺序与事先存储的文档的顺序不同时，可以通知用户情况。
接下来，将在下面描述彩色图像处理设备2的操作。图17是显示文档存 储处理过程的流程图。这里，除了被专门的硬件电路例如文档匹配处理部分 24#丸行，文档存储处理可以通过一种方法，执行，在该方法中定义文档存储处 理过程的计算机程序被装载到具有CPU、 RAM、 R0M、和类似部件的个人计算 机上，并且然后计算机程序被CPU执行。在下面的描述中，彩色图像处理设 备2被称为"处理部分"。
处理部分确定模式是否是文档存储模式(Sll)。当模式不是文档存储模 式时(在S11处的否)，处理部分继续步骤Sll的处理，并且等待直到用户通
过操作板4指定文档存储模式。当模式是文档存储模式时(在Sll处的是)， 处理部分获得参考图像(S12)。此时，参考图像可以通过借助文档读取设备 读取文档而获得。可替换地，文档图像可以通过接收由处理设备例如个人计 算机生成的电子数据而获得。
处理部分设置文档类型索引(S13)。处理部分计算参考图像的特征点
(S14)并且然后，基于已计算的特征点，计算哈希值(特征)(S15)。处理 部分设置参考图像的文档页面索引(S16)，然后设置参考图像的头部标志 (S17),并且然后确定对所有参考图像的处理是否已经完成(S18)。
当对所有参考图像的处理还没有完成时(S18处的否)，处理部分继续步 骤S14及其背面的处理，以此来计算剩余参考图像的哈希值，并设置文档页 面索引和头部标志。当对所有参考图像的处理已经完成时(S18处的是)，处 理部分设置每个参考图像的末端标志(S19)。作为结果，为每个参考图像建 立文档页面索引、头部标志、末端标志、和文档类型索引。
处理部分将设置的文档页面索引和已计算的哈希值存储到哈希表24 61 中，以此来更新哈希表2461 (S20)。处理部分将已经被设置的文档页面索引、 头部标志、末端标志、和文档类型索引存储到文档图像表2462中，以此来更 新文档图像表2462 (S21)。然后，处理部分将已经^皮设置的文档类型索引和 参考页面的数目存储到文档分类表2463中，以此来更新文档分类表2"3 (S22),并且然后终止处理。
图18A到18E是显示对文档图像的顺序的检测处理过程的流程图。这里， 除了被专门的硬件电路例如文档匹配处理部分24执行，对文档图像的顺序的 检测处理可以通过装载定义对文档图像的顺序的检测处理过程的计算机程序 到具有CPU、 RAM、 ROM、和类似部件的个人计算机上、并且然后使CPU执行 该计算机程序来执行。
处理部分执行初始化设置(S41)。具体地，处理部分将总体计数器TC、 页面计数器PC、错误标志、和错误发生位置的单个的值设置为0。处理部分 确定对所有文档图像的处理是否已经完成(S42)。当对所有文档图像的处理 还没有完成时(S42处的否)，处理部分获得文档图像(S43)。此时，文档图 像可以通过借助文档读取设备读取文档而获得。可替换地，文档图像可以通 过接收由处理设备例如个人计算机生成的电子数据而获得。
处理部分在获得的文档图像上执行文档匹配处理(S44)。这里，文档匹配处理的细节将稍后描述。当对所有文档图像的处理已经完成时(S42处的
是)，处理部分确定错误标志是否是l (S45)。当错误标志是1时(S45 处 的是)，处理部分将错误发生位置的值记录到记录器中(S46)。处理部分在操 作板4上显示被记录在记录器中的错误发生位置(S47 ),并且然后终止处理。 当错误标志是0时(S45处的否)，处理部分跳过步骤S46的处理，然后在操 作板4上显示被记录在记录器中的错误发生位置(S47 )，并且然后终止处理。
当相似性比阈值Th大时(S48处的是)，基于与文档图像相似的参考图像的 文档页面索引，处理部分搜索文档图像表2462和文档分类表2463，以此来 识别文档页面索引的头部标志、末端标志、和参考页面的数目，并且然后将 这些值设置成与正在处理的文档图像相对应的头部标志、末端标志、和参考 页面的数目(S49)。当相似性比阈值Th小时(S48处的否)，处理部分将与 正在处理的文档图像相对应的头部标志、末端标志和参考页面的数目的各个 值设置成l (S50)。
处理部分将总体计数器TC加一 (S51 )。处理部分确定头部标志是否是1 (S52)。当头部标志是0时(S52处的否)，处理部分确定错误标志是否是0 (S5 3 )。当错误标志是0时(S5 3处的是)，处理部分将错误标志设置为l( S54 )， 然后将总体计数器TC的值设置到错误发生位置值中(S55)，并且然后返回到 步骤S42的处理。当错误标志是1时(S53处的否)，处理部分跳过步骤S54 和S55的处理，以返回到步骤S42的处理，并且然后继续步骤42及其以后步 骤的处理，以此来处理剩余的文档图像。
当头部标志是1时(S52处的是)，处理部分确定错误标志是否是l( S56 )。 当错误标志是l时(S56处的是)，处理部分将错误发生位置记录在记录器中 (S57),并且然后将错误标志设置为0(S58)。处理部分作出当前的文档图 像是包含在新文档类型中的第一个文档图像的结论，因此确定在之前处理的 文档图像和当前的文档图像之间定位的文档划分位置(S59)，并且然后移动 到步骤S60的处理。当错误标志是0时(S56处的否)，处理部分跳过步骤S57 到S59的处理，并且移动到步骤S60的处理。
处理部分将页面计数器PC中的值设置为1 (S60)。处理部分确定末端标 志是否为1 (S61)。当末端标志为1时(S61处的是)，处理部分移动到步骤 S72的处理。当末端标志为0时(S61处的否)，处理部分确定对所有文档图
像的处理是否已经完成(S62)。当对所有文档图像的处理还没有完成时(S62 处的否)，处理部分获得文档图像(S63),并且然后在获得的文档图像上执行 文档匹配处理(S64)。
当对所有文档图像的处理已经完成时(S62处的是)，处理部分在操作板 4上显示记录在记录器中的错误发生位置(S65)，并且然后终止处理。处理
比阈值Th大时(S66处的是)，基于与文档图像相似的参考图像的文档页面 索引，处理部分搜索文档图像表2462和文档分类表2463,以此来识别文档 页面索引的头部标志、末端标志、和参考页面的数目，并且然后将这些值设 置到对应于正在处理的文档图像的头部标志、末端标志和参考页面的数目中
(567) 。当相似性比阈值Th小时(S66处的否)，处理部分将对应于正在处 理的文档图像的头部标志、末端标志和参考页面的数目的各个值设置成1
(568) 。
处理部分将总体计数器TC加一 (S69 ),并且然后将页面计数器PC加一 (S70 )。处理部分确定末端标志是否是1 ( S71 )。当末端标志是0时(S71处 的否)，处理部分返回到步骤S62的处理，并且然后继续在步骤S62以及之后 步骤的处理，以此来处理剩余的文档图像。
当末端标志是1时(S71处的是)，处理部分确定在页面计数器PC中的 值是否与参考页面的数目对应(S72)。当页面计数器PC中的值与参考页面的 数目对应时(S72处的是)，处理部分作出这个文档图像是包含在当前文档类 型中的最后一个文档图像的结论，因此确定要在当前文档图像和接下来将要 处理的文档图像之间定位的文档划分位置(S73)，并且然后移动到步骤S76 的处理。当在页面计数器PC中的值与参考页面的数目不对应时(S72处的否)， 处理部分将错误标志设置为1 ( S74 ),并且然后将总体计数器TC的值设置到 错误发生位置值中(S75)。然后，处理部分返回到步骤S42的处理，并且然 后继续步骤S42及其以后步骤的处理，以此来处理剩余的文档图像。
处理部分确定错误标志是否是l( S76 )。当错误标志是1时(S76处的是)， 处理部分将错误发生位置的值记录到记录器中(S77),然后将错误标志设置 为0 ( S78 )，并且然后返回到步骤S42的处理。当错误标志是0时(S76处的 否)，处理部分跳过步骤S77和S78的处理，并且返回到步骤S42的处理。
在上述对于文档图像顺序的检测处理中的文档匹配处理(图18A到18E
中的步骤S44和S64 )将在下面描述。图19是显示文档匹配处理过程的流程 图，其是图18A到18E流程图的子程序。
处理部分计算获得的文档图像的特征点(S81)，并且然后，基于计算的 特征点，计算哈希值(特征)(S82)。基于计算的哈希值，处理部分搜索哈希 表2461,并且为具有相同哈希值的文档页面索引执行投票(S83)。基于投票 处理的结果，处理部分计算相似性(S84),并且然后返回到图18A到18E显 示的处理。
当错误发生时，生成的错误的发生位置在操作板4上显示，以使得用户 可以被通知到错误的发生位置。此外，当作出当前的文档图像是包含在新文 档类型中的第 一个文档图像的结论时，文档划分位置被确定为定位在之前处 理的文档图像和当前的文档图像之间。可替换地，当作出这个文档图像是包 含在当前文档类型中的最后一个文档图像的结论时，确定要在当前文档图像 和接下来将要处理的文档图像之间定位的文档划分位置。由于这点，可以为 每个文档类型划分文档图像。然后，可以在被划分的文档图像的每个组上执 行不同的输出处理。此外，可以为每个文档类型确定文档图像的顺序是否是 正确的。
因此，即使当由多页组成的文档被读取时，用户仅对位于所通知的错误 发生位置处的文档执行重读取操作就足够了 。即无需对文档重做整体的读取 处理。此外，用于编档的文件夹(例如，在成像设备100中提供的硬盘；或 可替换地通过网络存储到服务器中)可以为具有正确的文档图像顺序的文档 和在读取文档图像时没有堆叠馈送或类似的情况发生的已被正确读取的文 档、以及为在文档图像的顺序中具有错误的文档分别地设置。然后，这些文 档可以被分别地存储。可以为每个文件夹设置路径。然后，基于用于指示文 档分类确定结果的确定信号，图像数据可以被存储到每个文件夹中。此外， 在被存储到文件夹中的时候，图像数据被压缩成JPEG (联合图像专家组)或 类似的格式。
(实施例2 )
实施例2将在下面进行描述。这里，依据实施例2的成像设备具有与根 据上述实施例1的成像设备IOO相似的结构。因此，关于结构的描述被省略。
实施例1已经在上面描述了当第一个被输入的文档图像与参考图像相似 并且相似的参考图像的头部标志是1、彩色图像处理设备2的文档匹配处理部分24确定这个文档图像具有与参考图像不同的顺序时的结构。此外，当被
输入的文档图像与参考图像相似时，根据实施例1的文档匹配处理部分24将
文档图像的数目向上计数。然后，在相似参考图像的末端标志是l的情形下， 当包含文档图像的文档页面的数目与计数的页数目不对应时，文档匹配处理
部分24确定这个文档图像具有与参考图像不同的顺序。因此，上述实施例1 在确定例如由三个或更多文档图像组成的文档的顺序是否是正确的情形下是 有效的。
在实施例2中，彩色图像处理设备2的文档匹配处理部分24给予每个参 考图像在每个文档类型中的页面数目，并且然后当被输入的文档图像与参考 图像相似时将文档图像的数目向上计数。然后，基于相似的参考图像的页面 数目是否与计算的页数目对应，文档匹配处理部分24确定该文档图像是否具 有与参考图像不同的顺序。具体地，当相似的参考图像的页面数目与计数的 页数目不对应时，确定文档图像具有与参考图像不同的顺序。
图20是显示文档图像表2462结构的说明图。图20显示了在图14中显 示的两种类型文档被存储的情形下的文档图像表2464。根据实施例2的文档 图像表2464由包括文档页面索引、用于指示在文档中的每个图像的页面数目 的页面ID、和文档类型索引的各个字段构建而成。这里，根据实施例2的文 档分类表具有与根据上述实施例1的文档分类表2463相似的结构。此外，在 文档存储模式下，文档图像表2464和文档分类表2463在每次文档被存储时 更新。
根据文档图像表2464,由文档页面索引ID1识别的参考图像是被包含在 由文档类型索引DocIDl识别的文档中，并且是这个文档的第一个页面。由文 档页面索引ID2识別的参考图像是被包含在由文档类型索引DocIDl识别的文 档中，并且是这个文档的第二个页面。由文档页面索引ID3识别的参考图像 是被包含在由文档类型索引DocIDl识别的文档中，并且是这个文档的第三个 页面。
相似地，根据文档图像表2464,由文档页面索引ID4识别的参考图像是 被包含在由文档类型索引DocID2识别的文档中，并且是这个文档的第一个页 面。由文档页面索引ID5识别的参考图像是被包含在由文档类型索引DocID2 识别的文档中，并且是这个文档的第二个页面。
如在实施例1中的描述，当文档匹配处理部分24为每个文档类型分类输
入的文档图像并且然后确定被包含在每个文档类型中的文档图像的顺序是否
与参考图像的顺序对应时，特征计算部分242为每个文档图像计算哈希值。 然后，基于哈希值，投票处理部分243为具有对应的哈希值的参考图像的文 档页面索引进行投票。然后，基于投票处理部分243的投票结果，相似性判 断处理部分244判断文档图像是否与任何参考图像相似。然后，基于相似性 判断处理部分244的判断结果，文档分类处理部分245确定输入的文档图像 是否具有与事先存储的参考图像对应的顺序。
根据实施例2由文档分类处理部分245执行的处理将在下面进行描述。 文档分类处理部分245具有存储部分总体计数器TC，其指示页面ID、与正 在处理的页面(文档图像)对应的参考页面的数目、和读取的文档图像的页 面数目；指示在每个划分的文档类型中文档图像的页面数目的页面计数器PC; 指示错误发生的错误标志；和用于指示其中发生了错误的页面数目的错误发 生位置。在处理前，总体计数器TC、页面计数器PC、错误标志、和错误发生 位置都被初始化为"0"。这里，当错误发生时，文档分类处理部分245将错 误标志设置为1。
当参考图像与文档图像相似时，即当文档页面索引从相似性判断处理部 分244被输入作为判断结果时，文档分类处理部分基于文档页面索引搜 索文档图像表2464，以此来识别文档页面索引的页面ID和文档类型索引。 此夕卜，文档分类处理部分245基于识别的文档类型索引搜索文档分类表2463， 以此来识别对应于文档类型索引的参考页面的数目，并且然后将已经识别的 页面ID和参考页面的数目设置为对应于正在处理的文档图像的页面ID和参 考页面的数目。
这里，当用于指示不存在与文档图像相似的参考图像的判断结果被从相 似性判断处理部分244输入时，文档分类处理部分245将页面ID和参考页面 的数目设置为1。此外，每次从相似性判断处理部分244获得判断结果时， 文档分类处理部分245将总体计数器TC加一。
当第一次判断文档图像与参考图像相似时，文档分类处理部分2"确定 设置的页面ID是否是1。当页面ID不是1时，即当第一次判断与文档图像 相似的参考图像不是包含这个参考图像的文档类型的第 一个文档页时，文档 分类处理部分245作出错误发生的结论，以此来将错误标志设置为1并且将 由总体计数器TC指示的页面数目设置到错误发生位置值中。
当页面ID是1时，即当第一次判断的与文档图像相似的参考图像是包含 这个参考图像的文档类型的第一个文档页时，文档分类处理部分245将页面
计数器PC中的值设置为1。然后，文档分类处理部分245确定参考页面的数 目的值是否与设置的页面ID的值对应。当这些值相互之间不对应时，即当这 个参考图像不是文档类型的最后一个文档页时，判断下一个文档图像是否与 参考图像相似。当下一个文档图像被判断为与参考图像相似时，文档分类处 理部分245将页面ID和参考图像的文档页面索引的参考页面的数目设置到对 应于正在处理的文档图像的页面ID和参考图像的数目中，并且然后往总体计 数器IC和页面计数器PC上加一。
文档分类处理部分245确定在页面计数器PC中的值是否与页面ID的值 对应。当在页面计数器PC中的值与页面ID的值不对应时，即当这个文档图 像被判断为与参考图像相似时已经向上计数的文档图像的数目(页面计数器 PC中的值)与在文档类型中的参考图像的页面数目(页面ID的值)不对应 时，文档分类处理部分245作出错误发生的结论，以此来将错误标志设置为 1,并且将由总体计数器TC指示的页面数目设置到错误发生位置值中。
当在页面计数器PC中的值与页面ID的值对应时，当文档图像被判断为 与参考图像相似时已经向上计数的文档图像的数目与在文档类型中的参考图 像的页面数目对应。因此，文档分类处理部分245作出文档图像的顺序与包 含在事先存储的文档类型中的参考图像的顺序对应的结论。然后，文档分类 处理部分245确定参考页面的数目是否与设置的页面ID的值对应。在对应的 情形下，即当这个参考图像是在文档类型中的最后一个页面时，文档分类处 理部分245作出结论，即这个文档图像是包含在当前文档类型中的最后一个 文档图像，并且因此确定要在当前文档图像和接下来要处理的文档图像之间 定位的文档划分位置。
此外，当文档ID是1时，文档分类处理部分245确定错误标志是否是1。 当错误标志是1时，文档分类处理部分245将错误发生位置的值记录到记录 器(没有示出)中，并且然后作出在这个文档图像之前处理的文档图像是包 含在之前的文档类型中的最后一个文档图像的结论，以此来确定在之前处理 的文档图像和当前的文档图像之间定位的文档划分位置。这里，用于指示确 定的文档划分位置的信息与错误的发生位置一起作为确定信号被输出，并且 然后存储到记录器中。用于记录确定信号的记录器可以在彩色图像处理设备
2的内部或外部提供。当记录器是非易失性存储器时，已检测的错误的位置 可以被保存。
此外，当文档分类处理部分245已经完成了对所有文档图像的上述处理
时，成像设备100可以在操作板4上显示被记录在记录器中的^"误发生位置，
以此来通知用户通过彩色图像输入设备1输入的文档的顺序与事先存储的文 档的顺序不同，以及不同的位置。上述确定信号可以例如与文档图像一起， 通过网络被传输至打印机或多功能外围设备，并且可以通过计算机或者直接 输出至打印机。
这样，在实施例2中，当输入的文档图像与参考图像相似时，基于每个
文档图像的页面位置是否与事先存储的文档中的页面位置对应，可以确定文 档图像的顺序是否与事先存储的文档的顺序对应。因此，可以确定文档图像 的顺序是否是正确的，并且同时，可以识别在由多个页面组成的文档中的页 面省略的页面数目。
接下来，在实施例2中的文档存储处理在下面进行描述。图21是显示文 档存储处理过程的流程图。这里，除了被专用的硬件电路例如文档匹配处理 部分24执行，文档存储处理可以通过一种方法4丸行，在方法中定义文档存储 处理过程的计算机程序被装载到具有CPU、 RAM、 R0M、和类似部件的个人计 算机上，并且然后计算机程序被CPU执行。在下面的描述中，彩色图像处理 设备2被称为"处理部分"。
处理部分确定模式是否是文档存储模式(S101 )。当模式不是文档存储模 式时(S101处的否)，处理部分继续步骤S101的处理，并且等待直到用户通 过操作板4指定文档存储模式。当模式是文档存储模式时(S101处的是)， 处理部分获得参考图像(S102)。此时，参考图像可以通过借助文档读取设备 读取文档而获得。可替换地，文档图像可以通过接收由处理i殳备例如个人计 算机生成的电子数据而获得。
处理部分设置文档类型索引(S103)。处理部分计算参考图像的特征点 (S104),并且然后基于已计算的特征点，计算哈希值(特征)(S105)。处理 部分设置参考图像的文档页面索引(S106)，然后设置参考图像的页面ID (S107),并且然后确定对所有参考图像的处理是否已经完成(S108)。这里， 页面ID可以以单个参考图像被获得的顺序设置为1、 2、 3"。
当对所有参考图像的处理还没有完成时(S108处的否)，处理部分继续
步骤S104及其之后的处理，以此来计算剩余参考图像的哈希值和设置文档页
面索引和页面ID。当对所有参考图像的处理已经完成时(S108处的是)，为 每个参考图像设置文档页面索引、页面ID、和文档类型索引，并且处理部分 将设置的文档页面索引和计算的哈希值存储到哈希表2461中，以此来更新哈 希表2461 (S109)。
处理部分将已经设置的文档页面索引、页面ID和文档类型索引存储到文 档图像表2464中，以此来更新文档图像表2464 (SllO)。然后，处理部分将 已经设置的文档类型索引和参考页面的数目存储到文档分类表2463中，以此 来更新文档分类表2463 (Slll)，并且然后终止处理。
接下来，实施例2中对文档图像的顺序的检测处理被描述。图22A到22E 是显示对于文档图像顺序的^^测处理过程的流程图。这里，除了被专门的硬 件电路例如文档匹配处理部分24执行，对文档图像顺序的检测处理可以通过 装载定义对文档图像顺序的检测处理过程的计算机程序到具有CPU、RAM、ROM、 和类似部件的个人计算机上、并且然后使CPU执行该计算机程序来执行。
处理部分执行初始化设置(S121 )。具体地，处理部分将总体计数器TC、 页面计数器PC、错误标志、和错误发生位置的各个值设置为0。处理部分确 定对所有文档图像的处理是否已经完成(S122 )。当对所有文档图像的处理还 没有完成时(S122处的否)，处理部分获得文档图像(S123)。此时，文档图 像可以通过借助文档读取设备读取文档而获得。可替换地，文档图像可以通 过接收由处理设备例如个人计算机生成的电子数据而获得。
处理部分在获得的文档图像上执行文档匹配处理(S124)。这里，文档匹 配处理的细节与实施例1中的相同，有关的描述^L省略。当对所有文档图像 的处理已经完成时(S122处的是)，处理部分确定错误标志是否是1 (S125)。 当错误标志是1时(S125处的是)，处理部分将错误发生位置的值记录到记 录器中(S126)。处理部分在操作板4上显示被记录在记录器中的错误发生位 置(S127)，并且然后终止处理。当错误标志是0时(S125处的否)，处理部 分跳过步骤S126的处理，然后在操作板4上显示被记录在记录器中的错误发 生位置(S127)，并且然后终止处理。
当相似性比阈值Th大时(S128处的是)，基于与文档图像相似的参考图像的 文档页面索引，处理部分搜索文档图像表2464和文档分类表2463,以此来识别文档页面索引的页面ID和参考页面的数目，并且然后将这些值设置到对
应于正在处理的文档图像的页面ID和参考页面的数目中(S129)。当相似性 比阈值Th小时(S128处的否)，处理部分将对应于正在处理的文档图像的页 面ID和参考页面的数目的各个值设置成1 (S130)。
处理部分将总体计数器TC加一 (SI31 )。处理部分确定页面ID的值是否 是1(S132)。当页面ID的值不是1时(S312处的否)，处理部分确定错误标 志是否是0 (S133)。当错误标志是0时(S133处的是)，处理部分将错误标 志设置为1 (S134)，然后将总体计数器TC的值设置到错误发生位置值中
(5135) ，并且然后返回到步骤S122的处理。当错误标志是l时(S133处的 否)，处理部分跳过步骤S134和S135的处理，以此来返回到步骤S122的处 理，并且然后继续在步骤S122及其之后的处理，以此来处理剩余的文档图像。
当页面ID的值是1时(SI32处的是)，处理部分确定错误标志是否是1
(5136) 。当错误标志是l时(S136处的是)，处理部分将错误发生位置的值 记录到记录器中(S137)，并且然后将错误标志设置为0(S138)。处理部分 作出当前的文档图像是包含在新文档类型中的第 一个文档图像的结论，因此 确定在之前处理的文档图像和当前的文档图像之间定位的文档划分位置
(S139)，并且然后移动到步骤S140的处理。当^"误标志是0时(S136处的 否)，处理部分跳过步骤S137到S139的处理，并且移动到步洛聚S140的处理。 处理部分将页面计数器PC中的值设置为1 (S140)。处理部分确定参考 页面的数目与页面ID的值是否符合(S141)。当参考页面的数目与页面ID的 值符合时(S141处的是)，处理部分移动到步骤S155的处理。当参考页面的 数目与页面ID的值不符合时(S141处的否)，处理部分确定对所有文档图像 的处理是否已经完成(S142)。当对所有文档图像的处理还没有完成时(S142 处的否)，处理部分获得文档图像(S143)，并且然后在获得的文档图像上执 行文档匹配处理(S144)。
当对所有文档图像的处理已经完成时(S142处的是)，处理部分在操作 板4上显示记录在记录器中的错误发生位置(S145 )，并且然后终止处理。处
似性比阈值Th大时(S146处的是)，基于与文档图像相似的参考图像的文档 页面索引，处理部分搜索文档图像表2464和文档分类表2463,以此来识别 文档页面索引的页面ID和参考页面的数目，并且然后将这些值设置到对应于
正在处理的文档图像的页面ID和参考页面的数目中(S147)。当相似性比阈
值Th小时(S146处的否)，处理部分将对应于正在处理的文档图像的页面ID 和参考页面的数目的各个值设置成1 (S148)。
处理部分将总体计数器TC加一 (S149 )，并且然后将页面计数器PC加一 (S150)。处理部分确定在页面计数器PC中的值是否与页面ID的值符合 (S151 )。当在页面计数器PC中的值与页面ID的值不符合时(S151处的否)， 处理部分将错误标志设置为1 (S152)，将总体计数器TC的值设置到错误发 生位置值中(S153)，返回到步骤S122的处理，并且然后继续在步骤S122及 其之后的处理，以此来处理剩余的文档图像。
当页面计数器PC的值与页面ID的值符合时(S151处的是)，处理部分 确定参考页面的数目是否与页面ID的值对应(S154)。当参考页面的数目与 页面ID的值对应时(S154处的是)，处理部分作出这个文档图像是包含在当 前文档类型中的最后 一个文档图像的结论，因此确定要在当前文档图像和接 下来要处理的文档图像之间定位的文档划分位置(S155),并且然后移动到步 骤S156的处理。当参考页面的数目与页面ID的值不对应时(S154处的否)， 处理部分返回到步骤S142的处理，并且然后继续在步骤S142及其之后的处 理，以此来处理剩余的文档图像。
处理部分确定错误标志是否是1 ( S156 )。当错误标志是1时(S156处的 是)，处理部分将错误发生位置的值记录到记录器中(S157)，然后将错误标 志设置为0 (S158)，并且然后返回到步骤S122的处理。当错误标志是0时 (S156处的否)，处理部分跳过步骤S157和S158的处理，然后返回到步骤 S122的处理。
当错误发生时，生成的错误的发生位置被显示在操作板4上，以使得用 户可以被通知到错误的发生位置。此外，当作出当前的文档图像是包含在新 文档类型中的第 一个文档图像的结论时，确定在之前处理的文档图像和当前 的文档图像之间定位的文档划分位置。可替换地，当作出这个文档是包含在 当前文档类型中的最后文档图像的结论时，确定要在当前文档图像和接下来 将要处理的文档图像之间定位的文档划分位置。由于这点，可以为每个文档 类型划分文档图像。然后，可以在每组被划分的文档图像上执行不同的输出 处理。此外，可以确定包含在每个文档类型中的每个页面是否是正确的。
因此，即使当由多页组成的文档被读取时，用户仅对位于所通知的错误
发生位置处的文档执行重读取操作就足够了 。即无需对该文档重做整体的读
取处理。此外，用于编档的文件夹(例如，在成像设备100中提供的硬盘；
或可替换地通过网络存储到服务器中)可以为具有正确的文档图像顺序的文 档和在读取文档图像时没有堆叠馈送或类似的情况发生的已被正确读取的文 档、以及为在文档图像的顺序中具有错误的文档分别地设置。然后，这些文 档可以被分别地存储。可以为每个文件夹设置路径。然后，基于用于指示文 档分类确定结果的确定信号，图像数据可以被存储到每个文件夹中。此外，
在被存储到文件夹中的时候，图像数据被压缩成JPEG (联合图像专家组)或 类似的格式。
(实施例3 )
实施例3将在下面进行描述。这里，依据实施例3的成像设备具有与根 据上述实施例1的成像设备100相似的结构。因此，关于结构的描述被省略。
实施例1和实施例2已经在上面描述了彩色图像处理设备2的文档匹配 处理部分24检测文档图像中的页面省略的存在或不存在、文档图像中的顺序 替代的存在或不存在、文档图像的堆叠馈送的存在或不存在、以及类似情况 的结构。因此，在上述实施例1和2中，在确定由多个页面组成的文档的顺 序是否是正确的具有满意的准确度。在实施例3中，除了在文档图像中的页 面省略的存在或不存在、在文档图像中的顺序替代的存在或不存在、以及文 档图像的堆叠馈送的存在或不存在外，彩色图像处理设备2的文档匹配处理 部分24也检测在双面文档中文档正面和背面的替代的存在或不存在。因此， 根据实施例3的文档匹配处理部分24作为确定信号输出用于指示在双面文档 中的文档的正面和背面被替代的位置的信息，以及用于指示文档划分位置和 错误发生位置的信息。
在实施例3中，如图13A所示，当具有三页(Pl， P2, P3)的文档的两 面(P1正面，Pl背面，P2正面，P2背面，P3正面，P3背面)将要被存储时， 文档匹配处理部分24 (具体地，特征计算部分242 )分别为具有三页的文档 的双面图像(P1正面，Pl背面，P2正面，P2背面，P3正面，P3背面)以页 面顺序设置文档页面索引ID1、 ID2、 ID3、 ID4、 ID5、和ID6，并且然后为每 个文档页面索引ID1、 ID2、 ID3、 ID4、 ID5、和ID6的图l象计算哈希值(例 如，Hl、 H2、...)。特征计算部分242设置用于指示每个图像位于其中的文 档的页数目的页面ID;和用于指示每个图像是文档的正面图像还是背面图像
的面信息。这里，当每个图像是文档的正面图像时，特征计算部分242将相
应的面信息设置为1。当每个图像是文档的背面图像时，特征计算部分242 将相应的面信息设置为2。
特征计算部分242为了识别具有三页(文档的类型)的文档的整体，设 置文档类型索引DocIDl，并且同时，将已经为单个图像设置的页面ID的最 大值设置到参考页面的数目中(这种情形下为"3")。特征计算部分242存储 文档页面索引、页面ID、面信息和文档类型索引到稍后描述的文档图像表中。 此外，特征计算部分242存储文档类型索引和参考页面的数目到稍后描述的 文档分类表中。
图23是显示在实施例3中被存储的文档的例子的说明图。如图23所示 下面的描述是两种类型文档将要被存储的情形。为一个由六个页面的参考图 像(三个双面文档页)组成的文档设置文档类型索引DocIDl。然后为文档的 单个页面设置文档页面索引ID1、 ID2、 ID3、 ID4、 ID5、和ID6。相似地，为 由四个页面的参考图像(两个双面文档页)组成的文档设置文档类型索引 DocID2。然后，为文档的单个页面设置文档页面索引ID7、 ID8、 ID9和ID10。
图24是显示文档图像表2465的结构的说明图。根据实施例3的文档图 像表2465由包含文档页面索引、页面ID、表面信息、和文档类型索引的各 个字段构建。这里，根据实施例3的文档分类表具有与跟据上述实施例1的 文档分类表2463相似的结构。此外，在文档存储模式下，文档图像表2465 和文档分类表246,3在每次文档被存储时被更新。
根据文档图像表2465，由文档页面索引ID1识别的参考图像是由文档类 型索引DocIDl识别的文档中的第一个页的正面图像。此外，由文档页面索引 ID2识别的参考图像是由文档类型索引DocIDl识别的文档的第一个页的背面 图像。由文档页面索引ID3识別的参考图像是由文档类型索引DocIDl识别的 文档的第二个页的正面图像。由文档页面索引ID4识别的参考图像是由文档 类型索引DocIDl识别的文档的第二个页的背面图像。由文档页面索引ID5识 别的参考图像是由文档类型索引DocIDl识别的文档的第三页的正面图像。由 文档页面索引ID6识别的参考图像是由文档类型索引DocIDl识别的文档的第 三页的背面图像。此外，根据文档分类表2463，由文档类型索引DocIDl识 别的文档的参考页面的数目是"3"。
相似地，根据文档图像表2465，由文档页面索引ID7识别的参考图像是
由文档类型索引DocID2识别的文档的第一个页的正面图像。此外，由文档页 面索引ID8识别的参考图像是由文档类型索引DocID2识别的文档的第一个页 的背面图像。由文档页面索引ID9识别的参考图像是由文档类型索引DocID2 识别的文档的第二个页的正面图像。由文档页面索引ID10识别的参考图像是 由文档类型索引DocID2识别的文档的第二个页的背面图像。此外，根据文档 分类表2463，由文档类型索引DocID2识别的文档的参考页面的数目是"2"。
如实施例1中的描述，当文档匹配处理部分24为每个文档类型分类输入 的文档图像，并且然后确定被包含在每个文档类型中的文档图像的顺序是否 与参考图像的顺序对应，特征计算部分242为每个文档图像计算哈希值。然 后，基于哈希值，投票处理部分243为具有对应的哈希值的参考图像的文档 页面索引执行投票。然后，基于投票处理部分243的投票结果，相似性判断 处理部分244判断文档图像是否与任何参考图像相似。然后，基于相似性判 断处理部分244的判断结果，文档分类处理部分245确定输入的文档图像是 否与事先存储的参考图像具有对应的顺序。
这里，在实施例3中，除了文档的顺序，文档的正面和背面的替代的存 在或不存在也在双面文档中被检测。即从一个文档页的两面读取的文档图像 被分别输入，并且然后确定输入的文档图像的正面和背面是否是正确的。具 体地，相似性判断处理部分244判断从一个文档页的两面读取的两个文档图 像是否分别与参考图像的任一个相似。当这两个分别相似时，文档分类处理 部分245确定被判断为与两个文档图像相似的两个参考图像是否分别是一个 文档页的正面图像和背面图像。当两个参考图像是一个文档页的正面图像和 背面图像时，基于输入的文档图像的正面和背面是否与参考图像的正面和背 面对应，文档分类处理部分245确定两个输入的文档图像的正面和背面是否 是正确的。这里，在输入的文档图像中，第一个输入的图^f象被定义为正面图 像，而接下来输入的图像被定义为背面图像。
根据实施例3的由文档分类处理部分245执行的处理将在下面进行描述。 文档分类处理部分245具有存储部分，用于总体计数器TC，其指示页面ID、 表面信息、与正在处理的页面(文档图像)对应的参考页面的数目、和读取 的文档图像的页面数目；指示在每个划分的文档类型中的文档图像的页面数 目的页面计数器PC;指示错误发生的错误标志；用于指示发生错误的页面数 目的错误发生位置；和指示其中正面和背面被替代的页面数目的正面/背面改变位置。在处理前，总体计数器TC、页面计数器PC、错误标志、错误发生位 置、和正面/背面改变位置都被初始化为"0"。这里，当错误发生时，文档分
类处理部分245将错误标志设置为1。
当两个参考图像分别与从一个文档页的两面读取的两个文档图像相似
时，即当两个文档图像索引从相似性判断处理部分244被作为判断结果输入 时，文档分类处理部分245基于这两个文档页面索引搜索文档图像表2465， 以此来确定是否这两个文档页面索引的页面ID彼此相同、以及表面信息分别 为1和2。当两个文档页面索引的页面ID彼此相同并且表面信息分别是1和 2时，即当两个参考图像是分别从一个文档页的正面和背面读取的图像时， 文档分类处理部分245确定输入的文档图像的正面和背面是否与参考图像的 正面和背面对应。
当输入的文档图像的正面和背面与参考图像的正面和背面对应时，具体 地，当与从文档正面读取的文档图像相似的参考图像的表面信息是1并且与 从文档背面读取的文档图像相似的参考图像的表面信息是2时，文档分类处 理部分245确定两个输入的文档图像的正面和背面是正确的。这里，当两个 文档图像的正面和背面不正确时，具体地，当与从文档正面读取的文档图像 相似的参考图像的表面信息是2并且与从文档背面读取的文档图像相似的参 考图像的表面信息是l时，文档分类处理部分245作出错误发生的结论，以 此来将错误标志设置为1，并且将由总体计数器TC指示的页面数目设置作为 正面/背面改变位置。
当两个文档图像的正面和背面是正确时，基于文档图像表2465，文档分 类处理部分245识别从相似性判断处理部分244作为判断结果输入的两个文 档页面索引的页面ID和文档类型索引。此外，文档分类处理部分245识别与 来自文档分类表2463的已被识别的文档类型索引对应的参考页面的数目，并 且然后将已经被识别的页面ID和参考页面的数目设置到对应于正在处理的 文档图像的页面ID和参考页面的数目中。
这里，当从相似性判断处理部分244输入指示没有参考图像与两个文档 图像的一个或所有相似的判断结果时，或者可替换地，当与两个文档图像相 似的两个参考图像不是一个文档页的正面图像和背面图像时，文档分类处理 部分245将页面ID和参考页面的数目设置为1。此外，每次^4目似性判断处 理部分244获得判断结果时，文档分类处理部分245将总体计数器TC加一。
当第 一次确定两个文档图像分别与参考图像相似并且两个参考图像是一
个文档页的正面图像和背面图像时，文档分类处理部分245确定设置的页面 ID是否是1。当页面ID不是1时，即当第一次判断与文档图像相似的参考图 像不是包含这个参考图像的文档类型的第 一个文档页时，文档分类处理部分 245作出错误发生的结论，以此来将错误标志设置为1并且将由总体计数器 TC指示的页面数目设置到错误发生位置值中。
当页面ID是1时，即当第一次判断的与文档图像相似的参考图像是包含 这个参考图像的文档类型的第一个文档页时，文档分类处理部分245将在页 面计数器PC中的值设置为1。然后，文档分类处理部分245确定参考页面的 数目的值是否与设置的页面ID的值对应。当两个值相互之间不对应时，即当 这个参考图像不是文档类型的最后 一个文档页时，判断接下来的文档图像是 否与参考图像相似。当确定两个接下来的文档图像分别与参考图像相似并且 两个参考图像是一个文档页的正面图像和背面图像时，文档分类处理部分245 将参考图像的文档页面索引的页面ID和参考页面的数目设置到对应于正在 处理的文档图像的页面ID和参考图像的数目中，并且然后加一到总体计数器 TC和页面计数器PC中。
文档分类处理部分245确定在页面计数器PC中的值是否与页面ID的值 对应。当在页面计数器PC中的值与页面ID的值不对应时，即在这个文档图 像被判断为与参考图像相似时的已经向上计数的文档图像的数目(在页面计 数器PC中的值)与在文档类型中的参考图像的页面数目(页面ID的值)不 对应时，文档分类处理部分245作出错误发生的结论，以此将错误标志设置 为1并且将由总体计数器TC指示的页面数目设置到错误发生位置值中。
当在页面计数器PC中的值与页面ID的值对应时，在文档图像被判新为 与参考图像相似时的已经向上计数的文档图像的数目与在文档类型中的参考 图像的页面数目对应。因此，文档分类处理部分245作出文档图像的顺序与
包含在事先存储的文档类型中的参考图像的顺序对应的结论。然后，文档分 类处理部分24 5确定参考页面的数目是否与设置的页面ID的值对应。在对应
的情形下，即当这个参考图像是在文档类型中的最后一个页面时，文档分类 处理部分245作出这个文档图像是包含在当前文档类型中的最后一个文档图 像的结论，并且因此确定要在当前文档图像和接下来要处理的文档图像之间 定位的文档划分位置。
此外，当页面ID是1时，文档分类处理部分245确定错误标志是否是1。 当错误标志是1时，文档分类处理部分245将错误发生位置的值记录到记录 器(没有示出)中，并且然后作出在这个文档图像之前处理的文档图像是包 含在在前文档类型中的最后一个文档图像的结论，以此来确定将要在之前处 理的文档图像和当前的文档图像之间定位的文档划分位置。这里，用于指示 确定的文档划分位置和正面/背面改变位置的信息与错误的发生位置一起作 为确定信号被输出，并且然后存储到记录器中。用于记录确定信号的记录器 可以在彩色图像处理设备2的内部或外部被提供。当记录器是非易失性存储 器时，已检测的错误的位置可以被保存。
此外，当文档分类处理部分245已经完成了对所有文档图像的上述处理 时，成像设备100可以在操作板4上显示被记录在记录器中的错误发生位置 和正面/背面改变位置，以此来通知用户通过彩色图像输入设备1输入的文档 的顺序与事先存储的文档的顺序不同，以及不同的位置和正面/背面改变位 置。上述确定信号可以例如与文档图像一起，通过网络被传输至打印机或多 功能外围设备，并且可以通过计算机或者直接输出至打印机。
这样，在实施例3中，当两个输入的文档图像分别与参考图像相似时， 基于从一个文档页的正面和背面读取的两个正面和背面文档图像是否与事先 存储的文档的正面和背面对应，可以确定文档图像的顺序是否与事先存储的 文档的顺序对应。因此，可以确定文档图像的顺序是否是正确的，同时，在 由多个页面组成的文档中可以识别在其上正面图像和背面图像颠倒的页面数 目。
接下来，在实施例3中的文档存储处理将在下面进行描述。图25是显示 文档存储处理过程的流程图。这里，除了被专门的硬件电路例如文档匹配处 理部分24执行，文档存储处理可以通过一种方法执行，在方法中定义文档存 储处理过程的计算机程序被装载到具有CPU、 RAM、 R0M、和类似部件的个人 计算机上，并且然后计算机程序被CPU执行。在下面的描迷中，彩色图像处 理设备2被称为"处理部分"。
处理部分确定模式是否是文档存储模式(S171 )。当模式不是文档存储模 式时(S171处的否)，处理部分继续步骤S171的处理，并且等待直到用户通 过操作板4指定文档存储模式。当模式是文档存储模式时(S171处的是)， 处理部分获得参考图像(S172)。此时，参考图像可以通过从文档读取设备读
取文档的两面而获得。可替换地，文档图像可以通过接收由处理设备例如个 人计算机生成的电子数据而获得。
处理部分设置文档类型索引(S173)。处理部分计算参考图像的特征点
(SI"),并且然后，基于已计算的特征点，计算哈希值(特征)(S175)。处 理部分设置参考图像的文档页面索引(S176),然后设置参考图像的页面 ID(S177)，然后设置参考图像的表面信息(S178)，并且然后确定对所有参考 图像的处理是否已经完成(S179)。这里，页面ID可以以获得单个参考图像 的顺序被设置为1、 2、 3"。当参考图像被文档读取设备读取时，基于在文 档读取设备中的文档的方向，表面信息被设置为1 (正面)或者2 (背面)。
当对所有参考图像的处理还没有完成时(S179处的否)，处理部分继续 在步骤S174及其之后的处理，以此来计算剩余的参考图像的哈希值和设置文 档页面索引、页面ID和表面信息。当对所有参考图像的处理已经被完成时
(S179处的是)，为每个参考图像设置文档页面索引、页面ID、表面信息和 文档类型索引，并且处理部分将设置的文档页面索引和计算的"^合希值存储到 哈希表2461中，以此来更新哈希表2461 (S180)。
处理部分将已经设置的文档页面索引、页面ID、表面信息和文档类型索 引存储到文档图像表2465中，以此来更新文档图像表2465 (S181)。然后， 处理部分将已经设置的文档类型索引和参考页面的数目存储到文档分类表 2463中，以此来更新文档分类表2463 (S182)，并且然后终止处理。
接下来，在实施例3中对文档图像的顺序的检测处理被描述。图26A到 26F是显示对于文档图像顺序的检测处理过程的流程图。这里，除了被专门 的硬件电路例如文档匹配处理部分24执行，对文档图像顺序的检测处理可以 通过装载定义对文档图像的顺序的检测处理过程的计算机程序到具有CPU、 RAM、 ROM、和类似部件的个人计算机上、并且然后使CPU执行该计算机程序 来执行。
处理部分执行初始化设置(S191 )。具体地，处理部分将总体计数器TC、 页面计数器PC、错误标志、错误发生位置、和正面/背面改变位置的各个值 设置为0。处理部分确定对所有文档图像的处理是否已经完成(S192)。当对 所有文档图像的处理还没有完成时(S192处的否)，处理部分获得从一个文 档页的正面和背面读取的两个文档图像(S193)。此时，文档图像可以通过借 助文档读取设备读取文档而获得。可替换地，文档图像可以通过接收由处理设备例如个人计算机生成的电子数据而获得。
处理部分在获得的文档图像上执行文档匹配处理(S194)。这里，文档匹 配处理与实施例1中描述的是相同的，并且因此描述被省略。当对所有文档
图像的处理已经完成时(S192处的是)，处理部分确定错误标志是否是1 (S195)。当错误标志是l时(S195处的是)，处理部分将错误发生位置和正 面/背面改变位置的值记录到记录器中(S196)。处理部分在操作板4上显示 被记录在记录器中的错误发生位置和正面/背面改变位置(S197),并且然后 终止处理。当错误标志是Q时(S195处的否)，处理部分跳过步骤S196的处 理，然后在操作板4上显示被记录在记录器中的错误发生位置和正面/背面改 变位置(S197)，并且然后终止处理。
基于在文档匹配处理过程中获得的相似性是否比阈值Th大的确定，处理 部分判断两个获得的文档图像是否均与参考图像相似(Sl98)。当两个文档图 像与参考图像相似时(S198处的是)，基于与两个文档图像分别相似的参考 图像的文档页面索引，处理部分搜索文档图像表2465，以此来确定两个参考 图像是否是一个文档页的正面图像和背面图像(Sl99 )。当两个参考图像是一 个文档页的正面图像和背面图像时(S199处的是)，具体地，当两个参考图 像的文档页面索引的页面ID彼此之间相同并且表面信息分别是1和2时，处 理部分确定两个文档图像的正面和背面是否与参考图像的正面和背面对应 (S200 )。
当两个文档图像的一个或所有与参考图像不相似时(S198处的否)，或 者可替换地，当与两个文档图像分别相似的两个参考图像不是一个文档页的 正面图像和背面图像时(S199处的否)，处理部分将1设置到对应于正在处 理的文档图像的页面ID和参考页面的数目的各个值中(S204 )。当两个文档 图像的正面和背面与参考图像的正面和背面不对应时(S200处的否)，处理 部分将错误标志设置为1 (S201),然后将总体计数器TC的值设置作为正面/ 背面改变位置(S202 ),并且然后返回到步骤S203的处理。当两个文档图像 的正面和背面与参考图像的正面和背面对应时(S200处的是)，处理部分跳 过步骤S201和S202的处理，并且然后移动到步骤S203的处理。
基于与两个文档图像分别相似的参考图像的文档页面索引，处理部分搜
索文档图像表2465和文档分类表2463，以此来识别文档页面索引的页面ID 和参考页面的数目，并且然后将这些值设置到对应于正在处理的文档图像的
页面ID和参考图像的数目中(S203 )。
处理部分将总体计数器TC加一 (S205 )。处理部分确定页面ID是否是1 (S206 )。当页面ID的值不是1时(S206处的否)，处理部分确定错误标志 是否是0 ( S207 )。当错误标志是0时(S207处的是)，处理部分将错误标志 设置为l( S208 )，然后将总体计数器TC的值设置到错误发生位置值中(S209 )， 并且然后返回到步骤S192的处理。当错误标志是1时(S207处的否)，处理 部分跳过步骤S208和S209的处理，以此来返回到步骤S192的处理，并且然 后继续在步骤S192及其之后的处理，以此来处理剩余的文档图像。
当页面ID的值是1时(S206处的是)，处理部分确定错误标志是否是1 (S210)。当错误标志是l时(S210处的是)，处理部分将错误发生位置和正 面/背面改变位置的值记录到记录器中(S211)，并且然后将错误标志设置为 0 (S212)。处理部分作出当前的文档图像是包含在新文档类型中的第一个文 档图像的结论，因此确定在之前处理的文档图像和当前的文档图像之间定位 的文档划分位置(S123),并且然后移动到步骤S214的处理。当错误标志是 0时(S210处的否)，处理部分跳过步骤S211到S213的处理，并且移动到步 骤S214的处理。
处理部分将在页面计数器PC中的值设置为1 (S214)。处理部分确定参 考页面的数目的值与页面ID的值是否对应(S215)。当参考页面的数目的值 与页面ID的值对应时(S215处的是)，处理部分移动到步骤S236的处理。 当参考页面的数目的值与页面ID的值不对应时(S215处的否)，处理部分确 定对所有文档图像的处理是否已经完成(S216 )。当对所有文档图像的处理还 没有完成时(S216处的否)，处理部分获得从一个文档页的正面和背面读取 的两个文档图像(S217 )，并且然后在两个获得的文档图像上执行文档匹配处 理(S218 )。
当对所有文档图像的处理已经完成时(S216处的是)，处理部分在操作 板4上显示记录在记录器中的错误发生位置和正面/背面改变位置(S219), 并且然后终止处理。此时，读取的图像数据可以被存储在硬盘或类似的设备 上，并且然后可以在操作板4上显示数据是否应被交换的选择，以使得用户 可以选择处理。当交换数据的处理被选择时，基于与正面/背面改变位置有关 的信息执行对图像数据的交换处理。
基于在文档匹配处理中获得的相似性是否比阈值Th大的确定，处理部分
判断两个获得的文档图像是否均与参考图像相似(S220 )。当两个文档图像与 参考图像相似时(S220处的是)，基于分别与两个文档图像相似的参考图像 的文档页面索引，处理部分搜索文档图像表2465，以此来确定两个参考图像 是否是一个文档页的正面图像和背面图像(S221)。
当两个参考图像是一个文档页的正面图像和背面图像时(S221处的是)， 具体地，当两个参考图像的文档页面索引的页面ID彼此之间相同并且表面信 息分别是1和2时，处理部分确定两个文档图像的正面和背面是否与参考图 ^象的正面和背面对应(S222 )。
当两个文档图像的一个或所有与参考图像不相似时(S220处的否)，或 者可替换地当分别与两个文档图像相似的两个参考图像不是一个文档页的正 面图像和背面图像时(S221处的否)，处理部分将1设置到对应于正在处理 的文档图像的页面ID和参考页面的数目的各个值中(S226 )，并且然后移动 到步骤S227的处理。当两个文档图像的正面和背面与参考图像的正面和背面 不对应时(S222处的否)，处理部分将错误标志设置为1 (S223 ),然后将总 体计数器TC的值设置作为正面/背面改变位置(S224 ),并且然后移动到步骤 S225的处理。当两个文档图像的正面和背面与参考图像的正面和背面对应时 (S222处的是)，处理部分跳过步骤S223和S224的处理，并且然后移动到 步骤S225的处理。
基于分与两个文档图像相似的参考图像的文档页面索引，处理部分搜 索文档图像表2465和文档分类表2463，以此来识别文档页面索引的页面ID 和参考页面的数目，并且然后将这些值设置到对应于正在处理的文档图像的 页面ID和参考页面的数目中(S225 )。
处理部分将总体计数器TC加一 (S227 )，并且然后加一到页面计数器PC 中(S228 )。处理部分确定错误标志是否是1(S229 )。当错误标志是1时(S229 处的是)，处理部分将错误发生位置和正面/背面改变位置的值记录到记录器 中(S230 )，然后将错误标志设置为0 (S231 ),并且然后移动到步骤S232的 处理。当错误标志是0时(S229处的否)，处理部分跳过步骤S230到S231 的处理，并且移动到步骤S232的处理。
处理部分确定在页面计数器PC中的值是否与页面ID的值对应(S232 )。 当在页面计数器PC中的值与页面ID的值不对应时(S232处的否)，处理部 分将错误标志设置为1 (S233 )，然后将总体计数器TC的值设置到错误发生
位置值中(S234 )，然后返回到步骤S192的处理，并且然后继续在步骤S192 及其之后的处理，以此来处理剩余的文档图像。
当在页面计数器PC中的值与页面ID的值对应时(S232处的是)，处理 部分确定参考页面的数目的值是否与页面ID的值对应(S235 )。当参考页面 的数目的值与页面ID的值对应时(S235处的是)，处理部分作出这个文档图 像是包含在当前文档类型中的最后一个文档图像的结论，因此确定要在当前 文档图像和接下来将要处理的文档图像之间定位的文档划分位置(S236 ),然 后返回到步骤S192的处理，并且然后继续在步骤S192及其之后的处理，以 此来处理剩余的文档图像。当参考页面的数目的值与页面ID的值不对应时 (S235处的否)，处理部分返回到步骤S216的处理，并且然后继续在步骤S216 及其之后的处理，以此来处理剩余的文档图像。
当发生错误或正面/背面改变时，发生位置被显示在操作板4上。因此， 用户可以被通知到错误或正面/背面改变的发生位置。此外，可以为每个文档 类型划分文档图像，同时可以确定被包含在每个文档类型中的每个页面是否 是正确的以及页面的正面和背面是否是正确的。
(实施例4 )
根据本发明的图像读取设备将在下面以实施例4的方式进行描述。图27 是显示根据本发明的图像读取设备500的结构的框图。如图所示，文档读取 设备500包含彩色图像输入设备l、 A/D转换部分20、阴影校正部分21、 和文档匹配处理部分24。彩色图像输入设备l、 A/D转换部分20、阴影校正 部分21、和文档匹配处理部分24与上述成像设备100中的那些是相似的， 因此描述被省略。
如上所述，在本发明中，当由多个页面(例如，固定形式页)组成的文 档被扫描，从而生成#:扫描的编档文档，关于由多个页面组成的文档的页面 顺序信息与关于多个页面的固定形式的匹配信息一起被事先存储。然后，在 参考图像和文档图像之间判断相似性，以使得将要被分类的文档分隔被检测。 由于这点，文档图像被分类成参考文档的形式，以使得可以生成被扫描的编 档文档。同时，可以确定文档图像的顺序是否与事先存储的文档的顺序对应。 即无需用户的特殊操作，文档图像可以根据事先存储的文档的顺序被容易地 分类。同时，可以确定文档图像的顺序是否是正确的。
此外，即使当事先存储的每个子文档的页的数目相互之间不同时，文档图像可以根据合适数目的文档页被分类。同时，可以确定单个文档图像的顺 序是否是正确的。此外，当大量文档图像要被分类时，文档可以容易地被分 割，并且将要分类的文档分隔被检测和划分。同时，可以确定单个划分的文 档图像的顺序是否是正确的。此外，无需存储参考图像本身，仅通过存储与 参考图像对应的特征，可以容易地判断文档图像是否与参考图像相似。
此外，在扫描处理的时候(或者也在电子数据的情形下)，当在双面文档 中的页面省略、页面顺序替代、正面/背面改变、或类似的发生在文档的一部 分中时，发生位置被存储并且然后已扫描的编档文档再次被生成，其开始于 随后的页面顺序变为正确的位置处。因此，即使当用户扫描大量的文档页时， 例如页面省略等问题发生的位置可以被容易地识别出，并且同时，被扫描的 编档文档可以被生成，即使在页面省略已经发生的位置之后。因此，用户再 次仅仅扫描页面省略发生的部分就足够了 。
在上述实施例中，彩色图像输入设备1可以由以下实现，例如，平板扫 描仪、胶片扫描仪、数字照相机、或者便携式电话。此外，彩色图像输出设
备3可以由以下实现，例如图像显示设备例如CRT显示器和液晶显示器； 或者打印机，其使用电子摄影术方法或者喷墨方法，输出处理结果到记录纸 张或类似的部件中。此外，作为成像设备100,可以提供调制解调器作为用 于通过网络与服务器设备或类似设备连接的通信装置。此外，代替从彩色图 像输入设备1获得彩色图像数据，彩色图像数据可以通过网络从外部存储设 备、服务器设备、或类似的设备中获得。
在上述实施例中，存储器246和控制部分247已经被提供在文档匹配处 理部分24的内部。然而，本发明不限于此。即存储器246和控制部分247可 以在文档匹配处理部分24的外部被提供。
在本发明中，用于控制文档存储处理、文档分类处理、和检测文档图像 顺序处理的计算机程序代码可以被记录在计算机可读存储器产品中，存储器 产品用于存储被计算机执行的计算机程序(可执行程序、中间代码程序、和 源程序)的程序代码。作为结果，存储程序代码的用于控制文档存储处理、 文档分类处理、和检测文档图像顺序处理的存储器产品以自由的便携式的方 式被提供。为了处理可以被微型计算机执行，存储器产品可以是程序媒介， 例如像ROM的存储器(没有示出)。可替换地，另一类型的程序介质可以被使 用在其中程序读取装置作为外部存储设备(没有示出)被提供，并且存储器
产品被插入到那里以使得存储器产品被读取。
在每个情形下，存储的计算机程序代码可以直接通过微处理器被访问和 执行。可替换地，计算机程序代码可以被读取，然后读取的计算机程序代码 可以被下载到微型计算机的程序存储区域(没有示出)中，并且然后计算机 程序代码可以被执行。在这种情形下，用于下载的计算机程序被事先存储在 主装置中。
这里，上述程序媒介是从主体中独立出来的存储器产品，并且可以是 磁带系统，例如磁带和盒式带；盘系统，例如磁盘(包含软盘和硬盘)和光 盘，例如CD-R0M/M0/隨/DVD;卡片系统例如，IC卡(包括存储卡)和光卡； 和以固定方式装载计算机程序的媒介，包括半导体存储器，例如掩模R0M、 EPR0M (可〗察可编程只读存储器)、EEPR0M (电可擦可编程只读存储器)、和闪 應。
此外，在这种情形下，既然使用的系统结构允许到包括Internet通信网 络的连接，存储器产品可以动态地装载计算机程序代码，例如，通过从通信 网络下载计算机程序代码的方式。这里，当计算机程序代码将从通信网络被 下载时，用于下载的计算机程序可以事先被存储在主装置中，或者可替换地， 可以从另一存储器产品安装。这里，本发明可以以一种计算机数据信号的形 式被实现，在该信号中上述程序代码被嵌入在由电子传输实现的载波中。
权利要求
1、一种用于判断已获得的文档图像是否与预先准备的参考图像相似、并且然后基于该判断结果在该文档图像上执行图像处理的图像处理方法，包括存储多个类型识别符的步骤，每个类型识别符包含一个或多个图像识别符，并且由此识别文档的类型，每个图像识别符用于识别多个参考图像的每一个；判断步骤判断该已获得的文档图像是否与参考图像相似；选择步骤当在所述判断步骤中该文档图像被判断为与参考图像相似时，从该存储的图像识别符中选择识别该参考图像的图像识别符；和确定步骤对包含在所述选择步骤中选择的该图像识别符的每个类型识别符，确定包含在该类型识别符中的图像识别符是否与用来识别被判断为与该文档图像相似的参考图像的图像识别符对应。
2、 根据权利要求1所述的图像处理方法，其中该图像识别符包含用于指示该参考图像是否是包含在文档类型中的第一 个参考图像的识别符，该文档类型是由包含该图像识别符自身的类型识别符 所识别的，并且其中所述的图像处理方法进一步包括执行以下的步骤每次文档图像被判断为与参考图像相似时，对判断为 相似的文档图像将文档图像的数目向上计数；和执行以下的步骤当第一页被向上计数时，基于在所述选择步骤选择的 图像识别符确定该参考图像是否是第一个参考图像；其中当该参考图像被确定为不是第 一个参考图像时，所述确定步骤确定由包 含所述选择步骤中选择的图像识别符的类型识别符识別的文档的顺序与已经 被存储的文档的顺序不对应。
3、 根据权利要求1所述的图像处理方法，其中该图像识别符包含用于指示该参考图像是否是包含在文档类型中的最后 一个参考图像的识别符，该文档类型是由包含该图像识别符自身的类型识别 符所识别的，并且其中所述的图像处理方法进一步包括执行以下的步骤每次文档图像被判断为与参考图像相似时，对判断为 相似的文档图像将文档图像的数目向上计数；执行以下的步骤当所述判断步骤判断该文档图像与该参考图像相似时, 基于在所述选择步骤中选择的图像识别符确定该参考图像是否是最后 一个参 考图像；和执行以下的步骤当该参考图像被确定为是最后一个参考图像时，确定 已计数的文档图像的数目是否与被包含在类型识别符中的图像识别符的数目 对应，该类型识别符包含在所述选择步骤中选择的图像识别符；其中当已计数的文档图像的数目被确定为与被包含在该类型识别符中的图像 识别符的数目不对应时，所述确定步骤确定由包含所述选择步骤中选择的图应。
4、 根据权利要求1所述的图像处理方法，其中该图像识别符包含用于指示在文档类型中的页面数目的识别符，该文档 类型是由包含该图像识别符自身的类型识别符所识别的，并且其中 所述的图像处理方法进一步包括执行以下的步骤每次文档图像被判断为与参考图像相似时，对判断为 相似的文档图像将文档图像的数目向上计数；执行以下的步骤当所述判断步骤判断该文档图像与该参考图像相似时, 基于在所述选择步骤中选择的图像识别符检测该参考图像的页面数目；和确定已检测的页面数目是否与已计数的文档图像的数目对应的步骤；其中当已检测的页面数目被确定为与已计数的文档图像的数目不对应时，所 述确定步骤确定由包含在所述选择步骤中选择的图像识别符的类型识别符识
5、 根据权利要求1所述的图像处理方法，其中该图像识别符包含用于指示图像是一个文档页的正面图像或背面图像的 识别符，所述判断步骤判断从该 一 个文档页的正面和背面获得的两个文档图像是 否分别与参考图像相似，和当所述判断步骤判断该两个文档图像分别与参考图像相似时，所述选择 步骤从存储的图像识别符中选择每一个识别该参考图像的图像识别符，并且 其中所述的图像处理方法进一步包括执行以下的步骤基于在所述选择步骤选择的图像识别符，确定该两个 参考图像是否是该一个文档页的正面图像和背面图像；和执行以下的步骤当该两个参考图像被确定为该一个文档页的正面图像 和背面图 <象时，确定与从该 一个文档页的正面获得的文档图像相似的参考图 像是否是该正面图像，以及与从该 一个文档页的背面获得的文档图像相似的 参考图像是否是该背面图像；其中当确定与从该 一 个文档页的正面获得的文档图像相似的参考图像是该背 面图像以及与从该一个文档页的背面获得的文档图像相似的参考图像是该正 面图像时，所述确定步骤确定由包含在所述选择步骤中选择的图像识别符的 类型识别符识别的文档的顺序与已经被存储的文档的顺序不对应。
6、 根据权利要求5所述的图像处理方法，进一步包括执行以下的步骤当确定与从该一个文档页的正面获得的文档图像相似 的参考图像是该背面图像以及与从该一个文档页的背面获得的文档图像相似 的参考图像是该正面图像时，交换该两个文档图像的正面和背面。
7、 根据权利要求1所述的图像处理方法，进一步包括 执行以下的步骤存储与该参考图像的图像识别符相关联的特征；和 提取步骤提取该已获得的文档图像的特征；其中 基于在所述提取步骤中提取的特征和存储的该参考图像的特征，所述判断步骤判断该文档图像是否与该参考图像相似。
8、 根据权利要求1所述的图像处理方法，进一步包括 执行以下的步骤当所述确定步骤确定由包含在所述选择步骤中选择的图像识别符的类型识别符识别的文档的顺序与已经被存储的文档的顺序不对 应时，通知这种情况。
9、 一种用于判断已获得的文档图像是否与预先准备的参考图像相似、并 且然后基于该判断结果在该文档图像上执行图像处理的图像处理设备，包括存储部分，用于存储多个类型识别符，每个类型识别符包含一个或多个 图像识别符，并且由此识别文档的类型，每个图像识别符用于识别多个参考 图像的每一个；判断部分，用于判断该已获得的文档图像是否与参考图像相似；选择部分，用于当所述判断部分判断该文档图像与参考图像相似时， 从存储在所述存储部分中的该图像识别符中选择识别该参考图像的图像识别付5禾口第一确定部分，用于对包含由所述选择部分选择的该图像识别符的每 个类型识别符，确定包含在该类型识别符中的图像识别符是否与用来识别被 判断为与该文档图像相似的参考图像的图像识别符对应。
10、 根据权利要求9所述的图像处理设备，其中该图像识别符包含用于指示该参考图像是否是包含在文档类型中的第一 个参考图像的识别符，该文档类型是由包含该图像识别符自身的类型识别符 所识别的，并且其中所述的图像处理设备进一步包括计数部分，用于每次文档图像被判断为与参考图像相似时，将被判断 为相似的文档图像的数目向上计数；和第二确定部分，用于当第一页被向上计数时，基于由所述选择部分选 择的图像识别符确定该参考图像是否是第一个参考图像；其中当该参考图像被确定为不是第一个参考图像时，所述第 一确定部分确定 由包含由所述选择部分选择的图像识别符的类型识别符识别的文档的顺序与 已经被存储的文档的顺序不对应。
11、 根据权利要求9所述的图像处理设备，其中该图像识别符包含用于指示该参考图像是否是包含在文档类型中的最后 一个参考图像的识别符，该文档类型是由包含该图像识别符自身的类型识别 符所识别的，并且其中所述的图像处理设备进一步包括计数部分，用于每次文档图像被判断为与参考图像相似时，将被判断 为相似的文档图像的数目向上计数；第三确定部分，用于当所述判断部分判断该文档图像与该参考图像相 似时，基于由所述选择部分选择的图像识别符确定该参考图像是否是最后一 个参考图像；和第四确定部分，用于当该参考图像被确定为是最后一个参考图像时，确定已计数的文档图像的数目是否与被包含在类型识别符中的图像识别符的 数目对应，该类型识别符包含由所述选择部分选择的图像识别符；其中 当已计数的文档图像的数目被确定为与被包含在该类型识别符中的图像 识别符的数目不对应时，所述第一确定部分确定由包含由所述选择部分选择 的图像识别符的类型识别符识别的文档的顺序与已经被存储的文档的顺序不 对应。
12、 根据权利要求9所述的图像处理设备，其中该图像识别符包含用于指示在文档类型中的页面数目的识别符，该文档 类型是由包含该图像识别符自身的类型识别符所识别的，并且其中所述的图像处理设备进一 步包括计数部分，用于每次文档图像被判断为与参考图像相似时，将被判断 为相似的文档图像的数目向上计数；检测部分，用于当所述判断步骤判断该文档图像与该参考图像相似时， 基于由所述选择部分选择的图像识别符检测该参考图像的页面数目；和第五确定部分，用于确定已检测的页面数目是否与已计数的文档图像 的数目对应；其中当已检测的页面数目被确定为与已计数的文档图像的数目不对应时，所 述第五确定部分确定由包含由所述选择部分选择的图像识别符的类型识别符
13、 根据权利要求9所述的图像处理设备，其中该图像识别符包含用于指示图像是一个文档页的正面图像或背面图像的 识别符，所述判断部分判断从该 一 个文档页的正面和背面获得的两个文档图像是 否分别与参考图像相似，和当所述判断部分判断该两个文档图像分别与参考图像相似时，所述选择 部分从在所述存储部分中存储的图像识别符中选择每一 个识别该参考图像的 图像识别符，并且其中所述的图像处理设备进一步包括第六确定部分，用于基于由所述选择部分选择的图像识别符，确定该 两个参考图像是否是该一个文档页的正面图像和背面图像；和第七确定部分，用于当该两个参考图像被确定为该一个文档页的正面 图像和背面图像时，确定与从该一个文档页的正面获得的文档图像相似的参 考图像是否是该正面图像，以及与从该一个文档页的背面获得的文档图像相似的参考图像是否是该背面图像；其中当确定与从该一个文档页的正面获得的文档图像相似的参考图像是该背 面图像以及与从该 一个文档页的背面获得的文档图像相似的参考图像是该正 面图像时，所述第 一确定部分确定由包含由所述选择部分选择的图像识别符
14、 根据权利要求13所述的图像处理设备，进一步包括 交换部分，用于当确定与从该一个文档页的正面获得的文档图像相似的参考图像是该背面图像以及与从该一个文档页的背面获得的文档图像相似 的参考图像是该正面图像时，交换该两个文档图像的正面和背面。
15、 根据权利要求9所述的图像处理设备，其中 所述存储部分存储与该参考图像的图像识别符相关联的特征，和其中 所述的图像处理设备进一步包括提取部分，用于提取该已获得的文档图像的特征；其中 基于由所述提取部分提取的特征和存储在所述存储部分中的该J 的特征，所述判断部分判断该文档图像是否与该参考图像相似。
16、 根据权利要求9所述的图像处理设备，进一步包括图像通知部分，用于当所述第一确定部分确定由包含由所述选择部分选择 的图像识别符的类型识别符识别的文档的顺序与已经被存储的文档的顺序不 对应时，通知这种情况。
17、 一种图像读取设备，包括 用于读取文档图像的图像输入设备；和根据权利要求9到16中任意一项所述的图像处理设备；其中 所述的图像处理设备处理由所述图像输入设备读取的文档图像。
18、 一种成像设备，包括根据权利要求9到16中任意一项所述的图像处理设备；以及 图像输出设备，用于基于由所述的图像处理设备处理的文档成像形成输 出图像。
全文摘要
本发明提供一种图像处理方法、图像处理设备、图像读取设备、成像设备。当第一次判断为与文档图像相似的参考图像不是包含这个参考图像的文档类型的第一个文档页，作出错误发生的结论，以使得由计数器指示的页面数目被设置作为错误发生位置。在与该文档图像相似的参考图像是该文档类型的最后一个文档页的情形下，当这个文档图像被判断为与该参考图像相似时已经向上计数的文档图像的数目与被包含在该文档类型中的参考图像的数目不对应时，作出错误发生的结论，以使得由计数器指示的页面数目被设置作为错误发生位置。
文档编号G06K9/00GK101339566SQ200810142859
公开日2009年1月7日 申请日期2008年2月13日 优先权日2007年2月13日
发明者小西阳介 申请人:夏普株式会社