图像处理设备和方法与流程

本发明涉及图像处理设备和方法。

背景技术：

日本未经审查的专利申请公开No.7-168941公开了一种图像处理设备，该图像处理设备设置参考图像，得到测试对象和参考图像之间的匹配度，针对匹配度高的局部区域执行坐标转换，从而校正测试对象的图像的位置。

日本未经审查的专利申请公开No.7-282256公开了一种密封标记验证设备，该密封标记验证设备通过确定密封中心点并且执行自动旋转，对照注册的密封标记来自动验证压印的密封标记。

在相关技术中，已知通过计算单位数据项之间的类似度来执行检验。

顺带地，通过计算多个数据项之间的类似度来识别成对对应数据项涉及计算所有成对数据项的类似度，这是繁重的。

技术实现要素：

本发明的目的是，相比于针对所有成对数据项计算多个数据项之间类似度的情况，降低计算类似度时涉及的负担。

根据本发明的第一方面，提供了一种图像处理设备，该图像处理设备包括识别器，其(i)在多个第一文档数据项和多个第二文档数据项之间，基于所述第一文档数据和所述第二文档数据的页次序，计算所述第一文档数据的各页和所述第二文档数据的各页的对的第一类似度，(ii)基于所述第一类似度，提取被计算第二类似度的成对页，并且基于所述第一文档数据和所述第二文档数据的图像，计算提取的成对页的所述第二类似度，(iii)基于所述第二类似度，识别与所述第一文档数据的页对应的所述第二文档数据的页。

根据本发明的第二方面，所述识别器计算所述第一文档数据的各页的图像和所述 第二文档数据的各页的图像中的各位置处的所述第二类似度，并且基于所述第二类似度对准所述成对页。

根据本发明的第三方面，所述识别器再次计算在排除了被识别为对应于所述第二文档数据的页的所述第一文档数据的页之后所述第一文档数据的各未对应页和在排除了被识别为对应于所述第一文档数据的页的所述第二文档数据的页之后所述第二文档数据的各未对应页之间的所述第二类似度，并且顺序地识别所述第一文档数据的未对应页和所述第二文档数据的未对应页之间的成对对应页。

根据本发明的第四方面，所述图像处理设备还包括：显示控制器，其执行控制，以按照所述第一文档数据和所述第二文档数据的页次序，逐页地显示所述第一文档数据和所述第二文档数据，将所述第一文档数据和所述第二文档数据的对应页用线连接。在所述识别器没有识别到与所述第一文档数据的页对应的所述第二文档数据的页的情况下，所述显示控制器显示指示没有与所述第一文档数据的页对应的所述第二文档数据的页的信息。

根据本发明的第五方面，所述图像处理设备还包括显示控制器，其在垂直方向上按照页次序显示所述第一文档数据和所述第二文档数据的页的上端，水平方向上与页次序无关地显示所述第一文档数据和所述第二文档数据的页，并且将所述第一文档数据和所述第二文档数据的对应页用线连接。

根据本发明的第六方面，所述图像处理设备还包括显示控制器，其执行控制，以在显示与所述第一文档数据的页对应的图像组和与所述第二文档数据的页对应的图像组的显示器上选择成对页的情况下，显示与所选择的成对页对应的页的详细图像。

根据本发明的第七方面，所述图像处理设备还包括显示控制器，其执行控制，以在与所述第一文档数据的页对应的图像组和与所述第二文档数据的页对应的图像组上显示将要部分地执行差异检测的区域。

根据本发明的第八方面，提供了一种图像处理方法，该图像处理方法包括：(i)在多个第一文档数据项和多个第二文档数据项之间，基于所述第一文档数据和所述第二文档数据的页次序，计算所述第一文档数据的各页和所述第二文档数据的各页的对的第一类似度，(ii)基于所述第一类似度，识别被计算第二类似度的成对页，并且计算识别的成对页的所述第二类似度，(iii)基于所述第二类似度，识别与所述第一文档数据的页对应的所述第二文档数据的页。

根据本发明的第一方面，可提供一种图像处理设备，该图像处理设备与针对所有成对数据项计算多个数据项之间的类似度的情况相比，减轻了在计算类似度的过程中涉及的负担。

根据本发明的第二方面，可提供一种图像处理设备，该图像处理设备即使在各页的大小被放大、缩小或旋转的情况下也能够容易地计算类似度。

根据本发明的第三方面，可提供一种图像处理设备，该图像处理设备能够顺序地识别经受差异检测的成对页。

根据本发明的第四方面，可提供一种图像处理设备，该图像处理设备能够直观了解被识别没有对应页的页。

根据本发明的第五方面，可提供一种图像处理设备，该图像处理设备与没有展现出识别的成对页彼此对应的情况相比，能够容易地了解成对对应页。

根据本发明的第六方面，可提供一种图像处理设备，该图像处理设备通过仅仅选择经受差异检测的成对页，检查经受差异检测的页的详细图像。

根据本发明的第七方面，可提供一种图像处理设备，该图像处理设备能够在显示的详细图像上指定经受差异检测的区域。

根据本发明的第八方面，可提供一种图像处理设备，该图像处理设备与针对所有成对数据项计算多个数据项之间的类似度的情况相比，减轻了在计算类似度的过程中涉及的负担。

附图说明

将基于以下附图，详细描述本发明的示例性实施方式，其中：

图1是示出根据本发明的示例性实施方式的图像形成系统的系统构造的示图；

图2是示出根据本发明的示例性实施方式的终端设备的硬件构造的框图；

图3是示出根据本发明的示例性实施方式的终端设备的功能构造的框图；

图4是用于描述根据本发明的示例性实施方式的在图像形成系统中产生不同图像数据的整体操作的流程图；

图5是用于描述图4中示出的流程图的步骤S102中描述的识别经受差异检测的对的过程的细节的流程图；

图6是示出上面指定将不被执行差异检测的不进行检测区域的示例性画面的示 图；

图7是示出在用户通过人工操作指定哪些成对页经受差异检测的情况下的示例性显示画面的示图；

图8是用于描述计算对建立概率的条件的示图；

图9是示出用于计算对建立概率的示例性等式的示图；

图10是示出在基于图9中示出的等式计算对建立概率的情况下的示例性计算结果的示图；

图11是用于描述在不同尺寸的纸张上打印相同尺寸的图像的示例的示图；

图12A和图12B是用于描述在计算两个图数据项的相关系数时执行的对准的示图；

图13是示出在显示器上显示识别旧图数据和新图数据的页之间的成对对应页的结果的情况下的示例的示图；

图14是示出在显示器上显示识别旧图数据和新图数据的页之间的成对对应页的结果的情况下的另一个示例的示图；

图15是示出显示通过选择缩略图图像而选择的图的详细图像的示例性显示画面的示图；

图16是示出用户如何指定用户在一个页内想要执行差异检测的区域的示例性显示画面的示图；

图17是当用户指定要经受差异检测的区域时显示与待指定区域的四个角的距离的示例性显示的示图；

图18是示出将要执行差异检测的页和将不执行差异检测的页布置成两列的情况下的示例性显示的示图。

具体实施方式

下文中，将参照附图描述本发明的示例性实施方式。注意的是，以下讨论的实施方式用于例证图像处理设备和方法和用于实现本发明的示例性实施方式的技术理念的非暂态计算机可读介质，下面的示例不旨在是本发明的示例性实施方式特有的。本发明的示例性实施方式可同等地应用于权利要求书中包括的其它实施方式。

图1是示出根据本发明的示例性实施方式的图像形成系统的构造的框图。

根据本发明的示例性实施方式的使用图像处理程序的图像形成系统包括彼此通过网络30连接的图像形成设备10和终端设备20，如图1中所示。终端设备20产生打印数据并且将产生的打印数据经由网络30发送到图像形成设备10。图像形成设备10接受从终端设备20发送的打印数据，并且在纸张上输出与打印数据一致的图像。注意的是，图像形成设备10是具有多个功能(诸如，打印功能、扫描功能、复印功能和传真功能)的所谓多功能设备的设备。

图像形成设备10被构造成能够另外地具有作为可选功能的差异图像产生装置40。差异图像产生装置40具有以下功能：接收经受比较的两个图像数据项(诸如，旧图数据和新图数据)，检测旧图数据和新图数据之间的差异，通过例如将差异作为一个图像数据项显示来输出检测到的差异。例如，差异图像产生装置40用红色显示存在于旧图中但在新图中被删除的那部分和用蓝色显示没有存在于旧图中但被添加在新图中的那部分。在这样做时，差异图像产生装置40在一个图像数据项内显示旧图图像和新图图像之间的差异。在显示这个差异时，检测到差异的区域被矩形框环绕，这样向用户呈现检测到差异的那部分。

注意的是，差异图像产生装置40首先将待比较的两个图数据项转换成二进制图像数据，顺序地比较对应像素，从而检测这两个图数据项之间的差异。

在待比较的两个图是纸的情况下，图像形成设备10的扫描仪首先扫描图像，将图像转换成图像数据，并且将图像数据输入差异图像产生装置40，差异图像产生装置40进而执行差异检测。

图像形成设备10通过在打印纸张等上打印图像，输出基于差异图像产生装置40产生的差异图像数据而产生的图像。

接下来，图2是示出根据示例性实施方式的图像形成系统中的终端设备20的硬件构造。

注意的是，使用经受比较的文档是附图的情况，提供以下的描述。在除了图外的文档(诸如，纸质文档)经受差异检测的情况下，可类似地应用本发明的示例性实施方式。

如图2中所示，终端设备20包括中央处理单元(CPU)21、存储器22、诸如硬盘驱动(HDD)的存储装置23、将数据发送到图像形成设备10和差异图像产生装置40并且从图像形成设备10和差异图像产生装置40接收数据的通信接口(IF)24。 这些元件经由控制总线25相互连接。

CPU 21基于存储在存储器22或存储装置23中的控制程序来执行特定处理，并且控制终端设备20的操作。

尽管该实施方式讨论了CPU 21读取并且执行存储在存储器22或存储装置23中的控制程序，但程序可被存储在诸如紧凑盘只读存储器(CD-ROM)的存储介质中并且可被提供到CPU 21。

图3是示出通过执行上述控制程序实现的终端设备20的功能构造的框图。

如图3中所示，示例性实施方式的终端设备20包括控制器31、显示器32、通信单元33、对应页识别器34和区域指定接受器35。

在经受差异检测的两个图数据项(第一图数据和第二图数据)中的一个具有多页的情况下，对应页识别器34识别经受差异检测的这两个图数据项之间的成对对应页。

在经受差异检测的图具有多页的情况下，涉及在执行差异检测之前的预备处理，预备处理预先识别哪些成对页经受差异检测。因此，在执行差异检测之前，对应页识别器34在预备处理中识别经受差异检测的成对页。

具体地，对应页识别器34计算经受差异检测的两个图数据项的页的图像之间的相关系数(第二类似度)，并且识别计算出的相关系数最大并且超过预设阈值的图数据的成对页作为成对对应页。

注意的是，图像不限于仅仅是图像，可以是文本或照片。另外，计算出的其相关系数最大或超过预设阈值的图数据的成对页可被识别为成对对应页。

识别了成对对应页后，对应页识别器34在从经受差异检测的两个图数据项的页中排除了被识别为对应于其它图数据页的页之后，再计算不对应页的相关系数，并且顺序地识别经受差异检测的两个图数据项的不对应页之间的成对对应页。

此时，对应页识别器34基于经受差异检测的两个图数据项的页的数量和图数据中页的页次序来计算对建立概率(即，两个图数据项的页彼此对应的概率)，并且只针对具有计算出的最高对建立概率(第一类似度)的的预设数的前几对页(诸如，前n对页)来计算相关系数，从而识别成对对应页。

显示器32显示图像组，该图像组包括与经受比较的两个图数据项的页对应的诸如缩略图(大小减小的图像)的图像。

控制器31按照图数据项的页次序逐页地显示图数据页，将对应页识别器34识别 的成对页用直线连接，并且在对应页识别器34没有识别图数据的页的情况下，控制显示器32来显示指示没有图数据的对应页的信息。具体地，控制器31致使显示器32例如以不同于其它页的颜色或在不同列与成对页不同地显示没有识别到对应页的页。

控制器31可控制显示器32按照页次序来显示对应页识别器34识别的图数据的页的上端，在水平方向上与页次序无关地显示第一图数据和第二图数据的页，并且将图数据的成对对应页用线连接。

另外，控制器31可控制显示器32，以在显示器32上选择特定对的页的情况下，显示所选择对的页的详细图像。

区域指定接受器35接受用于对显示器32上显示的详细图像部分地执行差异检测的区域的指定。

例如，通信单元33将图像数据等发送到图像形成设备10或差异图像产生装置40，或者接收被图像形成设备10扫描的图像数据。

接下来，将参照附图详细描述示例性实施方式的图像形成系统中产生差异图像数据的操作。

首先，将参照图4中示出的流程图，描述示例性实施方式的图像形成系统中产生差异图像数据的整体操作。将参照图5中示出的流程图，详细描述图4中示出的流程图中识别经受差异检测的对的过程。

在示例性实施方式的图像形成系统中，当执行差异检测过程时，终端设备20执行用于执行差异检测的预备过程。图4中示出的流程图中的两个过程(即，指定不进行检测区域(步骤S101)和识别经受差异检测的对(步骤S102))对应于这个预备过程。

首先，终端设备20在经受差异检测的两个图数据项中指定不进行检测区域(不经受检测的区域)作为将不执行差异检测的区域(步骤S101)。图6示出在执行指定不进行检测区域的情况下的示例性画面。在图6中示出的示例性画面中，示出在旧图和新图中指定不进行检测区域61的情况。

接下来，终端设备20的对应页识别器34识别经受差异检测的对，即，将要被执行差异检测的成对页(步骤S102)。注意的是，随后，将更详细描述识别经受差异检测的对的这个过程。

其页被识别为将被执行差异检测的经受差异检测的两个图数据项经由通信单元33被发送到差异图像产生装置40，并且执行差异检测过程(步骤S103)。

步骤S103中执行的差异检测过程的结果被作为差异图像数据经由通信单元33发送到终端设备20，并且显示在显示器32上(步骤S104)。

最终，差异图像数据经由通信单元33被发送到图像形成设备10，并且被作为差异图像打印到打印纸张(步骤S105)上。

接下来，将参照图5中示出的流程图，详细描述以上提到的步骤S102中描述的识别经受差异检测的对的过程。

如以上描述的，在经受差异检测的图具有多页的情况下，涉及在执行差异检测之前的预备过程，该预备过程预先识别哪些成对页经受差异检测。因此，示例性实施方式的对应页识别器34被构造成自动地识别将被执行差异检测的成对页，而不涉及用户指定哪些成对页经受差异检测。

注意的是，在示例性实施方式的终端设备20中，用户还能够直接指定哪些成对页经受差异检测。图7示出在用户通过人工操作指定哪些成对页经受差异检测的情况下的示例性显示画面。

在图7中示出的示例性显示画面中，用户参照缩略图并且指定旧图的页和新图的页之间的对应页。在这样做时，例示了成对对应页用线连接。

如同这个示例，为了使用户识别对应页并且设置经受差异检测的成对页，用户参照缩略图并且基于逐页的方式指定哪页对应于哪页。

与此不同，示例性实施方式的终端设备20的对应页标识符34在不涉及用户操作的情况下自动地识别经受差异检测的旧图数据和新图数据之间哪页对应于哪页，以及这些对应页是否将经受差异检测。

首先，对应页识别器34基于经受差异检测的两个图数据项的页的数量和这些页在图数据中的位置来计算对建立概率，即，两个图数据项的页彼此对应的概率(步骤S201)。

例如，如图8中所示，在旧图具有n页并且新页具有m页的情况下，用图9中的等式(1)计算旧图的第a页和新图的第b页变成一对的概率。

注意的是，在等式(1)中，假设对于所有页而言各页被使用的概率相同，并且所使用页的数量的范围是从0至n，呈均匀分布，并且页次序将不改变。在建立了随 后描述过程中将成对的成对页的情况下，对旧图和新图的剩余页执行类似计算。

例如，在旧图具有10页并且新图具有20页的情况下，在基于上述等式计算对建立概率的情况下得到的计算结果被如此在图10中示出。

接下来，对应页识别器34提取具有计算出的最高对建立概率的预设数量的前几对(n对)页(诸如，前10对页)(步骤S202)。

尽管示例性实施方式讨论了将要提取的页的对数是具有最高对建立概率的头10对，但用户可改变将要提取的对数。提取的对数越多，将识别的对的精度越高，但处理速度越低。相比之下，提取的对数越少，将识别的对的精度越低，但处理速度越高。因此，可通过用户设置精度和处理速度来确定将要提取的对数。另外，可用曲线图显示对数和对建立概率，基于此，用户可设置要提取的对数。另外，可提取对建立概率值大于或等于预设值的对。

对应页识别器34针对提取的10(n)对的页中的每对计算相关系数(类似度)(步骤S203)。

具体地，对应页识别器34顺序地比较两个图数据(即二进制图像数据)项的各像素，并且累积比较结果，从而计算相关系数。例如，计算出在所有像素都匹配的情况下变成1.0并且在所有像素都不同的情况下变成-1.0的值当作相关系数。也就是说，这种情况下的相关系数是范围从-1.0至1.0的任何值。

在执行差异检测之前的预备过程还包括对准经受差异检测的成对页。为此目的，在示例性实施方式中计算相关系数的过程中，计算这两个图数据项中的各位置处的相关系数，从而识别以及对准具有对应关系的对。

具体地，在示例性实施方式中，在相同大小纸张上打印相同大小图像的图文档之间执行差异检测的情况下，对应页识别器34对准页的左上角，如图12A中所示，并且在将页旋转0度、90度、180度和270度的同时计算相关系数。注意的是，可如图12A中所示在左下角、右上角或右下角处执行对准，或者如图12B中所示在中心执行对准。

另外，在示例性实施方式中，在不同大小纸张(诸如，如图11中所示的A3和A4)上打印相同大小图像的图文档之间执行差异检测的情况下，对应页识别器34执行总共五种类型的对准，也就是说，如图12A中所示的左上角、左下角、右上角和右下角处的对准和如图12B中所示的中心处的对准。在各位置，在将页旋转0度、 90度、180度和270度的同时计算相关系数。

也就是说，对应页识别器34针对经受五种类型的对准(左上角、左下角、右上角、右下角和中心)和四种类型的旋转(0度、90度、180度和270度)的对计算相关系数。

另外，对应页识别器34不仅在1:1的比例下计算这两个图数据项的相关系数，而且在将较小大小的图数据放大成较大图数据或者将较大图数据的大小减小成较小图数据的同时计算相关系数。

对应页识别器34识别步骤S203中计算的其相关系数最大并且超过预设阈值(诸如，0.5)的图数据的成对页作为成对对应页(步骤S204)。这里，在针对所有成对页计算出的相关系数没有超过预设阈值的情况下，对应页识别器34确定在步骤S202中提取的成对页中没有成对的对应页。

尽管示例性实施方式讨论了对应页识别器34执行提取经受类似度计算的对，计算所提取对的类似度，基于计算出的类似度识别对应对，对准识别的对，这些过程可由不同装置或单元执行。

响应于步骤S204中识别到成对对应页，对应页识别器34从目标中排除其对应页被识别的页和该页之前的所有页，并且确定是否仍然残留要被确定是否存在对应页的页(步骤S205)。在仍然残留这种搜索目标页的情况下，对应页识别器34返回到步骤S201。在不再存在搜索目标页的情况下，对应页识别器34终止识别成对页的过程。

图13是示出在显示器32上显示识别旧图数据和新图数据的页之间的成对对应页的结果的情况下的示例的示图。

在图13中示出的显示示例中，旧图数据和新图数据按照旧图数据和新图数据的页次序逐页地显示，旧图数据和新图数据的对应页用线连接。参照图13，没有线连接到被识别没有对应页的页，清楚表明没有对应页。

在如图14中所示同时显示许多对的页同时排除了不必要间隔的情况下，可使用下面的显示方法。也就是说，旧图数据和新图数据的页的上端按照页次序在垂直方向上显示，旧图数据和新图数据的页在水平方向上显示而不顾及页次序，旧图数据和新图数据的对应页用线连接。

另外，图15展示了可使用的另一种显示方法。结合用于检查成对对应页的画面和用于检查各页内容的细节的画面，当选择缩略图图像时，显示所选择图的详细图像。 用图15中示出的显示方法，选择旧图和新图中的一个的缩略图不仅显示所选择图的详细图像，而且在另一个画面显示与所选择缩略图图像的页对应的页的详细图像。在这样做时，基于逐对的方式切换显示。例如，图15示出通过选择旧图的一个缩略图图像71来显示旧图和新图二者的页的详细图像的情况。

在如图15中所示基于逐对的方式显示详细图像的情况下，区域指定接受器35可接受用户想要在一页内执行差异检测的区域的指定81至83，如图16中所示。在用户想要执行差异检测的对象在一个画面内的位置不同的情况下，这种区域指定是有效的。在执行这种区域指定的情况下，差异图像产生装置40在各指定区域中执行差异检测。

在执行这种区域指定的过程中，如图17中所示，当指定区域移动时，可显示与指定区域的四个角的距离。

注意的是，可通过在图13至图15中示出的缩略图图像显示画面上的旧图和新图的每页上进行拖放来改变页次序。在如此改变页次序的过程中，以对为单元移动图的成对页。

在这样做时，即使在当用扫描仪读取图的多页时错误地改变页次序的情况下，也可通过在终端设备20上运行的软件来改变页次序，而不直接编辑图数据，并且可执行差异检测。

另外，如图18中所示，将被要执行差异检测的页和将不执行差异检测的页布置成两列，这样使得更容易将一个与另一个区分开。在这种显示方法中，可通过拖放把将不执行差异检测的页移动到将要执行差异检测的页。在这样做时，移动的页可被添加到将要执行差异检测的页的列中。

尽管示例性实施方式讨论了在计算两个图数据项之间的类似度的过程中使用相关系数的情况，但示例性实施方式不限于这种情况，示例性实施方式类似地可应用于通过使用另一种计算方法(诸如，平方差之和(SSD)或霍夫变换(Hough transform))计算图像特征量的情况，计算出的特征量被用作类似度。

根据本发明的示例性实施方式的程序可通过存储在记录介质中来提供，后者程序可由通信装置或单元提供。在这种情况下，例如，上述程序可被视为“上面记录有程序的非暂态计算机可读记录介质”。

“上面记录有程序的非暂态计算机可读记录介质”是指上面记录有程序的计算机 可读记录介质，被用于安装、执行和循环程序。

记录介质包括以下介质：由包括诸如“DVD-R、DVD-RW和DVD-RAM”的DVD论坛(DVD Forum)设定的规范和诸如“DVD+R和DVD+RW”的DVD+RW设定的规范的数字通用盘(DVD)、包括只读存储器(CD-ROM)的紧凑盘(CD)、CD-可记录(CD-R)、CD-可重写(CD-RW)、蓝光盘(注册商标)、磁-光(MO)盘、柔性盘(FD)、磁盘、硬盘、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM(注册商标))、闪存存储器、随机存取存储器(RAM)和安全数字(SD)存储卡。

上述程序或其部分可被记录在上述记录介质中并且进行保存或循环。另外，可使用诸如局域网(LAN)、城域网(MAN)、广域网(WAN)、互联网、内联网、或外联网、无线通信网络、或使用其组合的传输介质的通信进行传输，或者可在载波上执行。

另外，上述程序可以是另一个程序的部分，或者与另一个单独程序一起被记录在记录介质中。另外，上述程序可被划分并且被存储在多记录介质中。另外，上述程序可以任何形式进行记录，诸如被压缩或编码，只要它是可恢复的。

以上对本发明的示例性实施方式的描述是出于例证和描述的目的提供的。它不旨在是排他性的或者将本发明限于公开的精确形式。显而易见，本领域的技术人员将清楚许多修改形式和变形形式。选择描述实施方式以最佳地说明本发明的原理及其实际应用，从而使本领域的其它技术人员能够理解适于料想到的特定使用的本发明的各种实施方式和各种变形形式。本发明的范围旨在由随附权利要求书及其等同物限定。