图像处理器及图像处理方法

专利名称：图像处理器及图像处理方法
技术领域：
本发明涉及图像处理器及图像处理方法。
背景技术：
存在这样的需要，即例如在检测用户是否在使用纸张作为介 质的文档上的笔迹中添加附言或在检査安全文档是否改变时，能够 弄清楚文档的通过诸如增加或删除等而作出的修改部分。为.了满足 这种需要，执行这样的处理，即用扫描仪来读取文本和纸质文档 (要与文本相比较的文档，即可能添加附言的文档)，并将两个图 像互相比较以提取差异。
作为与此相关的技术，例如专利文献1 GP-A-2004-287682)披
露了作为该发明的目的的一种修订图像提取装置，该修订图像提取 装置能够防止差异处理之后不充分縮减(insufficient subtraction)处 理的发生并且能够提高从修订图像中进行提取的精度。在该修订图 像提取装置中，图像位置检测单元检测第一区域识别单元所识别的 电子文档的原始图像中的每个区域与第二区域识别单元所识别的修 订和叠加图像中的相应区域之间的位置偏移量，并且图像差异处理 单元基于所检测到的位置偏移量来校正各个位置以执行差异处理。 因此，即使当电子文档的原始图像与修订和叠加图像之间出现位置 移动时，该位置移动也被校正以执行差异处理，从而防止差异处理 之后不充分縮减的发生，并提高从修订图像中进行提取的精度。
此外，例如专利文献2 (JP-A-2004-213230)披露了作为该发明 的目的的一种修订提取装置和一种修订提取方法，当在电子文档及 修订和叠加图像中执行提取处理时，该修订提取装置和修订提取方 法能够抑制不存在修订信息的区域中的不充分縮减，从而实现更精 确的提取处理。该修订提取装置包括区域划分单元、图像差异部分以及插值单元。该区域划分单元利用来自电子文档的原始图像和通 过由诸如扫描仪等图像读取装置使纸张电子化而获得的图像的字符 识别来将所需区域划分成小的区域。原始图像输出在该纸张上且在 该纸张上叠加有手写校正。该划分单元判断每个小区域是否需要修 订提取操作。该图像差异部分对被判定为需要差异计算的小区域执 行差异计算。该图像插值部分对基于该差异计算来进行差异处理的 图像执行插值处理。因此，提高了修订和提取处理的精度。
此外，例如专利文献3 (JP-A-2004-341914)披露了作为该发明 的目的的一种用于更新电子文档文件或图像文件的高效操作及该文
件的存储区域的有效利用。在专利文献3中，披露了以下内容图 像扩张单元向通过将原始电子文档文件转换成图像而获得的图像数
据(原始文档图像数据)的黑色像素进行扩张处理，校正对准过程 中的误差，然后，局部区域划分单元分别划分通过由图像扫描仪来 读取修订印刷品而获得的图像数据(修订图像数据)和原始文档图 像数据，其后，矩形框提取部分获得矩形信息，矩形框比较-对准单 元将图像数据彼此对准，逻辑计算单元对像素单元进行异或计算以 提取差异信息，从而获得所提取的差异信息。并且通过存储原始文 档图像数据及其差异信息而节省存储区域。
在现有技术中，需要将整个图像部分对准。此外，即使能够实 现对准，当行间距或字符间距改变时，尽管其内容不变(例如字符 不变)，然而也无法方便地提取图像的差异。
本发明的目的是提供一种图像处理器及一种图像处理方法，其 中，当比较多个图像时，不需要对准整个图像部分，并且即使局部 图像的各个位置彼此不同，也能适当地提取两个图像之间的差异。

发明内容
根据本发明的一个方面， 一种图像处理器包括局部图像提 取单元、定序单元和差异提取单元。所述局部图像提取单元从第一
图像提取第一局部图像，并从第二图像提取第二局部图像。所述定 序单元根据第一局部图像在第一图像中的各个位置来确定所提取的
6第一局部图像的顺序，并根据第二局部图像在第二图像中的各个位 置来确定所提取的第二局部图像的顺序。并且所述差异提取单元根 据第一局部图像的顺序和第二局部图像的顺序将每个第一局部图像 与相应的第二局部图像进行比较，并提取基于第一图像与第二图像 之间的比较的差异。根据第[l]项所描述的图像处理器，所述第一图像和所述第 二图像分别可以具有多个页面。所述定序单元可以根据第一图像的 各个页面的顺序在全部所述多个页面中确定第一局部图像的顺序。 并且所述定序单元可以根据第二图像的各个页面的顺序在全部所述 多个页面中确定第二局部图像的顺序。根据第[1]项或第[2]项所描述的图像处理器，可以利用第一 局部图像的特征和相应的第二局部图像的特征来进行每次比较。并 且可以根据由定序单元所确定的顺序来进行每次比较。根据本发明的另一方面， 一种图像处理器包括存储单元、
局部图像提取单元、定序单元以及差异提取单元。所述存储单元存 储与第一图像中的第一局部图像有关的信息，其中，根据从第一图 像提取的第一局部图像的各个位置来确定第一局部图像的顺序。所 述局部图像提取单元从第二图像提取第二局部图像。所述定序单元 根据第二局部图像在第二图像中的各个位置来确定所提取的第二局
部图像的顺序。所述差异提取单元根据所存储的与第一局部图像有 关的信息和第二局部图像的顺序来将每个第一局部图像与相应的第 二局部图像进行比较，并提取基于第一图像与第二图像之间的比较 的差异。根据第[4]项所描述的图像处理器，所述第一图像和所述第 二图像分别可以具有多个页面。与第一局部图像有关的所述信息可 以包括全部所述多个页面中所确定的顺序。所述定序单元可以根据 第二图像的各个页面的顺序在全部所述多个页面中来确定第二局部 图像的顺序。根据第[4]项或第[5]项所描述的图像处理器，所述信息可以 包括每个第一局部图像的特征。可以利用所存储的每个第一局部图像的特征和每个第二局部图像的特征来进行每次比较。并且可以根 据由存储单元所存储的第一局部图像的顺序和由定序单元所确定的
第二局部图像的顺序来进行每次比较。根据第[1]项或第[4]项所描述的图像处理器，所述图像处理 器还可以包括图像处理单元，该图像处理单元在被差异提取单元提 取到差异的每个第一局部图像或每个第二局部图像的位置处将新的 信息添加到第一图像和第二图像中的至少之一中。根据本发明的另一方面， 一种图像处理方法包括从第一 图像提取第一局部图像；从第二图像提取第二局部图像；根据第一 局部图像在第一图像中的各个位置来确定所提取的第一局部图像的 顺序；根据第二局部图像在第二图像中的各个位置来确定所提取的 第二局部图像的顺序；根据第一局部图像的顺序和第二局部图像的 顺序来将每个第一局部图像与相应的第二局部图像进行比较；以及
提取基于第一图像与第二之间的比较的差异。根据本发明的一个方面， 一种图像处理方法包括存储与
第一图像中的第一局部图像有关的信息，其中，根据从第一图像提
取的第一局部图像的各个位置来确定第一局部图像的顺序；从第二 图像提取第二局部图像；根据第二局部图像在第二图像中的各个位 置来确定所提取的第二局部图像的顺序；根据所存储的与第一局部 图像有关的信息和第二局部图像的顺序来将每个第一局部图像与相 应的第二局部图像进行比较；以及提取基于第一图像与第二图像之
间的比较的差异。
根据第[l]项，当比较多个图像时，不需要对准整个图像部分， 并且即使局部图像的各个位置彼此不同，也能够适当地提取两个图 像之间的差异。
根据第[2]项，即使在具有多个页面的多个图像之间，也能够提 取两个图像之间的差异。
根据第[3]项，可以比不具有本发明的结构的图像处理器更多地 减少用于比较局部图像的处理量。
根据第[4]项，当比较多个图像时，不需要对准整个图像部分，并且即使局部图像的各个位置彼此不同，也能够适当地提取两个图 像之间的差异。
根据第[5]项，即使在具有多个页面的多个图像之间，也能够提 取两个图像之间的差异。
根据第[6]项，可以比不具有本发明的结构的图像处理器更多地 减少用于比较局部图像的处理量。
根据第[7]项，两个图像之间的差异可以表现为不同于其他图像 之间的差异。
根据第[8]项，当比较多个图像时，不需要对准整个图像部分，
而且即使局部图像的各个位置彼此不同，也能够适当地提取两个图 像之间的差异。
根据第[9]项，当比较多个图像时，不需要对准整个图像部分，
而且即使局部图像的各个位置彼此不同，也能够适当地提取两个图 像之间的差异。


基于以下附图，对本发明的示例性实施例进行详细说明，其中
图1是示例性实施例的结构实例的概念模块框图2是根据示例性实施例的处理实例的流程图3是示出根据示例性实施例的子图像的比对处理的实例的流
程图4是示出区域数据表的数据结构实例的说明图； 图5是示出子图像数据表的数据结构实例的说明图； 图6是示出根据示例性实施例的情况1的处理实例的说明图； 图7是示出根据示例性实施例的情况1的处理实例的说明图； 图8是示出根据示例性实施例的情况1的处理实例的说明图； 图9是示出根据示例性实施例的情况2的处理实例的说明图； 图10是示出根据示例性实施例的情况2的处理实例的说明图； 图11是示出根据示例性实施例的情况2的处理实例的说明图； 图12是示出根据示例性实施例的情况2的处理实例的说明9图13是示出根据示例性实施例的情况2的处理实例的说明图； 图14是示出根据示例性实施例的情况2的处理实例的说明图； 图15是示出根据示例性实施例的情况2的处理实例的说明以及
图16是用于实现示例性实施例的计算机的硬件结构实例的框图。
具体实施例方式
现在，参照附图，在下面描述用于实现本发明的示例性实施例。 图1示出了本示例性实施例的结构实例的概念模块框图。 模块通常是指软件(计算机程序)、硬件等的在逻辑上可分离 的部分。因此，本示例性实施例中的模块不仅是指计算机程序中的 模块，而且是指硬件结构中的模块。因此，本示例性实施例还说明 计算机程序、系统以及方法。在这种情况下，为了方便说明，使用 "存储"、"使……存储"以及与其等同的用语。当本示例性实施 例是计算机程序时，这些用语表示使存储装置进行存储或控制存储 装置进行存储的意义。此外，模块基本上在一对一的基础上对应于 功能。然而，总的来说， 一个模块可以由一个程序形成，或者多个 模块可以由一个程序形成。相反， 一个模块可以由多个程序形成。 此外，多个模块可由一台计算机来执行，或者在分布式或并行环境 下， 一个模块可以有多台计算机来执行。可以在一个模块中包括其 他模块。在下文中，"连接"包括逻辑连接(数据、指令的发送和 接收、数据之间的引用关系等)以及物理连接。
此外，系统或装置不仅包括通过用诸如网络等通信单元来连接 (包括在一对一的基础上的通信连接)多台计算机、多个硬件、多 个装置等而获得的结构，而且包括由一台计算机、 一个硬件、 一个 装置等实现的结构。所述"装置"和"系统"被用作具有相同意义 的用语。此外，规定的用语不仅包括预定的意义，而且包括取决于 当时状况和状态的意义或取决于一直持续到当时的状况和状态的意 义。可以允许比较多个图像。现在，提供两个图像(包括一个页面 或两个页面或更多页面)，例举并说明一个要进行比较的图像(所 谓的原始图像，在下文中称为"图像A")和另一个要进行比较的 图像(可能对其进行修改的图像，在下文中称为"图像B")。此 外，这里例举了文档作为图像，然而，也可以使用包括局部图像(在 下文中称为子图像)的图像。可以例举日语字符的图像作为局部图 像。然而，也可以应用诸如西文字母、简体和繁体汉字、韩文字母 等另一种字符。并且，所述局部图像不必局限于字符，也可以是字 符的一部分，或相反是多个字符或图形。此外，作为图像的内容， 可以应用用于商务的文档、用于广告和宣传的小册子等等。
如图1所示，本示例性实施例的图像处理器包括图像接收模块
100、预处理模块110、区域提取模块120、区域定序模块130、子图 像提取模块140、子图像定序模块150、整体定序模块160、比对模 块170、处理模块180以及输出模块190。
图像接收模块100与预处理模块110连接以接收图像并将该图 像发送到预处理模块110。"接收图像"包括"通过扫描仪来读取图 像"、"通过传真机来接收图像"、"从数据库读取图像"等。所 述图像可以由一页纸张或多页纸张组成。此外，要接收的图像不一 定必须是纸介质的图像，也可以接收电子文档(即打印之前的电子 文档，例如主要包括由文档生成软件所生成的文本的电子文档)， 然后，可以形成用于打印的图像。
预处理模块IIO与图像接收模块IOO和区域提取模块120连接， 以便从图像接收模块100接收图像、对该图像进行预处理并将对其 进行预处理的图像发送到区域提取模块120。作为预处理，所述预处 理包括i)当接收到的图像是多值图像(包括彩色图像)时，将图像 转换为二进制图像，ii)对图像进行竖放处理；iii)执行偏斜校正以 消除干扰等。所述竖放处理是指将图像的方向转换为能够读取图像 的通常方向。例如，在向四个方向旋转图像的同时执行字符识别处 理，以便沿着识别率最高的方向之一来旋转图像。可以使用现有技 术。此外，所述偏斜校正是指校正倾斜。例如，当通过扫描仪来读取图像时，发生倾斜。因此，通过对图像的huff变换来获得直线的 倾斜以使图像这样旋转，即使直线的倾斜变为横向或竖向。可以 采用已知的技术。
区域提取模块120与预处理模块IIO和区域定序模块130连接， 以便从预处理模块110接收图像、从该图像提取区域(例如字符区
域、图形区域、照片区域)并将与该区域有关的信息发送到区域定
序模块130。例如，提取在图像中写入字符的部分作为块(矩形区域)。
可以采用诸如字符的分离技术和作为字符识别处理中的预处理的图 像或字符区域提取技术等已知技术。
区域定序模块130与区域提取模块120和子图像提取模块140 连接，以便从区域提取模块120接收与该区域有关的信息，确定目 标区域的顺序，并梧排好序的区域的信息发送到子图像提取模块 140。例如，在横向书写文档的情况下(当字符是从左到右书写时)， 首先从位于图像上的区域开始确定字符区域的顺序。然后，当字符 区域位于作为竖向位置的规定范围内并横向布置时，从位于左侧的 字符区域到位于右侧的字符区域来确定其顺序。此外，在竖向书写 文档的情况下，从位于图像右侧的字符区域开始确定字符区域的顺 序。然后，当字符区域位于作为横向位置的规定范围内并竖向布置 时，从上部到下部来确定其顺序。在这种情况下，区域定序模块130 可以判断文档是横向书写文档还是竖向书写文档以确定字符区域的 顺序。也就是说，字符区域的顺序被确定为具有通常的读取顺序， 然而，字符区域的顺序不一定必须确定为精确的读取顺序。然而， 在要进行比较的图像之间，根据相同的排序规则来确定各个区域的 顺序。
子图像提取模块140与区域定序模块130和子图像定序模块150 连接，以便从区域定序模块130接收与排好序的区域有关的信息， 从该区域内的图像提取子图像，并向子图像定序模块150发送与该 子图像有关的信息。例如，提取与一个字符单位有关的子图像。这 时，存储所提取的各个页面和各个位置。可以采用诸如作为字符识 别处理中的预处理的字符提取技术等已知技术。
12子图像定序模块150与子图像提取模块140和整体定序模块160 连接，以便i)根据子图像在图像中的各个位置来确定由子图像提取 模块140提取的子图像的顺序以及ii)向整体定序模块160发送与排 好序的子图像有关的信息。例如，在横向书写文档的情况下，首先 从位于图像上的子图像开始确定子图像的顺序。然后，当子图像位 于作为竖直位置的规定范围内并横向布置时，从位于左侧的子图像 到位于右侧的子图像来排列其顺序。此外，在竖向书写文档的情况 下，从位于图像右侧的子图像开始排列子图像的顺序。然后，当子 图像位于作为横向位置的规定范围内并竖向布置时，从上部到下部 来确定其顺序。在这种情况下，子图像定序模块150可以判断文档 是横向书写文档还是竖向书写文档以确定子图像的顺序。也就是说，
子图像的顺序被确定为具有通常的读取顺序，然而，不一定必须按 照精确的读取顺序来排列其顺序。然而，在要进行比较的图像之间， 根据相同的定序规则来确定子图像的顺序。
整体定序模块160与子图像定序模块150和比对模块170连接， 以便i)接收在区域中排好序的子图像的信息，ii)确定子图像在整 个图像部分中的顺序以及iii)将排好序的子图像的信息发送到比对 模块170。即，当图像中存在多个字符区域时，在全部各自由区域定 序模块130排好序的多个字符区域中确定子图像的顺序。当图像具 有多个页面时，在全部所述页面中确定子图像的顺序。位于第二页 面之后的子图像的顺序被确定为跟随位于前页中的子图像。也就是 说，分三个阶段来执行分类处理(定序处理)。所述分类处理的顺 序包括作为第一优先级的页面的顺序、作为第二优先级的页面中的 字符区域的顺序以及作为第三优先级的字符区域中的子图像的顺 序。
分别对图像A和图像B执行从预处理模块110到整体定序模块 160的处理。在这种情况下，在每个模块对图像A执行处理之后， 不需要该模块对图像B执行处理。对图像A的处理可以由预处理模 块110到整体定序模块160依次执行，并且整体定序模块160可以 将其结果存储在存储装置中，然后，可以执行对图像B的处理。艮口，存储装置存储根据从图像A提取的子图像的各个位置而排好序的图 像A中的子图像的信息。此外，当图像A具有多个页面时，所述存 储装置存储在全部所述多个页面中排好序的子图像的信息。此外，
可以对图像A执行的处理包括通过比对模块170来提取子图像的特
征的处理。然后，所述存储装置可以存储子图像的顺序和子图像的 特征作为与子图像有关的信息。当允许存储装置存储与子图像有关 的信息时，如果存在多个要进行比较的图像，则可以一次完成对图
像A的处理。
比对模块170与整体定序模块160和处理模块180连接，以便 根据由整体定序模块160排好序的子图像的顺序来比较图像A与图 像B之间的相应子图像，提取图像A和图像B之间的差异并将提取 的差异的信息发送到处理模块180。此外，比对模块170使用图像A 中的子图像的特征和图像B中的子图像的特征来比较各个子图像。 子图像的比较可以根据由整体定序模块160确定的子图像的顺序来 进行。
此外，当与图像A中的子图像有关的信息被整体定序模块160 存储在存储装置中时，比对模块170根据存储装置中与子图像有关 的信息和由整体定序模块160确定的图像B中的子图像的顺序来比 较图像A与图像B之间的相应子图像。并且比对模块170提取图像 A和图像B之间的差异。此外，比对模块170可以利用存储在存储 装置中的图像A中的子图像的特征和图像B中的子图像的特征来比 较各个子图像。子图像的比较可以根据存储在存储装置中的图像A 中的子图像的顺序和整体定序模块160所确定的图像B中的子图像 的顺序来进行。
此外，例如，可以例举子图像的删除、插入和修改作为所提取 的差异。在这种情况下，依次将图像A和图像B的子图像互相比较。 当子图像不彼此对应时，固定图像A的子图像以査找图像B的子图 像。当存在与图像A的子图像相对应的子图像时，所述差异被判定 为"插入"。当固定图像B的子图像以查找图像A的子图像时，如 果子图像对应于图像B的子图像，则所述差异被判定为"删除"。当所述差异不对应于上述两个实例时，该差异可以被判定为"修改"。 此外，当子图像不彼此对应时，可以共同查找多个连续的子图像。
处理模块180与比对模块170和输出模块190连接，以便根据 被比对模块170提取到差异的子图像的位置来处理图像A或图像B 并将经处理的图像发送到输出模块190。例如，处理与被比对模块 170判定为不同的子图像的位置对应的图像A或图像B，以便可以辨 别所述差异。对于处理操作来说，可以附加诸如"符号"(例如^等) 的标记，可以使字符为粗体，可以修改字符颜色，可以修改背景颜 色等等。此外，可以处理图像本身或将注释附加于图像。此外，当
图像呈现在显示器上时，可以使相应的子图像闪烁。
输出模块190与处理模块180连接，以便从处理模块180接收 经处理的图像并输出该图像。"输出图像"包括"通过打印机来打 印图像"、"在显示器上显示图像"、"通过传真机来发送图像" 以及"将图像存储在数据库中"。
图2是示出根据示例性实施例的处理实例的流程图。步骤 S210 步骤S224示出了对图像A的处理，步骤S230 步骤S244示 出了对图像B的处理。由于这两种处理是相同的处理，所以将描述 对图像A的处理(从步骤S210至步骤S224的处理)并省略对图像 B的处理的说明。
在步骤S212中，预处理模块110对图像A执行竖放处理。 在步骤S214中，预处理模块110对图像A执行偏斜校正。 在步骤S216中，区域提取模块120从在步骤S212和步骤S214 中经预处理的图像A的各个页面提取字符区域。区域提取模块120 不仅可以提取字符区域，而且可以提取图形区域。
这里，参照图4，将描述用于存储字符区域的提取结果等的区 域数据表400。区域数据表400包括编号栏401、左上x坐标栏402、 左上y坐标栏403、宽度栏404、高度栏405、页面栏406、区域栏 407、区域顺序栏408以及子图像栏409。子图像栏409包括第一栏 410和最后一栏411。
编号栏401存储用于唯一地识别所提取的区域的符号。左上x坐标栏402、左上y坐标栏403、宽度栏404、高度栏405 指定区域并分别存储页面中矩形区域的左上角的x坐标和y坐标及 该区域的宽度和高度。然而，所述各栏不必局限于此，而是可以存 储左上坐标和右下坐标。
页面栏406存储图像中的各个页面的顺序。
区域栏407存储区域的种类(字符区域、图形区域等)。在步 骤S218之后，仅对作为目标的字符区域执行处理。
区域顺序栏408存储在步骤S218中对各个字符区域所确定的顺序。
子图像栏409存储位于区域中的子图像。第一栏410存储位于 第一个区域中的子图像的符号，该第一个区域在图5的实例中所示 的子图像数据表500的编号栏501中示出。最后一栏411类似地存 储位于最后一个区域中的子图像的符号，该最后一个区域在图5的 实例中所示的子图像数据表500的编号栏501中示出。
在步骤S218中，区域定序模块130确定图像A的每个页面中 的字符区域的顺序。区域数据表400的区域顺序栏408存储该结果。
在步骤S220中，子图像提取模块140从图像A的每个页面(字 符区域)提取子图像。
这里，参照图5，将描述用于存储子图像的提取结果的子图像 数据表500。子图像数据表500包括编号栏501、左上x坐标栏502、 左上y坐标栏503、宽度栏504、高度栏505、区域顺序栏506、页 面顺序栏507、整体顺序栏508、标记栏509以及子图像栏510。
编号栏501存储用于唯一地识别所提取的子图像的符号。
左上x坐标栏502、左上y坐标栏503、宽度栏504、高度栏505 指定子图像并分别存储页面中矩形区域的左上角的x坐标和y坐标 及区域的宽度和高度。然而，所述各栏不必局限于此，而是可以存 储左上坐标和右下坐标。
区域顺序栏506存储步骤S222中的结果(字符区域中的子图像 的顺序)。
页面顺序栏507和整体顺序栏508存储步骤S224中的结果(图像中的子图像的顺序)。
标记栏509存储步骤S260、步骤S268和步骤S270中的结果。
子图像栏510存储子图像。要存储的内容可以是子图像本身或 指示存储子图像的位置的链接。
在步骤S222中，子图像定序模块150确定字符区域中的子图像 的顺序。获得的结果存储在子图像数据表500的区域顺序栏506中。
在步骤S224中，整体定序模块160确定图像A中的子图像的 顺序。S卩，当存在多个字符区域时，根据步骤218中的顺序来确定 子图像的顺序。当存在多个页面时，根据各个页面的顺序来确定子 图像的顺序。获得的结果存储在子图像数据表500的页面顺序栏507 和整体顺序栏508中。
从步骤S250至步骤S270的处理由比对模块170来执行。在歩 骤S250中，根据在步骤S224和步骤S244中分别进行分类的结果将 尚未进行比对的子图像依次与图像A和图像B中的子图像比对。即， 分别根据所确定的图像中的子图像的顺序，在子图像之间执行比对 处理。虽然通常不会将具有相同顺序的子图像进行互相比对，但是 分别根据所述顺序来对其进行互相比对。然后，当完成所有子图像 的比对处理时，程序转入步骤S272。下面将参照图3来描述比对处 理的细节。
在步骤S252中，作为步骤S250中的比对处理的结果，判断两 个子图像是否相同。在此判断中，当判定两个子图像相同时(判断 结果为"肯定"(Y))，程序返回步骤S250。否则(判断结果为 "否定"N)，程序转入步骤S254。在这种情况下，所述相同不仅 包括子图像之间不存在差异，而且包括差异在规定的范围内(其余 部分相同)。
在步骤S254中，关注不与图像B的子图像相对应的图像A的 子图像及其随后的总共N个子图像栏(N是O或更大的整数)。也 就是说，所述子图像栏被设置为将在步骤S256中进行比对的固定对 象。
在步骤S256中，在图像B的子图像中，在不与图像A的子图
17像相对应的子图像之后，比对与步骤S254中的所关注的子图像栏相
对应的子图像栏。
在步骤S258中，作为步骤S256的比对处理的结果，判断两种 子图像栏(所关注的图像A的子图像栏和图像B的子图像栏)中的 子图像栏是否彼此对应。在此判断中，当判定子图像栏彼此对应时 (Y)，程序转入步骤S260。否则(N)，程序转入步骤S262。在 这种情况下，彼此对应不仅包括子图像栏之间不存在差异，而且包 括所述差异在规定的范围内(其余部分相同)。
在步骤S260中，在图像B的子图像中，"插入"标记附加于 子图像栏上一直到相应位置。也就是说，由于识别到图像B中存在 与所关注的图像A的子图像栏相同的子图像栏，所以与图像A相比， 一直设置到该相应位置的图像B的子图像是插入的子图像。此结果 存储在子图像数据表500的标记栏509中。
步骤S262和步骤S264是与步骤254和步骤256的处理相反的 处理。也就是说，在步骤S254和步骤S256中，固定并比对图像A 的子图像，然而，在步骤S262和步骤S264中，固定并比对图像B 的子图像。
在步骤S262中，关注不与图像A的子图像相对应的图像B的 子图像及其随后的总共N个子图像栏。也就是说，所述子图像栏被 设置为将在步骤S264中进行比对的固定对象。
在步骤S264中，在图像A的子图像中，在不与图像A的子图 像相对应的子图像之后，比对与步骤S262中的所关注的子图像栏相 对应的子图像栏。
在步骤S266中，作为步骤S264的比对处理的结果，判断两种 子图像栏(图像A的子图像栏和所关注的图像B的子图像栏)中的 子图像栏是否彼此对应。在此判断中，当判定子图像栏彼此对应时 (Y)，程序转入步骤S268。否则(N)，程序转入步骤S270。
在步骤S268中，在图像A的子图像中，"删除"标记附加于 子图像栏上一直到相应位置。也就是说，由于识别到图像A中存在 与所关注的图像B的子图像栏相同的子图像栏，所以与图像B相比，一直设置到该相应位置的图像A的子图像是删除的子图像。此结果
存储在子图像数据表500的标记栏509中。
在步骤S270中，"修改"标记分别附加于图像A和图像B的 所关注的子图像栏的第一子图像栏。即，由于识别到其他图像中不 存在各个所关注的子图像栏，所以第一个所关注的子图像栏被判定 为经过修改。此结果存储在子图像数据表500的标记栏509中。
在步骤S272中，处理模块180处理在从步骤S250至步骤S270 的处理中被判定为"删除"、"插入"以及"修改"的子图像的位 置。即，根据子图像数据表500的标记栏509，处理模块180处理相 应子图像的位置(子图像数据表500的左上x坐标栏502至高度栏 505)。
图3是示出根据本示例性实施例的子图像的比对处理的实例的 流程图。也就是说，比对模块170表示并执行图2所示的流程图中 的步骤S250的比对处理。
在步骤S310中，接收到图像A的子图像。在步骤S320中，接 收到图像B的子图像。即，接收到要互相比较的两个图像的子图像。
在步骤S330中，将两个图像的子图像的特征1 (例如子图像的 外接矩形框的尺寸，更具体地说，子图像数据表500的宽度栏504 和高度栏505)互相比较。
在步骤S332中，判断步骤S330中的比较结果、即所述差异是 否在规定的范围内。在此判断中，当所述差异在规定的范围内时(Y)， 程序转入步骤S334。否则(N)，程序转入步骤S348。
在步骤S334中，将两个图像的子图像的特征2 (例如子图像的 黑色像素的数目)互相比较。
在步骤S336中，判断步骤S334中的比较结果、即所述差异是 否在规定的范围内。在此判断中，当所述差异在规定的范围内时(Y)， 程序转入步骤S338。否则(N)，程序转入步骤S348。
在步骤S338中，将两个图像的子图像的特征3 (例如子图像被 细化之后的黑色像素的数目)互相比较。这里，采用细化的子图像 降低了扫描仪读取子图像时的基于表面或浓度的影响。在步骤S340中，判断步骤S338中的比较结果、即所述差异是 否在规定的范围内。在此判断中，当所述差异在规定的范围内时(Y)， 程序转入步骤S342。否则(N)，程序转入步骤S348。
在步骤S342中，将两个图像的子图像的特征4 (例如子图像之 间的图案匹配之后的相关系数值，更具体地说，两个子图像之间的 EOR运算之后表示1的像素的数目)互相比较。
在步骤S344中，判断步骤S342中的比较结果、即所述差异是 否在规定的范围内。在此判定中，当所述差异在规定的范围内时(Y)， 程序转入步骤S346。否则(N)，程序转入步骤S348。
在步骤S346中，判定图像A的目标子图像对应于图像B的目 标子图像。也就是说，在图2所示的流程图中，获得步骤S252中的 Y的情况。
在步骤S348中，判定图像A的目标子图像不对应于图像B的 目标子图像。也就是说，在图2所示的流程图中，获得步骤S252中 的N的情况。
在图3所示的处理实例中，按照从比较处理中的工作量相对较 小的处理开始的顺序执行四个阶段的比较处理，因此，可以不对不 相对应的子图像执行工作量大的处理。关于比较处理的阶段的数目， 可以执行较大数目的比较处理(例如执行与在字符识别处理中所使 用的用于提取特征的处理等效的处理，并增加用于互相比较其结果 的处理)，或者可以执行较小数目的比较处理。此外，要比较的特 征不限于上述实例，也可以使用其他特征。
图6、图7和图8是示出根据本示例性实施例的情况1的处理 实例的说明图。
图6中的(al)和图6中的(bl)示出了作为图像A的图像610 和作为图像B的图像620。即，通过改变图像610的各行之间的间 距并部分地修改字符来获得图像620。在这种情况下，当将图像610 的整个部分与图像620的整个部分对准以提取图像的差异时，由于 在图像610与图像620之间，各行之间的间距不同，所以部分611 下面的所有部分被判定为不同。
20图6中的(a2)所示的图像610和图6中的(b2)所示的图像 620示出了区域提取模块120所提取的结果。也就是说，图像610被 确定为具有字符区域611和字符区域612，并且图像620被确定为具 有字符区域621、字符区域622和字符区域623。出现上述问题是由 于在图像610与图像620之间，各行之间的间距是不同的。
然后，区域定序模块130按照字符区域611和612的顺序来设 定图像610的各个区域的顺序，并按照字符区域621、 622和623的 顺序来设置图像620的各个区域的顺序。
图7示出经过子图像提取模块140、子图像定序模块150、整体 定序模块160和比对模块170处理的图像610和图像620的处理结 果。具体地说，由子图像提取模块140提取的子图像(字符)示出 为被矩形框包围并基于子图像定序模块150和整体定序模块160所 确定的顺序来布置(从子图像701a至子图像733a、从子图像701b 至子图像733b)。也就是说，即使当字符区域被划分成两个部分时， 也可以在全部区域中设定子图像的顺序。比对模块170对排好序的 子图像进行比对。即，分别根据子图像的顺序，将相应的子图像(即 子图像701a、子图像701b,…)互相比较。结果，判定子图像701a 至715a分别对应于子图像701b至715b。 g卩，在图2所示的流程图 中，重复步骤S250和步骤S252。然后，判定子图像716a不对应于 子图像716b以执行步骤S254、 S256、 S258、 S262、 S264、 S266和 S270的处理。然后，子图像716a被确定为修改成子图像716b。类 似地，确定子图像717a和子图像717b、子图像729a和子图像72% 以及子图像730a和子图像730b是"修改"。
图8示出了处理模块180处理图像620(图像B)中被判定为"修 改"的位置处的子图像(子图像716b、 717b、 729b以及730b)的实 例。例如，在图8的(a)所示的图像810中，位于所述位置处的子 图像(字符811、 812、 813以及814)示出为被粗化。此外，在图8 的(b)所示的图像820中，位于所述位置处的子图像的背景(经处 理的字符821、 822、 823以及824)被着色。
图9 15是示出根据本示例性实施例的情况2的处理实例的说明图。情况2表示图像分别具有多个页面并执行了插入和删除。
图9中的(al)禾B (a2)例举图像911和921作为图像A，图9 中的(bl)和(b2)例举图像951和971作为图像B。也就是说， 在图像B中，插入了字符并且前页的字符串部分地多出到图像971 上。
图9的(a3) 、 (a4) 、 (b3)及(b4)所示的图像911和921， 以及图像951和971示出了区域提取模块120的提取结果。g卩，图 像911被确定为具有字符区域931和932，图像921被确定为具有字 符区域933 937，图像951被确定为具有字符区域981和982，并 且图像971被确定为具有字符区域983 988。
然后，区域定序模块130按照字符区域931和932的顺序来设 定图像911的各个区域的顺序。图像921的各个区域的顺序按照字 符区域933、 934、 935、 936以及937的顺序来设定。图像951的各 个区域的顺序按照字符区域981和982的顺序来设定。图像971的 各个区域的顺序按照字符区域983、 984、 985、 986、 987以及988 的顺序来设定。
图10中的(a)和(b)示出了经过子图像提取模块140、子图 像定序模块150、整体定序模块160处理的图像A的图像911和921 以及图像B的图像951和971的处理结果。具体地说，子图像提取 模块140所提取的子图像(字符)示出为被矩形框包围并基于子图 像定序模块150和整体定序模块160所确定的顺序来布置(图像A 中的60个子图像，图像B中的66个子图像)。也就是说，即使当 存在多个图像和多个区域时，也可以在全部页面和区域中设定子图 像的顺序。
图11中的(a)和(b)示出了比对模块170执行的处理的中间 部分(图2所示的流程图中的步骤S250 S258)。即，在布置S250 和S252中，判定在图像A与图像B之间，12个子图像彼此对应。 然后，在图2所示的流程图中，当在步骤S254中假设N是1时，也 就是说，假设图像A的两个子图像栏(第13和第14子图像)是所 关注的子图像栏时，从图像B中的该子图像之后(第13子图像之后)的子图像栏中查找所关注的子图像栏(步骤S256)。在这种情况下， 由于不存在相对应的子图像栏，所以程序转入步骤S262。在图11 14中，作为比较的结果，相对应的子图像用虚线的箭头标记示出， 并且不相对应的子图像用实线的箭头标记示出。
图12中的(a)和(b)示出了比对模块170执行的处理的中间 部分(图2所示的流程图中的步骤S250 S268，即用于判定"插入" 和"删除"的处理)。在步骤S262中，假设图像B的两个子图像栏 (第13子图像和第14子图像)是所关注的子图像栏，并从图像A 中的该子图像之后(第13子图像之后)的子图像栏中查找所关注的 子图像栏(步骤S264)。在这种情况下，由于相对应的子图像是第 17子图像栏(第17和第18子图像)，所以程序转入步骤S268。在 步骤S268中，被确定为不对应于所关注的子图像栏的图像A中的子 图像(第13子图像) 一直到恰好在被判定为对应于所关注的子图像 栏的子图像之前的子图像(第16子图像)被确定为删除的子图像 1201。
然后，由于图像A的第17子图像至第28子图像与图像B的第 13子图像至第24子图像彼此对应，所以重复步骤S250和S252的处 理。
然后，由于图像A的第29子图像不对应于图像B的第25子图 像，所以图像A的第29和第30子图像栏被认为是所关注的子图像 栏，并且从图B中的该子图像之后的子图像栏(从第26子图像)中 查找所关注的子图像栏。在这种情况下，由于相对应的子图像是第 30子图像栏(第30和第31子图像)，所以程序转入步骤S260。在 步骤S260中，被判定为不对应于图像A的所关注的子图像栏的图像 B中的子图像(第25子图像) 一直到恰好在被判定为对应于图像A 的所关注的子图像栏的子图像之前的子图像(第29子图像)被判定 为插入的子图像1202。
然后，图像A的第31子图像被判定为对应于图像B的第32子 图像并继续执行处理。
图13中的(a)和(b)示出了这样一种状态，即类似地重复所述处理以确定图像B中的插入的子图像1301，并且随后不能从其
后的图像B的子图像栏中找到对应于图像A的所关注的子图像栏(第 41和第42子图像)的子图像。
图14中的(a)和(b)示出了通过重复类似的处理以确定图像 A中的删除的子图像1401并确定图像B中的插入的子图像1402而 获得的结果。
简单地说，作为图像A与图像B之间的差异，确定了删除的子 图像1201和1401及插入的子图像1202、 1301以及1402。
图15示出了处理模块180处理图像951和971 (图像B)中被 确定为"删除"和"插入"的子图像(删除的子图像1201、 1401， 插入的子图像1202、 1301、 1401)的位置的实例。
例如，在图15的(ai)和(a2)所示的子图像的"删除"部分 中，分别在子图像之前和之后的一个子图像被粗化且其颜色被修改 (字符1511和1512、字符1523和1524)。然后，在子图像的"插 入"部分中，子图像被加粗且其颜色被修改(与"删除"的那些不 同的颜色)(字符1513 1517、字符1518 1522)。
此外，在图15的(bl)和(b2)所示的子图像的"删除"部分 中，分别在子图像之前和之后的一个子图像被加粗且背景的颜色被 修改(经处理的字符153K经处理的字符1534)。然后，在子图像 的"插入"部分中，子图像被加粗且背景颜色被修改(与"删除" 的颜色不同)(经处理的字符1532、经处理的字符1533、经处理的 字符1535)。
此外，在图15的(cl)和(a2)所示的子图像中，符号( ) 附加在对应于"删除"部分的位置(经处理的图像1541、 1552)。 然后，在子图像的"插入部分"中，子图像被加粗且其颜色被修改 (与"删除"的符号不同的颜色)(字符1542 1546、字符1547 1551、字符1553 1555)。
参照图16，下面将描述本示例性实施例的硬件结构实例。图16 所示的结构由例如个人计算机(PC)构成并示出了包括诸如扫描仪 等数据读取部分1617和诸如打印机等数据输出部分1618的硬件结
24构实例。
CPU (中央处理单元)1601是用于根据计算机程序来执行处理
的控制部分，所述计算机程序分别描述上述示例性实施例中所述各
种模块的执行序列，所述各种模块为区域提取模块120、区域定序模 块130、子图像提取模块140、子图像定序模块150、整体定序模块 160以及比对模块170。
ROM (只读存储器)1612存储CPU 1601所使用的程序或计算 参数等等。RAM (随机存取存储器)1603存储CPU 1601的执行中 所使用的程序和在其执行中适当地改变的参数。这些部件通过由 CPU总线构成的主机总线1604相互连接。
主机总线1604通过桥接器1605连接到诸如PCI (周边组件互 连/接口)总线等外部总线1606上。
诸如键盘1608 、鼠标等点击装置(指点装置) 1609是由操作人员来操作的输入装置。显示器1610由液晶显示器或 CRT (阴极射线管)等组成以便将各种信息显示为文本或图像信息。
HDD (硬盘驱动器)1611在其中容纳硬盘并驱动硬盘来记录或 再现由CPU 1601执行的程序或信息。在硬盘中，存储接收到的图像 或经处理模块180等处理的图像。此外，还存储诸如其他各种数据 处理程序等各种计算机程序。
驱动器1612读取记录在诸如安装的磁盘、光盘、光电磁盘或半 导体存储器等可移动记录介质1613中的数据或程序以便将该数据或 程序提供给通过接口 1607、外部总线1606、桥接器1605以及主机 总线1604连接的RAM 1603。可移动记录介质1613也可以用作类似 于硬盘的数据记录区域。
连接端口 1614是用于连接外部连接装置1615的端口并具有诸 如USB、 IEEE 1394等连接部分。连接端口 1614通过接口 1607、外 部总线1606、桥接器1605以及主机总线1604连接到CPU 1601上。 通信部分1616连接到网络上以便执行与外部的数据通信处理。数据 读取部分1617是例如执行文档的读取处理的扫描仪。数据输出部分 1618是例如执行文档数据的输出处理的打印机。图16所示的硬件结构示出了一个结构实例，并且本发明的示例 性实施例不限于图16所示的结构。可以使用能够执行示例性实施例 中所述模块的任何结构。例如， 一部分模块可以由专用硬件(例如 专用集成电路ASIC)等组成。 一部分模块可以设置在外部系统中 并由通信线路连接。此外，图16所示的多个系统可以用通信线路连
接在一起以便相互配合。此外，图16所示的结构可以包含在复印机、
传真机、扫描仪、打印机、多功能机(具有扫描仪、打印机、复印 机、传真机等的两种或更多种功能的图像处理器)等。
根据上述示例性实施例，在图2所示的流程图中，在步骤S250 之后的处理中，示出了用于判断"插入"、"删除"以及"修改" 的处理的实例。然而，当预先知道处理仅包括"修改"时，或者当 插入和删除也被确定为修改时(即在插入和删除之后，所有处理被 设定为修改)，在步骤S250之后的处理中，可以按照在步骤S224 和步骤S244中进行分类的顺序来将两个子图像互相比对，可以将标 记附加于不同的子图像，并且可以处理被判定为不同的子图像的位 置。
此外，在上述示例性实施例中，示出了这样的实例，即处理 模块180执行基于图像B的处理.，然而，处理模块180也可以执行 基于图像A的处理。此外，处理模块180可以处理两个图像。艮P， 对于图像A,处理模块180可以处理删除的部分，对于图像B，处理 模块180可以处理插入的部分。对于修改的部分，处理模块180可 以处理图像中的一者或两者。
此外，对于由比对模块170执行的比对处理，可以应用字符串 (文本串)中使用的比对处理以及上述比对处理。
上述程序可以存储并设置在记录介质中。此外，可以由通信单 元来提供程序。在这种情况下，可以将上述程序作为"存储程序的 计算机可读介质"的发明。
所述"存储程序的计算机可读介质"是指能够被计算机读取的 记录有程序的记录介质，其可以用来安装和执行程序以及运行程序。 作为记录介质，可以例举例如，数字通用盘(DVD)诸如作为DVD论坛中建立的标准的"DVD-R、 DVD-RW、 DVD-RAM等"、作为DVD+RW所建立的标准的"DVD+R、DD+RW等"、压密盘(CD)诸如只读存储器CD (CD-ROM)、可记录CD (CD-R)、可重写CD (CD-RW)等、光电磁盘(MO)、软盘(FD)、磁带、硬盘、只读存储器(ROM)、电可擦除可重写只读存储器(EEPROM)、闪速存储器、随机存取存储器(RAM)等。
上述程序或其一部分可以记录并存储在记录介质中并运行。此外，可以利用例如局域网(LAN)、城域网(MAN)、广域网(WAN)、用于因特网的有线网络或无线通信网络、内联网、外联网、以及诸如其组合的传输介质而经由通信来发送，或者可以由载波来发送。
此外，上述程序可以是其他程序的一部分或与单独的程序一起存储在记录介质中。此外，上述程序可以被分割并存储在多个记录介质中。此外，如果上述程序能被恢复，则该程序可以以诸如压縮或编码等任何形式来记录。
出于解释和说明的目的提供了本发明的示例性实施例的上述说
明。其本意并不是穷举或将本发明限制在所公开的确切形式。显然，对于本技术领域的普通技术人员可以进行许多修改和变型。选择和说明上述示例性实施例是为了更好地解释本发明的原理及其实际应用，因此使得本技术领域的其他技术人员能够理解本发明所适用的各种实施例并预见到适合于特定应用的各种修改。目的在于通过所附权利要求书及其等同内容限定本发明的范围。
权利要求
1.一种图像处理器，包括局部图像提取单元，其从第一图像提取第一局部图像，并从第二图像提取第二局部图像；定序单元，其根据所述第一局部图像在所述第一图像中的各个位置来确定所提取的第一局部图像的顺序，并根据所述第二局部图像在所述第二图像中的各个位置来确定所提取的第二局部图像的顺序；以及差异提取单元，其根据所述第一局部图像的顺序和所述第二局部图像的顺序来将每个所述第一局部图像与相应的所述第二局部图像进行比较，并提取基于所述第一图像与所述第二图像之间的比较的差异。
2. 如权利要求1所述的图像处理器，其中， 所述第一图像和所述第二图像分别具有多个页面； 所述定序单元根据所述第一图像的各个页面的顺序来在全部所述多个页面中确定所述第一局部图像的顺序，并且所述定序单元根据所述第二图像的各个页面的顺序来在全部所 述多个页面中确定所述第二局部图像的顺序。.
3. 如权利要求1或2所述的图像处理器，其中， 利用每个所述第一局部图像的特征和相应的所述第二局部图像的特征来进行每次比较，并且根据所述定序单元所确定的顺序来进行每次比较。
4. 一种图像处理器，包括存储单元，其存储与第一图像中的第一局部图像有关的信息， 其中，根据从所述第一图像提取的所述第一局部图像的各个位置来 确定所述第一局部图像的顺序；局部图像提取单元，其从第二图像提取第二局部图像； 定序单元，其根据所述第二局部图像在所述第二图像中的各个位置来确定所提取的第二局部图像的顺序；以及差异提取单元，其根据所存储的与第一局部图像有关的信息和所述第二局部图像的顺序来将每个所述第一局部图像与相应的所述 第二局部图像进行比较，并提取基于所述第一图像与所述第二图像 之间的比较的差异。
5.如权利要求4所述的图像处理器，其中， 所述第一图像和所述第二图像分别具有多个页面， 与第一局部图像有关的所述信息包括全部所述多个页面中所确定的顺序，并且所述定序单元根据所述第二图像的各个页面的顺序来在全部所 述多个页面中确定所述第二局部图像的顺序。
6. 如权利要求4或5所述的图像处理器，其中， 所述信息包括每个所述第一局部图像的特征， 利用所存储的每个所述第一局部图像的特征和每个所述第二局部图像的特征来进行每次比较，并且根据所述存储单元所存储的所述第一局部图像的顺序和所述定 序单元所确定的所述第二局部图像的顺序来进行每次比较。
7. 如权利要求1或4所述的图像处理器，还包括-图像处理单元，其在被所述差异提取单元提取到差异的每个所述第一局部图像或每个所述第二局部图像的位置处将新的信息添加 到所述第一图像和所述第二图像中的至少之一中。
8. —种图像处理方法，包括 从第一图像提取第一局部图像； 从第二图像提取第二局部图像；根据所述第一局部图像在所述第一图像中的各个位置来确定所 提取的第一局部图像的顺序；根据所述第二局部图像在所述第二图像中的各个位置来确定所 提取的第二局部图像的顺序；根据所述第一局部图像的顺序和所述第二局部图像的顺序来将 每个所述第一局部图像与相应的所述第二局部图像进行比较；以及 提取基于所述第一图像与所述第二图像之间的比较的差异。
9. 一种图像处理方法，包括存储与第一图像中的第一局部图像有关的信息，其中，根据从 所述第一图像提取的所述第一局部图像的各个位置来确定所述第一 局部图像的顺序；从第二图像提取第二局部图像；根据所述第二局部图像在所述第二图像中的各个位置来确定所 提取的第二局部图像的顺序；根据所存储的与第一局部图像有关的信息和所述第二局部图像 的顺序来将每个所述第一局部图像与相应的所述第二局部图像进行 比较；以及提取基于所述第一图像与所述第二图像之间的比较的差异。
全文摘要
本发明公开了一种图像处理器及图像处理方法。该图像处理器包括局部图像提取单元、定序单元和差异提取单元。所述局部图像提取单元从第一图像提取第一局部图像，并从第二图像提取第二局部图像。所述定序单元根据第一局部图像在第一图像中的位置来确定所提取的第一局部图像的顺序，并根据第二局部图像在第二图像中的位置来确定所提取的第二局部图像的顺序。并且差异提取单元根据第一局部图像的顺序和第二局部图像的顺序来将每个第一局部图像与相应的第二局部图像进行比较，并提取基于第一图像与第二图像之间的比较的差异。
文档编号G06K9/20GK101561877SQ200910000468
公开日2009年10月21日 申请日期2009年1月16日 优先权日2008年4月14日
发明者足利英昭 申请人:富士施乐株式会社