图像处理方法和图像处理设备的制作方法

专利名称：图像处理方法和图像处理设备的制作方法
技术领域：
本发明涉及一种图像处理方法和图像处理设备，更具体地说，本发明涉及一种用于图像对比的图像处理方法和图像处理设备。
背景技术：
随着计算机图像技术的发展，对图像质量检查和数字文档分析的需求也在逐步地扩大，其中，迫切需要能够对两幅图像进行对比，判断其是否相同的技术。在现实中，当原始图像经过打印、扫描等等的一系列的过程之后，或者当原始图像进行远程打印或远程扫描之后，经常需要判断经过一系列过程后所得的图像与原始图像是否相同，是否曾经被改动；更希望的是，如果判断出图像被改动过，最好还能够在所得的图像中发现被改动的位置。如果能够实现此目标，则对于文档安全有重要的意义。 美国专利文件US 7190470B2 (System and method for automaticdocumentverification, HEWLETT PACKARD DEVELOPMENT COMPANY, L. P)公开了一种文档打印验证系统，其用于比较原始文档和打印文档的扫描文档。具体是，对于文本文档，通过OCR (Optical Character Recognition,光学字符识别)技术将图像转成文本,再通过文本比较技术来比较文本。此专利依赖OCR技术，因而只能处理实质内容为文本的图像，或者仅能处理图像中实质内容为文本的部分，因此能够处理的图像类型有限；并且此专利的实施需要词典，字符识别错误将导致文本比较的错误，因此处理过程耗时较长且易出错。美国专利文件US2OO6OI26IO6Ai(System and method for remote proofprintingand verification,XEROX C0RP)提供一种用于在提交给用户浏览前的远程打印验证方法，其中的验证过程通过比较原始图像与扫描所得的对比图像的直方图来判断二者是否相同。然而，该技术利用整幅图像的直方图来进行比较，精确度较差，并且即使在判断出对比图像相对于原始图像发生变化的情况下，也无法发现对比图像中的变化之处。美国专利文件US 7076086B2 (Image inspection device, FUJI XEROX C0LTD)提供一种用来检查输出图像的设备，其通过比较分辨率、亮度等等的图像参数来判断输出图像相对于原始图像是否发生改变。然而，该技术利用整幅图像的参数来进行比较，精确度较差，并且即使在判断出输出图像相对于原始图像发生变化的情况下，也无法发现输出图像中的变化之处。

发明内容
鉴于现有技术中存在的上述问题而做出本发明，以解决现有技术中存在的问题。本发明提出一种图像处理方法和图像处理设备，通过从图像中提取图像框并基于图像框来进行图像比较，来判断两幅图像是否相同，并且发现其中一幅图像相对于另一幅图像的变化之处。根据本发明的一个实施例，提供一种图像处理方法，包括输入步骤，输入相同尺寸第一图像和第二图像；图像框提取步骤，以相同的方式，从第一图像中提取至少一个第一图像框，从第二图像中提取至少一个第二图像框；图像框配对步骤，针对所述第二图像框，在第一图像中寻找位置最接近的第一图像框，作为与该第二图像框相对应的第一图像框；比较步骤，比较第二图像框和相对应的第一图像框，以确定该第二图像框和相对应的第一图像框相同或不同；标记步骤，如果确定该第二图像框与该相对应的第一图像框不同，则对第二图像中该第二图像框的位置做出标记，并将上述标记附加到第二图像；以及输出步骤，输出第二图像。根据本发明的另一个实施例，提供一种图像处理设备，包括输入装置，用于输入相同尺寸第一图像和第二图像；图像框提取装置，用于以相同的方式，从第一图像中提取至少一个第一图像框，从第二图像中提取至少一个第二图像框；图像框配对装置，用于针对所述第二图像框，在第一图像中寻找位置最接近的第一图像框，作为与该第二图像框相对应的第一图像框；比较装置，用于比较第二图像框和相对应的第一图像框，以确定该第二图像框和相对应的第一图像框相同或不同；标记装置，用于如果确定该第二图像框与该相对应的第一图像框不同，则对第二图像中该第二图像框的位置做出标记，并将上述标记附加到第二图像；以及输出装置，用于输出第二图像。
按照本发明实施例的图像处理方法和图像处理设备的实施不需要借助词典，不限于比较实质内容为文本的图像，而是能够自动、精确地判断出两幅图像是否相同，并且能够自动发现二者的不同之处。通过阅读结合附图考虑的以下本发明的优选实施例的详细描述，将更好地理解本发明的以上和其他目标、特征、优点和技术及工业重要性。


图I是示出按照本发明实施例的图像处理方法的总体流程图。图2A示例性地示出将对其实施按照本发明实施例的第一图像。图2B示例性地示出将对其实施按照本发明实施例的第二图像。图3是示出按照本发明实施例的图像框提取过程的流程图。图4A至图4D是通过示例来示意性地说明按照本发明实施例的图像框提取过程的示意图，其中，图4A示出了从图2A所示的第一图像提取的一个色彩分量的灰度图，图4B示出了图4A所示的单色彩灰度图的像素点数目相对于灰度分布的直方图，图4C示出从图4A所示的单色彩灰度图得到的与一个灰度区间相对应的二值化图像，以及图4D示出对于图4C所示的二值化图像进行图像框获取所获得的各个图像框的示意图。图5是示出在原始图像上标记与对比图像的不同之处的情况的示意图。图6是示出按照本发明实施例的图像处理系统的总体框图。图7是示出按照本发明实施例的图像处理设备的总体框图。
具体实施例方式下面结合

本发明的实施例。图I是示出按照本发明实施例的图像处理方法的总体流程图。按照本发明实施例的图像处理方法包括输入步骤S100，输入相同尺寸第一图像和第二图像；图像框提取步骤S200，以相同的方式，从第一图像中提取至少一个第一图像框，从第二图像中提取至少一个第二图像框；图像框配对步骤S300，针对所述第二图像框，在第一图像中寻找位置最接近的第一图像框，作为与该第二图像框相对应的第一图像框；比较步骤S400，比较第二图像框和相对应的第一图像框，以确定该第二图像框和相对应的第一图像框相同或不同；标记步骤S500，如果确定该第二图像框与该相对应的第一图像框不同，则对第二图像中该第二图像框的位置做出标记，并将上述标记附加到第二图像；以及输出步骤S600，输出第二图像。在输入步骤SlOO中输入的第一图像和第二图像具有相同的尺寸，也就是第一图像和第二图像由相同数目行列的像素点组成。本发明实施例的图像处理方法比较相同尺寸即相同大小的两幅图像，在输入步骤SlOO之前，可以进一步包括前置步骤，原来读入两幅图像，判断该两幅图像尺寸是否相等，在判断为尺寸相等的情况下，再将该两幅图像作为第一图像和第二图像供输入步骤Sioo输入。可以通过各种现有技术判断出两幅图像大小不同并进而判断为两幅图像不同，不在按照本发明实施例的图像处理方法中处理，或者通过尺寸调整步骤，将两幅图像尺寸调整为相同，然后再将该两幅图像作为第一图像和第二图像供输入步骤Sioo输入。图2A示例性地示出将对其实施按照本发明实施例的第一图像； 图2B示例性地示出将对其实施按照本发明实施例的第二图像，其中第一图像可以是原始图像，第二图像可以是对比图像。在图像框提取步骤S200从第一图像和第二图像分别提取第一图像框和第二图像框，对于从第一图像提取第一图像框和从第二图像提取第二图像框，采用相同的方式。第一图像框和第二图像框可以通称为图像框。例如，可以通过诸如现有图像软件包OpenCV中的FindContours命令之类的找连通域的方法,或通过调用现有的BlobLibrary库,来从彩色或单色的第一图像和第二图像中分别提取图像中诸如图案或文字的图像内容的边缘轮廓并进而得到包含图像内容的矩形边框，来分别作为第一图像框和第二图像框。第一图像框或第二图像框均可能多于一个，另一方面，在图像中不包含任何内容的情况下，例如一幅白图像，可以将整幅图像作为一个图像框。本发明实施例还提供另一种从图像提取图像框的手段，将在后文中描述。通过提取图像框，将图像中的空白区域至少部分地排除出此后的处理过程，从而可以加快处理速度。在图像框配对步骤S300，为从第二图像提取的第二图像框在从第一图像提取的第一图像框中寻找对应的第一图像框，在存在多个第二图像框的情况下，则为每个第二图像框寻找对应的第一图像框。可以将第一图像和第二图像的坐标按照同一方式设置，例如均以图像左下端点为原点或均以图像中心点为原点等等，从而使第一图像和第二图像中任何一点的坐标均具有可比性，或者说第一图像和第二图像中的任何一点都在对方图像中具有相同坐标的对应点。由于图像框为矩形框，并且本领域技术人员可以理解，当提取图像框时可以获知并记录该图像框的信息，图像框的信息至少可以包括该图像框在相应图像中的顶点坐标，实际上只需获知图像框的一个对角线上的顶点在图像坐标系中的坐标即可知该图像框在该坐标系中的位置。第一图像和第二图像采用相同的坐标系，可以通过多种方式来在第一图像的至少一个第一图像框中为各个第二图像框寻找对应的第一图像框。例如，可以在至少一个第一图像框中寻找中心点坐标距离该第二图像框的中心点坐标距离最近的第一图像框，认为该第一图像框是与该第二图像框位置最接近的图像框，以该第一图像框作为与该第二图像框对应的第一图像框；或者，可以寻找与该第二图像框的某个方向的对角线上的相应顶点的距离之和最小的第一图像框，例如，该第二图像框的左上角顶点距某个第一图像框的左上角顶点的距离与该第二图像框的右下角顶点距该第一图像框的右下角顶点的距离之和在该至少一个第一图像框中最小，则认为该第一图像框是与该第二图像框位置最接近的图像框，以该第一图像框作为与该第二图像框对应的第一图像框；或者，可以寻找与该第二图像框的某个方向的对角线上的相应顶点的平均距离最小的第一图像框，例如，该第二图像框的左下角顶点距某个第一图像框的左下角顶点的距离与该第二图像框的右上角顶点距该第一图像框的右上角顶点的距离的平均值在该至少一个第一图像框中最小，则认为该第一图像框是与该第二图像框位置最接近的图像框，以该第一图像框作为与该第二图像框对应的第一图像框。为第二图像框寻找对应的第一图像框的方式不限于以上所述，本领域技术人员可以理解，在通过某种方式为某一个第二图像框找到多个对应的第一图像框的情况下，可以结合其它方式以确定一个对应的第一图像框，或者也可以将该多个对应的第一图像框均作为对应的第一图像框，进行此后的处理过程。本领域技术人员可以理解，在第一图像中仅有一个第一图像框的情况下，该一个第一图像框可以与所有第二图像框相对应。在比较步骤S400，比较在图像框配对步骤S300中配对为相互对应的第一图像框 和第二图像框是否相同。根据本发明实施例，可以通过多种方式来判断第一图像框和第二图像框是否相同，此比较判断过程将在后文描述。在标记步骤S500，对于在比较步骤S400中把相对应的第一图像框和第二图像框判断为二者不同的第二图像框，标记该第二图像框在第二图像中的位置。该标记既可以在该第二图像框的位置处进行，也可以在该第二图像框的位置之外，例如是在该第二图像框甚至第二图像之外指向该第二图像框位置的标记，或者可以通过列表方式列出该第二图像框的坐标位置，总之可以是任何表示出该第二图像框的位置的方式，并将上述标记附加到第二图像，作为第二图像的组成部分。在输出步骤S600，输出第二图像，如果在标记步骤S500为第二图像做出过标记，则输出的第二图像含有上述标记。作为对于上述图像处理方法的改进，在上述图像处理方法中，如果存在没有相对应的第二图像框的第一图像框，则在所述标记步骤中，可以进一步地对第二图像中与该第一图像框相应的位置做出标记，并将所述标记附加到第二图像。也就是，如果经过图像框配对步骤S300的处理之后，如果某个第一图像框没有第二图像框与之相对应，则可以在标记步骤S500中，进一步地针对第二图像中该第一图像框的相应位置进行标记。由于第一图像和第二图像的坐标系相同，因此该第一图像框在第一图像中的坐标位置即可以作为该第一图像框在第二图像中的相应位置。类似地，此标记既可以在该相应位置处进行，也可以在该相应位置之外，例如是在该相应位置甚至第二图像之外指向该相应位置的标记，或者可以通过列表方式列出该相应位置的坐标，总之可以是任何表示出该第一图像框在第二图像中的相应位置的方式，将上述标记附加到第二图像，作为第二图像的组成部分。在此情况下，输出步骤S600输出的第二图像含有关于该第一图像框在该第二图像中的相应位置的标记。作为对于上述图像处理方法的改进，该图像处理方法还可以包括图像框分割步骤，即如果所述第一图像框或第二图像框的度量大于第一预定阈值，则用固定的网格，以相同的对齐方式，将所述第一图像框或第二图像框进一步分割为多个第一图像框或多个第二图像框。此图像框分割步骤可以选择在图像框提取步骤S200和图像框配对步骤S300之间执行。S卩，对于通过图像框提取步骤S200所提取的第一图像框或第二图像框，可选地，可以进一步分割为更小的图像框，用分割一个图像框所得的更小的多个图像框取代该一个原图像框，进入此后的处理。可以以面积作为度量，设定某个面积阈值作为第一预定阈值，对面积大于该面积阈值的第一图像框或第二图像框进行分割；或者可以以边长长度作为度量，设定某个长度阈值，如果第一图像框或第二图像框的长边边长或大于该长度阈值，或如果第一图像框或第二图像框的短边边长大于该长度阈值，则分割该第一图像框或第二图像框。该第一预定阈值可以通过多种方式设定，例如图像总面积的某个比例，或图像边长的某个比例，或考虑图像框提取步骤S200所提取的图像框的面积或边长的分布来设定，例如设定要分割的图像框的数目占图像框总数目的比例。可以采用网格来分割图像框，对于从第一图像和第二图像中所提取的全部第一图像框及第二图像框，要采用同一尺度的网格，并且该网格与所有图像框的对齐方式应当相同，例如采用每个格为20*30像素的网格来在度量超过第一预定阈值的所有图像框的左上 角端点对齐，以确保分割后的多个第一图像框与多个第二图像框之间具有可比性。本领域技术人员可以理解，网格边长可以通过多种方式来选取，例如网格边长占图像相应边长的某个比例等等。如果图像处理方法选用了图像框分割步骤，则把图像框经网格分割所得的多个图像框代替原图像框输入图像框配对步骤S300。下面作为例子来描述在比较步骤S400中比较在图像框配对步骤S300中配对为相互对应的第一图像框和第二图像框是否相同可以采用的方式。例如，在所述比较步骤S400中，可以比较所述第二图像框与相对应的第一图像框的位置关系，如果该第二图像框与该第一图像框的距离大于第二预定阈值，则确定该第二图像框与该第一图像框不同。第一图像和第二图像采用相同的坐标系，可以通过多种方式来定义该第二图像框与该第一图像框的距离，例如，该第二图像框与该第一图像框的距离可以是该第二图像框的中心与该第一图像框的中心的距离；或者，该第二图像框与该第一图像框的距离可以是该第二图像框与该第一图像框在同一方向的对角线上的相应顶点之间的距离之和，例如，该第二图像框左下顶点与该第一图像框的左下顶点之间的距离与该第二图像框右上顶点与该第一图像框的右上顶点之间的距离之和；或者，该第二图像框与该第一图像框的距离可以是该第二图像框与该第一图像框在同一方向的对角线上的相应顶点之间的距离之平均，例如，该第二图像框左上顶点与该第一图像框的左上顶点之间的距离与该第二图像框右下顶点与该第一图像框的右下顶点之间的距离之平均；等等。本领域技术人员可以认识至IJ，还可以通过其它方式定义两个图像框之间的距离。在此该第二图像框与该第一图像框的距离的定义方式可以与在图像框配对步骤S300中定义两个图像框之间的距离的方式相同，也可以不同。用于判断相对应的第一图像框和第二图像框是否相同的第二预定阈值可以根据需要来确定，例如，如果采用比较严格的标准，则该第二预定阈值应较小，反之则该第二预定阈值应设得较高。另外，第二预定阈值的确定还可以考虑图像框距离的定义方式，例如，在采用相应对角顶点距离之和作为两个图像框的距离的情况下，该第二预定阈值可以比采用中心点距离作为两个图像框的距离的情况下大。另外，第二预定阈值的确定还可以考虑整幅图像的尺寸，例如设定为图像边长的某比例。如果相互对应的第二图像框和第一图像框之间的距离大于第二预定阈值，则确定该第二图像框与该第一图像框不同。或者，例如，在所述比较步骤S400中，可以比较所述第二图像框与相对应的第一图像框分别关于相同色彩的灰度差平均值，如果最大的灰度差平均值大于第三预定阈值，则确定该第二图像框与该第一图像框不同。本领域技术人员应当理解，可以获知相对应的第一图像框和第二图像框中各个像素点的RGB(红绿蓝)像素值，从而可以通过以下公式(1)-(3)分别计算第一图像框和第二图像框关于RGB分量的灰度差平均值，Rdiff = Σ I Rpl-Rp21/N (I)Gdiff = Σ I Gpl-Gp21/N (2) Bdiff=E I Bpl-Bp21/N (3)其中，Rdiff、Gdiff、和Bdiff分别为相对应的第一图像框和第二图像框关于RGB分量的灰度差平均值，Rpl> Gpl、和Bpl分别为第一图像框中的像素点pi关于RGB分量的灰度值，Rpl、Gpl、和Bpl分别为第二图像框中的像素点p2关于RGB分量的灰度值，pi像素点和p2像素点坐标相同，N为第一图像框或第二图像框中像素点的数目。如前文所述，第一图像和第二图像采用相同的坐标系，pi和p2为在该坐标系中具有相同坐标的像素点，如果相对应的第一图像框和第二图像框在该坐标系中的位置完全吻合，则其中的像素点Pl和P2可以实现一一对应。然而，由于相对应的第一图像框和第二图像框在同一坐标系中可能存在位置偏差，在此情况下，可以仅仅考虑第一图像框和第二图像框的“交集”，也就是只计算第一图像框和第二图像框中具有相同坐标的像素点Pi和P2 ；或者，也可以考虑第一图像框和第二图像框的“并集”，也就是把第一图像框和第二图像框分别在第一图像和第二图像中临时外扩到对方图像框的坐标范围；或者，计算中不考虑第一图像框包含而第二图像框不包含的位置的像素点，而把第一图像框在第一图像中外扩到包含第二图像框的坐标范围，或者反之。总之，把第一图像框和第二图像框调整到在坐标系中位置完全吻合，其调整后所具有的N个像素点Pl和p2可以实现一一对应。然后，以Rdiff、Gdiff、和Bdiff中的最大值作为相对应的第二图像框与第一图像框的最大的灰度差平均值，如果该最大的灰度差平均值大于第三预定阈值，则确定该第二图像框与该第一图像框不同。或者，例如也可以设定在Rdiff、Gdiff、和Bdiff均大于第三预定阈值的情况下，则确定该第二图像框与该第一图像框不同。用于判断相对应的第一图像框和第二图像框是否相同的第三预定阈值可以根据需要来确定，例如，如果采用比较严格的标准，则该第三预定阈值应较小，反之则该第三预定阈值应设得较高。另外，第三预定阈值的确定还可以考虑整幅图像的灰度值范围，例如设定为最大灰度值(例如256)的某比例。如果相互对应的第二图像框和第一图像框之间的最大的灰度差平均值大于第三预定阈值，则确定该第二图像框与该第一图像框不同。本领域技术人员可以理解，R、G、B分量不必然都采用，而是可以从中任选使用，只需要保证对于第一图像框和第二图像框选取相同的色彩分量。
本领域技术人员可以理解，也可以利用各个像素点的HSI (色调-饱和度-强度)分量来确定该第二图像框与该第一图像框是否相同。或者，例如，在所述比较步骤S400中，可以比较所述第二图像框与相对应的第一图像框分别关于相同色彩的直方图距离，如果最大的直方图距离大于第四预定阈值，则确定该第二图像框与该第一图像框不同。如前文所述，第一图像和第二图像采用相同的坐标系，如果相对应的第一图像框和第二图像框在该坐标系中的位置不完全吻合，则可以考虑前述方式把第一图像框和第二图像框调整到在坐标系中位置完全吻合。本领域技术人员应当理解，可以获知相对应的第一图像框和第二图像框中各个像素点的RGB (红绿蓝)像素值即灰度值，从而也就可以获知第一图像框关于RGB色彩分别的直方图、以及第二图像框关于RGB色彩分别的直方图。其中，可以采用的直方图可以是任意的直方图，例如像素点数目相对于灰度分布的直方图、或者局部二值模式(Local BinaryPatterns, LBP)直方图、等等。
以采用LBP直方图为例来进行说明。分别计算该第一图像框关于R分量的LBP直方图与该第二图像框关于R分量的LBP直方图之间的距离、该第一图像框关于G分量的LBP直方图与该第二图像框关于G分量的LBP直方图之间的距离、以及该第一图像框关于B分量的LBP直方图与该第二图像框关于B分量的LBP直方图之间的距离。可以采用的直方图距离可以是任何直方图距离，例如CHI-Square (卡方)距离、相关(Correlation)距离等等。另外，可以根据设计需要，例如直方图的性质、直方图距离的性质、及严格或宽松的程度等等，来设定第四预定阈值用于与各个直方图距离相比较。例如，如果采用比较严格的标准，则该第四预定阈值应较小，反之则该第四预定阈值应设得较高。然后，以关于RGB分量的直方图距离中的最大值作为相对应的第二图像框与第一图像框的最大的直方图距离，如果该最大的直方图距离大于第四预定阈值，则确定该第二图像框与该第一图像框不同。或者，例如也可以设定在关于RGB分量的直方图距离均大于第四预定阈值的情况下，则确定该第二图像框与该第一图像框不同。本领域技术人员可以理解，也可以利用各个像素点的HSI (色调-饱和度-强度)分量来确定该第二图像框与该第一图像框是否相同。本领域技术人员可以认识到，上述的比较图像框是否相同的手段可以分别单独使用，也可以按照任意顺序，通过任意组合来使用，在通过上述手段得到不同比较结果的情况下，可以根据设计倾向来确定比较结果，例如，如果采用比较严格的标准，可以设定只有各种手段均判断为相同才确定两个图像框相同，如果采用比较宽松的标准，可以设定只要有一种手段判断为相同就确定两个图像框相同；此外，还可以通过其它方式，采用其它图像参数来比较相对应的第一图像框和第二图像框是否相同。下面描述在按照本发明实施例的图像处理方法中可以采用的一种提取图像框的方法。图3是示出按照本发明实施例的图像框提取过程的流程图，并且结合图4A至图4D，通过示例来示意性地说明该图像框提取过程的实施过程。如图3所示，图像框提取过程S200可以包括灰度图像提取步骤S210，分别从第一图像和第二图像提取相同色彩的灰度图像；直方图提取步骤S220，针对从第一图像提取的各个灰度图像和从第二图像提取的各个灰度图像分别提取像素点数目相对于灰度分布的直方图；灰度区间划分步骤S230，分别针对从第一图像提取的各个灰度图像和从第二图像提取的各个灰度图像，根据直方图来将相应灰度图像的灰度划分为灰度区间；二值化步骤S240，分别针对从第一图像提取的各个灰度图像和从第二图像提取的各个灰度图像，关于各个灰度区间来分别将相应灰度图像二值化为二值化图像；以及图像框获取步骤S250，在第一图像的各个二值化图像中分别提取图像框，作为所述至少一个第一图像框，在第二图像的各个二值化图像中分别提取图像框，作为所述至少一个第二图像框。在灰度图像提取步骤S210，可以采用任意已知的手段来将图像按照各个分量而分为相应的单色灰度图。例如，可以将第一图像关于RGB分量而分为第一R图像、第一G图像、和第一 B图像，并可以利用相同的提取分量的手段而将第二图像关于RGB分量分为第二 R图像、第二 G图像、和第二 B图像。以对图2A所示的原始图像(第一图像)为例来说明图像框提取过程，本领域技术人员可以理解，图像框提取过程S200也可以同样地实施于图2B所示的对比图像(第二图像)。图4A示出了通过对图2A所示的第一图像分别提取RGB分量而获得的上述第一 G 图像的示意图，在此以G分量灰度图为例进行说明，本领域技术人员可以理解，实施灰度图像提取步骤S210还可以类似地获得R分量灰度图及B分量灰度图。在直方图提取步骤S220，可以利用已知的手段，分别提取第一R图像、第一G图像、和第一 B图像、及第二 R图像、第二 G图像、和第二B图像各自的像素点数目相对于灰度分布的直方图，其中，各个灰度图像的灰度范围可以是O至255，也可以例如是O至31、0至1023等等，可以使各个灰度图像的灰度范围相同。图4B示出了提取的图4A所示的第一 G图像的像素点数目相对于灰度分布的直方图。在此以G分量灰度图的直方图为例进行说明，本领域技术人员可以理解，实施直方图提取步骤S220还可以类似地获得R分量灰度图及B分量灰度图的直方图。在灰度区间划分步骤S230，针对第一 R图像、第一 G图像、和第一 B图像、及第二 R图像、第二 G图像、和第二 B图像各自的直方图，将上述各个灰度图像的灰度范围划分为至少一个灰度区间，以尽可能地将灰度图像中诸如图案、文本的图像内容与其背景区分在不同的灰度区间。划分各个灰度图像的灰度范围可以采用相同的手段和标准。下面说明在灰度区间划分步骤S230中将各个灰度图像的灰度范围划分为至少一个灰度区间的处理。该划分处理例如可以是，在所述灰度区间划分步骤S230中，在直方图中取像素点数目最大的预定数目的极大值，以两侧端点和各个极大值在预定方向上最邻近的极小值点或O值点为界，来将相应灰度图像的灰度划分为灰度区间。对于一个灰度图像，在其像素点相对于灰度值的分布的直方图中，假定横轴代表灰度值，纵轴代表像素值为相应灰度值的像素点数目。本领域技术人员可以理解，上述形式为此种直方图典型的形式，本发明实施例的实施不依赖于此种形式的直方图，如果将其横纵轴意义交换，仍然可以实施本发明，只要是体现像素点相对于灰度值的分布的直方图，均可以原来实现本发明实施例。在上述具体形式的直方图中，例如可以取像素点数目最大的预定数目的极大值
点，例如像素点数目处于前M位的极大值点，M是自然数,例如为2、3、5、......，然后从该
M个极大值点开始，在例如灰度值增大的方向上，寻找各自最近的极小值点或像素点数目为O的点，作为分界点，从而，灰度值从O到最大值的范围可以由上述分界点分为多个灰度区间。本领域技术人员可以理解，在确定M个极大值点后，也可以在例如灰度值减小的方向上，寻找各自最近的极小值点或像素点数目为O的点,作为分界点。例如，对于图4B所不的第一 G图像的像素点数目相对于灰度分布的直方图，以取像素点数目处于前3位的极大值点，即图4B中所示的点Ql、Q2、和Q3，然后，在灰度值增大的方向(即图4B中从左向右的方向)上，寻找各自最近的极小值点或像素点数目为O的点，作为分界点。对于极大值点Ql，其右侧最近的极小值点Q1’作为分界点，对于极大值点Q2，其右侧最近的极小值点Q2’为分界点，对于极大值点Q3，由于其本身所对应的灰度值为最大值255，因而不再在其右侧寻找分界点，其自身可以视为一个分界点。从而，由最低灰度值O、极小值点Q1’对应的灰度值48、极小值点Q2’对应的灰度值195，、和最高灰度值255，将图4B所示的第一 G图像的灰度范围分为三个灰度区间
、[49，195]、和[196,255].将灰度图像的灰度范围划分为灰度区间的处理不限于上文所述，例如还可以是，确定某个数目阈值，该数目阈值可以是图像像素总数目的某个比例，在直方图中确定像素点数目多于该数目阈值的极大值点，然后根据所确定的极大值点寻找分界点；或者，在直方图中寻找像素点数目连续为O的灰度值区间,确定灰度值区间最大的M个灰度值区间，或者确定灰度值区间大于某阈值的灰度值区间，以所确定的灰度值区间中的任意一点作为分界点，来把灰度值从O到最大值的范围分为多个灰度区间。本领域技术人员可以构想其它方 式来划分灰度区间。在二值化步骤S240，针对第一 R图像、第一 G图像、和第一 B图像、及第二 R图像、第二 G图像、和第二 B图像各自的各个灰度区间，按照各个灰度区间将相应的灰度图像二值化。例如，对于上述多个灰度图像中的某一个灰度图像，在该灰度图像的灰度范围中划分出某个灰度区间，则可以将该灰度图像中灰度值在该灰度区间内的像素点置黑，其余的像素点置白，如此关于该灰度图像的灰度范围中划分出的各个灰度区间进行处理，从该灰度图像得到与其各个灰度区间相对应的各个二值化图像。本领域技术人员可以理解，图像二值化的方式不限于如上所述，例如也可以是该灰度图像中灰度值在该灰度区间内的像素点置白，其余的像素点置黑，或者任何其它以二值来区分灰度区间内外的像素点的方式。例如，对于图4A所示的第一 G图像的灰度范围划分得到的灰度区间
，将灰度值在灰度区间
范围内的像素点置为1(显示为黑)，其余灰度值的像素点均置为0(显示为白)，从而从该第一 G图像得到与灰度区间
相对应的二值化图像，如图4C所示。本领域技术人员可以理解，可以以同样的方式，针对灰度区间[49，195]和[196，255]从第一G图像提取出相应灰度区间的二值化图像。在图像框获取步骤S250，针对与第一 R图像、第一 G图像、和第一 B图像、及第二 R图像、第二 G图像、和第二 B图像各自的各个灰度区间相对应的各个二值化图像，可以利用任何已知的提取诸如图案或文本的图像内容的边缘轮廓并进而获得包含图像内容的矩形框的技术，来在上述各个二值化图像中提取矩形框来作为图像框。提取边缘轮廓并根据边缘轮廓确定矩形框可以通过诸如已知图像软件包OpenCV中的FindContours命令之类的找连通域的方法，或通过调用BlobLibrary库来实现。由于各个图像已经二值化，因而提取过程简便且准确。第一 R图像、第一 G图像、和第一 B图像源自第一图像，从中提取的所有图像框均为第一图像框，第二 R图像、第二 G图像、和第二 B图像源自第二图像，从中提取的所有图像框均为第二图像框。图4D示出对于图4C所示的与一个灰度区间相对应的二值化图像进行图像框获取所获得的各个图像框的示意图，图4D中包围图像中各个文本内容的矩形框为所提取的图像框，在此为多个第一图像框。本领域技术人员可以理解，可以以同样的方式，针对与灰度区间[49，195]和[196，255]相应的ニ值化图像提取图像框。本领域技术人员可以理解，第一图像和第二图像可以具有相同的坐标系，所有图像框的在该坐标系中的位置坐标可以获知并记录。此时，所提取的各个图像框均在坐标系中有确定的位置，可以以其在相应ニ值化图像中的状态进入此后处理，也就是该图像框包含相应ニ值化图像中其位置范围内的内容。可以以其在相应单色灰度图像中的状态进入此后处理，也就是该图像框包含相应灰度图像中其位置范围内的内容。也可以以其在相应的第一或第二图像中的状态进入此后处理，也就是该图像框如果是第一图像框则包含第一图像中其位置范围内的内容，该图像框如果是第二图像框则包含第二图像中其位置范围内的内容。在此情况下，从不同色彩分量的灰度图所提取的图像框可能存在重叠，如果从不同色彩分量的灰度图所提取的图像框存在位置上的完全重合，则可以仅记录关于其中一个的包括位置在内的信息；并且如果第一或第二图像为彩图，则图像框可能包含彩色的内容。本领域技术人员还可以理解，R、G、B分量不必然都采用，而是可以从中任选使用， 只需要保证对于第一图像和第二图像选取相同的色彩分量，以确保第一图像框和第二图像框的可比性。不论通过何种手段划分得到灰度区间，作为对于本发明实施例的改进，均可以试图将灰度区间进ー步细分为更多的子灰度区间，然后以细分得到的多个子灰度区间取代原灰度区间，作为新的多个灰度区间用于其后的处理过程。例如，按照本发明实施例的图像处理方法还可以包括灰度区间细分步骤，针对在所述灰度区间划分步骤中所划分的灰度区间，依次遍历相应灰度图像中灰度位于该灰度区间内的像素点，将相邻像素点之间灰度差小于第五预定阈值的灰度放入同一子灰度区间，将具有重叠部分的子灰度区间合并，作为一个或多个细分的灰度区间。该灰度区间细分步骤可以在灰度区间划分步骤S230之后、ニ值化步骤S240之前执行，用来改善ニ值化步骤S240的执行效果。在上述灰度区间细分步骤中，关于各个灰度区间分别进行处理。对于ー个灰度区间，针对相应灰度图像中灰度位于该灰度区间内的像素点，可以任意选定其中某个像素点为起始点，其灰度置于某子灰度区间。对于各个子灰度区间，其中灰度值最小的像素点的灰度值到灰度值最大的像素点的灰度值为该子灰度区间的灰度范围。从起始点按照一定方向次序寻找，如逐行且行内从左向右方向、逐列且列内从上向下方向、向上下左右四个方向、或向周围八个方向，以以下方式进行相邻像素点的比较过程。例如，比较已经在第i子灰度区间RANGEi(i为子灰度区间的索引值，自然数)中的像素点Sig(g为子灰度区间RANGEi中像素点的索引值，自然数)与相邻的待判断的某像素点Sx之间的灰度差是否小于第五预定阈值。如果该两个相邻像素点之间的灰度差小于第五预定阈值，则该像素点Sx的灰度置于该子灰度区间RANGEi,该像素点Sx可以标记为Sih (h为子灰度区间RANGEi中像素点的索引值，自然数)，并且从该像素点Sih开始按原方向继续上述的寻找、比较；如果该两个相邻像素点之间的灰度值差大于等于第五预定阈值，则以该像素点Sx的灰度值新建第j子灰度区间RANGEj (j为子灰度区间的索引值，自然数)，该像素点Sx可以标记为Sjg(g为子灰度区间RANGEj中像素点的索引值，自然数)，从像素点Sig的寻找过程在该方向结束，从像素点Sjg开始在该方向进行寻找、比较过程。
其中，可以根据设计需要来设定上述第五预定阈值。例如，如果采用比较严格的标准，则该第五预定阈值应较小，反之则该第五预定阈值应设得较大。该第五预定阈值例如也可以设定为灰度图像总灰度范围的一定比例，或者可以设定为相应灰度区间的灰度范围的一定比例。此外，本领域技术人员可以认识到，对于ー个灰度区间，针对相应灰度图像中灰度位于该灰度区间内的像素点，可以任意选定其中多个像素点为起始点，分别进行上述寻找、比较处理过程，遍历该灰度图像中灰度位于该灰度区间内的全部像素点，则可以完成上述寻找、比较过程，在此情况下，可选地，从多个起始点开始的寻找、比较过程各自针对不同的像素点，以避免重复。遍历该灰度图像中灰度位于该ー个灰度区间内的全部像素点后，可能获得多个子灰度区间，可以将灰度范围存在重叠的子灰度区间合并，合并后形成的至少ー个子灰度区间分别作为细分的灰度区间，取代原来的该ー个灰度区间，用于此后的处理。例如，针对从图4B所示的第一 G图像的灰度范围所划分出的三个灰度区间
、[49，195]、和[196，255]，对于其中的灰度区间[49，195]，通过上述的灰度区间细分过程，在第五预定阈值为15的情况下，该灰度区间可以进ー步细分为两个灰度区间[49，150]和[151，195]。用两个灰度区间[49，150]和[151，195]代替原[49，195]灰度空间用于ニ值化步骤S240，可以更加准确地将图像中的文本内容和背景的灰度分在不同的灰度区间，从而有利于更加准确地获得ニ值化图像，并进而有利于更加准确地提取图像框。在以上的对于按照本发明实施例的说明中，在第二图像中寻找与第一图像的不同之处，实际上，如果以第一图像为原始图像，以第二图像为对比图像，根据本发明实施例，一方面可以在对比图像中寻找与原始图像的差别，另一方面，在将第一图像和第二图像交換后，即，将原始图像作为第二图像输入，将对比图像作为第一图像输入，则可以在原始图像方面标记出对比图像相对于其的变化。例如，在将图2A所示图像作为第二图像而图2B所示图像作为第一图像来实施本发明实施例后，可以输出如图5所示的結果。图5是示出在原始图像上标记与对比图像的不同之处的情况的示意图，其中矩形框所指示的位置为原始图像相对于对比图像的不同之处。本发明还可以通过ー种图像处理系统来实施。图6是示出按照本发明实施例的图像处理系统1000的总体框图，如图6所示，图像处理系统1000可以包括输入设备1100，用于从外部输入将要对比的图像，例如可以包括键盘、鼠标器、扫描仪、以及通信网络及其所连接的远程输入设备等等；处理设备1200，用于实施上述的按照本发明实施例的图像处理方法，例如可以包括计算机的中央处理器等等；输出设备1300，用于向外部输出实施上述图像处理方法所得的结果，例如可以包括显示器、打印机、以及通信网络及其所连接的远程输出设备等等；以及存储设备1400，用于以易失或非易失的方式存储待对比的图像、实施上述图像处理方法所得的结果、命令、中间数据等等，例如可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘、或半导体存储器等等的各种易失或非易失性存储器。
本发明还可以实施为ー种图像处理设备。图7是示出按照本发明实施例的图像处理设备2000的总体框图，如图7所示，图像处理设备2000可以包括输入装置2100，可以用来执行上述输入步骤S100，用以输入相同尺寸第一图像和第二图像；图像框提取装置2200，可以用来执行上述图像框提取步骤S200，用以以相同的方式，从第一图像中提取至少ー个第一图像框，从第二图像中提取至少ー个第二图像框；图像框配对装置2300，可以用来执行上述图像框配对步骤S300，用以针对所述第二图像框，在第一图像中寻找位置最接近的第一图像框，作为与该第二图像框相对应的第一图像框；比较装置2400，可以用来执行上述比较步骤S400，用以比较第二图像框和相对应的第一图像框，以确定该第二图像框和相对应的第一图像框相同或不同；标记装置2500，可以用来执行上述标记步骤S500，用以如果确定该第二图像框与该相对应的第一图像框不同，则对第二图像中该第二图像框的位置做出标记，并将上述标记附加到第二图像；以及输出装置2600，可以用来执行上述输出步骤S600，用以输出第二图像。在上述图像处理设备2000中，如果存在没有相对应的第二图像框的第一图像框，则标记装置2500还可以对第二图像中与该第一图像框相应的位置做出标记，并将所述标记附加到第二图像。上述图像处理设备2000可以进一歩包括图像框分割装置，可以用来执行上述图像框分割步骤，用以如果所述第一图像框或第二图像框的度量大于第一预定阈值，则用固定的网格，以相同的对齐方式，将所述第一图像框或第二图像框进ー步分割为多个第一图 像框或多个第二图像框。在上述图像处理设备2000中，所述比较装置2400可以比较所述第二图像框与相对应的第一图像框的位置关系，如果该第二图像框与该第一图像框的距离大于第二预定阈值，则确定该第二图像框与该第一图像框不同。在上述图像处理设备2000中，所述比较装置2400可以比较所述第二图像框与相对应的第一图像框分别关于相同色彩的灰度差平均值，如果最大的灰度差平均值大于第三预定阈值，则确定该第二图像框与该第一图像框不同。在上述图像处理设备2000中，所述比较装置2400可以比较所述第二图像框与相对应的第一图像框分别关于相同色彩的直方图距离，如果最大的直方图距离大于第四预定阈值，则确定该第二图像框与该第一图像框不同。在上述图像处理设备2000中，所述图像框提取装置2200可以用来执行上述所述图像框提取步骤S200，所述图像框提取装置2200可以包括灰度图像提取装置，可以用来执行上述灰度图像提取步骤S210，用以分别从第一图像和第二图像提取相同色彩的灰度图像；直方图提取装置，可以用来执行上述直方图提取步骤S220，用以针对从第一图像提取的各个灰度图像和从第二图像提取的各个灰度图像分别提取像素点数目相对于灰度分布的直方图；灰度区间划分装置，可以用来执行上述灰度区间划分步骤S230，用以分别针对从第一图像提取的各个灰度图像和从第二图像提取的各个灰度图像，根据直方图来将相应灰度图像的灰度划分为灰度区间；ニ值化装置，可以用来执行上述ニ值化步骤S240，用以分别针对从第一图像提取的各个灰度图像和从第二图像提取的各个灰度图像，关于各个灰度区间来分别将相应灰度图像ニ值化为ニ值化图像；以及图像框获取装置，可以用来执行上述图像框获取步骤S250，用以在第一图像的各个ニ值化图像中分别提取图像框，作为所述至少ー个第一图像框，在第二图像的各个ニ值化图像中分别提取图像框，作为所述至少ー个第二图像框。在上述图像处理设备2000中，所述灰度区间划分装置可以在直方图中取像素点数目最大的预定数目的极大值，以两侧端点和各个极大值在预定方向上最邻近的极小值点或O值点为界，来将相应灰度图像的灰度划分为灰度区间。上述图像处理设备2000可以进一歩包括灰度区间细分装置，所述灰度区间细分装置可以用来执行上述灰度区间细分步骤，用以针对在所述灰度区间划分步骤中所划分的灰度区间，依次遍历相应灰度图像中灰度位于该灰度区间内的像素点，将相邻像素点之间灰度差小于第五预定阈值的灰度放入同一子灰度区间，将具有重叠部分的子灰度区间合并，作为ー个或多个细分的灰度区间。在说明书中说明的一系列操作能够通过硬件、软件、或者硬件与软件的组合来执行。当由软件执行该一系列操作时，可以把其中的计算机程序安装到内置于专用硬件的计算机中的存储器中，使得计算机执行该计算机程序。或者，可以把计算机程序安装到能够执行各种类型的处理的通用计算机中，使得计算机执行该计算机程序。例如，可以把计算机程序预先存储到作为记录介质的硬盘或者R0M(只读存储器)中。或者，可以临时或者永久地存储(记录)计算机程序到可移动记录介质中，诸如软盘、⑶-ROM (光盘只读存储器)、MO (磁光)盘、DVD (数字多功能盘)、磁盘、或半导体存储器。可 以把这样的可移动记录介质作为封装软件提供。本发明已经參考具体实施例进行了详细说明。然而，很明显，在不背离本发明的精神的情况下，本领域技术人员能够对实施例执行更改和替换。换句话说，本发明用说明的形式公开，而不是被限制地解释。要判断本发明的要_，应该考虑所附的权利要求。
权利要求
1.一种图像处理方法，包括 输入步骤，输入相同尺寸第一图像和第二图像； 图像框提取步骤，以相同的方式，从第一图像中提取至少一个第一图像框，从第二图像中提取至少一个第二图像框； 图像框配对步骤，针对所述第二图像框，在第一图像中寻找位置最接近的第一图像框，作为与该第二图像框相对应的第一图像框； 比较步骤，比较第二图像框和相对应的第一图像框，以确定该第二图像框和相对应的第一图像框相同或不同； 标记步骤，如果确定该第二图像框与该相对应的第一图像框不同，则对第二图像中该第二图像框的位置做出标记，并将上述标记附加到第二图像；以及输出步骤，输出第二图像。
2.按照权利要求I所述的图像处理方法，其中， 如果存在没有相对应的第二图像框的第一图像框，则在所述标记步骤中，还对第二图像中与该第一图像框相应的位置做出标记，并将所述标记附加到第二图像。
3.按照权利要求I所述的图像处理方法，还包括 图像框分割步骤，如果所述第一图像框或第二图像框的度量大于第一预定阈值，则用固定的网格，以相同的对齐方式，将所述第一图像框或第二图像框进一步分割为多个第一图像框或多个第二图像框。
4.按照权利要求1-3中任意一项所述的图像处理方法，其中， 在所述比较步骤中，比较所述第二图像框与相对应的第一图像框的位置关系，如果该第二图像框与该第一图像框的距离大于第二预定阈值，则确定该第二图像框与该第一图像框不同。
5.按照权利要求1-3中任意一项所述的图像处理方法，其中， 在所述比较步骤中，比较所述第二图像框与相对应的第一图像框分别关于相同色彩的灰度差平均值，如果最大的灰度差平均值大于第三预定阈值，则确定该第二图像框与该第一图像框不同。
6.按照权利要求1-3中任意一项所述的图像处理方法，其中， 在所述比较步骤中，比较所述第二图像框与相对应的第一图像框分别关于相同色彩的直方图距离，如果最大的直方图距离大于第四预定阈值，则确定该第二图像框与该第一图像框不同。
7.按照权利要求I所述的图像处理方法，其中，所述图像框提取步骤包括 灰度图像提取步骤，分别从第一图像和第二图像提取相同色彩的灰度图像； 直方图提取步骤，针对从第一图像提取的各个灰度图像和从第二图像提取的各个灰度图像分别提取像素点数目相对于灰度分布的直方图； 灰度区间划分步骤，分别针对从第一图像提取的各个灰度图像和从第二图像提取的各个灰度图像，根据直方图来将相应灰度图像的灰度划分为灰度区间； 二值化步骤，分别针对从第一图像提取的各个灰度图像和从第二图像提取的各个灰度图像，关于各个灰度区间来分别将相应灰度图像二值化为二值化图像；以及 图像框获取步骤，在第一图像的各个二值化图像中分别提取图像框，作为所述至少一个第一图像框，在第二图像的各个二值化图像中分别提取图像框，作为所述至少一个第二图像框。
8.按照权利要求7所述的图像处理方法，其中，在所述灰度区间划分步骤中，在直方图中取像素点数目最大的预定数目的极大值，以两侧端点和各个极大值在预定方向上最邻近的极小值点或O值点为界，来将相应灰度图像的灰度划分为灰度区间。
9.按照权利要求7所述的图像处理方法，还包括 灰度区间细分步骤，针对在所述灰度区间划分步骤中所划分的灰度区间，依次遍历相应灰度图像中灰度位于该灰度区间内的像素点，将相邻像素点之间灰度差小于第五预定阈值的灰度放入同一子灰度区间，将具有重叠部分的子灰度区间合并，作为一个或多个细分的灰度区间。
10.一种图像处理设备，包括 输入装置，用于输入相同尺寸第一图像和第二图像； 图像框提取装置，用于以相同的方式，从第一图像中提取至少一个第一图像框，从第二图像中提取至少一个第二图像框； 图像框配对装置，用于针对所述第二图像框，在第一图像中寻找位置最接近的第一图像框，作为与该第二图像框相对应的第一图像框； 比较装置，用于比较第二图像框和相对应的第一图像框，以确定该第二图像框和相对应的第一图像框相同或不同； 标记装置，用于如果确定该第二图像框与该相对应的第一图像框不同，则对第二图像中该第二图像框的位置做出标记，并将上述标记附加到第二图像；以及 输出装置，用于输出第二图像。
全文摘要
本发明提供一种图像处理方法，包括输入步骤，输入相同尺寸第一图像和第二图像；图像框提取步骤，以相同的方式，从第一图像中提取至少一个第一图像框，从第二图像中提取至少一个第二图像框；图像框配对步骤，针对所述第二图像框，在第一图像中寻找位置最接近的第一图像框，作为与该第二图像框相对应的第一图像框；比较步骤，比较第二图像框和相对应的第一图像框，以确定该第二图像框和相对应的第一图像框相同或不同；标记步骤，如果确定该第二图像框与该相对应的第一图像框不同，则对第二图像中该第二图像框的位置做出标记，并将上述标记附加到第二图像；以及输出步骤，输出第二图像。本发明还相应地提供一种图像处理设备。
文档编号G06K9/64GK102682308SQ20111006452
公开日2012年9月19日 申请日期2011年3月17日 优先权日2011年3月17日
发明者杜成, 游赣梅, 赵立军, 郑继川, 长谷川史裕 申请人:株式会社理光