专利名称：图像处理方法和装置的制作方法
技术领域：
本文所述的实施例一般涉及图像处理方法和装置。
背景技术：
已有一些从多个图像当中搜索对应点的技术。搜索对应点的方法之一是对包括在图像中的一定大小的块进行匹配的块匹配。作为一种块匹配方法，如，例如， JP-A 2008-234465 (Kokai)所述，可以使用最大绝对差方法(MAD, maximum absolute difference) 0按照这种方法，可以实现在亮度变化方面健壮的块匹配。MAD在噪声方面是脆弱的，但通过线性组合绝对差之和(SAD，sum of absolute difference)，也可以保证噪声健壮性。但是，对于传统技术，如果这些块包括特征图像模式，则可以成功地进行匹配，但如果这些块没有任何特定特征并且它们的亮度是平坦的，则匹配可能会失败。由于这个原因，高精度地实现块匹配的技术是期望的。
发明内容
本发明实施例的目的是提供可以高精度地实现块匹配的图像处理方法、装置以及计算机程序产品。一般地说，按照一个实施例，一种图像处理方法包括计算第一块的活动值，当在第一块中像素值在较大程度上变化时，所述活动值指示较高活动程度；以及计算第一评价值，当第一块的像素值和第二块的像素值之间的差值较小时，所述第一评价值指示较高评价。该方法进一步包括计算第二评价值，当第一块的像素值的相对空间关系和第二块的像素值的相对空间关系之间的相关性较高时，所述第二评价值指示较高评价；以及通过加权第一评价值和第二评价值来计算第三评价值，以搜索与第一块相对应的第二块，当所述活动值较大时，第一评价值的权重较大。按照另一个实施例，一种图像处理装置包含第一计算单元，用于计算第一块的活动值，所述第一块是包括第一图像的部分像素的图像区，当在第一块中的像素当中像素值在较大程度上变化时，所述活动值指示较高活动程度；第二计算单元，用于计算当第一块的像素值和第二块的像素值之间的差值较小时指示较高评价的第一评价值，所述第二块是包括第二图像的部分像素的图像区；第三计算单元，用于计算当第一块的像素值的相对空间关系和第二块的像素值的相对空间关系之间的相关性较高时指示较高评价的第二评价值； 以及第四计算单元，用于通过加权第一评价值和第二评价值来计算第三评价值，以搜索与第一块相对应的第二块，当所述活动值较大时，第一评价值的权重较大。按照上述图像处理方法和装置，可以高精度地实现块匹配。
图1是示出图像处理设备的功能结构的例子的图2是示出参考图像中的参考块的例子的图；图3是示出ISC的例子的图；图4是示出模型源图像的例子的图；图5是示出模型参考图像的例子的图；图6是MAD评价值的分布图；图7是ISC评价值的分布图；图8是示出示范性源图像的图；图9是示出示范性参考图像的图；图10是MAD评价值的分布图；图11是ISC评价值的分布图；图12是MAD评价值的分布图；图13是ISC评价值的分布图；图14是用于获得可靠度w的高斯函数的图；图15是用于获得可靠度w的线性函数的图；图16是用于获得可靠度w的增函数的图；图17是示出相应块搜索处理的过程的流程图；图18是第三评价值的分布图；以及图19是第三评价值的分布图。
具体实施例方式下面参考附图详细说明按照实施例的图像处理方法、图像处理设备和图像处理程序。按照一个实施例的图像处理设备在用作标准图像的源图像(被称为“源图像”)和参考图像之间进行块匹配，并且将作为包括源图像的所有或部分像素的图像区的块(被称为“目标块”)与作为包括参考图像的部分像素的图像区的块当中与目标块高度相关的参考块(被称为“参考块”)相关联。这种关联的例子包括其中将左眼摄像机拍摄的图像与右眼摄像机拍摄的图像相关联的为立体观看拍摄的立体图像的关联、其中将视频图像中与时间t相对应的图像帧和与时间t-Ι相对应的图像帧相关联的帧关联、以及其中当寻找与包括在视频图像的任何图像中的物体相同的物体时将与物体相对应的块相互关联的块关联。 作为这种关联操作的评价值，常常使用平均绝对差(MAD，mean absolute difference)。然而，对于立体图像来说，例如，由于左眼摄像机和右眼摄像机之间的特性差异等，作为形成左右图像的每一个的像素的值的像素值可能相互不同。MAD是基于高度相关和关联的块的像素值的平均值相等的假设的评价值。如果尽管在像素值之间存在差异(被称为“像素值差异”)，但仍然采用MAD作为评价值，则可能无法精确地进行关联。像素值差异是亮度差 (被称为“亮度差异”)。另一方面，增量符号相关性(ISC，increment sign correlation) 已经被认为是抗像素值差异能力强的评价值。ISC是基于一个块中的相邻像素之间的相对空间关系的评价值，因此，并不假设像素值的平均值相等。由于这个原因，所以抗像素值差异能力强。然而，因为未使用像素值的平均值，对准的精度没有使用MAD的对准那样高。按照本实施例，在源图像和参考图像之间的块匹配中组合使用MAD和ISC两者，使得可以高精度地实现块匹配。下面详细说明实现这种匹配的结构。首先，说明按照本实施例的图像处理设备的硬件结构。按照本实施例的图像处理设备包括诸如控制整个设备的中央处理单元(CPU)的控制单元、诸如只读存储器(ROM) 和随机存取存储器(RAM)的存储各种类型的数据和程序的主存储单元、诸如硬盘驱动器 (HDD)和光盘(CD)的存储各种类型的数据和程序的辅助存储单元、以及连接这些单元的总线，并且具有使用普通计算机的硬件结构。另外，显示信息的显示单元、诸如键盘和鼠标的接收来自用户的指令输入的操作输入单元、和控制与外部设备的通信的通信接口有线或无线地与图像处理设备连接。上述源图像和参考图像作为指示每个像素的像素值的图像数据存储在诸如HDD的辅助存储单元中。图像处理设备可以配有接收电波的接收单元，并且在电波上传送的图像数据可以存储在主存储单元或辅助存储单元中作为源图像或参考图像的图像数据。接着，参考图1来说明具有这样的硬件结构的图像处理设备的功能结构。该图像处理设备包括活动值计算单元11、第一块评价值计算单元12、第二块评价值计算单元13、 评价值组合单元14、和最大评价搜索单元15。这些单元是当图像处理设备的CPU执行存储在主存储单元和辅助存储单元中的各种程序时实现的。活动值计算单元11计算指示活动程度的活动值，当包括在目标块中的像素的像素值的变化(幅度)增大时，活动程度变大。将目标块在水平方向和垂直方向上的尺寸分别表示成Ml和M2。如图2所示，参考块是从被划分成多个长方形的参考图像中准备的。将参考块在水平方向和垂直方向上的索引分别表示成i和j。而且，将目标块和参考块的每一个中的像素的相对位置表示成(χ，y)。更进一步，将目标块的位置(X，Y)上的像素的像素值表示成IJX，Y)，将参考块的位置(X，Y)上的像素的像素值表示成Ik(X，Y)。作为活动值，例如，采用目标块中的像素值的标准偏差。在这种状况下，活动值计算单元11依照下面所示的表达式(1)来计算活动值ACT。
权利要求
1.一种图像处理方法，包含计算第一块的活动值，所述第一块是包括第一图像的部分像素的图像区，当在第一块中的像素当中像素值在较大程度上变化时，所述活动值指示较高活动程度；计算当第一块的像素值和第二块的像素值之间的差值较小时指示较高评价的第一评价值，所述第二块是包括第二图像的部分像素的图像区；计算当第一块的像素值的相对空间关系和第二块的像素值的相对空间关系之间的相关性较高时指示较高评价的第二评价值；以及通过加权第一评价值和第二评价值来计算第三评价值，以搜索与第一块相对应的第二块，当所述活动值较大时，第一评价值的权重较大。
2.按照权利要求1所述的图像处理方法，其中，在计算所述活动值的过程中，计算对于第一块的像素值的较大标准偏差指示较高程度的活动值。
3.按照权利要求1所述的图像处理方法，其中，在计算所述活动值的过程中，计算对于第一块中的相邻像素的像素值的较大平均绝对差指示较高程度的活动值。
4.按照权利要求1所述的图像处理方法，其中，在计算所述第三评价值的过程中，通过依照并入所述活动值作为变量的增函数而改变权重来计算所述第三评价值。
5.按照权利要求1所述的图像处理方法，其中，在计算所述第二评价值的过程中，计算对于第一块中的相邻像素的像素值的相对关系和第二块中的相邻像素的像素值的相对关系之间的较高相关性指示较高评价的第二评价值。
6.按照权利要求1所述的图像处理方法，其中，在计算所述第二评价值的过程中，计算对于第一块中在水平方向上对准的两个像素或更多像素的像素值的相对关系和第二块中在水平方向上对准的两个像素或更多像素的像素值的相对关系之间的较高相关性指示较高评价的第二评价值。
7.按照权利要求1所述的图像处理方法，其中，在计算所述第二评价值的过程中，计算对于第一块中在垂直方向上对准的两个像素或更多像素的像素值的相对关系和第二块中在垂直方向上对准的两个像素或更多像素的像素值的相对关系之间的较高相关性指示较高评价的第二评价值。
8.按照权利要求1所述的图像处理方法，其中，在计算所述第一评价值的过程中，通过使用第一块的像素值和第二块的像素值来计算至少作为平均绝对差、绝对差之和、均方误差、以及平方差之和的任一种的第一评价值。
9.按照权利要求1所述的图像处理方法，其中，在计算所述第二评价值的过程中，使用第一块的像素值和第二块的像素值来计算至少作为增量符号相关性和像素值的梯度之差的任一种的第二评价值。
10.按照权利要求1所述的图像处理方法，进一步包含搜索其中第三评价值被最大化的第二块作为与第一块相对应的块。
11.一种图像处理装置，包含第一计算单元，用于计算第一块的活动值，所述第一块是包括第一图像的部分像素的图像区，当在第一块中的像素当中像素值在较大程度上变化时，所述活动值指示较高活动程度；第二计算单元，用于计算当第一块的像素值和第二块的像素值之间的差值较小时指示较高评价的第一评价值，所述第二块是包括第二图像的部分像素的图像区；第三计算单元，用于计算当第一块的像素值的相对空间关系和第二块的像素值的相对空间关系之间的相关性较高时指示较高评价的第二评价值；以及第四计算单元，用于通过加权第一评价值和第二评价值来计算第三评价值，以搜索与第一块相对应的第二块，当所述活动值较大时，第一评价值的权重较大。
全文摘要
公开了图像处理方法和装置。按照一个实施例，一种图像处理方法包括计算第一块的活动值，当在第一块中像素值在较大程度上变化时，所述活动值指示较高活动程度；以及计算当第一块的像素值和第二块的像素值之间的差值较小时指示较高评价的第一评价值。该方法进一步包括计算当第一块的像素值的相对空间关系和第二块的像素值的相对空间关系之间的相关性较高时指示较高评价的第二评价值；以及通过加权第一评价值和第二评价值来计算第三评价值，以搜索与第一块相对应的第二块，当所述活动值较大时，第一评价值的权重较大。
文档编号G06T7/00GK102479384SQ201110266340
公开日2012年5月30日 申请日期2011年9月9日 优先权日2010年11月19日
发明者三岛直, 三田雄志 申请人:株式会社东芝