图像处理装置和图像处理方法
【专利摘要】提供了一种图像处理装置，包括：立体匹配单元，其被配置为基于分别由右和左相机捕获的一对图像、通过使用立体匹配来获得右和左视差图像；滤波处理单元，其被配置为对于所述视差图像执行滤波处理；以及，第一合并单元，其被配置为在已经经过了所述滤波处理的所述视差图像中在所述右和左视差图像中的相互对应的位置处的视差值之间进行比较，并且基于比较结果来合并所述右和左视差图像的所述视差值。
【专利说明】图像处理装置和图像处理方法
[0001]对于相关申请的交叉引用
[0002]本申请要求在2013年3月29日提交的日本优先权专利申请JP2013-072669的权益，其整体内容通过引用被并入在此。
【技术领域】
[0003]本公开涉及图像处理装置和图像处理方法。
【背景技术】
[0004]在计算用于高速立体匹配的视差中简单算法的使用可能引起许多错的视差值的计算。为了处理这一点，在下文中描述了一种技术=YUICHI OHTA, TAKEO KANADA'Stereo byIntra-and Inter-Scanline Search Using Dynamic Programming"IEEE TRANSACT1NS ONPATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL.PAM1-7, N0.2, MARCH1985 (非专利文献I)。
【发明内容】
[0005]非专利文献I描述了一种用于使用对于在外极线(epipolar line)上的视差的平滑改变的约束来计算视差的方法。然而，在如上所述的非专利文献I中描述的现有技术具有有害的效果，诸如水平条纹噪声的出现和在同一水平线上的视差的测量结果的影响等，并且具有诸如大量处理的麻烦。同时，存在一种简单方法，其中，在增强可靠度的同时相互引用右和左视差信息，使得消除错的视差。在该方法中，将通过立体匹配获得的右和左视差值在一对一的基础上彼此作比较，并且合并在一起。因此，当右和左视差之一具有异常值时，所合并的视差值的可靠度降低，并且不可能获得有效的视差值。因为这个原因，难以基于视差值来检测到物体的距离。
[0006]因此，期望以高精度来获得合并的视差值，即使要基于立体匹配合并的右和左视差值之一没有正确的值。
[0007]根据本公开的一个实施例，提供了一种图像处理装置，包括:立体匹配单元，其被配置为基于分别由右和左相机捕获的一对图像、通过使用立体匹配来获得右和左视差图像；滤波处理单元，其被配置为对于所述视差图像执行滤波处理；以及，第一合并单元，其被配置为在已经经过了所述滤波处理的所述视差图像中在所述右和左视差图像中的相互对应的位置处的视差值之间进行比较，并且基于比较结果来合并所述右和左视差图像的所述视差值。
[0008]而且，所述滤波处理单元可以对于所述右和左视差图像的至少一个执行所述滤波处理。
[0009]而且，所述滤波处理单元可以对于所述右和左视差图像的每个执行所述滤波处理。
[0010]而且，所述滤波处理单元包括中值滤波器。
[0011]而且，所述滤波处理单元可以对于所述右和左视差图像之一执行所述滤波处理。所述第一合并单元可以将在已经经过了所述滤波处理的所述视差图像的所述一个中的特定像素的视差值与在未经过所述滤波处理的另一个视差图像中的与所述特定像素对应的像素和多个相邻像素的视差值作比较。
[0012]而且，所述第一合并单元可以基于在预定阈值与差之间的比较结果来合并所述视差值，所述差为在所述特定像素的所述视差值和在所述另一个视差图像中的与所述特定像素对应的所述像素和多个相邻像素的所述视差值的每一个之间的差。
[0013]而且。所述第一合并单元可以基于用于限定在所述预定阈值和所述视差值的可靠度之间的关系的传递函数来合并所述视差值。
[0014]而且，所述图像处理装置可以进一步包括:第二合并单元，被配置为获得具有多个分辨率的所述捕获的图像；多个所述立体匹配单元，多个所述滤波处理单元和多个所述第一合并单元，它们被提供来用于所述多个分辨率的每个，并且被配置为合并其中每一个由所述第一合并单元合并的相应的多个分辨率的所述视差值。
[0015]而且，当未获得在具有第一分辨率的所述视差图像之一中的特定像素的视差值时，所述第二合并单元可以基于像素的视差值来合并所述相应的多个分辨率的所述视差值，所述像素与在具有低于所述第一分辨率的第二分辨率的所述视差图像之一中与所述特定像素对应。
[0016]而且，所述立体匹配单元可以包括可靠度计算单元，其被配置为计算所述右和左视差图像的所述视差值的可靠度。当所述可靠度可以大于预定阈值并且未获得在具有所述第一分辨率的视差图像中的所述特定像素的所述视差值时，所述第二合并单元将所述视差值看作未知值。
[0017]而且，所述第二合并单元可以基于具有第一分辨率的所述视差图像之一的视差值，来重写具有大于所述第一分辨率的第二分辨率的所述视差图像之一的视差值。
[0018]而且，当具有所述第一分辨率的所述视差图像的所述特定像素的所述视差值和与所述特定像素相邻的多个像素的视差值在预定范围内时，所述第二合并单元可以基于所述特定像素的所述视差值，来重写在具有所述第二分辨率的所述视差图像中的与所述特定像素对应的像素的所述视差值。
[0019]而且，所述第二合并单元可以基于在具有在所述多个分辨率中的最低分辨率的视差图像中的目标区域的视差值来选择所述多个分辨率之一，并且基于具有所选择的分辨率的视差图像来对于所述目标区域的所述视差值执行合并。
[0020]而且，根据本公开的一个实施例，提供了一种图像处理方法，包括:基于分别由右和左相机捕获的一对图像、通过使用立体匹配来获得右和左视差图像；对于所述视差图像执行滤波处理；以及，在已经经过了所述滤波处理的所述视差图像中在所述右和左视差图像中的相互对应的位置处的视差值之间进行比较，并且基于比较结果来合并所述右和左视差图像的所述视差值。
[0021]根据本公开的实施例，有可能以高精度来获得合并视差值，即使要基于立体匹配合并的所述视差值之一没有正确的值。
【专利附图】
【附图说明】
[0022]结合附图，从下面对实施例的描述中，本发明的这些和/或其他方面、特征和优点将变得清楚和更加容易理解，其中:
[0023]图1是图示根据本公开的一个实施例的图像处理装置的概要配置的示意图；
[0024]图2是图示由投影转换单元和逆投影转换单元进行的处理的示意图；
[0025]图3是图示立体匹配单元如何计算视差值的示意图；
[0026]图4是图示在后滤波单元是中值滤波器的情况下的处理的示意图；
[0027]图5是用于说明合并单元的算法的基本概念的示意图；
[0028]图6是图示由合并单元进行的基本处理的示意图；
[0029]图7是用于说明在图6中的处理的示意图；
[0030]图8是图示根据一实施例的处理的示意图，该处理包括向其增加的后滤波处理；
[0031]图9是图示其中仅对于作为参考源的右视差图像执行后滤波处理的示例的示意图；
[0032]图10是图示用于通过将视差dR与作为相邻并且包括左参考目标像素的9个像素的视差dL[i]的每一个作比较而确定右目标像素的视差dR的可靠度的方法的示意图；
[0033]图11是详细图示在图10中的处理的示意图；
[0034]图12是图示一种方法的示意图，通过该方法，从右目标像素的视差值dR获得左参考像素的位置，并且其后，将在dR和与参考像素相邻的视差值dL[i] (i=0,…8)的每一个之间的差加权的同时确定视差值dR的可靠度。
[0035]图13是图示物体与右和左相机的位置的示意图，该物体是右和左相机的被摄体；
[0036]图14是用于说明基于分辨率的搜索范围的示意图；
[0037]图15是图示在图像的分辨率和可推论深度之间的关系的示意图；
[0038]图16是图示在图像的分辨率和可推论深度之间的关系的示意图；
[0039]图17是图示在图像的分辨率和可推论深度之间的关系的示意图；
[0040]图18是图示在第二实施例中使用多个分辨率的情况下的处理的示意图；
[0041]图19图示:向在图18中的配置加上的投影转换单元、预滤波单元和逆投影转换单元；以及，作为独立块提供的立体匹配单元和合并单元；
[0042]图20是用于说明由合并单元进行的处理的示意图；
[0043]图21是图示用于基于亮度值的和来判断块匹配可靠度的方法的示意图；
[0044]图22是图示下述配置的示意图:其中，立体匹配单元获得立体匹配可靠度，并且与视差图像一起输出关于可靠度的信息；
[0045]图23是图示基于视差值的可靠度来合并不同分辨率视差的处理的流程图；
[0046]图24是用于说明在第二实施例中的处理的示意图；
[0047]图25是用于说明在第二实施例中的处理的示意图；
[0048]图26是用于说明在第二实施例中的处理的示意图；
[0049]图27是用于说明在第二实施例中的处理的示意图；
[0050]图28是用于说明在第二实施例中的处理的示意图；
[0051]图29是用于说明在第二实施例中的处理的示意图；
[0052]图30是图示下述配置的示意图:其中，立体匹配单元被配置来分别输出视差图像2和3，并且分别包括可靠度计算单元106a ；
[0053]图31是图示错块匹配的示意图；
[0054]图32是图示基于低分辨率来合并多个分辨率的示意图；
[0055]图33是图示基于低分辨率来合并多个分辨率的示意图；
[0056]图34是图示基于低分辨率来合并多个分辨率的示意图；
[0057]图35是图示基于低分辨率来合并多个分辨率的示意图；
[0058]图36是图示其中向与在图18中相同的配置加上目标区域检测和跟踪单元112的示例的示意图；
[0059]图37是图示用于通过使用具有多个分辨率的视差图像来增强目标区域的视差获得性能的方法的示意图；
[0060]图38是图示通过使用具有多个分辨率的视差图像来增强目标区域的视差获得性能的处理的示意图；以及
[0061]图39是图示网格信息的示意图。
【具体实施方式】
[0062]以下，将参考附图详细描述本公开的优选实施例。注意，在本说明书和附图中，使用相同的附图标号来表示具有大体相同的功能和结构的结构元件，并且省略这些结构元件的重复说明。
[0063]注意，以下面的顺序来给出说明。
[0064]1.第一实施例
[0065]1.1.图像处理装置的配置示例
[0066]1.2.用于合并单元的算法
[0067]2.第二实施例
[0068]2.1.在相对于物体的距离和分辨率之间的关系
[0069]2.2.合并多个分辨率的具体示例
[0070]2.3.基于低分辨率来合并多个分辨率的具体示例
[0071]2.4.用于增强目标区域的视差获得性能的方法
[0072]〈1.第一实施例>
[0073][1.1.图像处理装置的配置示例]
[0074]首先，将参考图1来描述根据本公开的第一实施例的产生视差图像的整体流程。图1是根据本实施例的图像处理装置100的概要配置的示意图。如图1中所示，图像处理装置100包括投影转换单元102a、102b、预滤波单元104a、104b、立体匹配单元106、合并单元108、后滤波单元110和逆投影转换单元112。
[0075]如图1中所示，作为相机图像(相机图像(左)和相机图像(右))获取在右左方向上分离的相应相机的两个图像。投影转换单元102a、102b对于相应的图像执行投影转换，并且将结果产生的图像输出为校正图像(左)和校正图像(右)。预滤波单元104a、104b对于右和左校正图像执行预滤波处理，并且将结果产生的图像输出为边缘图像(左)和边缘图像(右)。每一个边缘图像被输入到立体匹配单元106内以经历立体匹配。立体匹配单元106执行立体匹配，并且因此输出右和左视差图像(视差图像(左)和视差图像(右))。右和左视差图像被输入到合并单元108内。合并单元108合并视差图像(左和右)，并且向后滤波单元110输出通过该合并获得的图像。后滤波单元110对于输入的图像执行后滤波处理，并且向逆投影转换单元112内输入已经经历了后滤波处理的图像。逆投影转换单元112对于输入图像执行逆投影转换，并且将结果产生的图像输出为视差图像。
[0076]以下，将描述由在图1中所示的每一个组件执行的处理。图2是由投影转换单元102a、102b和逆投影转换单元112执行的处理的示意图。为了便利在随后的处理中的立体匹配，投影转换单元102a、102b每一个将右和左图像变形，使得在右和左图像中的彼此对应的点在水平线(=匹配搜索方向)上对齐。具体地说，投影转换单元102a、102b将外极线平行化。此时，投影转换单元102a、102b每一个使用网格(mesh)信息或单应矩阵。图39是图示网格信息的示意图。在此，网格信息是用于指示在输入的相机图像中拍摄的正方栅格和栅格的正确的位置(在校正后的位置)之间的关系的信息。通过预先拍摄栅格来准备网格信息，如图39中所示。对于在由相机拍摄的栅格和正确的位置(在校正后的位置)之间的关系，将用于指示拍摄目标应当处于的位置的信息记录为网格信息，如图39中所示。也可能从网格信息计算单应矩阵。逆投影转换单元112执行与由投影转换单元102a、102b进行的处理相反的处理。逆投影转换单元112执行将由投影转换单元102a、102b变形的图像的状态恢复为在原始输入图像的位置关系中的原始状态的处理。
[0077]预滤波单元104a、104b执行预滤波处理以减小在右和左相机之间的亮度差异和在立体匹配处理中的阴影的影响。例如，使用Sobel滤波器或Prewitt滤波器来产生垂直边缘图像。这促进了在立体匹配中在水平方向上的相互对应点的视差的搜索。具体地说，当输入图像的亮度值是g(x，y)时，并且当输出图像的亮度值是f(x，y)时，通过计算下面的公式(I)来获得亮度值f (X，y)。
[0078]
【权利要求】
1.一种图像处理装置，包括: 立体匹配单元，其被配置为基于分别由右和左相机捕获的一对图像、通过使用立体匹配来获得右和左视差图像； 滤波处理单元，其被配置为对于所述视差图像执行滤波处理；以及 第一合并单元，其被配置为在已经经过了所述滤波处理的所述视差图像中在所述右和左视差图像中的相互对应的位置处的视差值之间进行比较，并且基于比较结果来合并所述右和左视差图像的所述视差值。
2.根据权利要求1所述的图像处理装置， 其中，所述滤波处理单元对于所述右和左视差图像的至少一个执行所述滤波处理。
3.根据权利要求1所述的图像处理装置， 其中，所述滤波处理单元对于所述右和左视差图像的每个执行所述滤波处理。
4.根据权利要求1所述的图像处理装置， 其中，所述滤波处理单元包括中值滤波器。
5.根据权利要求1所述的图像处理装置， 其中，所述滤波处 理单元对于所述右和左视差图像之一执行所述滤波处理，并且 其中，所述第一合并单元将在已经经过了所述滤波处理的所述视差图像之一中的特定像素的视差值与在未经过所述滤波处理的另一个视差图像中的与所述特定像素对应的像素和多个相邻像素的视差值作比较。
6.根据权利要求5所述的图像处理装置， 其中，所述第一合并单元基于在预定阈值与差之间的比较结果来合并所述视差值，所述差为在所述特定像素的所述视差值和所述另一个视差图像中的与所述特定像素对应的所述像素以及多个相邻像素的所述视差值的每一个之间的差。
7.根据权利要求6所述的图像处理装置， 其中，所述第一合并单元基于用于限定在所述预定阈值和所述视差值的可靠度之间的关系的传递函数来合并所述视差值。
8.根据权利要求1所述的图像处理装置，进一步包括: 第二合并单元 其被配置为获得具有多个分辨率的所述捕获的图像， 多个所述立体匹配单元，多个所述滤波处理单元和多个所述第一合并单元，它们被提供来用于所述多个分辨率的每个，以及 被配置为合并每个由所述第一合并单元合并的相应的多个分辨率的所述视差值。
9.根据权利要求8所述的图像处理装置， 其中，当未获得在具有第一分辨率的所述视差图像之一中的特定像素的视差值时，所述第二合并单元基于像素的视差值来合并所述相应的多个分辨率的所述视差值，所述像素在具有低于所述第一分辨率的第二分辨率的所述视差图像之一中与所述特定像素对应。
10.根据权利要求9所述的图像处理装置， 其中，所述立体匹配单元包括可靠度计算单元，其被配置为计算所述右和左视差图像的所述视差值的可靠度，并且 其中，当所述可靠度大于预定阈值并且未获得在具有所述第一分辨率的视差图像中的所述特定像素的所述视差值时，所述第二合并单元将所述视差值看作未知值。
11.根据权利要求8所述的图像处理装置， 其中，所述第二合并单元基于具有第一分辨率的所述视差图像之一的视差值，来重写具有大于所述第一分辨率的第二分辨率的所述视差图像之一的视差值。
12.根据权利要求11所述的图像处理装置， 其中，当具有所述第一分辨率的所述视差图像的所述特定像素的所述视差值和与所述特定像素相邻的多个像素的视差值在预定范围内时，所述第二合并单元基于所述特定像素的所述视差值，来重写 在具有所述第二分辨率的所述视差图像中的与所述特定像素对应的像素的所述视差值。
13.根据权利要求8所述的图像处理装置， 其中，所述第二合并单元基于在具有所述多个分辨率中的最低分辨率的视差图像中的目标区域的视差值来选择所述多个分辨率之一，并且基于具有所选择的分辨率的视差图像来对于所述目标区域的所述视差值执行合并。
14.一种图像处理方法，包括: 基于分别由右和左相机捕获的一对图像、通过使用立体匹配来获得右和左视差图像； 对于所述视差图像执行滤波处理；以及 在已经经过了所述滤波处理的所述视差图像中在所述右和左视差图像中的相互对应的位置处的视差值之间进行比较，并且基于比较结果来合并所述右和左视差图像的所述视差值。
【文档编号】H04N13/00GK104079912SQ201410069216
【公开日】2014年10月1日 申请日期:2014年2月27日 优先权日:2013年3月29日
【发明者】中谷文香, 明官佳宏, 大场章男, 稻田彻悟, 势川博之 申请人:索尼公司, 索尼电脑娱乐公司