图像处理设备及图像处理方法
【技术领域】
[0001]本技术涉及能够获取测量对象的距离信息的图像处理设备及图像处理方法。
【背景技术】
[0002]已知如下技术:通过使用具有不同视点的多个图像来测量到测量对象的距离。例如，下面的专利文献I公开了使用称作立体匹配的技术的距离计算方法。
[0003]在这样的立体匹配技术中，在根据沿着图像的水平方向(H方向)或垂直方向(V方向)的多个视差图像计算距离的情况下，可以获得视差图像之间的相位差。在获得相位差的处理中，沿水平方向依次移动比较目标的局部区域(单位区域)，并且获得单位区域中的视差图像之间的位移(像素位移、视差)作为相位差，该位移具有比较范围内的最高相关性。还可以根据沿着图像的任意角度方向的多个视差图像来计算距离。
[0004]专利文献1:日本专利申请2011-171858号公报
【发明内容】
[0005]本发明要解决的问题
[0006]在立体匹配中，对象与相机之间的距离取决于视差图像之间的相位差的测量精度。具体地，存在以下问题:由于相机噪声、干扰等的影响，随着对象与相机之间的距离变得越远，相位差的测量精度下降越多，于是，距离计算精度也降低。
[0007]鉴于上述情况，本技术的目的是提供能够提高距离计算精度的图像处理设备及图像处理方法。
[0008]解决问题的方法
[0009]为了实现上述目的，根据本技术的实施方式，提供包括视差信息生成单元的图像处理设备。
[0010]视差信息生成单元基于第一相位差分布和第二相位差分布生成视差信息，所述第一相位差分布是以第一视差图像和第二视差图像为对象以逐像素为单位生成的，所述第二相位差分布是基于所述第一相位差分布以逐子像素为单位生成的。
[0011]在图像处理设备中，基于以逐像素为单位生成的第一相位差分布和使用第一相位差分布以逐子像素为单位生成的第二相位差分布来生成视差信息。所以，可以获取对干扰如相机噪声更鲁棒且精度高的视差信息。
[0012]在此，子像素有时用于指代颜色像素，但在本说明书中，子像素指代比一个像素更小的像素单位。所以，当将每个颜色像素假定为一个像素时，子像素指代比一个像素更小的像素单位。
[0013]图像处理设备还可以包括相位差计算单元，该相位差计算单元基于第一相位差分布来生成第二相位差分布。
[0014]相位差计算单元可以通过使用从第一相位差分布检测的边缘信息对第一相位差分布进行校正来生成第二相位差分布。
[0015]由于亮度差在边缘部分附近较大，所以容易执行以逐子像素为单位的相位差的估
i+o
[0016]在这种情况下，可以通过对关于第一视差图像计算的边缘部分的局部亮度分布和关于第二视差图像计算的边缘部分的局部亮度分布执行匹配处理来生成第二相位差分布。
[0017]于是，可以高精度地检测以逐子像素为单位的相位差。
[0018]另一方面，相位差计算单元可以通过计算第一像素组的亮度分布和第二像素组的亮度分布之间的相关值来生成第二相位差分布，第一像素组形成第一视差图像，第二像素组形成第二视差图像并且对应于第一像素组。
[0019]同样通过这样的方法，可以检测以逐子像素为单位的相位差。
[0020]在这种情况下，可以使用在第一像素组和第二像素组以逐像素为单位相互叠加时、与彼此相邻的多个像素之间的亮度差有关的评估函数。
[0021]可以将折线的长度用作评估函数，当连接多个像素的亮度值时获得折线。可替选地，可以将预定三维表面的表面面积用作评估函数，当连接多个像素的亮度值时获得预定三维表面。
[0022]视差信息通常是测量对象的距离信息。于是，可以执行基于距离信息的各种类型的信息处理。
[0023]图像处理设备还可以包括控制单元，该控制单元通过使用由视差信息生成单元生成的距离信息来生成重新聚焦的图像。
[0024]于是，可以高精度地生成期望的重新聚焦的图像。
[0025]图像处理设备还可以包括成像单元，该成像单元获取具有不同视点的多个视差图像。
[0026]在这种情况下，视差信息生成单元可以使用由成像单元获取的多个视差图像来生成视差?目息。
[0027]根据本技术的另一实施方式，提供一种图像处理方法，其包括获取第一视差图像和第二视差图像。
[0028]基于第一相位差分布和第二相位差分布生成视差信息，以第一视差图像和第二视差图像为对象以逐像素为单位生成第一相位差分布，基于第一相位差分布以逐子像素为单位生成第二相位差分布。
[0029]第一视差图像和第二视差图像可以是预先准备的图像，或者可以是由成像设备等捕获的视差图像。
[0030]发明的效果
[0031]如上所述，根据本技术，可以获取对干扰更鲁棒且精度高的视差信息。
【附图说明】
[0032][图1]图1是根据本技术的一种实施方式的成像设备的示意性配置图；
[0033][图2]图2是示出了图1中所示的控制单元的示意性配置的功能框图；
[0034][图3]图3是用于描述控制单元的动作的流程图；
[0035][图4]图4是示出了成像设备中获取的视差图像的示例的示意图，其中，(A)示出了左视点图像，而⑶示出了右视点图像；
[0036][图5]图5是用于描述在控制单元中生成第一相位差分布的方法的图；
[0037][图6]图6是用于描述在控制单元中生成第二相位差分布的方法的图；
[0038][图7]图7是用于描述生成第二相位差分布的处理过程的图；
[0039][图8]图8是用于描述如何设置图7中所示的采样轴的图；
[0040][图9]图9是用于描述生成第二相位差分布的处理过程的图；
[0041][图10]图10是用于描述生成第二相位差分布的处理过程的图；
[0042][图11]图11是用于描述生成第二相位差分布的处理过程的图；
[0043][图12]图12是用于描述比较示例中的相位差检测方法的图；
[0044][图13]图13是用于描述本技术的第二实施方式中生成第二相位差分布的方法的图，其中，(A)示出了左视点图像的主要部分的亮度分布，而(B)示出了右视点图像的主要部分的亮度分布；
[0045][图14]图14是用于描述根据第二实施方式生成第二相位差分布的处理过程的图；
[0046][图15]图15是用于描述根据第二实施方式生成第二相位差分布的处理过程的图；
[0047][图16]图16是用于描述根据第二实施方式生成第二相位差分布的处理过程的图；
[0048][图17]图17是用于描述根据第二实施方式生成第二相位差分布的处理过程的图；
[0049][图18]图18是用于描述根据第二实施方式生成第二相位差分布的处理过程的图；
[0050][图19]图19是用于描述本技术的第三实施方式中生成第二相位差分布的方法以及描述生成第二相位差分布的处理过程的图；
[0051][图20]图20是用于描述根据第三实施方式生成第二相位差分布的处理过程的图；
[0052][图21]图21是用于描述根据第三实施方式生成第二相位差分布的处理过程的图；
[0053][图22]图22是用于描述根据第三实施方式生成第二相位差分布的处理过程的图；
[0054][图23]图23是用于描述根据第三实施方式生成第二相位差分布的处理过程的修改示例的图；
[0055][图24]图24是用于描述根据第三实施方式生成第二相位差分布的处理过程的修改示例的图；
[0056][图25]图25是用于描述根据第三实施方式生成第二相位差分布的处理过程的修改示例的图；
[0057][图26]图26是用于描述根据第三实施方式生成第二相位差分布的处理过程的修改示例的图。
【具体实施方式】
[0058]在下文中，将参考附图来描述本技术的实施方式。
[0059]<第一实施方式>
[0060]图1是示出根据本技术的一种实施方式的成像设备的整体配置的示意图。成像装置I对成像目标(受摄体)2进行成像并且执行预定的图像处理，以生成和输出图像数据(成像数据)Dout。
[0061][整体配置]
[0062]成像设备I包括成像单元10和控制单元20。
[0063]成像单元10包括两个相机11和12，并且能够通过这些