图像处理设备及图像处理方法
【技术领域】
[0001]本公开涉及图像处理设备和图像处理方法，更具体地涉及使得能够以小的计算量高精度生成不同视点的视差图像的图像处理设备和图像处理方法。
【背景技术】
[0002]近来被称为光场相机等的成像设备受到关注。这样的成像设备通过成像单元获得视点的捕获图像，根据捕获图像生成虚拟视点的捕获图像(视图插值)，以及使用这些捕获图像生成虚拟焦点等的捕获图像(例如参见专利文献1)。
[0003]这样的成像设备以如下方式生成虚拟视点的图像:通过生成与视点的捕获图像对应的视差图像(深度图)，根据所述捕获图像使用相应视点的视差图像生成虚拟视点的捕获图像(图像配准)，以及将所述捕获图像进行组合。因此，为了生成虚拟视点的高精度捕获图像，生成具有高精度的视差图像是必要的。应当注意，视差图像是具有作为捕获图像中的相应像素的视差值的像素值的图像。在此，位于较远侧的对象的图像具有较小的视差值，而位于较近侧的对象的图像具有较大的视差值。
[0004]引用列表
[0005]专利文献
[0006]专利文献1:JP 4706882 B2
【发明内容】
[0007]本发明要解决的问题
[0008]生成视点的视差图像的方法可以是如下方法:根据作为用作参考的单个视点的参考视点的捕获图像生成视差图像，并且根据所生成的视差图像估计除参考视点之外的视点的视差图像。
[0009]然而，通过该方法，例如在参考视点的捕获图像中出现遮挡时，不能精确地估计参考视点的遮挡区域的视差值，从而不能生成除参考视点之外的视点的具有高精度的视差图像。应当注意，在本说明书中，参考视点的遮挡区域表示从参考视点不能观看到但是从除参考视点之外的视点能够观看到的区域。
[0010]可替选地，生成视点的视差图像的方法可以为如下方法:根据每个视点的捕获图像生成视差图像。通过该方法，能够生成高精度的视差图像，但是需要巨大的计算量。
[0011]本公开鉴于上述情形做出，本公开使得能够以小的计算量高精度生成不同视点的视差图像。
[0012]问题的解决方案
[0013]根据本公开的第一方面的图像处理设备是如下图像处理设备，其包括:计算单元，该计算单元使用多对视点的捕获图像来计算所述多对视点的捕获图像的相关性值；以及生成单元，所述生成单元基于由所述计算单元计算出的相关性值来生成参考视点的不同层级的视差图像，所述视差图像是由所述参考视点的视差值形成的视点视差图像以及由遮挡区域的视差值形成的遮挡视差图像，所述参考视点为所述多对视点之一。
[0014]根据本公开的第一方面的图像处理方法与根据本公开的第一方面的图像处理设备兼容。
[0015]在本公开的第一方面中，使用多对视点的捕获图像来计算所述多对视点的捕获图像的相关性值，以及基于相关性值来生成由所述参考视点的视差值形成的视点视差图像以及由遮挡区域的视差值形成的遮挡视差图像，作为参考视点的不同层级的视差图像，所述参考视点为所述多对视点之一。
[0016]根据本公开的第二方面的图像处理设备是如下图像处理设备，其包括:计算单元，所述计算单元使用多对视点的捕获图像来计算所述多对视点的捕获图像的相关性值；以及生成单元，所述生成单元基于使相应对的相关性值的模式与所述多对视点中的预定对相关联的表来生成视点视差图像，所述视点视差图像根据作为与所述预定对的最高相关性值对应的视差值的最高相关性视差值而生成，所述视点视差图像由参考视点的视差值形成，所述参考视点为所述多对视点之一。
[0017]根据本公开的第二方面的图像处理方法与根据本公开的第二方面的图像处理设备兼容。
[0018]在本公开的第二方面中，使用多对视点的捕获图像来计算所述多对视点的捕获图像的相关性值；基于使相应对的相关性值的模式与所述多对视点中的预定对相关联的表来生成视点视差图像，所述视点视差图像根据作为与所述预定对的最高相关性值对应的视差值的最高相关性视差值而生成，所述视点视差图像由参考视点的视差值形成，所述参考视点为所述多对视点之一。
[0019]根据本公开的第一方面和第二方面的图像处理设备还可以通过使计算机执行程序来实现。
[0020]此外，为了实现根据本公开的第一方面和第二方面的图像处理设备，待由计算机执行的程序可以通过传输介质传输并提供，或者可以提供记录在记录介质上的程序。
[0021]本发明的效果
[0022]根据本公开，能够以小的计算量生成不同视点的高精度视差图像。
【附图说明】
[0023]图1是示出了作为应用本公开的图像处理设备的成像设备的实施例的示例结构的框图。
[0024]图2是成像阵列的示例结构的透视图。
[0025]图3是示出了检测单元的示例结构的框图。
[0026]图4是示出了与相关性生成单元对应的16个视点对的图。
[0027]图5是用于解释待由相关性生成单元执行的相关性检测的图。
[0028]图6是示出了当前像素区域的一部分的示例的图。
[0029]图7是示出了相关性值信息的示例的图。
[0030]图8是示出了当前像素区域的多组最高相关性视差值的图。
[0031]图9是示出了当前像素区域的其他组最高相关性视差值的图。
[0032]图10是示出了分层表的示例的图。
[0033]图11是示出了参考视点的第一层级和第二层级的视差图像的示例的图。
[0034]图12是示出了除参考视点之外的视点的视差图像的示例的图。
[0035]图13是示出了除参考视点之外的视点的传统视差图像的示例的图。
[0036]图14是示出了虚拟视点的示例的图。
[0037]图15是用于解释生成虚拟视点的捕获图像的图。
[0038]图16是用于解释生成虚拟视点的捕获图像的图。
[0039]图17是用于解释生成虚拟视点的捕获图像的图。
[0040]图18是用于解释生成虚拟视点的捕获图像的图。
[0041]图19是用于解释生成虚拟视点的捕获图像的图。
[0042]图20是用于解释生成虚拟视点的捕获图像的图。
[0043]图21是用于解释成像处理的流程图。
[0044]图22是成像阵列的另一种示例结构的透视图。
[0045]图23是示出了计算机的硬件的示例配置的框图。
【具体实施方式】
[0046]<实施例>
[0047](成像设备的实施例的示例结构)
[0048]图1是示出了作为应用本公开的图像处理设备的成像设备的实施例的示例结构的框图。
[0049]图1所示的成像设备10包括成像阵列12和图像处理单元13。成像设备10获得不同视点的捕获图像，并且生成虚拟焦点的捕获图像作为重聚焦图像。
[0050]具体地，成像设备10的成像阵列12由二维布置的成像单元形成，每个成像单元包括成像透镜、成像器件例如CCD (电荷耦合器件)或CMOS (互补金属氧化物半导体)以及A/D转换器。
[0051]成像阵列12中的每个成像单元通过该成像透镜从具有成像器件的对象接收入射光，并且通过使用Α/D转换器对由于光接收获得的模拟信号进行Α/D转换而获取捕获图像。以这种方式，成像阵列12使用各个成像单元获得不同视点的捕获图像。成像阵列12向图像处理单元13提供所获得的各个视点的捕获图像。
[0052]图像处理单元13由例如LSI (大规模集成电路)形成。图像处理单元13包括检测单元21、虚拟视点图像生成单元22以及重聚焦图像生成单元23。
[0053]检测单元21不仅基于从成像阵列12提供的参考视点的捕获图像与除参考视点之夕卜的视点的捕获图像之间的相关性值，而且基于除参考视点之外的视点的捕获图像之间的相关性值来检测视差值。结果是，检测到参考视点的视差值以及参考视点的遮挡区域的视差值。为了简化解释，在本实施例中仅存在参考视点的一个遮挡区域。
[0054]检测单元21以如下方式生成参考视点的两个层级的视差图像:通过将由参考视点的视差值形成的视差图像设置为第一层级的视差图像(视点视差图像)，以及将由参考视点的遮挡区域的视差值形成的视差图像设置为第二层级的视差图像(遮挡视差图像)。检测单元21然后向虚拟视点图像生成单元22提供参考视点的两个层级的视差图像。
[0055]虚拟视点图像生成单元22对从检测单元21提供的参考视点的两个层级的视差图像进行存储。使用所存储的参考视点的两个层级的视差图像，虚拟视点图像生成单元22生成除参考视点之外的视点的视差图像。
[0056]使用所存储的各个视点的视差图像以及从成像阵列12提供的各个视点的捕获图像，虚拟视点图像生成单元2 2生成除与成像单元对应的视点之外的虚拟视点的捕获图像。虚拟视点图像生成单元22向重聚焦图像生成单元23提供作为超多视点(ultra-multiview)图像的虚拟视点的捕获图像以及从成像阵列12提供的各个视点的捕获图像。
[0057]重聚焦图像生成单元23用作虚拟焦点图像生成单元，并且使用从虚拟视点图像生成单元22提供的超多视点图像来生成虚拟焦点的捕获图像作为重聚焦图像。重聚焦图像生成单元23输出所生成的重聚焦图像。
[0058](成像阵列的示例结构)
[0059]图2是示出了图1中所示的成像阵列12的示例结构的图并且是从对象侧观看时的成像阵列12的透视图。
[0060]在图2所示的成像阵列12中，9个成像单元41-0至41_8被布置在具有低热胀冷缩率的基底的平板表面40上，其中9个成像单元41-0至41-8中的三个成像单元被以等间隔布置在每行和每列。如图2所示，成像单元41-0至成像单元41-8中的每个成像单元包括成像透镜42。在本实施例中，将与成像单元41-0对应的视点设置为参考视点。
[0061]在以下描述中，将穿过与参考视点对应的成像单元41-0的中心而延伸的竖直直线与连接成像单元41-0的中心和成像单元41-1至41-8的各个中心的直线之间的夹角称为角Θ1至Θ8。角Θ1至Θ 8分别为45度、360度、315度、90度、270度、135度、180度以及225度。
[0062]将连接成像单元41-0的中心与成像单元41-1至41_8的