挡区域的视差值，这是因为在视差图像162中不存在对应的视差值。
[0172]然而，虚拟视点图像生成单元22还能够使用视差图像163，从而相应地能够通过使用视差图像163的视差值作为遮挡区域的视差值来精确地生成视差图像182。
[0173]类似地，虚拟视点图像生成单元22通过向左移位视差图像162的区域162A的视差值来生成视差图像192，但是能够通过使用视差图像163的视差值来精确地生成遮挡区域的视差值。
[0174]另一方面，在生成仅视差图像162的情况，如图13中的中心视图所示，没有生成遮挡区域的视差值。因为在视差图像162中不存在与捕获图像181对应的视差图像211中的遮挡区域211A的视差值，所以不能精确地生成遮挡区域211A的视差值。
[0175]类似地，因为在视差图像162中不存在与捕获图像191对应的视差图像212中的遮挡区域212A的视差值，所以不能精确地生成遮挡区域212A的视差值。
[0176](虚拟视点的示例)
[0177]图14是示出虚拟视点的示例的图。
[0178]在图14所示的示例中，虚拟视点是与位于成像单元41-2、成像单元41-3、成像单元41-7以及成像单元41-8的中心点处的虚拟成像单元231对应的视点。
[0179](生成虚拟视点的捕获图像的方法的解释)
[0180]图15至图20是用于解释生成图14所示的虚拟视点的捕获图像的图。
[0181]如图15所示，在生成图14所示的虚拟视点的捕获图像250时，虚拟视点图像生成单元22使用由成像单元41-3捕获的图像251、由成像单元41_2捕获的图像252、由成像单元41-8捕获的图像253以及由成像单元41-7捕获的图像254。虚拟视点图像生成单元22还使用与捕获图像251至254对应的视差图像261至264。
[0182]具体地，如图16所示，虚拟视点图像生成单元22首先使用捕获图像251和视差图像261来生成虚拟视点的捕获图像281。具体地，虚拟视点图像生成单元22通过将捕获图像251的各个像素移位与如下值相等的量来生成虚拟视点的捕获图像281，该值基于视差图像261中的像素的视差值以及例如参考视点、成像单元41-2的视点以及虚拟视点之间的位置关系。
[0183]如图17所示，虚拟视点图像生成单元22然后以与生成捕获图像281相同的方式、使用捕获图像252和视差图像262来生成虚拟视点的捕获图像282。如图18所示，虚拟视点图像生成单元22还以与生成捕获图像281相同的方式、使用捕获图像253和视差图像263来生成虚拟视点的捕获图像283。如图19所示，虚拟视点图像生成单元22还以与生成捕获图像281相同的方式、使用捕获图像254和视差图像264来生成虚拟视点的捕获图像284。
[0184]如图20所示，虚拟视点图像生成单元22然后将虚拟视点的捕获图像281至284进行组合，以及生成虚拟视点的最终的捕获图像250。
[0185](待由成像设备执行的处理的解释)
[0186]图21是用于解释待由图1中所示的成像设备10执行的成像处理的流程图。
[0187]在图21的步骤S11中，成像设备10的成像阵列12获得成像单元41_0至41_8的各个视点的捕获图像，以及向检测单元21提供捕获图像。在步骤S12中，检测单元21的相关性生成单元61 (图3)将参考视点的捕获图像的像素区域设置作为当前像素区域。
[0188]具体地，在参考视点的捕获图像中，相关性生成单元61将预定尺寸的像素区域从左上部分沿光栅扫描方向每次移位相当于一个像素的量，从而设置预定尺寸的像素区域。相关性生成单元61在步骤S12中将左上像素区域设置作为第一过程中的当前像素区域，并且在步骤S12中在之后的过程中按照光栅扫描的顺序设置像素区域。
[0189]在步骤S13中，相关性生成单元61对捕获图像相对于当前像素区域来执行相关性检测，以及生成相关性值信息。相关性生成单元61然后向高相关性检测单元62提供相关性值信息。
[0190]在步骤S14中，高相关性检测单元62基于从相关性生成单元61提供的相关性值信息来检测当前像素区域中的最高相关性值。在步骤S15中，高相关性检测单元62确定所检测的最高相关性值是否等于或大于阈值。
[0191]如果在步骤S15中确定最高相关性值等于或大于阈值，则在步骤S16中高相关性检测单元62向生成单元63输出最高相关性视差值，所述处理然后继续进行至步骤S18。
[0192]如果在步骤S15中确定最高相关性值不是等于或大于阈值，则在步骤S17中高相关性检测单元62向生成单元63输出无效性信息，所述处理然后继续进行至步骤S18。
[0193]在步骤S18中，生成单元63从数据库64读取分层表。在步骤S19中，生成单元63基于分层表以及从每个高相关性检测单元62提供的最高相关性视差值或无效性信息来识别位于各个层级的对。
[0194]在步骤S20中，生成单元63针对每个层级计算在步骤S19中所识别的对的最高相关性视差值的平均值。在步骤S21中，生成单元63将在步骤S20中计算出的各个层级的最高相关性视差值的平均值存储作为参考视点的各个层级的视差图像中的当前像素区域的视差值。
[0195]在步骤S22中，相关性生成单元61确定是否已将所有像素区域设置为当前像素区域。如果在步骤S22中确定尚未将所有像素区域设置为当前像素区域，所述处理返回步骤S12，重复步骤S12至S22的过程直至将所有像素区域设置为当前像素区域为止。
[0196]另一方面，如果在步骤S22中确定已经将所有像素区域确定为当前像素区域，则在步骤S23中生成单元63向虚拟视点图像生成单元22输出所存储的参考视点的第一层级和第二层级的视差图像。
[0197]在步骤S24中，使用从生成单元63提供的参考视点的第一层级和第二层级的视差图像，虚拟视点图像生成单元22生成除参考视点之外的视点的视差图像。
[0198]在步骤S25中，虚拟视点图像生成单元22使用各个视点的视差图像和从成像阵列12提供的各个视点的捕获图像来生成虚拟视点的捕获图像。虚拟视点图像生成单元22向重聚焦图像生成单元23提供作为超多视点图像的虚拟视点的捕获图像和从成像阵列12提供的各个视点的捕获图像。
[0199]在步骤S26中，重聚焦图像生成单元23使用从虚拟视点图像生成单元22提供的超多视点图像来生成虚拟焦点的捕获图像作为重聚焦图像。重聚焦图像生成单元23输出所生成的重聚焦图像。
[0200]以上述方式，成像设备10生成由参考视点的视差值形成的视差图像作为第一层级的视差图像，以及生成由参考视点的遮挡区域的视差值形成的视差图像作为第二层级的视差图像。相应地，能够精确地生成除了参考视点之外的视点的视差图像。
[0201]成像设备10还根据参考视点的视差图像生成除了参考视点之外的视点的视差图像。相应地，用于生成各个视点的视差图像所需的计算量比在根据捕获图像生成各个视点的视差图像的情况下所需的计算量小。此外，针对之后使用各个视点的视差图像的处理中的使用需要存储仅参考视点的视差图像。相应地，需要存储的视差图像的数目小。另一方面，在根据捕获图像生成各个视点的视差图像的情况下，需要存储所有视点的视差图像。
[0202]进一步，成像设备10以分层方式对由参考视点的视差值形成的视差图像以及由参考视点的遮挡区域的视差值形成的视差图像进行存储。相应地，能够高效地存储参考视点的视差值以及参考视点的遮挡区域的视差值。成像设备10还能够基于分层表容易并且精确地选择在生成视差图像时要使用的最高相关性视差值。
[0203](成像阵列的另一种示例结构)
[0204]图22是示出了图1所示的成像阵列12的另一种示例结构的图以及是从对象侧观看时成像阵列12的透视图。
[0205]在图22所示的成像阵列12中，将7个成像单元301-0至301-6布置在平板表面40上使得成像单元301-1至301-6位于以成像单元301-0作为中心的正六边形的各角处。
[0206]在图22所示的示例中，成像单元301-1至301_6位于正六边形的各角处。然而，成像单元301-1至301-6可以位于六边形的各角处。也就是说，在成像单元301-1至301-6中的相邻成像单元之间的距离可以不相等。
[0207]此外，构成成像阵列12的成像单元的数目和位置并不限制于图2和图22所示的示例中的数目和位置。
[0208]为了简化解释，在本实施例中存在参考视点的仅一个遮挡区域。然而，可以存在不止一个遮挡区域。也就是说，捕获图像可以为示出背景前面的对象的图像。在这样的情况下，参考视点的视差图像的层级的数目为通过给遮挡区域的数目增加“ 1 ”所获得的数目。
[0209](应用本公开的计算机的解释)
[0210]以上描述的一系列处理可以通过上述硬件执行，但是还可以通过软件执行。在通过软件执行所述一系列处理时，将形成软件的程序安装进计算机中。在此，所述计算机可以为包括专用硬件的计算机或可以为在其中安装有各种程序时能够执行各种功能的通用个人计算机。
[0211]图23是示出了根据程序执行上述一系列处理的计算机的硬件的示例配置的框图。
[0212]在计算机中，CPU (中央处理单元)601、ROM (只读存储器)602以及RAM (随机存取存储器)603通过总线604相互连接。
[0213]输入/输出接口进一步连接至总线604。成像单元606、输入单元607、输出单元608、存储单元609、通信单元610以及驱动器611与输入/输出接口 605连接。
[0214]成像单元606由成像阵列12等形成并且获得不同视点的捕获图像。输入单元607由键盘、鼠标、麦克风等形成。输出单元608由显示器、扬声器等形成。存储单元609由硬盘、非易失性存储器等形成。通信单元610由网络接口等形成。驱动器611驱动可移除介质612例如磁盘、光盘、磁光盘或半导体存储器。
[0215]在具有上述结构的计算机中，CPU 601通过例如输入/输出接口 605和总线604将存储在存储单元609中的程序加载到RAM 603中并执行程序，使得执行上述一系列处理。
[0216]可以将待由计算机执行(CPU 601)执行的程序记录在例如作为待提供的封装介