图像处理装置、图像处理方法以及程序与流程

本技术涉及图像处理装置、图像处理方法以及程序，更具体地，涉及例如用于实现伴随着期望的光学效果的重聚焦的图像处理装置、图像处理方法以及程序。

背景技术：

已经提出了一种用于根据多个视点的图像来对重聚焦图像(即，例如用焦点改变的光学系统捕获的图像等)进行重构的光场技术(例如，参见非专利文献1)。

例如，非专利文献1公开了一种使用由100个摄像装置构成的摄像装置阵列的重聚焦方法。

引用列表

非专利文献

非专利文献1：bennettwilburn等人，“highperformanceimagingusinglargecameraarrays”

技术实现要素：

本发明要解决的问题

对于重聚焦，预期实现伴随着用户等期望的光学效果的重聚焦的需要在将来会增加。

鉴于这样的状况而提出了本技术，并且本技术旨在实现伴随着期望的光学效果的重聚焦。

针对问题的解决方案

根据本技术的一种图像处理装置或一种程序如下：

一种图像处理装置，包括：获取单元，获取多个视点的图像；以及光收集处理单元，其使用多个视点的图像来执行光收集处理以生成聚焦于预定距离处的处理结果图像，其中，光收集处理单元使用多个视点的、具有利用针对各个视点的调整系数调整过的像素值的图像来执行光收集处理，或者

一种用于使计算机用作这种图像处理装置的程序。

根据本技术的一种图像处理方法是下述图像处理方法，其包括：获取多个视点的图像；以及使用多个视点的图像来执行光收集处理以生成聚焦于预定距离处的处理结果图像，其中，使用多个视点的、具有利用针对各个视点的调整系数调整过的像素值的图像来执行光收集处理。

在根据本技术的图像处理装置、图像处理方法以及程序中，获取多个视点的图像，并且使用多个视点的图像来执行光收集处理以生成聚焦于预定距离处的处理结果图像。利用多个视点的、具有利用针对各个视点的调整系数调整过的像素值的图像来执行该光收集处理。

注意，图像处理装置可以是独立装置，或者可以是单个装置中的内部块。

此外，要提供的程序可以经由传输介质来传送或者可以记录在记录介质上。

本发明的效果

根据本技术，可以执行伴随着期望的光学效果的重聚焦。

注意，本技术的效果不限于本文中描述的效果，而是可以包括本公开内容中描述的任何效果。

附图说明

图1是示出应用了本技术的图像处理系统的实施方式的示例配置的框图。

图2是图像捕获装置11的示例配置的后视图。

图3是图像捕获装置11的另一示例配置的后视图。

图4是示出图像处理装置12的示例配置的框图。

图5是示出由图像处理系统执行的示例处理的流程图。

图6是用于说明在插值单元32处生成插值图像的示例的图。

图7是用于说明在视差信息生成单元31处生成视差图(disparitymap)的示例的图。

图8是用于说明通过由光收集处理单元34执行的光收集处理进行重聚焦的概要的图。

图9是用于说明视差转换的示例的图。

图10是用于说明重聚焦的概要的图。

图11是用于说明由光收集处理单元34执行的光收集处理的示例的流程图。

图12是用于说明由调整单元33执行的调整处理的示例的流程图。

图13是示出镜头光圈参数的第一示例的图。

图14是示出镜头光圈参数的第二示例的图。

图15是示出镜头光圈参数的第三示例的图。

图16是示出镜头光圈参数的第四示例的图。

图17是示出滤波器参数的示例的图。

图18是示出图像处理装置12的另一示例配置的框图。

图19是用于说明由光收集处理单元51执行的光收集处理的示例的流程图。

图20是示出应用了本技术的计算机的实施方式的示例配置的框图。

具体实施方式

<应用了本技术的图像处理系统的实施方式>

图1是示出应用了本技术的图像处理系统的实施方式的示例配置的框图。

在图1中，图像处理系统包括图像捕获装置11、图像处理装置12和显示装置13。

图像捕获装置11从多个视点捕获对象的图像，并且例如将所获得的作为从多个视点进行捕获的结果的(几乎)泛焦的图像提供给图像处理装置12。

图像处理装置12通过使用从图像捕获装置11提供的多个视点的捕获图像来执行用于生成(重构)聚焦于期望对象的图像的诸如重聚焦的图像处理，并且将所获得的作为图像处理结果的处理结果图像提供给显示装置13。

显示装置13显示从图像处理装置12提供的处理结果图像。

注意，在图1中，构成图像处理系统的图像捕获装置11、图像处理装置12和显示装置13例如可以全部安装在诸如数字(静止/视频)摄像装置的独立设备中或者诸如智能电话的便携式终端等中。

替选地，图像捕获装置11、图像处理装置12和显示装置13可以安装在彼此独立的设备中。

此外，图像捕获装置11、图像处理装置12和显示装置13中的任何两个装置可以安装在独立于其中安装有其余一个装置的设备的设备中。

例如，图像捕获装置11和显示装置13可以安装在用户拥有的便携式终端中，而图像处理装置12可以安装在云中的服务器中。

替选地，图像处理装置12的部分块可以安装在云中的服务器中，而图像处理装置12的其余块、图像捕获装置11和显示装置13可以安装在便携式终端中。

<图像捕获装置11的示例配置>

图2是图1所示的图像捕获装置11的示例配置的后视图。

图像捕获装置11包括例如捕获以rgb的值作为像素值的图像的多个摄像装置单元(在下文中也被称为摄像装置)21i，并且多个摄像装置21i从多个视点捕获图像。

在图2中，图像捕获装置11包括例如作为多个摄像装置的七个摄像装置211、212、213、214、215、216和217，并且这七个摄像装置211至217被布置在二维平面内。

此外，在图2中，七个摄像装置211至217被布置成使得七个摄像装置211至217中的一个(例如，摄像装置211)设置在中心、而其他的六个摄像装置212至217设置在摄像装置211周围，以形成正六边形。

因此，在图2中，七个摄像装置211至217中的一个摄像装置21i(i＝1,2，...或7)与最靠近摄像装置21i的摄像装置21j(j＝1,2，...，或7)之间的距离(光轴之间的距离)为相同的距离b。

例如，摄像装置21i与21j之间的距离b可以是大约20mm。在这种情况下，图像捕获装置11可以被设计成具有与诸如ic卡的卡的大小几乎相同的大小。

注意，构成图像捕获装置11的摄像装置21i的数量不一定是七个，而是可以采用2到6的数量、或者数量8或更大的数量。

此外，在图像捕获装置11中，可以将多个摄像装置21i设置在任何适当的位置处，而不是将其布置成形成诸如如上所述的正六边形的正多边形。

在下文中，在摄像装置211至217中，被设置在中心处的摄像装置211也将被称为参考摄像装置211，并且被设置在参考摄像装置211周围的摄像装置212至217也将被称为外围摄像装置212至217。

图3是图1所示的图像捕获装置11的另一示例配置的后视图。

在图3中，图像捕获装置11包括九个摄像装置2111至2119，并且这九个摄像装置2111至2119被布置成三行和三列。3×3个摄像装置21i(i＝11,12，...，和19)中的每个摄像装置被设置在距在摄像装置21i上方、在摄像装置21i下方或者在摄像装置21i左侧或右侧的相邻摄像装置21j(j＝11,12，...或19)的距离b处。

在下面的描述中，除非另有说明，否则图像捕获装置11例如包括如图2所示的七个摄像装置211至217。

同时，参考摄像装置211的视点也被称为参考视点，并且由参考摄像装置211捕获的捕获图像pl1也被称为参考图像pl1。此外，由外围摄像装置21i捕获的捕获图像pl#i也被称为外围图像pl#i。

注意，图像捕获装置11如图2和图3所示的那样包括多个摄像装置21i，但是也可以由例如ren.ng和其他七人在stanfordtechreportctsr2005-02的“lightfieldphotographywithahand-heldplenopticcamera”中公开的微镜头阵列(mla)构成。即使在图像捕获装置11由mla构成的情况下，也可以获得实质上从多个视点捕获的图像。

此外，从多个视点捕获图像的方法不一定是图像捕获装置11包括多个摄像装置21i的方法或者由mla构成图像捕获装置11的上述方法。

<图像处理装置12的示例配置>

图4是示出图1所示的图像处理装置12的示例配置的框图。

在图4中，图像处理装置12包括视差信息生成单元31、插值单元32、调整单元33、光收集处理单元34和参数设定单元35。

从图像捕获装置11向图像处理装置12提供由摄像装置211至217从七个视点捕获的捕获图像pl1至pl7。

在图像处理装置12中，捕获图像pl#i被提供给视差信息生成单元31和插值单元323。

视差信息生成单元31使用从图像捕获装置11提供的捕获图像pl#i来获得视差信息，并将视差信息提供给插值单元32和光收集处理单元34。

具体地，作为对多个视点的捕获图像pl#i的图像处理，例如，视差信息生成单元31执行获得从图像捕获装置11提供的每个捕获图像pl#i与其他捕获图像pl#j之间的视差信息的处理。然后，视差信息生成单元31例如生成其中针对捕获图像的每个像素(的位置)而登记有视差信息的图，并且将该图提供给插值单元32和光收集处理单元34。

这里，可以采用可以被转换为视差值的任何适当信息(诸如，用像素数量或与视差值对应的深度方向上的距离来表示视差值的视差)作为视差信息。在该实施方式中，例如，采用视差作为视差信息，并且在视差信息生成单元31中，其中登记有视差的视差图被生成作为其中登记有视差信息的图。

插值单元32使用来自图像捕获装置11的摄像装置211至217的七个视点的捕获图像pl1至pl7以及来自视差信息生成单元31的视差图来执行插值，以生成要从除了摄像装置211到217的七个视点之外的视点获得的图像。

这里，通过稍后描述的由光收集处理单元34执行的光收集处理，可以使包括多个摄像装置211至217的图像捕获装置11用作将摄像装置211至217作为合成孔径(syntheticaperture)的虚拟镜头。在图2所示的图像捕获装置11中，连接外围摄像装置212至217的光轴，则虚拟镜头的合成孔径具有直径约为2b的大致圆形的形状。

例如，在视点是在以虚拟镜头的直径2b为边的正方形(或者在虚拟镜头的合成孔径中内接的正方形)中等间隔的多个点、或者视点例如是水平方向上的21个点和垂直方向上的21个点的情况下，插值单元32执行插值以生成为21×21-7个的多个视点，即21×21个视点减去摄像装置211至217的七个视点。

然后，插值单元32将摄像装置211至217的七个视点的捕获图像pl1至pl7和通过使用捕获图像进行插值而生成的21×21-7个视点的图像提供给调整单元33。

这里，在插值单元32中，通过使用捕获图像进行插值而生成的图像也被称为插值图像。

此外，摄像装置211至217的七个视点的捕获图像pl1至pl7和从插值单元32提供给调整单元33的21×21-7个视点的插值图像这全部21×21个视点的图像也被称为视点图像。

插值单元32中的插值可以被认为是根据摄像装置211至217的七个视点的捕获图像pl1至pl7来生成更多数量的视点(在该情况下为21×21个视点)的视点图像的处理。生成更多数量的视点的视点图像的处理可以被认为是对从真实空间中的真实空间点进入以摄像装置211至217作为合成孔径的虚拟镜头的光束进行再现的处理。

调整单元33不仅被提供有来自插值单元32的多个视点的视点图像，还被提供有来自参数设定单元35的调整参数。调整参数例如是用于调整像素值的调整系数，并且是针对各个视点而设定的。

调整单元33使用从参数设定单元35提供的、作为调整参数的针对各个视点的调整系数来调整从插值单元32提供的各个视点的视点图像的像素的像素值。然后，调整单元33将多个视点的、具有调整后的像素值的视点图像提供给光收集处理单元34。

光收集处理单元34使用从调整单元33提供的多个视点的视点图像来执行光收集处理，该光收集处理是等同于如下的图像处理：通过将来自对象的、已通过诸如透镜的光学系统的光束收集到真实摄像装置中的图像传感器或胶片上来形成该对象的图像。

在光收集处理单元34进行的光收集处理中，执行重聚焦以生成(重构)聚焦于期望对象的图像。使用从视差信息生成单元31提供的视差图和从参数设定单元35提供的光收集参数来执行重聚焦。

通过光收集处理单元34的光收集处理而获得的图像作为处理结果图像被输出(至显示装置13)。

参数设定单元35将位于由对操作单元(未示出)进行操作的用户、预定应用等指定的位置处的捕获图像pl#i(例如，参考图像pl1)的像素设定为用于聚焦(或示出对象)的聚焦目标像素，并且将该聚焦目标像素作为光收集参数(的一部分)提供给光收集处理单元34。

参数设定单元35还针对多个视点中的每个视点、根据用户的操作或来自预定应用的指令而设定用于调整像素值的调整系数，并将针对各个视点的调整系数作为调整参数提供给调整单元33。

调整参数是用于控制调整单元33处的像素值调整的参数，并且包括针对要在光收集处理单元34处的光收集处理中使用的视点图像的每个视点或者针对由插值单元32获得的视点图像的每个视点的调整系数。

调整参数例如可以是用于实现实际上或理论上可以利用诸如光学透镜和光圈的光学系统实现的光学图像效果的镜头光圈参数、用于实现实际上或理论上可以利用镜头滤波器(lensfilter)实现的光学图像效果的滤波器参数等。

注意，图像处理装置12可以被配置为服务器，或者可以被配置为客户端。此外，图像处理装置12可以被配置为服务器-客户端系统。在图像处理装置12被配置为服务器-客户端系统的情况下，图像处理装置12的部分块可以被配置为服务器，而其余块可以被配置为客户端。

<图像处理系统执行的处理>

图5是示出要图1所示的图像处理系统执行的示例处理的流程图。

在步骤s11中，图像捕获装置11捕获作为多个视点的七个视点的图像pl1至pl7。捕获图像pl#i被提供给图像处理装置12(图4)的视差信息生成单元31和插值单元32。

然后，处理从步骤s11进行到步骤s12，并且图像处理装置12从图像捕获装置11获取捕获图像pl#i。此外，在图像处理装置12中，视差信息生成单元31执行视差信息生成处理，以使用从图像捕获装置11提供的捕获图像pl#i来获得视差信息、并生成其中登记有视差信息的视差图。

视差信息生成单元31将通过视差信息生成处理而获得的视差图提供给插值单元32和光收集处理单元34，并且处理从步骤s12进行到步骤s13。注意，在该示例中，图像处理装置12从图像捕获装置11获取捕获图像pl#i，但是图像处理装置12不仅可以直接从图像捕获装置11获取捕获图像pl#i，而且还可以从云获取例如已由图像捕获装置11或一些其他图像捕获装置(未示出)捕获并被预先存储到云中的捕获图像pl#i。

在步骤s13中，插值单元32执行下述插值处理：使用从图像捕获装置11提供的摄像装置211至217的七个视点的捕获图像pl1至pl7以及从视差信息生成单元31提供的视差图来生成除摄像装置211至217的七个视点之外的多个视点的插值图像。

插值单元32还将从图像捕获装置11提供的摄像装置211至217的七个视点的捕获图像pl1至pl7和通过插值处理而获得的多个视点的插值图像作为多个视点的视点图像提供给调整单元33。然后，处理从步骤s13移动到步骤s14。

在步骤s14中，参数设定单元35设定光收集参数和调整参数。

换句话说，参数设定单元35根据用户操作等来设定针对视点图像的各个视点的调整系数。

参数设定单元35还将位于通过用户操作等指定的位置处的参考图像pl1的像素设定为用于聚焦的聚焦目标像素。

这里，例如，参数设定单元35使显示装置13还显示例如提示在从图像捕获装置11提供的七个视点的捕获图像pl1至pl7中指定要将参考图像pl1聚焦到其上的对象的消息。然后，参数设定单元35等待用户指定在显示装置13上显示的参考图像pl1中(所示对象中)的位置，然后将位于用户指定的位置处的参考图像pl1的像素设定为聚焦目标像素。

聚焦目标像素不仅可以根据如上所述的用户指定来设定，而且还可以例如根据来自应用的指定或者根据基于预定规则的指定等来设定。

例如，可以将示出以预定速度或更高速度移动的对象的像素或者示出持续移动预定时间或更长时间的对象的像素设定为聚焦目标像素。

参数设定单元35将针对视点图像的各个视点的调整系数作为调整参数提供给调整单元33，并将聚焦目标像素作为光收集参数提供给光收集处理单元34。然后，处理从步骤s14进行到步骤s15。

在步骤s15中，调整单元33执行下述调整处理：使用从参数设定单元35提供的、作为调整参数的针对各个视点的调整系数来调整从插值单元32提供的各个视点的图像的像素的像素值。调整单元33将经过像素值调整的多个视点的视点图像提供给光收集处理单元34，然后处理从步骤s15进行到步骤s16。

在步骤s16中，光收集处理单元34使用来自调整单元33的经过像素值调整的多个视点的视点图像、来自视差信息生成单元31的视差图、以及来自参数设定单元35的作为光收集参数的聚焦目标像素来执行光收集处理，该光收集处理等同于将来自对象的、已通过将摄像装置211至217作为合成孔径的虚拟镜头的光束收集到虚拟传感器(未示出)上。

将已通过虚拟镜头的光束收集到其上的虚拟传感器实际上例如是存储器(未示出)。在光收集处理中，多个视点的视点图像的像素值(作为存储值)被累计在作为虚拟传感器的存储器中，这些像素值被视为聚集到虚拟传感器上的光束的亮度。以这种方式，确定了作为对已通过虚拟镜头的光束的收集结果而获得的图像的像素值。

在光收集处理单元34进行的光收集处理中，设定了参考移位量bv(稍后描述)，其是用于对多个视点的视点图像的像素进行像素移位的像素移位量。根据参考移位量bv对多个视点的视点图像的像素进行像素移位、然后累计。因此，执行重聚焦或处理结果图像生成以确定聚焦于预定距离处的对焦点的处理结果图像的各个像素值。

如上所述，光收集处理单元34对经过像素值调整的多个视点的视点图像执行光收集处理(对像素(的像素值)进行累计)。因此，可以将针对各个视点的调整系数作为用于调整像素值的调整参数来执行伴随着各种光学效果的重聚焦。

这里，对焦点是实现聚焦的现实空间中的现实空间点，并且在光收集处理单元34进行的光收集处理中，以聚焦目标像素作为从参数设定单元35提供的光收集参数来设定作为对焦点的集合的对焦平面。

注意，在光收集处理单元34进行的光收集处理中，针对处理结果图像的每个像素而设定参考移位量bv。结果，除了聚焦于一定距离处的对焦点的图像之外，还可以获得在多个距离处的多个对焦点上形成的图像作为处理结果图像。

光收集处理单元34将所获得的作为光收集处理的结果的处理结果图像提供给显示装置13，然后，处理从步骤s16进行到步骤s17。

在步骤s17中，显示装置13显示从光收集处理单元34提供的处理结果图像。

注意，尽管在图5的步骤s14中设定了调整参数和光收集参数，但是可以在直到紧接在步骤s15中的调整处理之前的任何适当定时设定调整参数，并且可以在从紧接在步骤s11中捕获七个视点的捕获图像pl1至pl7之后直到紧接在步骤s15中的光收集处理之前的时段期间的任何适当定时设定光收集参数。

此外，图像处理装置12(图4)可以仅由光收集处理单元34构成。

例如，在利用图像捕获装置11捕获的图像来执行光收集处理单元34处的光收集处理而无需任何插值图像的情况下，可以将图像处理装置12配置成没有插值单元32。然而，在不仅利用捕获图像而且还利用插值图像来执行光收集处理的情况下，可以防止在处理结果图像中的未聚焦对象中出现振铃(ringing)。

此外，例如在使用距离传感器等的外部装置可以生成与图像捕获装置11捕获的多个视点的捕获图像有关的视差信息以及可以从外部装置获取视差信息的情况下，可以将图像处理装置12配置成没有视差信息生成单元31。

此外，例如在可以在调整单元33处设定调整参数、同时可以根据预定规则等在光收集处理单元34处设定光收集参数的情况下，可以将图像处理装置12配置成没有参数设定单元35。

<生成插值图像>

图6是用于说明在图4所示的插值单元32处生成插值图像的示例的图。

在要生成特定视点的插值图像的情况下，插值单元32顺序地选择插值图像的像素作为用于进行插值的插值目标像素。插值单元32还选择要在计算插值目标像素的像素值时使用的像素值计算图像。像素值计算图像可以是七个视点的全部捕获图像pl1至pl7，或者是靠近插值图像的视点的一些视点的捕获图像pl#i。插值单元32使用来自视差信息生成单元31的视差图以及插值图像的视点来从被选择作为像素值计算图像的多个视点的捕获图像pl#i中的每个图像确定与插值目标像素对应的像素(在从插值图像的视点执行图像捕获的情况下示出与插值目标像素上所示的空间点相同的空间点的像素)。

然后，插值单元32对对应像素的像素值进行加权，并且将得到的加权值确定为插值目标像素的像素值。

用于对对应像素的像素值进行加权的权重可以是与作为具有对应像素的像素值计算图像的捕获图像pl#i的视点和具有插值目标像素的插值图像的视点之间的距离成反比的值。

注意，在捕获图像pl#i上反映了具有方向性的强光的情况下，优选地选择诸如三个或四个视点的部分视点的捕获图像pl#i作为像素值计算图像，而不是选择全部七个视点的捕获图像pl1至pl7作为像素值计算图像。利用部分视点的捕获图像pl#i，可以获得与在从插值图像的视点实际上进行图像捕获的情况下会获得的图像类似的插值图像。

<生成视差图>

图7是用于说明在图4所示的视差信息生成单元31处生成视差图的示例的图。

换句话说，图7示出了由图像捕获装置11的摄像装置211至217捕获的捕获图像pl1至pl7的示例。

在图7中，捕获图像pl1至pl7示出了预定对象obj作为在预定背景前面的前景。由于捕获图像pl1至pl7具有彼此不同的视点，因此在各个捕获图像pl2至pl7中示出的对象obj的位置(在捕获图像中的位置)与捕获图像pl1中示出的对象obj的位置相差了例如等同于视点差异的量。

这里，摄像装置21i的视点(位置)或者由摄像装置21i捕获的捕获图像pl#i的视点用vp#i来表示。

例如，在要生成捕获图像pl1的视点vp1的视差图的情况下，视差信息生成单元31将捕获图像pl1设定为被关注的关注图像pl1。视差信息生成单元31还顺序地选择关注图像pl1的每个像素作为被关注的关注像素，并且从其他捕获图像pl2至pl7中的每个捕获图像中检测与关注像素对应的对应像素(对应点)。

从捕获图像pl2至pl7中的每个捕获图像中检测与关注图像pl1的关注像素对应的像素的方法可以例如是利用三角测量原理(诸如，立体匹配或多基线立体)的方法。

这里，表示捕获图像pl#i的对应像素相对于关注图像pl1的关注像素的位置偏移的矢量被设定为视差矢量v#i,1。

视差信息生成单元31针对各个捕获图像pl2至pl7而获得视差矢量v2,1至v7,1。然后，视差信息生成单元31例如对视差矢量v2,1至v7,1的幅度执行多数决定，并将作为多数的视差矢量v#i，1的幅度设定为关注像素(的位置处)的视差的幅度。

这里，在用于捕获关注图像pl1的参考摄像装置211与用于捕获捕获图像pl2至pl7的外围摄像装置212至217中的每一个之间的距离与以上参照图2所述的图像捕获装置11中的距离b相同的情况下，当关注图像pl1的关注像素中示出的现实空间点也在捕获图像pl2至pl7中示出时，获得定向不同但幅度相等的矢量作为视差矢量v2,1至v7,1。

换句话说，在这种情况下的视差矢量v2,1至v7,1是相对于关注图像pl1的视点vp1、在与其他捕获图像pl2至pl7的视点vp2至vp7的方向相反的方向上且幅度相等的矢量。

然而，在捕获图像pl2至pl7中，可能存在有遮挡的图像或者其中在关注图像pl1的关注像素中出现的现实空间点被隐藏在前景后面的图像。

根据没有示出关注图像pl1的关注像素中所示的现实空间点的捕获图像pl#i(该捕获图像pl#i在下文中也将被称为遮挡图像(occlusionimage))，难以正确地检测到与关注像素对应的像素。

因此，关于遮挡图像pl#i，获得了幅度与示出关注图像pl1的关注像素中所示的现实空间点的捕获图像pl#j的视差矢量v#j,1不同的视差矢量v#i,1。

在捕获图像pl2至pl7中，相对于关注像素而言有遮挡的图像的数量被估计为小于没有遮挡的图像的数量。鉴于此，如上所述，视差信息生成单元31对视差矢量v2,1至v7,1的幅度执行多数决定，并将作为多数的视差矢量v#i,1的幅度设定为关注像素的视差的幅度。

在图7中，在视差矢量v2,1至v7,1中，三个视差矢量v2,1、v3,1和v7,1是具有相同幅度的矢量。同时，在视差矢量v4,1、v5,1和v6,1中不存在具有相同幅度的视差矢量。

因此，获得三个视差矢量v2,1、v3,1和v7,1的幅度作为关注像素的视差的幅度。

注意，根据关注图像pl1的视点vp1(摄像装置211的位置)与捕获图像pl#i的视点vp#i(摄像装置21i的位置)之间的位置关系(诸如从视点vp1朝向视点vp#i的方向)，可以识别关注图像pl1的关注像素与任何捕获图像pl#i之间的视差的方向。

视差信息生成单元31顺序地选择关注图像pl1的每个像素作为关注像素，并且确定视差的幅度。然后，视差信息生成单元31生成其中针对像素的位置(x-y坐标)登记了关注图像pl1的每个像素的视差的幅度的图作为视差图。因此，视差图是其中像素的位置与像素的视差幅度相关联的图(表)。

也可以像视点vp#1的视差图那样生成其他捕获图像pl#i的视点vp#i的视差图。

然而，在生成除了视点vp#1之外的视点vp#i的视差图时，在基于捕获图像pl#i的视点vp#i与除了捕获图像pl#i之外的捕获图像pl#j的视点vp#j之间的位置关系(摄像装置21i与21j之间的位置关系)(视点vp#i与视点vp#j之间的距离)而调整视差矢量的幅度之后，对视差矢量执行多数决定。

换句话说，例如，在捕获图像pl5被设定为关注图像pl5并且针对图2所示的图像捕获装置11而生成视差图的情况下，在关注图像pl5与捕获图像pl2之间获得的视差矢量比在关注图像pl5与捕获图像pl1之间获得的视差矢量大两倍。

这是因为，作为用于捕获关注图像pl5的摄像装置215的光轴与用于捕获捕获图像pl1的摄像装置211的光轴之间的距离的基线长度为距离b，而用于捕获关注图像pl5的摄像装置215与用于捕获捕获图像pl2的摄像装置212之间的基线长度为距离2b。

鉴于此，例如，作为参考摄像装置211与其他摄像装置21i之间的基线长度的距离b被称为参考基线长度，其是确定视差时的参考。在调整视差矢量的幅度之后执行对视差矢量的多数决定，使得基线长度可以被转换为参考基线长度b。

换句话说，例如，由于用于捕获捕获图像pl5的摄像装置215与用于捕获捕获图像pl1的参考摄像装置211之间的基线长度b等于参考基线长度b，因此将在关注图像pl5与捕获图像pl1之间获得的视差矢量的幅度调整为大一倍的幅度。

此外，例如，由于用于捕获关注图像pl5的摄像装置215与用于捕获捕获图像pl2的摄像装置212之间的基线长度2b等于参考基线长度b的两倍，因此将在关注图像pl5与捕获图像pl2之间获得的视差矢量的幅度调整为1/2倍(乘以参考基线长度b与摄像装置215和摄像装置212之间的基线长度2b之间的比率后的值)。

同样地，将在关注图像pl5与另一捕获图像pl#i之间获得的视差矢量的幅度调整为乘以与参考基线长度b的比率后的幅度。

然后，通过使用经过幅度调整的视差矢量来执行视差矢量多数决定。

注意，在视差信息生成单元31中，例如可以以由图像捕获装置11捕获的捕获图像的像素的精度确定捕获图像pl#i的(每个像素的)视差。替选地，可以以等于或低于精度比捕获图像pl#i的像素更高的像素的精度的精度(例如，诸如1/4像素的子像素的精度)确定捕获图像pl#i的视差。

在要以像素精度或更低精度确定视差的情况下，可以在使用视差的处理中按原样使用具有像素精度或更低精度的视差，或者可以在对具有像素精度或更低精度的视差进行向下取整、向上取整或舍入为最接近的整数之后使用该视差。

这里，在视差图中登记的视差的幅度在下文中也被称为登记视差。例如，在矢量作为在向右方向上延伸的轴是x轴而在向下方向上延伸的轴是y轴的二维坐标系中的视差的情况下，登记视差等于参考图像pl1的每个像素与在参考图像pl1左侧的视点的捕获图像pl5之间的视差的x分量(或者表示从参考图像pl1的像素到捕获图像pl5的与参考图像pl1的像素对应的对应像素的像素移位的矢量的x分量)。

<通过光收集处理进行重聚焦>

图8是用于说明通过图4所示的光收集处理单元34执行的光收集处理进行重聚焦的概要的图。

注意，为了便于说明，在图8中，使用如下三个图像作为用于光收集处理的多个视点的视点图像：参考图像pl1、在参考图像pl1右侧的视点的捕获图像pl2、以及在参考图像pl1左侧的视点的捕获图像pl5。

在图8中，在捕获图像pl1、pl2和pl5中示出了两个对象obj1和obj2。例如，对象obj1位于近侧，以及对象obj2位于远侧。

例如，执行重聚焦以在该阶段聚焦于(或将焦点置于)对象obj1，从而获得从参考图像pl1的参考视点观看到的图像作为重聚焦后的处理结果图像。

这里，dp1表示处理结果图像的视点相对于示出捕获图像pl1的对象obj1的像素的视差、或者在这种情况下的参考视点的(参考图像pl1的对应像素的)视差。同样地，dp2表示处理结果图像的视点相对于示出捕获图像pl2的对象obj1的像素的视差，以及dp5表示处理结果图像的视点相对于示出捕获图像pl5的对象obj1的像素的视差。

注意，由于在图8中处理结果图像的视点等于捕获图像pl1的参考视点，因此处理结果图像的视点相对于示出捕获图像pl1的对象obj1的像素的视差dp1为(0,0)。

对于捕获图像pl1、pl2和pl5，分别根据视差dp1、dp2和dp5对捕获图像pl1、pl2和pl5执行像素移位，并且对经过像素移位的捕获图像pl1和pl2以及pl5进行累计。以这种方式，可以获得聚焦于对象obj1的处理结果图像。

换句话说，对捕获图像pl1、pl2和pl5执行像素移位以消除视差dp1、dp2和dp5(像素移位在与视差dp1、dp2和dp5相反的方向上进行)。因此，示出obj1的像素的位置在经过像素移位的捕获图像pl1、pl2和pl5中相匹配。

随着以这种方式对经过像素移位的捕获图像pl1、pl2和pl5进行累计，可以获得聚焦于对象obj1的处理结果图像。

注意，在经过像素移位的捕获图像pl1、pl2和pl5中，示出在深度方向上位于与对象obj1不同的位置处的对象obj2的像素的位置不相同。因此，处理结果图像中示出的对象obj2是模糊的。

此外，由于处理结果图像的视点是参考视点并且视差dp1如上所述的那样为(0,0)，因此基本上不需要对捕获图像pl1执行像素移位。

在光收集处理单元34进行的光收集处理中，例如，如上所述，对多个视点的视点图像的像素进行像素移位以消除处理结果图像的视点(在此情况下为参考视点)相对于示出聚焦目标的聚焦目标像素的视差，然后对这些像素进行累计。因此，获得经过针对聚焦目标的重聚焦的图像作为处理结果图像。

<视差转换>

图9是用于说明视差转换的示例的图。

如以上参照图7所述，视差图中登记的登记视差等同于参考图像pl1的像素相对于在参考图像pl1左侧的视点的捕获图像pl5的各个像素的视差的x分量。

在重聚焦时，需要对每个视点图像执行像素移位以消除聚焦目标像素的视差。

现在关注作为关注视点的某一视点。在这种情况下，例如，在对关注视点的捕获图像进行像素移位时需要处理结果图像的聚焦目标像素相对于关注视点的视点图像的视差、或者在这种情况下的参考视点的参考图像pl1的聚焦目标像素的视差。

在考虑到从参考视点(处理结果图像的视点)朝向关注视点的方向的情况下，可以根据参考图像pl1的聚焦目标像素(参考图像pl中的与处理结果图像的聚焦目标像素对应的对应像素)的登记视差来确定参考图像pl1的聚焦目标像素相对于关注视点的视点图像的视差。

这里，在以x轴为0[弧度]的情况下，从参考视点朝向关注视点的方向用逆时针角度表示。

例如，摄像装置212位于+x方向上等于参考基线长度b的距离处，并且从参考视点朝向摄像装置212的视点的方向为0[弧度]。在这种情况下，由于0[弧度]为摄像装置212的视点的方向，因此根据聚焦目标像素的登记视差rd，可以将参考图像pl1的聚焦目标像素相对于在摄像装置212的视点处的视点图像(捕获图像pl2)的视差dp2(作为该视差的矢量)确定为(-rd,0)＝(-(b/b)×rd×cos0,-(b/b)×rd×sin0)。

同时，例如，摄像装置213位于π/3方向上等于参考基线长度b的距离处，并且从参考视点朝向摄像装置212的视点的方向为π/3[弧度]。在这种情况下，由于摄像装置213的视点的方向为π/3[弧度]，因此根据聚焦目标像素的登记视差rd，可以将参考图像pl1的聚焦目标像素相对于摄像装置213的视点的视点图像(捕获图像pl3)的视差dp3确定为(-rd×cos(π/3),-rd×sin(π/3))＝(-(b/b)×rd×cos(π/3),-(b/b)×rd×sin(π/3))。

这里，由插值单元32获得的插值图像可以被视为由位于插值图像的视点vp处的虚拟摄像装置捕获的图像。假设该虚拟摄像装置的视点vp位于在角度θ[弧度]的方向上距参考视点的距离l处。在这种情况下，由于视点vp的方向为角度θ，因此根据聚焦目标像素的登记视差rd，可以将参考图像pl1的聚焦目标像素相对于视点vp的视点图像(由虚拟摄像装置捕获的图像)的视差dp确定为(-(l/b)×rd×cosθ,-(l/b)×rd×sinθ)。

如上所述那样根据登记视差rd和关注视点的方向来确定参考图像pl1的像素相对于关注视点的视点图像的视差、或者将登记视差rd转换为参考图像pl1(处理结果图像)的像素相对于关注视点的视点图像的视差也被称为视差转换。

在重聚焦时，通过视差转换、根据聚焦目标像素的登记视差rd来确定参考图像pl1的聚焦目标像素相对于每个视点的视点图像的视差，并且对各个视点的视点图像执行像素移位以消除聚焦目标像素的视差。

在重聚焦中，对视点图像执行像素移位以消除聚焦目标像素相对于视点图像的视差，并且该像素移位的移位量也被称为聚焦移位量。

这里，在以下的描述中，由插值单元32获得的多个视点的视点图像中的第i个视点图像的视点也被写为视点vp#i。视点vp#i的视点图像的聚焦移位量也被写为聚焦移位量dp#i。

考虑到从参考视点朝向视点vp#i的方向，可以通过视差转换、根据聚焦目标像素的登记视差rd来唯一地确定视点vp#i的视点图像的聚焦移位量dp#i。

这里，在视差转换中，如上所述，根据登记视差rd计算视差(作为该视差的矢量)(-(l/b)×rd×cosθ,-(l/b)×rd×sinθ)。

因此，视差转换可以被视为例如将登记视差rd乘以-(l/b)×cosθ和-(l/b)×sinθ的操作、将登记视差rd×-1乘以(l/b)×cosθ和(l/b)×sinθ的操作等。

这里，视差转换可以被视为例如将登记视差rd×-1乘以(l/b)×cosθ和(l/b)×sinθ的操作。

在这种情况下，为登记视差rd×-1的要经过视差转换的值是用于确定每个视点的视点图像的聚焦移位量的参考值，并且在下文中也将被称为参考移位量bv。

通过对参考移位量bv的视差转换来唯一地确定聚焦移位量。因此，用于在重聚焦中对每个视点的视点图像的像素进行像素移位的像素移位量基本上是根据参考移位量bv的设置来设定的。

注意，在如上所述那样采用登记视差rd×-1作为参考移位量bv的情况下，在聚焦目标像素被聚焦时的参考移位量bv或者聚焦目标像素的登记视差rd×-1等于聚焦目标像素相对于捕获图像pl2的视差的x分量。

<光收集处理>

图10是用于说明通过光收集处理进行重聚焦的图。

这里，将由一组对焦点(现实空间中的对焦现实空间点)形成的平面设定为对焦平面。

在光收集处理中，通过设定例如如下对焦平面并且使用多个视点的视点图像生成聚焦于位于对焦平面上(或在对焦平面附近)的对象的处理结果图像来执行重聚焦，该对焦平面是在现实空间中的深度方向上的距离恒定(不变化)的平面。

在图10中，在多个视点的视点图像中的每一个中，在近侧示出了一个人而在中间示出了另一个人。此外，穿过处于中间的人的位置并且在深度方向上处于恒定距离处的平面被设定为对焦平面，并且根据多个视点的视点图像获得了聚焦于对焦平面上的对象或者例如处于中间的人的处理结果图像。

注意，例如，对焦平面可以是在现实空间中的深度方向上的距离变化的平面或曲面。替选地，对焦平面可以由处于深度方向上的不同距离处的多个平面等形成。

图11是用于说明光收集处理单元34执行的光收集处理的示例的流程图。

在步骤s31中，光收集处理单元34从参数设定单元35获取用作光收集参数的聚焦目标像素(关于该聚焦目标像素的信息)，然后处理进行到步骤s32。

具体地，例如，由摄像装置211至217捕获的捕获图像pl1至pl7中的参考图像pl1等显示在显示装置13上。当用户指定参考图像pl1中的位置时，参数设定单元35将用户指定的位置处的像素设定为聚焦目标像素，并且将聚焦目标像素(指示该聚焦目标像素的信息)作为光收集参数提供给光收集处理单元34。

在步骤s31中，光收集处理单元34如上所述的那样获取从参数设定单元35提供的聚焦目标像素。

在步骤s32中，光收集处理单元34获取从视差信息生成单元31提供的视差图中登记的聚焦目标像素的登记视差rd。然后，例如，光收集处理单元34根据聚焦目标像素的登记视差rd来设定参考移位量bv，或者将聚焦目标像素的登记视差rd×-1设定为参考移位量bv。然后，处理从步骤s32进行到步骤s33。

在步骤s33中，光收集处理单元34设定处理结果图像，该处理结果图像例如是与已从调整单元33提供且已经过像素值调整的多个视点的视点图像中的一个视点图像对应的图像(诸如与参考图像对应的图像)、或者是尺寸与参考图像相同且以0为从参考图像的视点观看到的像素值的初始值的图像。光收集处理单元34还确定关注像素，该关注像素是属于处理结果图像的且尚未被选择为关注像素的像素之一。然后，处理从步骤s33进行至步骤s34。

在步骤s34中，光收集处理单元34将关注视点vp#i确定为从调整单元33提供的视点图像的视点之中的、尚未被确定为关注视点(相对于关注像素)的一个视点vp#i。然后，处理进行至步骤s35。

在步骤s35中，光收集处理单元34根据参考移位量bv确定关注视点vp#i的视点图像的各个像素的聚焦移位量dp#i。聚焦移位量dp#i是聚焦于聚焦目标像素(将焦点放在聚焦目标像素中示出的对象上)所需的。

换句话说，光收集处理单元34通过考虑从参考视点朝向关注视点vp#i的方向来对参考移位量bv执行视差转换，并且获取通过该视差转换而获得的值(矢量)作为关注视点vp#i的视点图像的各个像素的聚焦移位量dp#i。

此后，处理从步骤s35进行至步骤s36。然后，光收集处理单元34根据聚焦移位量dp#i对关注视点vp#i的视点图像的各个像素执行像素移位，并且对经过像素移位的、在视点图像中的关注像素的位置处的像素的像素值与关注像素的像素值进行累计。

换句话说，光收集处理单元34对关注视点vp#i的视点图像的像素中的、处于距关注像素的位置的等同于与聚焦移位量dp#i对应的矢量(例如，在此情况下为聚焦移位量dp#i×-1)的距离处的像素的像素值与关注像素的像素值进行累计。

然后，处理从步骤s36进行至步骤s37，并且光收集处理单元34确定从调整单元33提供的视点图像的所有视点是否已被设定为关注视点。

如果在步骤s37中确定来自调整单元33的视点图像的所有视点未都被设定为关注视点，则处理返回至步骤s34，此后，重复与上述类似的处理。

另一方面，如果在步骤s37中确定来自调整单元33的视点图像的所有视点已被设定为关注视点，则处理进行至步骤s38。

在步骤s38中，光收集处理单元34确定处理结果图像的所有像素是否已被设定为关注像素。

如果在步骤s38中确定处理结果图像的所有像素未都被设定为关注像素，则处理返回至步骤s33，并且光收集处理单元34将作为属于处理结果图像的且尚未被确定为关注像素的像素之一新确定为关注像素。此后，重复与上述类似的处理。

另一方面，如果在步骤s38中确定处理结果图像的所有像素已被设定为关注像素，则光收集处理单元34输出处理结果图像，并且结束光收集处理。

注意，在图11所示的光收集处理中，根据聚焦目标像素的登记视差rd来设定参考移位量bv，并且该参考移位量bv既不随关注像素变化也不随关注视点vp#i变化。鉴于此，与关注像素和关注视点vp#i无关地设定参考移位量bv。

同时，聚焦移位量dp#i随着关注视点vp#i和参考移位量bv变化。然而，如上所述，在图11所示的光收集处理中，参考移位量bv既不随关注像素也不随关注视点vp#i变化。因此，聚焦移位量dp#i随着关注视点vp#i变化，但是不随关注像素变化。换句话说，聚焦移位量dp#i对于一个视点的视点图像的每个像素而言具有相同的值，而与关注像素无关。

在图11中，关于不同的关注像素，步骤s35中的用于获得聚焦移位量dp#i的处理形成了用于针对同一视点vp#i而重复地计算聚焦移位量dp#i的循环(从步骤s33到步骤s38的循环)。然而，如上所述，聚焦移位量dp#i对于一个视点的视点图像的每个像素而言具有相同的值，而与关注像素无关。

因此，在图11中，对于一个视点仅执行一次步骤s35中的用于获得聚焦移位量dp#i的处理。

在图11所示的光收集处理中，如以上参照图10所述，将在深度方向上具有恒定距离的平面设定为对焦平面。因此，聚焦于聚焦目标像素所需的视点图像的参考移位量bv具有这样的值：使得消除示出了在深度方向上具有恒定距离的对焦平面上的空间点的聚焦目标像素的视差，或者消除其视差是与距对焦平面的距离对应的值的聚焦目标像素的视差。

因此，参考移位量bv既不取决于处理结果图像的像素(关注像素)，也不取决于像素值被累计的视点图像的视点(关注视点)，因此，不需要针对处理结果图像的每个像素或视点图像的每个视点而设定参考移位量bv(即使针对处理结果图像的每个像素或视点图像的每个视点而设定了参考移位量bv，参考移位量bv也被设定为同一值，因此，实际上并未针对处理结果图像的每个像素或视点图像的每个视点而设定参考移位量bv)。

注意，在图11中，针对处理结果图像的每个像素而执行视点图像的像素的像素移位和累计。然而，在光收集处理中，除了针对处理结果图像的每个像素之外，也可以针对通过精细划分处理结果图像的每个像素而获得的每个子像素来执行视点图像的像素的像素移位和累计。

此外，在图11所示的光收集处理中，关注像素循环(从步骤s33到步骤s38的循环)在外侧，而关注视点循环(从步骤s34到步骤s37的循环)在内侧。然而，关注视点循环可以是外侧循环而关注像素循环是内侧循环。

<调整处理>

图12是用于说明图4所示的调整单元33执行的调整处理的示例的流程图。

在步骤s51中，调整单元33获取从参数设定单元35提供的作为调整参数的针对各个视点的调整系数，并且处进行至步骤s52。

在步骤s52中，调整单元33将关注视点vp#i确定为从插值单元32提供的视点图像的视点之中的、尚未被确定为关注视点的一个视点vp#i。然后，处理进行至步骤s53。

在步骤s53中，调整单元33在从参数设定单元35提供的作为调整参数的针对各个视点的调整系数中获取针对关注视点vp#i的调整系数，并且处理进行至步骤s54。

在步骤s54中，调整单元33将关注像素确定为从插值单元32提供的关注视点vp#i的视点图像的像素之中的、尚未被确定为关注视点的像素中的一个像素。然后，处理进行至步骤s55。

在步骤s55中，调整单元33根据针对关注视点vp#i的调整系数来调整关注像素的像素值，或者例如将关注像素的像素值乘以针对关注视点vp#i的调整系数并将得到的相乘值确定为调整后的关注像素的像素值。然后，处理进行至步骤s56。

在步骤s56中，调整单元33确定关注视点vp#i的视点图像的所有像素是否已被设定为关注像素。

如果在步骤s56中确定关注视点vp#i的视点图像的所有像素尚未都被设定为关注像素，则处理返回至步骤s54，并且调整单元33将作为属于关注视点vp#i的视点图像且尚未被确定为关注像素的像素之一新确定为关注像素。此外，重复与上述类似的处理。

另一方面，如果在步骤s56中确定关注视点vp#i的视点图像的所有像素都已被设定为关注像素，则处理进行至步骤s57。

在处理进行至步骤s57之后，调整单元33确定来自插值单元32的视点图像的所有视点是否已被设定为关注视点。

如果在步骤s57中确定来自插值单元32的视点图像的所有视点尚未都被设定为关注视点，则处理返回至步骤s52，此后，重复与上述类似的处理。

另一方面，如果在步骤s57中确定来自插值单元32的视点图像的所有视点已被设定为关注视点，或者如果来自插值单元32的多个视点图像的所有像素值均已被调整，则调整单元33将具有调整后的像素值的所有视点的视点图像提供给光收集处理单元34，并且结束调整处理。

对具有通过上述调整处理而获得的调整后的像素值的多个视点的视点图像执行图11所示的光收集处理(步骤s36中的对多个视点的视点图像的像素的像素值进行累计)。

因此，采用与光学效果对应的系数作为充当调整参数的针对各个视点的调整系数，从而可以执行伴随着各种光学效果的重聚焦。

在以下描述中，将通过用于实现实际上或理论上可以利用例如光学透镜和光圈的光学系统实现的光学图像效果的镜头光圈参数的示例、用于实现实际上或理论上可以利用镜头滤波器实现的光学图像效果的滤波器参数的示例，说明作为调整参数的针对各个视点的调整系数。

<镜头光圈参数>

图13是示出镜头光圈参数的第一示例的图。

这里，假设由插值单元32获得的视点图像的视点总数为m²，其是水平方向上的m个视点和垂直方向上的m个视点。

可以采用针对m×m个视点中的各个视点而设定的透射率作为充当镜头光圈参数的针对m×m个视点中的各个视点的调整系数。

为了设定针对各个视点的透射率，例如将产生期望镜头和光圈效果的透射率分布划分成数量与m×m个视点相同的m×m个块，并且确定每个块的透射率的代表值。作为从左边起的第x个块和从底部起的第y个块的块(该块也被称为第(x,y)个块)的代表值(代表值例如是块的透射率的平均值、中值等)被设定为第(x,y)个视点的透射率。

图13示出了产生平滑转移焦点(stf)镜头的效果的透射率分布。更具体地，图13示出了根据在其中在中心处的透射率最高而在最远的周边部分处的透射率最低的透射率分布而为各个视点设定的透射率的平面图、以及沿线段lo截取的针对各个视点的透射率的截面图。

这里，产生stf镜头效果的透射率分布的平面形状(平面图中出现的形状)几乎为圆形，但是线段lo穿过该圆的中心并且平行于x方向(水平方向)延伸。

此外，在图13所示的平面图中，色调(灰度)差异表示透射率。色调越深，透射率越低。

这些也适用于后文将描述的图14、图15和图16所示的平面图。

利用作为根据产生stf镜头效果的透射率分布而为各个视点设定的透射率的调整系数，可以执行重聚焦以实现在从模糊部分的中心朝向周边的方向上模糊程度柔和变化的自然模糊，如可以用stf镜头实现的模糊。

图14是示出镜头光圈参数的第二示例的图。

图14示出了产生反射式镜头(mirrorlens)效果的透射率分布。更具体地，图14示出了根据在其中在从周边向中心部分稍微偏移的部分处的透射率最高并且透射率沿着朝向中心部分或朝向周边的方向降低的透射率分布而为各个视点设定的透射率的平面图、以及沿线段lo截取的针对各个视点的透射率的截面图。

利用作为根据产生反射式镜头效果的透射率分布而为各个视点设定的透射率的调整系数，可以执行重聚焦以实现环模糊或双线模糊，如可以用反射式透镜实现的模糊。

图15是示出镜头光圈参数的第三示例的图。

图15示出了根据如下的分布而为各个视点设定的透射率的平面图：该分布是通过修改产生stf镜头效果的透射率分布以减小作为产生图13所示的stf镜头效果的透射率分布的平面形状的圆的大小而生成的(这种经修改的分布在下文中也将被称为stf修改分布)。图15还示出了沿线段lo截取的针对各个视点的透射率的截面图。

注意，在图13中，为了产生呈开放状态的光圈的效果，没有特别地控制透射率分布。然而，在图15中，为了产生呈变窄状态的光圈的效果，将针对在比作为stf修改分布的平面形状的圆稍大的圆之外的视点的透射率、或者针对被呈变窄状态的光圈阻挡了光束的视点的透射率设定(控制)为0％。

利用作为针对各个视点的透射率的上述调整系数，可以执行重聚焦以实现在从模糊部分的中心朝向周边的方向上模糊程度柔和变化的自然模糊，如可以用stf镜头实现的模糊。

此外，可以获得具有较深的景深的图像作为重聚焦后的处理结果图像。

换句话说，可以获得具有较深的景深和利用stf镜头实现的模糊的图像作为重聚焦后的处理结果图像。

注意，即使利用使光圈变窄的实际的stf镜头执行图像捕获，也会难以获得具有较深的景深和利用stf镜头实现的自然模糊的图像。

换句话说，在利用使光圈变窄的实际的stf镜头执行图像捕获的情况下获得的捕获图像中，通过呈变窄状态的光圈来加深景深。

然而，在利用使光圈变窄的实际的stf镜头执行图像捕获的情况下，穿过stf镜头区域(具有低透射率的区域)的光束被呈变窄状态的光圈阻挡，该stf镜头区域等同于除了作为产生图13所示的stf镜头效果的透射率分布的平面形状的圆的中心部分以外的区域。因此，难以实现与没有使光圈呈变窄状态的stf镜头实现的自然模糊类似的模糊。

图16是示出镜头光圈参数的第四示例的图。

图16示出了根据如下分布而为各个视点设定的透射率的平面图，该分布是通过修改产生反射式镜头效果的透射率分布以减小产生图14所示的反射式镜头效果的透射率分布的平面形状的大小而生成的(这种经修改的分布在下文中也将被称为反射式镜头修改分布)。图16还示出了沿线段lo截取的针对各个视点的透射率的截面图。

注意，在图14中，为了产生呈开放状态的光圈的效果，没有特别地控制透射率分布。然而，在图16中，为了产生呈变窄状态的光圈的效果，如图15中那样，将针对比作为stf修改分布的平面形状的圆稍大的圆之外的视点的透射率、或者针对被呈变窄状态的光圈阻挡了光束的视点的透射率设定(控制)为0％。

利用作为针对各个视点的透射率的上述调整系数，可以执行重聚焦以实现如可以用反射式镜头实现的模糊那样的环模糊或双线模糊。

此外，可以获得具有较深的景深的图像作为重聚焦后的处理结果图像。

换句话说，可以获得具有较深的景深和利用反射式镜头实现的模糊的图像作为重聚焦后的处理结果图像。

注意，即使利用使光圈变窄的实际的反射式镜头执行图像捕获，也会难以获得具有较深的景深和利用反射式镜头实现的环模糊或双线模糊的图像。

换句话说，在利用使光圈变窄的实际的反射式镜头执行图像捕获的情况下获得的捕获图像中，通过呈变窄状态的光圈来加深景深。

然而，在利用使光圈变窄的实际的反射式镜头执行图像捕获的情况下，穿过反射式镜头区域(具有最高透射率的区域及其附近区域)的光束被呈变窄状态的光圈阻挡，该反射式镜头区域等同于除了作为产生图14所示的反射式镜头的效果的透射率分布的平面形状的圆的中心部分以外的区域。因此，难以实现与利用没有使光圈呈变窄状态的反射式镜头实现的环模糊或双线模糊类似的模糊。

在采用上述的镜头光圈参数作为针对各个视点的调整系数的情况下，作为镜头光圈参数的调整系数用α表示，并且由插值单元32获得的视点图像的像素的像素值用i表示。在这种情况下，例如，调整单元33通过将像素值α×i确定为调整像素值i之后的像素值来执行用于调整像素值i的调整处理。

然后，光收集处理单元34对经过上述调整处理的视点图像执行光收集处理，以执行反映期望的镜头模糊和期望的窄光圈状态的重聚焦。

注意，在图13至图16中，根据产生stf镜头或反射式镜头的效果的透射率分布来设定针对各个视点的调整系数。然而，也可以根据产生一些其他镜头的效果的透射率分布来设定针对各个视点的调整系数。

此外，在图15和图16中，控制透射率分布以产生呈变窄状态的光圈的效果。然而，也可以调整透射率分布以产生呈任何期望状态的光圈的效果。

此外，在图13至图16中，在设定针对各个视点的调整系数时使用具有大致圆形的平面形状的透射率分布。然而，也可以在设定针对各个视点的调整系数时使用例如被修改为诸如心形或恒星形状的期望形状作为其平面形状的透射率分布。在这种情况下，可以获得在模糊中出现期望形状的处理结果图像。

<滤波器参数>

图17是示出滤波器参数的示例的图。

在由实际的单镜头摄像装置等执行图像捕获的情况下，可以使用灰度滤波器(诸如具有灰度的色彩效果滤波器或周边效果滤波器)作为设置在镜头前面的镜头滤波器。

图17示出了灰度滤波器的示例、以及作为根据产生灰度滤波器的滤波效果的增益分布来设定的滤波器参数的、针对各个视点的调整系数的示例。

在图17中，由插值单元32获得的视点图像的视点总数为5²，即为m×m＝5×5个视点。

可以采用针对m×m个视点中的各个视点而设定的且针对亮度或预定颜色的增益作为充当滤波器参数的、针对m×m个视点中的各个视点的调整系数。

例如，可以通过将产生期望滤波效果的增益分布划分为数量等于m×m的m×m个块、确定每个块的增益的代表值、并且将第(x,y)个块的代表值设定为针对第(x,y)个视点的增益来设定针对各个视点的增益。

在图17中，根据产生蓝色灰度滤波器的滤波效果的增益分布来设定作为针对m×m＝5×5个视点中的各个视点的调整系数的增益。

这里，在图17所示的灰度滤波器中，色调表示相对于蓝色的增益。色调越暗，增益越高。

图17所示的灰度滤波器是相对于在上侧的蓝色具有更高增益的滤波器。

在采用上述滤波器参数作为针对各个视点的调整系数的情况下，作为滤波器参数的调整系数用g表示，并且作为插值单元32获得的视点图像的像素的像素值的红色、绿色和蓝色(rgb)分量用(ir，ig，ib)表示。在这种情况下，调整单元33例如通过将像素值(ir，ig，ib×g)确定为在调整像素值(ir，ig，ib)之后的像素值来执行用于调整像素值(ir，ig，ib)的调整处理。

在将上述调整系数作为根据产生灰度滤波器的滤波效果的增益分布而设定的针对各个视点的增益的情况下，可以执行重聚焦以获得其中在上部蓝色程度较高的处理结果图像。

注意，在图17中，作为滤波器参数的针对各个视点的调整系数是根据相对于在上部的蓝色具有更高增益的灰度滤波器的增益分布而设定的。然而，也可以根据产生除了图17所示的灰度滤波器的滤波效果之外的滤波效果的增益分布来设定针对各个视点的调整系数。增益可以关于亮度或期望的颜色(例如，不是蓝色而是红色、绿色等)。

<图像处理装置12的另一示例配置>

图18是示出图1所示的图像处理装置12的另一示例配置的框图。

注意，在附图中，等于图4中的部件的部件由与图4中使用的附图标记相同的附图标记来表示，并且这里不再重复对其的说明。

图18中的图像处理装置12包括视差信息生成单元31、插值单元32、参数设定单元35和光收集处理单元51。

因此，图18中的图像处理装置12与在图4所示的情况下的包括视差信息生成单元31、插值单元32和参数设定单元35的图像处理装置相同。

然而，图18中的图像处理装置12与在图4所示的情况下的图像处理装置的不同之处在于未设置有调整单元33，并且设置有光收集处理单元51来替代光收集处理单元34。

在图4中，视点图像的像素的像素值由调整单元33进行调整，并且对在调整像素值之后的视点图像执行光收集处理。另一方面，在图18的图像处理装置12中，在光收集处理中，紧接在执行对视点图像的像素的像素值的累计之前调整要经过累计的像素值，并且对调整后的像素值执行像素值累计。

在图18中，光收集处理单元51执行与图4所示的光收集处理单元34执行的光收集处理类似的光收集处理，但是在光收集处理中还调整视点图像的像素的像素值。因此，除了在光收集处理中使用的光收集参数之外，还从参数设定单元35向光收集处理单元51提供用于调整像素值的调整参数。

在光收集处理中，光收集处理单元51紧接在对视点图像的像素的像素值进行累计之前调整视点图像的像素的像素值，并且对调整后的像素值执行像素值累计。

图19是用于说明光收集处理单元51执行的光收集处理的示例的流程图。

在步骤s71中，如在图11中的步骤s31中一样，光收集处理单元51从参数设定单元35获取作为光收集参数的聚焦目标像素。

在步骤s71中，光收集处理单元51还从参数设定单元35获取作为调整参数的针对各个视点的调整系数，然后，处理进行至步骤s72。

在步骤s72至s75中，光收集处理单元51执行与图11中的步骤s32至s35中的各个处理类似的处理，以确定关注视点vp#i的聚焦移位量dp#i。

然后，处理从步骤s75进行至步骤s76，并且光收集处理单元51从来自参数设定单元35的作为调整参数的针对各个视点的调整系数中获取针对关注视点vp#i的调整系数。然后，处理进行至步骤s77。

在步骤s77中，光收集处理单元51设定调整目标像素，该调整目标像素为关注视点vp#i的视点图像的像素中的、处于距关注像素的位置的等同于与聚焦移位量dp#i对应的矢量(例如，在此情况下为聚焦移位量dp#i×-1)的距离处的像素。然后，光收集处理单元51根据针对关注视点vp#i的调整系数来调整该调整目标像素的像素值，或者例如将调整目标像素的像素值乘以针对关注视点vp#i的调整系数并将得到的相乘值确定为调整后的调整目标像素的像素值。然后，处理从步骤s77进行至步骤s78。

在步骤s78中，如在图11中的步骤s36中一样，光收集处理单元51根据聚焦移位量dp#i对关注视点vp#i的视点图像的各个像素进行像素移位，并且将在视点图像中的关注像素的位置处的经过像素移位的像素的像素值(调整后的调整目标像素的像素值)与关注像素的像素值进行累计。

换句话说，光收集处理单元51将关注视点vp#i的视点图像的像素中的、距关注像素的位置的等同于与聚焦移位量dp#i对应的矢量(例如，在此情况下为聚焦移位量dp#i×-1)的距离处的像素的像素值(利用针对关注视点vp#i的调整系数调整过的像素值)与关注像素的像素值进行累计。

然后，处理从步骤s78进行至步骤s79。此后，在步骤s79和s80中，执行与图11中的步骤s37和s38中的各个处理类似的处理。

注意，尽管采用参考视点作为处理结果图像的视点，但是例如也可以采用除了参考视点之外的点或者虚拟镜头的合成孔径内的任何适当的点等作为处理结果图像的视点。

<应用了本技术的计算机的描述>

接下来，图像处理装置12进行的上述系一列处理可以由硬件来执行，而且也可以由软件来执行。在该系列处理由软件执行的情况下，形成软件的程序被安装到通用计算机等中。

图20是示出安装有用于执行上述系列处理的程序的计算机的实施方式的示例配置的框图。

可以将程序预先记录在计算机中作为记录介质设置的硬盘105或rom103中。

替选地，可以将程序存储(记录)在可移动记录介质111中。这样的可移动记录介质111可以被设置为所谓的封装软件。这里，可移动记录介质111例如可以是软盘、致密盘只读存储器(cd-rom)、磁光(mo)盘、数字通用盘(dvd)、磁盘、半导体存储器等。

注意，可以将程序从上述的可移动记录介质111安装到计算机中，但也可以经由通信网络或广播网络将程序下载到计算机中并安装到内部硬盘105中。换句话说，程序可以经由用于数字卫星广播的人造卫星从例如下载站点无线地传输至计算机，或者可以经由诸如局域网(lan)或因特网的网络、通过线缆传输至计算机。

计算机包括中央处理单元(cpu)102，并且输入/输出接口110经由总线101连接至cpu102。

当通过用户经由输入/输出接口110操作输入单元107等而输入指令时，cpu102根据该指令执行存储在只读存储器(rom)103中的程序。替选地，cpu102将存储在硬盘105中的程序加载到随机存取存储器(ram)104中并执行该程序。

通过这样做，cpu102根据上述流程图执行处理，或者利用框图中所示的上述配置来执行处理。然后，cpu102根据需要例如从输出单元106输出处理结果或者经由输入/输出接口110从通信单元108发送处理结果，并且还将处理结果存储到硬盘105中。

注意，输入单元107由键盘、鼠标、麦克风等构成。同时，输出单元106由液晶显示器(lcd)、扬声器等构成。

在本说明书中，计算机根据程序执行的处理不一定按照符合流程图所示的顺序的时间顺序来执行。换句话说，计算机根据程序执行的处理包括要彼此并行或彼此独立地执行的处理(诸如，并行处理或基于对象的处理)。

此外，程序可以由一个计算机(处理器)执行，或者可以由不止一个计算机以分布方式执行。此外，程序可以被传送至远程计算机并在其中被执行。

此外，在本说明书中，系统指的是多个部件(装置、模块(部件)等)的组装，并且不是所有部件都需要被设置在同一壳体中。鉴于此，容纳在不同壳体中并且经由网络彼此连接的多个装置形成系统，并且具有容纳在一个壳体中的多个模块的一个装置也是系统。

注意，本技术的实施方式不限于上述实施方式，并且可以在不背离本技术的范围的情况下对其进行各种修改。

例如，本技术可以体现在云计算配置中，在该云计算配置中，经由网络在多个装置之间共享一个功能，并且通过装置彼此协作来执行处理。

此外，参照上述流程图描述的各个步骤可以由一个装置执行或者可以在多个装置之间共享。

此外，在一个步骤中包括多于一个处理的情况下，该步骤中包括的多个处理可以由一个装置执行或者可以在多个装置之间共享。

此外，本说明书中描述的有益效果仅仅是示例，并且本技术的有益效果不限于这些而是可以包括其他效果。

应当注意，本技术也可以以下述配置来体现。

<1>一种图像处理装置，包括：

获取单元，其获取多个视点的图像；以及

光收集处理单元，其使用所述多个视点的图像来执行光收集处理以生成聚焦于预定距离处的处理结果图像，

其中，所述光收集处理单元使用所述多个视点的、具有利用针对各个视点的调整系数调整过的像素值的图像来执行所述光收集处理。

<2>根据<1>所述的图像处理装置，还包括：

调整单元，其利用与所述视点对应的调整系数来调整所述视点的图像的像素的像素值，

其中，所述光收集处理单元执行以下处理：

通过设定用于将所述多个视点的图像的像素移位的移位量、根据所述移位量将所述多个视点的图像的像素移位、并对所述像素值进行累计来执行所述光收集处理，以及

使用所述多个视点的图像的像素的、已被所述调整单元调整过的像素值来执行所述光收集处理。

<3>根据<1>或<2>所述的图像处理装置，其中，所述调整系数是针对各个视点、根据产生预定镜头和光圈的效果的透射率分布而设定的。

<4>根据<1>或<2>所述的图像处理装置，其中，所述调整系数是针对各个视点、根据产生预定滤波效果的增益分布而设定的。

<5>根据<1>至<4>中任一项所述的图像处理装置，其中，所述多个视点的图像包括由多个摄像装置捕获的多个捕获图像。

<6>根据<5>所述的图像处理装置，其中，所述多个视点的图像包括所述多个捕获图像和通过使用所述捕获图像进行插值而生成的多个插值图像。

<7>根据<6>所述的图像处理装置，还包括：

视差信息生成单元，其生成关于所述多个捕获图像的视差信息；以及

插值单元，其使用所述捕获图像和所述视差信息来生成不同视点的多个插值图像。

<8>一种图像处理方法，包括：

获取多个视点的图像；以及

使用所述多个视点的图像来执行光收集处理以生成聚焦于预定距离处的处理结果图像，

其中，使用所述多个视点的、具有利用针对各个视点的调整系数调整过的像素值的图像来执行所述光收集处理。

<9>一种程序，其用于使计算机用作：

获取单元，其获取多个视点的图像；以及

光收集处理单元，其使用所述多个视点的图像来执行光收集处理以生成聚焦于预定距离处的处理结果图像，

其中，所述光收集处理单元使用所述多个视点的、具有利用针对各个视点的调整系数调整过的像素值的图像来执行所述光收集处理。

<a1>一种图像处理装置，包括：

光收集处理单元，其通过设定用于将多个视点的图像的像素移位的移位量、将所述多个视点的图像的像素移位、并对所述像素进行累计来执行光收集处理，

其中，在所述光收集处理中，所述光收集处理单元执行对所述多个视点的图像的像素值的累计，所述像素值是在利用已根据所述视点设定的、用于调整所述像素值的调整系数对所述视点的图像的像素进行调整之后获得的。

附图标记列表

11图像捕获装置

12图像处理装置

13显示装置

211至217以及2111至2119摄像装置单元

31视差信息生成单元

32插值单元

33调整单元

34光收集处理单元

35参数设定单元

51光收集处理单元

101总线

102cpu

103rom

104ram

105硬盘

106输出单元

107输入单元

108通信单元

109驱动器

110输入/输出接口

111可移动记录介质