a包括多个像素组的阵列，其中，每一像素组包括像素G11、G12、G13和G14，并且每一像素组相对于共用或者共享(换句话说，对于各像素组所设置)的微透镜ML，与出射光瞳EXP具有共轭关系。在本实施例中，将摄像元件202a中所排列的多个像素G11，统称为像素单元G11。类似地，将摄像元件202a中所排列的多个像素G12、G13和G14的组，分别统称为像素单元G12、G13和G14。摄像光学系统201的具体示例性结构与参考图6A和6B所述的实施例1的相同，因此省略对其的说明。
[0073]图10是穿过摄像光学系统201的光圈STP的不必要光的说明图。图10示出光圈STP的区域(光瞳区域或者光瞳分割区域)P1、P2、P3和P4，其中，入射至图9所示的像素G11、G12、G13和G14的光束穿过这些区域。可以假定光圈STP相当于摄像光学系统201的出射光瞳EXP，但是实际上，光圈STP和出射光瞳EXP通常相互不同。来自高亮度物体的光束，大体穿过光圈STP的整个区域，并且入射至这些像素的光束所穿过的区域，被分成区域P1、P2、P3 和 P4。
[0074]接着，参考图1IA和IlB说明用于对通过本实施例的摄像设备200所获取(生成)的拍摄图像中的不必要光进行光电转换、以确定该图像中的任何不必要成分(幻影成分)的方法。图1lA和IlB示出本实施例的图像处理方法的程序。在本实施例中，拍摄图像是通过合成通过进行光瞳分割的摄像所生成的多个视差图像所获得的图像，并且与图2A的图像相同。
[0075]图1IA (A-1)、图1IA (B-1)、图1lB(C-1)和图1lB(D-1)示出通过在像素单元 Gll、G12、G13和G14处对穿过各个区域P1、P2、P3和P4的光束进行光电转换所获得的一组视差图像。该组视差图像包含以黑色矩形示意性示出的不必要成分(幻影成分)GST。图1lA(A-1)的图像和图1lB(C-1)的图像中的各不必要成分GST的位置相互重叠。类似地，图1lA(B-1)的图像和图1lB(D-1)的图像中的各不必要成分GST的位置相互重叠。图1lA(A-1)的图像和图1lB(D-1)的图像中的每一不必要成分GST的位置相互不同。类似地，图1lA(B-1)的图像和图1lB(C-1)的图像中的每一不必要成分GST的位置相互不同。
[0076]图11A(A_2)是通过从作为基准图像的图1lA(A-1)的图像减去图1lA(B-1)的图像所获得的、一对视差图像的相对差分图像(图1lA(A-1)的图像和图1lA(B-1)的图像的差分信息)。类似于实施例1，相对差分图像包含以上所述的被摄体的视差成分及其不必要成分，作为相对差分信息。类似于实施例1，差分计算获得图1lA(B-1)所包含的任何不必要成分，作为负值，但是从图1lA(A-2)的图像丢弃该负值，以简化稍后所述的不必要成分降低处理。对于所有相对差分图像进行相同处理。因而，图1lA(A-2)的差分图像，仅示出图1lA(A-1)的图像所包含的任何不必要成分。
[0077]图11A(A_3)是通过从作为基准图像的图1lA(A-1)的图像减去图1lB(C-1)的图像所获得的、一对视差图像的相对差分图像(图1lA(A-1)的图像和图1lB(C-1)的图像的差分信息)。类似于实施例1，相对差分图像包含以上所述的被摄体的视差成分及其不必要成分，作为相对差分信息。如上所述，由于图1lA(A-1)的图像和图1lB(C-1)的图像中的各不必要成分的位置相互重叠，因而在相对差分信息中不会检测到该不必要成分。这样，存在于这些图像中相同位置处的不必要成分，不会出现在相对差分图像中。因此，存在仅基于两个图像的差分信息不能被检测到的不必要成分。另一方面，当如本实施例一样，获取多个视差图像的相对差分信息时，仅包含在一个视差图像中的不必要成分的有效检测，仅需要该不必要成分处于与基准图像中的不同的位置处，如图1lA(B-1)的图像中的一样。
[0078]图11A(A_4)是通过从作为基准图像的图1lA(A-1)的图像减去图1lB(D-1)的图像所获得的、一对视差图像的相对差分图像(图1lA(A-1)的图像和图1lB(D-1)的图像的差分信息)。图1lA(A-1)的图像和图1lB(D-1)的图像中每一不必要成分的位置相互不同。因此类似于图1lA(A-2)，图1lA(A-4)的相对差分图像，仅示出图1lA(A-1)的图像中所包含的任何不必要成分。
[0079]图1lA(A-5)的图像是在作为以二维数据所获取的相对差分信息的、图1lA(A-2)、图1lA(A-3)和图1lA(A-4)的相对差分图像中各像素位置处的多个相对差分信息中，所选择的最大值的信息(相对差分最大值信息或者图像信息)。在本实施例中，该图像信息是相当于图1lA(A-2)或者图1lA(A-4)的图像的信息，并且包含图1lA(A-1)中所包含的各不必要成分的位置和量。
[0080]类似地，图1lA (B-2)是通过从作为基准图像的图1lA(B-1)的图像减去图1lA(A-1)的图像所获得的一对视差图像的相对差分图像。图11Α(Β-3)是通过从作为基准图像的图1lA(B-1)的图像减去图1lB(C-1)的图像所获得的一对视差图像的相对差分图像。图1lA(B-4)是通过从作为基准图像的图1lA(B-1)的图像减去图1lB(D-1)的图像所获得的一对视差图像的相对差分图像。图11ΑΦ-5)的图像是在作为以二维数据所获取的相对差分信息的、图1lA(B-2)、图1lA(B-3)和图1lA(B-4)的相对差分图像中各像素位置处的多个相对差分信息中，所选择的最大值的图像信息(相对差分最大值信息)。在本实施例中，该图像信息是相当于图1lA(B-2)或者图11Α(Β-3)的图像的信息，并且包含图1lA(B-1)中所包含的各不必要成分的位置和量。
[0081]类似地，图11B(C_2)是通过从作为基准图像的图1lB(C-1)的图像减去图1lA(A-1)的图像所获得的一对视差图像的相对差分图像。图11B(C_3)是通过从作为基准图像的图1lB(C-1)的图像减去图1lA(B-1)的图像所获得的一对视差图像的相对差分图像。图11B(C_4)是通过从作为基准图像的图1lB(C-1)的图像减去图1lB(D-1)的图像所获得的一对视差图像的相对差分图像。图11B(C_5)的图像是在作为以二维数据所获取的相对差分信息的、图11B(C_2)、图11B(C_3)和图11B(C_4)的相对差分图像中各像素位置处的多个相对差分信息中，所选择的最大值的图像信息(相对差分最大值信息)。在本实施例中，该图像信息是相当于图11B(C_3)或者图11B(C_4)的图像的信息，并且包含图1lB(C-1)中所包含的各不必要成分的位置和量。
[0082]类似地，图11ΒΦ-2)是通过从作为基准图像的图1lB(D-1)的图像减去图1lA(A-1)的图像所获得的一对视差图像的相对差分图像。图11ΒΦ-3)是通过从作为基准图像的图1lB(D-1)的图像减去图1lA(B-1)的图像所获得的一对视差图像的相对差分图像。图11ΒΦ-4)是通过从作为基准图像的图1lB(D-1)的图像减去图1lB(C-1)的图像所获得的一对视差图像的相对差分图像。图11ΒΦ-5)的图像是在作为以二维数据所获取的相对差分信息的、图11ΒΦ-2)、图11ΒΦ-3)和图1lB (D-4)的相对差分图像中各像素位置处的多个相对差分信息中，所选择的最大值的图像信息(相对差分最大值信息)。在本实施例中，该图像信息是相当于图1lB(D-2)或者图11ΒΦ-4)的图像的信息，并且包含图1lB(D-1)中所包含的各不必要成分的位置和量。
[0083]接着说明如图2A所示的、通过平均并合成通过进行光瞳分割的摄像所生成的多个视差图像所获得的拍摄图像的输出。由于如上所述，对于每一视差图像都提取任何不必要成分，因而通过从视差图像减去不必要成分，可以降低不必要成分的量。然而，为了输出通过平均视差图像所获得的一个图像，需要对每一视差图像执行不必要成分的降低处理，这导致降低处理的程序复杂。在本实施例中，与用于合成视差图像以产生输出图像的处理同时地，以相同方式进行用于合成视差图像中的不必要成分的处理。在本实施例中，计算各视差图像中的不必要成分的平均值，然后进行合成处理以输出通过平均视差图像所获得的图像，作为最终输出图像。图1lB(E)示出平均并合成后的不必要成分(图像)。当输出视差图像的平均值作为输出图像时，输出图像中所包含的不必要成分的量，与视差图像中所包含的相应不必要成分的平均值一致。
[0084]然后，图像处理单元204对要输出的图像进行校正处理，以消除或者降低如上所述合成的不必要成分。这样可以生成相当于如图2B所示的通过不进行光瞳分割的摄像所生成的拍摄图像的、不必要成分被降低的图像。
[0085]接着，参考图12说明本实施例中用于确定任何不必要成分(幻影成分)的处理(图像处理)的程序。图12示出本实施例中的图像处理方法(用于确定任何不必要成分的方法)的流程图。根据作为计算机程序的图像处理程序，主要通过系统控制器210或者图像处理单元204执行图12中的各步骤。
[0086]图12中的步骤S21和S22分别与实施例1所述的图8中的步骤Sll和S12相同，因而省略对其的说明。随后在步骤S23，不必要成分检测单元204a使用作为基准图像的一组中的每一视差图像，计算多个相对差分信息。换句话说，不必要成分检测单元204a基于作为基准图像的图1lA(A-1)的图像，生成相对差分图像(图11Α(Α-2)、图11Α(Α-3)和图11Α(Α-4)的图像)。不必要成分检测单元204a基于作为基准图像的图1lA(B-1)的图像，生成相对差分图像(图11Α(Β-2)、图11Α(Β-3)和图11Α(Β-4)的图像)。不必要成分检测单元204a基于作为基准图像的图1lB(C-1)的图像，生成相对差分图像(图11B(C_2)、图11B(C_3)和图11B(C_4)的图像)。不必要成分检测单元204a基于作为基准图像的图1lB(D-1)的图像，生成相对差分图像(图11ΒΦ-2)、图11ΒΦ-3)和图11B(D_4)的图像)。
[0087]当到达成像面的不必要光，穿过相互不同的摄像光学系统201的光瞳的光瞳区域时，如图1lA(A-1)和图1lA(B-1)所示，在视差图像之间，各不必要成分位于相互不同的位置处。因此，对于单纯相对差分图像，相应不必要成分的差分值是正值或者负值。例如，在本实施例中，从作为基准图像所使用的图1l(A-1)的图像减去图1l(B-1)的图像以生成相对差分图像(图1lA(A-2)的图像)，这样对于图1lA(A-1)的图像中所包含的任何不必要成分，得出正值。另一方面，图1lA(B-1)的图像中所包含的任何不必要成分是负值。在本实施例中，不必要成分检测单元204a通过丢弃负值来进行用于将负值设置成O的处理，以简化稍后说明的不必要成分降低处理。因此，在图11Α(Α-2)的图像中，仅图1lA(A-1)的图像中所包含的任何不必要成分被检测为正值。不必要成分检测单元204a对于各相对差分图像进行相同处理，并且仅各基准图像中所包含的任何不必要成分被检测为正值。另一方面，当图1lA(A-1)和图1lB(C-1)的图像中的不必要成分的位置相互重叠时，如上所述，在相对差分信息中，不会检测到该不必要成分。
[0088]随后在步骤S24，不必要成分检测单元204a提取在步骤S23所生成的、使用各视差图像所获得的相对差分图像中各像素位置处的多个相对差分信息中的最大值，作为基准图像。接着说明用于提取多个相对差分信息中的最大值的效果。在本实施例中，图1lA(A-1)的图像和图1lB(C-1