可更换摄像光学系统(可更换镜头)。
[0050]图6A示出摄像光学系统201的结构，并且图6B是在摄像光学系统201中所产生的不必要光的说明图。图6A具体示出摄像光学系统201的示例性结构。在图6A中，STP表示光圈(光圈201a)，并且頂G表示成像面。图5所示的摄像元件202被设置在成像面頂G的位置处。图6B示出下面的情况:来自作为示例性高亮度物体的、以SUN所表示的太阳的强光，入射至摄像光学系统201，并且在摄像光学系统201中所包括的镜头的表面处被反射的光，作为不必要光(幻影和闪烁)到达成像面MG。
[0051]图7示出光圈STP的区域Pl和P2 (光瞳区域或者光瞳分割区域)，其中，入射至图4所示的像素Gl和G2的光束，穿过区域Pl和P2。可以假定光圈STP对应于摄像光学系统201的出射光瞳EXP，但是实际上，通常是下面的情况:光圈STP和出射光瞳EXP相互不同。尽管来自高亮度物体(SUN)的光束几乎穿过了光圈STP的整个区域，但是要入射至像素Gl和G2的光束所穿过的区域，被分成区域Pl和P2(光瞳区域)。
[0052]接着参考图1、2A和2B，说明用于确定在摄像设备200所生成的拍摄图像中，作为通过不必要光的光电转换而出现的图像成分的不必要成分的方法。图1示出根据本实施例的图像处理方法的过程。图2A和2B示出通过本实施例的图像处理方法所获得的示例性输出图像。
[0053]图2A示出通过合成通过进行光瞳分割的摄像所生成的多个视差图像所获得的拍摄图像。该拍摄图像包含诸如建筑物及其周围的树等的被摄体。图2A的拍摄图像中所示的黑色矩形GST，表示作为与不必要光(幻影)相对应的图像成分的不必要成分(幻影成分)。图2A以黑色示出不必要成分GST，但是实际上，它们一定程度地透明以足以看见被摄体。不必要成分对应于拍摄被摄体上的不必要光，因而具有高于拍摄被摄体的亮度。在后述其它实施例中也是这样。
[0054]图1 (A-1)和图1 (B-1)分别示出通过在像素单元Gl和G2处对穿过区域(光瞳区域)Pl和P2的光束进行光电转换所获得的一对视差图像。近距离被摄体的一对视差图像，具有与它们的图像成分中的视差相对应的差(被摄体视差成分)。然而，对于如图1所示的风景图像中的远距离被摄体，被摄体视差成分微小。这样一对视差图像包含作为黑色矩形所示意性示出的不必要成分GST，其中，它们的位置在视差图像之间有所不同。尽管图1所示的不必要成分GST的位置相互不重叠、并且是彼此分开的，但是它们可以相互重叠、并且具有亮度差。换句话说，以黑色矩形所表示的不必要成分GST，需要具有相互不同的位置或者亮度。
[0055]图1(Α-2)示出通过从一对视差图像中作为基准图像的图1(A-1)的图像，减去这一对视差图像中的图1(B-1)的图像所获得的图像(相对差分图像)。图1(Α-2)的图像(相对差分图像)包含稍后所述的被摄体的视差成分及其不必要成分，作为这一对视差图像的差分(相对差分信息)。然而，对于如图1所示的风景图像中的远距离被摄体，几乎可以忽略微小的被摄体视差成分的任何影响。该差分计算获得图1(B-1)中所包含的任何不必要成分，作为负值，但是从图1 (A-2)的图像丢弃该负值，以简化稍后所述的不必要成分降低处理。因此，图1(Α-2)的图像(相对差分图像)，仅示出图1(A-1)的图像中所包含的任何不必要成分。
[0056]类似地，图1 (B-2)示出通过从这一对视差图像中作为基准图像的图1 (B-1)的图像，减去这一对视差图像中的图1(A-1)的图像所获得的图像。类似于图1(Α-2)的图像，该差分计算获得图1(A-1)的图像中所包含的不必要成分，作为负值，但是从图1 (B-2)的图像丢弃该负值，以简化稍后所述的不必要成分降低处理。因此，图1(Β-2)的图像(相对差分图像)，仅示出图1(B-1)中所包含的不必要成分。这样，本实施例的图像处理方法进行该处理，以仅将这些不必要成分保持在相对差分图像中(换句话说，分离或者提取不必要成分)，并且确定这些不必要成分。
[0057]接着说明如图2A所示的拍摄图像的输出，其中，通过组合(合成)通过进行光瞳分割的摄像所生成的多个视差图像，获得该拍摄图像。由于如上所述，对于每一视差图像都提取任何不必要成分，因而可以通过从视差图像减去不必要成分，来降低不必要成分的量。然而，为了输出通过组合视差图像所获得的一个图像，必须对于每一视差图像执行不必要成分的降低处理，这样导致降低处理的程序复杂。在本实施例中，与用于合成视差图像以产生输出图像的处理同时地，以相同方式进行用于合成视差图像中的不必要成分的处理。在本实施例中，组合(合成)视差图像中的不必要成分，以输出通过组合(合成)视差图像所获得的图像作为最终输出图像。图1(C)示出组合(合成)不必要成分。当视差图像的组合值(合成值)被输出为输出图像时，该输出图像中所包含的不必要成分的量，与视差图像中所包含的相应不必要成分的组合值(合成值)一致。
[0058]然后，本实施例的图像处理方法对于要输出的图像进行校正处理，以消除或者降低如上所述合成的不必要成分。这样可以生成相当于如图2B所示的通过不进行光瞳分割的摄像所生成的拍摄图像的、不必要成分被降低的图像。
[0059]接着，参考图8说明本实施例的任何不必要成分(幻影成分)的确定处理(图像处理)的程序。图8示出本实施例的图像处理方法(用于确定任何不必要成分的方法)的流程图。根据作为计算机程序的图像处理程序，主要通过系统控制器210或者图像处理单元204执行图8中的各步骤。
[0060]首先，在步骤SI I，系统控制器210控制包括摄像光学系统201和摄像元件202的摄像单元(摄像系统)来拍摄被摄体的图像，并且获取输入图像(拍摄图像)。然后在步骤S12，系统控制器210控制图像处理单元204，以通过使用从摄像元件202 (像素单元Gl和G2)所输出的、并且通过A/D转换器203进行了 A/D转换的数字信号，生成一对视差图像，作为输入图像。图像处理单元204可以进行一般的显影处理和各种类型的图像校正处理以生成视差图像。
[0061]随后在步骤S13，图像处理单元204的不必要成分检测单元204a，计算这一对视差图像的相对差分信息。换句话说，不必要成分检测单元204a基于作为基准图像的图1(A-1)的图像，生成相对差分图像(图1(Α-2)的图像)，并且基于作为基准图像的图1(B-1)的图像，生成相对差分图像(图1(Β-2)的图像)。当如图1(A-1)和图1(B-1)所示，到达成像面的不必要光穿过摄像光学系统201的光瞳(出射光瞳)的相互不同的光瞳区域时，各不必要成分在视差图像之间位于相互不同的位置处。因此，对于单纯相对差分图像，相应不必要成分的差分值是正值或者负值。例如，在本实施例中，对于图1(A-1)的图像中所包含的任何不必要成分，从用作为基准图像的图1(A-1)的图像减去图1(B-1)的图像以生成相对差分图像(图1(Α-2)的图像)，得到正值。另一方面，图1(B-1)的图像中所包含的任何不必要成分是负值。
[0062]在本实施例中，不必要成分检测单元204a通过丢弃不必要成分进行用于将该负值设置成O的处理，以简化稍后所述的不必要成分降低处理。因此，在图1(Α-2)的图像中，仅图1(A-1)中所包含的任何不必要成分被检测为正值。不必要成分检测单元204a对于相对差分图像(图1(Β-2)的图像)进行相同处理。因此，在图1(Β-2)的图像中，仅图1(B-1)的图像中所包含的任何不必要成分被检测为正值。
[0063]在计算包含近距离被摄体的图像的相对差分信息时，不必要成分检测单元204a可以进行用于调整一对视差图像的位置的处理，以消除任何被摄体视差成分。具体地，在相对于一对视差图像中的一个视差图像来相对偏移另一个视差图像的位置的同时，不必要成分检测单元204a确定这些图像具有最大相关性的偏移位置，从而调整图像的位置。可选地，不必要成分检测单元204a可以确定视差图像之间的差的平方的和最小处的偏移位置，从而调整图像的位置。可选地，不必要成分检测单元204a可以确定相对于视差图像中的聚焦区域的用于位置调整的偏移位置。
[0064]可选地，不必要成分检测单元204a可以对各视差图像预先进行边缘检测，并且基于示出所检测到的边缘的图像，确定用于位置调整的偏移位置。该方法对于聚焦区域，检测高对比度边缘，并且对于诸如背景等的、不大可能被检测为边缘的离焦区域，检测低对比度。必须主要基于聚焦区域来进行偏移位置的确定。在生成相对差分图像时，不必要成分检测单元204a还可以进行阈值处理以消除例如噪声的影响。
[0065]随后在步骤S14，不必要成分检测单元204a将在步骤S13所生成的相对差分图像中残留的任何成分，确定为不必要成分。
[0066]随后在步骤S15，图像处理单元204的不必要成分合成单元204b组合在步骤S14对于各视差图像所确定的任何不必要成分(计算不必要成分的合成值)。具体地，不必要成分合成单元204b相加图1 (A-2)的相对差分图像和图1 (B-2)的相对差分图像(计算相对差分图像的合成值)。因而如图1(C)所示，生成组合的(合成的)不必要成分。
[0067]随后在步骤S16，视差图像合成单元204c组合视差图像(计算视差图像的合成值)，并且输出相当于通过不进行光瞳分割的摄像所生成的一个拍摄图像的图像。具体地，视差图像合成单元204c相加(合成)在步骤S12所生成的多个视差图像(图1(A-1)的图像和图1(B-1)的图像)，并且生成如图2A所示这样所组合的合成图像。可选地，在不生成视差图像的情况下，可以通过相加从摄像元件202 (像素单元Gl和G2)所输出的、并且通过A/D转换器203进行了 A/D转换的数字信号，生成合成图像(视差图像的组合值)。
[0068]随后在步骤S17，图像处理单元204的不必要成分降低单元204d进行校正处理，以降低或者消除要输出的图像中的任何不必要成分。具体地，不必要成分降低单元204d生成如图2B所示的、相当于通过不进行光瞳分割的摄像所生成的拍摄图像的图像，作为要输出的图像。在本实施例中，由于在步骤S13将负值设置成O以将其丢弃，因而不必要成分仅被检测为正值。因此，不必要成分降低单元204d从图2A的图像(合成图像)简单减去图1(C)的图像(组合的(合成的)不必要成分)，从而消除不必要成分。最后在步骤S18，系统控制器210将图2B的图像(消除或者降低了不必要成分的输出图像)，存储在图像记录介质209中，或者将该图像显示在显示单元205上。
[0069]本实施例可以通过使用基于通过一个摄像所获得的多个视差图像的多个相对差分图像，确定由不必要光(幻影)所形成的任何不必要成分(幻影成分)。因此，本实施例在无需进行多次摄像的情况下，确定拍摄图像中所包含的任何不必要成分。由于在生成相对差分图像时，负值被丢弃，因而本实施例可以获得高图像质量的拍摄图像，其中，从该拍摄图像中，良好地消除或者降低了仅通过单纯差分计算所确定的不必要成分。另外，本实施例合成不必要成分(计算不必要成分的合成值)，以生成视差图像的合成图像中所包含的不必要成分，作为一个数据。因此，可以仅通过一个差分计算来执行不必要成分降低处理，因而可以简化该处理。
[0070]实施例2
[0071]接着说明本发明的实施例2 (多光瞳分割)。本实施例的摄像设备具有与参考图5所述的实施例1的摄像设备200相同的基本结构，因而省略对其的说明。
[0072]图9示出本实施例的摄像元件202a的光接收部。在图9中，ML表示微透镜。Gl1、G12、G13和G14是一组像素(光接收部)。摄像元件202