4a提取在步骤S33所生成的、使用各视差图像所获得的相对差分图像中各像素位置处的多个相对差分信息中的最小值，作为基准图像。接着，说明用于提取这多个相对差分信息中的最小值的效果。在本实施例中，在图13A(A-1)的图像和图13B(C-1)的图像中，不必要成分的一部分的位置相互重叠。这样，根据光学系统和高亮度光源的位置，在一些情况下，视差图像中的不必要成分的位置相互重叠。在这种情况下，两个图像之间的差分计算，对于不必要成分的这一部分得到O值。接着，不同于实施例2，多个相对差分信息中的最小值的计算，可以检测到在所有视差图像中具有不同位置的不必要成分，如图13A和图13B所示，但是不能检测到具有重叠位置的不必要成分。这对应于仅存在于多个视差图像中的一个中的不必要成分的检测。这还对应于从不必要成分分离通过近距离被摄体的摄像所生成的、并且存在于三个视差图像中的任何被摄体视差成分。换句话说，在对于近距离被摄体的图像的不必要成分降低处理中，可以大大降低被摄体视差成分的影响。这样，获取多个相对差分信息，并且提取这多个相对差分信息中的相对差分最小值信息，从而检测除具有重叠位置的任何不必要成分以外的不必要成分、并且同时分离三个视差图像的被摄体视差成分。
[0109]随后在步骤S35，不必要成分检测单元204a确定在步骤S34所提取的最小值(相对差分最小值图像中的残留成分，即，相对差分最小值信息)，作为不必要成分。
[0110]随后在步骤S36，图像处理单元204的不必要成分合成单元204b组合作为在步骤S35所确定的各视差图像中的不必要成分的、多个相对差分最小值信息。具体地，不必要成分合成单元204b执行图13A(A-5)、图13A(B_5)、图13B (C-5)和图13B (D-5)的多个相对差分最小值信息的组合值计算，并且生成如图13B(E)所示的组合的不必要成分。
[0111]随后在步骤S37，图像处理单元204的视差图像合成单元204c组合视差图像，并且输出相当于通过不进行光瞳分割的摄像所生成的拍摄图像的一个图像。具体地，视差图像合成单元204c执行在步骤S32所生成的图13A(A-1)、图13A(B_1)、图13B(C-1)和图13B(D-1)的视差图像的组合值计算，并且生成如图2A所示组合的合成图像。可选地，在不生成视差图像的情况下，可以通过计算从摄像元件202 (像素单元Gl和G2)所输出的、并且通过A/D转换器203进行了 A/D转换的数字信号的组合值，生成合成图像。
[0112]随后在步骤S38，图像处理单元204的不必要成分降低单元204d进行校正处理，以降低或者消除要输出的图像中的任何不必要成分。具体地，不必要成分降低单元204d生成相当于通过不进行光瞳分割的摄像所生成的拍摄图像的图像，作为要输出的图像。然后，由于在步骤S33将负值设置成O以将其丢弃，因而仅将不必要成分检测为正值。因此，不必要成分降低单元204d从图2A的合成图像简单减去进行了组合值计算处理的、图13B (E)中的不必要成分，从而消除该不必要成分。最后在步骤S39，系统控制器210将消除或者降低了不必要成分的输出图像，存储在图像记录介质209中，或者将输出图像显示在显示单元205上。
[0113]本实施例可以通过使用基于通过一个摄像所获得的多个视差图像的多个相对差分图像，确定由不必要光(幻影)所形成的任何不必要成分(幻影成分)。因此，本实施例可以在无需进行多次摄像的情况下，确定拍摄图像中所包含的任何不必要成分。由于在生成相对差分图像时，负值被丢弃，因而本实施例可以获得从其良好地消除或者降低了仅通过单纯差分计算所确定的不必要成分的、高图像质量的拍摄图像。本实施例计算多个相对差分信息，并且计算作为所选择的最小值的相对差分最小值信息，从而从被摄体视差成分中的一部分分离不必要成分，以实现不必要成分的有效检测和降低。另外，由于本实施例合成通过合成视差图像所获得的图像中所包含的不必要成分，以生成作为一个数据的不必要成分，因而可以仅通过一个差分计算来执行不必要成分降低处理，因而可以简化该处理。
[0114]实施例4
[0115]接着说明本发明的实施例4。Ren.Ng et al.，"Light Field Photography witha Hand-held Plenoptic Camera" (Stanford Tech Report CTSR 2005-2)公开一种“全光照相机”。“全光照相机”可以通过使用被称为“光场摄像”的技术来获取来自被摄体的光束的位置和角度的信息。
[0116]图15示出本实施例的摄像设备的摄像系统，并且示出“全光照相机”的摄像系统的结构。摄像光学系统301包括主镜头(摄像镜头)301b和光圈301a。微透镜阵列301c被设置在摄像光学系统301的成像位置处，并且摄像元件302被设置在微透镜阵列301c的后方(更接近图像)。微透镜阵列301c具有作为分离器(分离单元)的功能，其中，分离器防止穿过例如被摄体空间中的点A的光束，与穿过摄像元件302上的点A附近的点的光束混合。图15示出通过相互不同的像素接收来自点A的上光束、主光束和下光束。因此，可以根据穿过点A的光束的角度，分开来获取这些光束。
[0117]Todor Georgive et al.，〃Full Resolut1n Light Field Rendering"(AdobeTechnical Report January 2008)公开了获取光束的位置和角度的信息(光场)的、图16和17所示的摄像系统的结构。
[0118]对于图16所示的摄像系统的结构，微透镜阵列301c被设置在主镜头301b的成像位置的后方(更接近图像)，以使得穿过点A的光束在摄像元件302上再成像，从而根据光束的角度分开获取光束。对于图17所示的摄像系统的结构，微透镜阵列301c被设置在主镜头301b的成像位置的前方(更接近被摄体)，以使得穿过点A的光束在摄像元件302上成像，从而根据光束的角度分开获取光束。在这两个结构中，根据在光瞳中的穿过区域(穿过位置)，分开穿过摄像光学系统301的光瞳的光束。在这些结构中，摄像元件302可以使用如图18所示的传统摄像元件，其中，传统摄像元件包括一个微透镜ML和一个光接收部Gl，并且微透镜ML和光接收部Gl相对于颜色滤波器CF处于共轭关系。
[0119]图15所示的摄像光学系统301产生如图19A所示的图像。图19B是图19A中的排列圆圈中的一个的放大图。一个圆圈表示光圈STP，并且该圈内部被分成多个像素Pj (j=1、2、3、……)。该结构使得能够获取一个圆圈内的光瞳的强度分布。使用图16和17所示的摄像光学系统301获得图20所示的视差图像。可以通过重新配置和重构图19A所示的图像中的圆圈(光圈STP)中的像素Pj，来获得如图20所示的视差图像。
[0120]如实施例1?3所述，具有偏置分布的、诸如穿过光瞳的幻影等的不必要光，横跨光瞳。因此，通过光瞳的分割区域进行摄像的本实施例的摄像设备，可以使用实施例1?3所述的图像处理方法来确定不必要成分。
[0121]在另一例子中，通过利用如图21所示的多个照相机拍摄同一被摄体的图像，获得视差图像。因此，这些照相机可以使用实施例1?3所述的图像处理方法。C1、C2和03表示分开的摄像设备，但是它们可以被当作为通过大的光瞳的三个分割区域进行摄像的单个摄像设备。可选地，如图22所示，可以通过向一个摄像设备设置多个摄像光学系统OSj (j=1、2、3、……)，实现光瞳分割。
[0122]实施例5
[0123]接着说明本发明的实施例5。尽管这些实施例中的每一个说明了用于确定或者消除图像的整个区域上的不必要成分的情况，但是在许多情况下，仅在如图2所示的图像的一部分中生成不必要成分。由于用户可以容易地确定图像中包含不必要成分的区域，因而通过用户指定要进行降低处理的图像的区域，这样导致各实施例中的处理负荷降低。限制进行降低处理的区域，这样可以降低在近距离被摄体的摄像中所发生的被摄体视差成分的影响。由于通过合成将不必要成分作为一个数据，因而可以容易地进行通过诸如参数处理等的、通过乘以权重系数对不必要成分消除量的调整。
[0124]参考图23，说明本实施例中执行图像处理方法的摄像设备。图23是本实施例的摄像设备200a的结构的框图。摄像设备200a与实施例1的摄像设备200的不同在于，摄像设备200a包括信息输入单元211 (输入单元)。其它结构与摄像设备200的相同，因而省略对其的说明。
[0125]信息输入单元211检测用户所选择和输入的期望的摄像条件的信息(诸如光圈值和曝光时间等)，并且将该信息(数据)提供给系统控制器210。信息输入单元211检测用户所选择和输入的处理范围(图像区域)的信息以从其消除期望的不必要成分，并且将该信息(数据)提供给系统控制器210。信息输入单元211检测用户所选择和输入的期望的不必要成分消除量的信息，并且将该信息(数据)提供给系统控制器210。
[0126]接着参考图24，说明通过本实施例的摄像设备所进行的不必要成分消除区域和消除量的调整。图24是本实施例的摄像设备200a的后视图。
[0127]设置触摸面板20以启动各种功能菜单，诸如记录图像大小、日期和时间、自定义功能、要消除不必要成分的处理范围和不必要成分消除量的显示等。设置触摸面板20还用于设置从功能菜单所选择的项。设置触摸面板20还用于选择用以进行例如记录图像大小、曰期和时间、自定义功能、要消除不必要成分的处理范围和不必要成分消除量的设置的项。在本实施例中，触摸面板20被用作为图13中的信息输入单元211。
[0128]用户操作触摸面板20以选择要消除期望的不必要成分的处理范围(图像区域)。具体地，用户操作触摸面板20以选择和设置显示图像中的区域，例如，图25A?25C中以实线包围的区域。用户操作触摸面板20以选择期望的不必要成分的消除量。具体地，用户操作触摸面板20以选择和设置图24和25A?25C所示的、不必要成分消除量的调整指示器10的区域。
[0129]接着参考图26，说明本实施例中的任何不必要成分(幻影成分)的确定处理(图像处理)的程序。图26示出本实施例中的图像处理方法(用于确定任何不必要成分的方法)的流程图。根据作为计算机程序的图像处理程序，主要通过系统控制器210或者图像处理单元204执行图26中的各步骤。
[0130]图26中的步骤S41和S42分别与实施例1所述的图8中的步骤Sll和S12相同，因而省略对其的说明。随后在步骤S43，信息输入单元211指定用户所设置的、在其中要进行不必要成分消除或者降低处理的期望的处理范围(图像区域)。具体地，用户通过操作触摸面板20，用实线来指定图25A所示的输出图像中仍要进行不必要成分消除处理的、包含不必要成分的区域。除仅在步骤S43所指定的区域中进行步骤S23?S27的处理以外，步骤S44?S48与实施例2所述的图12中的步骤S23?S27相同。因此省略对其的说明。
[0131]随后在步骤S49，信息输入单元211检测并指定用户所设置的期望的不必要成分消除量。具体地，用户通过操作触摸面板20，在图25A?25C所示的不必要成分消除量的调整指示器10的范围内，指定消除量。在本实施例中，在不必要成分消除量的调整指示器10的左端，用于乘以不必要成分的权重系数是0，并且生成如图25A所示的、仍要进行不必要成分消除处理的图像。另一方面，在不必要成分消除量的调整指示器10的右端，用于乘以不必要成分的权重系数是1，并且生成如图25C所示的、从其完全消除了不必要成分的图像。在不必要成分消除量的调整指示器10的