图像处理方法、图像处理设备和摄像设备的制造方法
【技术领域】
[0001]本发明涉及一种用于提高拍摄图像的图像质量的图像处理方法。
【背景技术】
[0002]在通过诸如照相机等的摄像设备的摄像中，入射至摄像光学系统的光中的一部分可能被镜头的表面和用于保持镜头的构件反射，并且作为不必要光到达成像面。该不必要光在拍摄图像中表现为诸如幻影和闪烁等的不必要成分。当使用衍射光学元件来校正纵向(轴向)色像差和倍率色像差时，来自诸如太阳等的、摄像视角外部的高亮度物体的光，可能入射至衍射光学元件，从而在整个图像上生成作为不必要成分的不必要光。
[0003]日本特开2008-54206号公开了这样一种方法，该方法用于基于表示摄像光学系统将焦点对准被摄体时的图像(聚焦图像)和在摄像光学系统处于离焦时的图像(离焦图像)之间的差分的差分图像，检测任何幻影。然而，日本特开2008-54206号所述的方法需要进行多次摄像，因而不适于运动被摄体的静止图像拍摄和运动图像拍摄。
[0004]日本特开2011-205531号公开了一种用于基于通过单镜头立体摄像所拍摄的多个视差图像之间的比较来检测任何幻影的方法。日本特开2011-205531号所述的方法通过单个摄像获得多个视差图像，其适用于运动被摄体的静止图像拍摄和运动图像拍摄。
[0005]然而，日本特开2011-205531号所述的方法通过计算主图像和副图像之间的差分来检测任何幻影，因而在使用以三个以上的视点所拍摄的视差图像时，该方法的幻影检测效果劣化。另一方面，日本特开2011-205531号在幻影检测之后消除各视差图像中的任何幻影，这导致处理程序复杂。
【发明内容】
[0006]本发明提供一种能够在无需进行多次摄像的情况下，以简单且有效的方式降低拍摄图像所包含的任何不必要成分的图像处理方法、图像处理设备和摄像设备。
[0007]作为本发明的一个方面，一种图像处理方法，其包括以下步骤:确定步骤，基于多个视差图像的多个相对差分信息，确定所述多个视差图像中的各视差图像所包含的第一不必要成分；计算步骤，计算所述多个视差图像所包含的所述第一不必要成分的合成值；以及降低步骤，基于所述第一不必要成分的合成值，降低所述多个视差图像的合成图像所包含的第二不必要成分，其中，所述第二不必要成分是所述第一不必要成分的合成值或者通过将所述第一不必要成分的合成值乘以权重系数所获得的值。
[0008]作为本发明的一个方面，一种图像处理设备，其包括:不必要成分确定器，用于基于多个视差图像的多个相对差分信息，确定所述多个视差图像中的各视差图像所包含的第一不必要成分；不必要成分合成器，用于计算所述多个视差图像所包含的所述第一不必要成分的合成值；以及不必要成分降低器，用于基于所述第一不必要成分的合成值，降低所述多个视差图像的合成图像所包含的第二不必要成分，其中，所述第二不必要成分是所述第一不必要成分的合成值或者通过将所述第一不必要成分的合成值乘以权重系数所获得的值。
[0009]作为本发明的另一方面，一种摄像设备，其包括:摄像元件，用于对光学图像进行光电转换以输出多个视差图像；不必要成分确定器，用于基于所述多个视差图像的多个相对差分信息，确定所述多个视差图像中的各视差图像所包含的第一不必要成分；不必要成分合成器，用于计算所述多个视差图像所包含的所述第一不必要成分的合成值；以及不必要成分降低器，用于基于所述第一不必要成分的合成值，降低所述多个视差图像的合成图像所包含的第二不必要成分，其中，所述第二不必要成分是所述第一不必要成分的合成值或者通过将所述第一不必要成分的合成值乘以权重系数所获得的值。
[0010]通过以下参考附图对典型实施例的说明，本发明的其它特征和方面将显而易见。
【附图说明】
[0011]图1示出根据本发明实施例1的图像处理方法的程序。
[0012]图2A和2B示出通过根据实施例1的图像处理方法所获得的示例性输出图像。
[0013]图3是示出根据本发明各实施例的摄像系统中的摄像元件的光接收部和摄像光学系统的光瞳的关系图。
[0014]图4是根据各实施例的摄像系统的示意图。
[0015]图5是根据实施例1的摄像设备的框图。
[0016]图6A是摄像光学系统的结构图，并且图6B是在根据实施例1的摄像光学系统中产生的不必要光的说明图。
[0017]图7是穿过根据实施例1的摄像光学系统的光圈的不必要光的说明图。
[0018]图8是根据实施例1的图像处理方法的流程图。
[0019]图9示出根据实施例2的摄像元件。
[0020]图10是穿过根据实施例2的摄像光学系统的光圈的不必要光的说明图。
[0021 ]图1IA示出根据实施例2的图像处理方法的程序。
[0022]图1IB示出根据实施例2的图像处理方法的程序。
[0023]图12是根据实施例2的图像处理方法的流程图。
[0024]图13A示出根据实施例3的图像处理方法的程序。
[0025]图13B示出根据实施例3的图像处理方法的程序。
[0026]图14是根据实施例3的图像处理方法的流程图。
[0027]图15示出根据实施例4的摄像系统。
[0028]图16示出根据实施例4的摄像系统。
[0029]图17示出根据实施例4的摄像系统。
[0030]图18示出传统摄像元件。
[0031]图19A和19B示出通过图15所示的摄像系统所获得的图像。
[0032]图20示出通过图16和17所示的摄像系统所获得的图像。
[0033]图21示出根据实施例4的示例性摄像设备。
[0034]图22示出根据实施例4的示例性摄像设备。
[0035]图23是根据实施例5的摄像设备的框图。
[0036]图24是根据实施例5的摄像设备的后视图。
[0037]图25A?25C示出用于根据实施例5选择不必要成分降低处理区域和不必要成分降低处理量的例子。
[0038]图26是根据实施例5的图像处理方法的流程图。
【具体实施方式】
[0039]下面参考【附图说明】本发明的典型实施例。
[0040]在本发明的各实施例中所使用的、能够生成多个视差图像的摄像设备，包括摄像系统，其中，摄像系统将穿过摄像光学系统的相互不同的光瞳区域的多个光束，引导至摄像元件的相互不同的光接收部(像素)并且进行光电转换。
[0041]图3示出本实施例中的摄像系统中的摄像元件的光接收部和摄像光学系统的光瞳之间的关系。在图3中，ML表示微透镜，并且CF表示颜色滤波器。EXP表示摄像光学系统的出射光瞳(光瞳)，并且Pl和P2表示出射光瞳EXP的区域。Gl和G2表示像素(光接收部)，并且一个像素Gl和一个像素G2组成一对(像素Gl和G2被设置成共享一个微透镜ML)。摄像元件包括多个像素Gl和G2的对(像素对)的阵列。成对的像素Gl和G2相对于所共享的(即，对于每一像素对所设置的)微透镜ML，与出射光瞳EXP具有共轭关系。在各实施例中，摄像元件中所排列的像素Gl和G2还被分别称为像素单元Gl和G2。
[0042]图4是假定具有下面的结构的本实施例中的摄像系统的示意图，其中，在该结构中，代替图3所示的微透镜ML，在出射光瞳EXP的位置处设置薄透镜。像素Gl接收穿过出射光瞳EXP的区域Pl的光束。像素G2接收穿过出射光瞳EXP的区域P2的光束。OSP表示进行摄像的物点。在物点OSP处，并非必须存在物体。穿过物点OSP的光束，根据光束所穿过的光瞳(出射光瞳EXP)的位置(本实施例中的区域Pl或者区域P2)，入射至像素Gl和像素G2中的一个。光束穿过相互不同的光瞳区域，对应于根据光束的角度(视差)分开来自物点OSP的入射光。换句话说，对于与像素Gl和G2相对应的各微透镜ML，生成基于来自像素Gl的输出信号的图像和基于来自像素G2的输出信号的图像，作为相互具有视差的多个视差图像(在该例子中为视差图像对)。下面，可以将通过相互不同的光接收部(像素)接收穿过相互不同的光瞳区域的光束，称为光瞳分割。
[0043]当由于例如图3和4所示的出射光瞳EXP的位置偏移而未完全保持共轭关系时，或者当区域Pl和P2相互部分重叠时，仍将所获得的多个图像当作为视差图像。
[0044]实施例1
[0045]参考图5，说明根据本发明实施例1执行图像处理方法的摄像设备。图5是本实施例的摄像设备200的结构的框图。摄像光学系统201包括光圈201a和调焦透镜201b，并且使得来自被摄体(未示出)的光在摄像元件202上成像(会聚)。摄像元件202包括诸如CCD传感器和CMOS传感器等的光电转换元件，并且如参考图3和4所述，通过与各个区域相对应的像素(光接收部)，接收穿过相互不同的光瞳区域的光束(进行光瞳分割)。这样，摄像元件202对被摄体图像(光学图像)进行光电转换，并且输出图像信号(模拟电信号)作为多个视差图像。A/D转换器203将从摄像元件202输出的模拟电信号转换成数字信号，然后将这些数字信号输出给图像处理单元204 (图像处理器)。
[0046]图像处理单元204对数字信号进行一般的图像处理，并且还进行不必要光的判断处理、以及用于降低或者消除不必要光的校正处理。在本实施例中，图像处理单元204对应于配备在摄像设备200上的图像处理设备。图像处理单元204包括不必要成分检测单元204a、不必要成分合成单元204b、视差图像合成单元204c和不必要成分降低单元204d。
[0047]不必要成分检测单元204a(不必要成分确定器)生成(获取)视差图像，并且检测(确定)视差图像中的任何不必要成分(第一不必要成分)。不必要成分合成单元204b (不必要成分合成器)计算通过不必要成分检测单元204a所检测到的不必要成分的合成值。视差图像合成单元204c (视差图像合成器)合成通过不必要成分检测单元204a所生成的视差图像。不必要成分降低单元204d (不必要成分降低器)基于通过不必要成分合成单元204b所计算出的不必要成分的合成值，降低通过视差图像合成单元204c所合成的视差图像中的任何不必要成分(第二不必要成分)。在本实施例中，第二不必要成分是第一不必要成分的合成值、或者基于第一不必要成分的合成值所获得的值。
[0048]在图像处理单元204中处理后的输出图像(图像数据)，被存储在诸如半导体存储器和光盘等的图像记录介质209中。可以将来自图像处理单元204的输出图像显示在显示单元205上。存储单元208存储图像处理单元204进行的图像处理所需的图像处理程序和各种类型的信息。
[0049]系统控制器210 (控制单元)控制摄像元件202的操作、图像处理单元204的处理、以及摄像光学系统201 (光圈201a和调焦透镜201b)。摄像光学系统控制单元206响应于来自系统控制器210的控制指示，对于摄像光学系统201的光圈201a和调焦透镜201b进行机械驱动。光圈201a根据所设置的光圈值(F值)来控制其开口直径。调焦透镜201b根据被摄体距离，通过自动调焦(AF)系统和手动调焦机构(未示出)来控制其位置以进行调焦(焦点控制)。状态检测单元207响应于来自系统控制器210的控制指示，获取当前摄像条件信息。在本实施例中，作为包括摄像元件202的摄像设备200的一部分，包括摄像光学系统201 (与摄像设备200是一体)，但是不局限于此。如单镜头反光照相机一样，该摄像系统可以包括可拆卸地装配至摄像设备机体的