图像处理装置、图像拍摄装置、图像处理方法和程序的制作方法

专利名称：图像处理装置、图像拍摄装置、图像处理方法和程序的制作方法
技术领域：
本公开涉及用于通过利用以不同曝光时间拍摄的多个图像产生具有宽动态范围的图像的图像处理装置、采用该图像处理装置的图像拍摄装置、用于该图像处理装置的图像处理方法以及实施该图像处理方法的图像处理程序。更具体地，本公开涉及用于在用以产生具有宽动态范围的图像的操作中，通过利用具有不同曝光时间的多个图像来抑制视频中产生的闪烁(flicker)和彩色信号系统的闪烁的机构。这些闪烁是由于对于拍摄图像存在的光源之间的差异、照明光中包括的作为电源频率波动的波动或余辉(afterglow)的特性而引起的。视频中产生的闪烁也称为光源闪烁，而彩色信号系统的闪烁也称为颜色闪烁或色漂(color rolling)。
背景技术：
用于拍摄图像拍摄对象的图像的图像拍摄装置包括用于控制入射到装置的像素部分的光量的机构。图像拍摄装置一般是CCD(电荷耦合器件)、M0S(金属氧化物半导体) 或CMOS(互补M0S)型的固态图像拍摄装置。在下面的描述中，也将像素部分称为图像拍摄部分、像素阵列部分、图像传感器或光电转换传感器，而也将该机构称为入射光量控制器。入射光量控制器是在其图像拍摄透镜上提供了机械光圈(diaphragm)机构的控制器，或者在其图像拍摄透镜上提供了机械快门机构的控制器。在下面的描述中，将机械光圈机构称为机械虹膜(iris)，而将机械快门机构仅称为机械快门。作为替代，入射光量控制器也可以是具有所谓的电子快门功能的控制器，所述电子快门功能能够控制固态图像拍摄装置的像素部分中信号电荷的累积时间的长度。在下面的描述中，累积时间也称为曝光时间。机械光圈和机械快门可以彼此独立地使用。然而，也可以通过将机械光圈与机械快门或电子快门进行组合来使用机械光圈。顺便提及，如果多种图像拍摄装置用于通过利用置于稳定状态(其中，光源产生的光的亮度不会变化)下的光源来拍摄图像，则所述装置不会带来问题。然而，如果通过利用具有周期性发光特性且与半导体图像拍摄装置的曝光周期异步工作的光源(如，荧光灯)来拍摄图像，则产生光源闪烁。要注意的是，光源闪烁与作为屏幕亮度的闪烁的亮度闪烁不同，并且与也简称为颜色闪烁或色漂的颜色再现闪烁不同。光源闪烁被感知为这样的现象其中，视频信号由于光源的亮度变化与图像拍摄装置的曝光周期之间的关系而改变。例如，视频信号的亮度信号分量由于利用具有频率f的商用电源的光源的亮度变化而改变，并且由于具有图像拍摄装置的场周期fv的差拍分量(beat component)而改变。 在这种情况下，亮度变化是Ι/nf秒的时段内的变化，其中参考标记η通常是整数2。由于视频信号的亮度信号分量改变，因此输出视频同样在与人眼的余辉特性也有关的时段变化。 感觉到图像闪烁的现象称为亮度闪烁。
例如，在采用具有60Hz场频的NTSC制式并且商用电源的频率f为50Hz的区域中， 易于产生亮度闪烁。在采用具有50Hz场频的PAL制式并且商用电源的频率f为60Hz的区域中，也易于产生亮度闪烁。另外，与电灯泡相比，荧光灯的亮度由于荧光灯的发光特性而改变，从而荧光灯非常显著地产生亮度闪烁。要注意的是，60Hz场频的声明换言之可称为30fps帧频的声明。更准确来说，场频是59. 94Hz。另一方面，50Hz场频的声明换言之可称为25fps帧频的声明。例如，荧光灯的发光周期是10ms，而具有60Hz场频的NTSC制式中的曝光操作的周期是16. 7ms。在这种情况下，荧光灯的发光周期与NTSC制式中的曝光操作的周期的最小公倍数是50ms。也就是说，在三个曝光操作中，荧光灯的发光周期与NTSC制式中曝光操作的周期之间的关系被恢复。因此，存在三种曝光周期。固态图像拍摄装置在这三个曝光周期之间输出的信号的电平差异使得以20Hz的闪烁频率F产生闪烁。另外，如果使用电子快门的功能，则快门模式下操作的快门速度越高，一场时段中包括的作为用于在固态图像拍摄装置中累积电荷的累积时间的时间就越短。因此，闪烁的幅度变得大于1/60秒的正常快门速度的闪烁的幅度。电子快门的速度越高，产生的闪烁就越明显。结果，在屏幕上出现主要包括图像亮度闪烁的闪烁，使得屏幕上显示的图像质量显著地恶化。另外，绿、红和蓝色是在荧光灯中使用的荧光物质的三种颜色。即使以相同的时序开始三种颜色的发射，三种颜色的光量也以不同的速率减小，从而三种颜色最终在不同时间消失。也就是说，荧光灯发射的光随着时间的经过而改变其光谱。一般而言，特别地，绿色的发射时间在三种颜色之中是最长的。另一方面，蓝色的发射时间在三种颜色之中是最短的。也就是说，红色的发射时间在绿色和蓝色的发射时间之间。因此，取决于高速快门的快门时刻，某些情况下仅可以拍摄所发射的光的一个或两个颜色分量。在通过利用高速电子快门拍摄图像的操作中，所获得的光谱中的差异出现颜色变化。如上所述，彩色再现闪烁也称为颜色闪烁或色漂。特别地，不能将蓝色光分量当作颜色闪烁。在许多情况下，如果正常地执行图像拍摄操作，则无意地将蓝色光分量当作黄色光分量。

发明内容
顺便提及，日本专利特开No. Hei 7-322147描述了一种用于通过合成具有不同曝光量的图像来产生拥有宽动态范围的视频信号的固态图像拍摄装置。在这种图像拍摄装置的情况下，如果以正常图像拍摄曝光时间拍摄亮部分的图像，则输出具有超过图像拍摄装置中采用的光电转换传感器的饱和电平的值，从而不能使用该值。由此，为了获得宽动态范围，必须拍摄每一个均具有小曝光量的图像，然后合成所拍摄的图像。图1是示出对于产生具有宽动态范围的图像所需要的图像的光量与传感器输出之间的关系的概念图。以正常曝光时间拍摄的图像包括由于这种不能获取的图像的光量超过光电转换传感器的饱和电平的这一事实而不能获取的图像。对于不能获取的图像，缩短曝光时间以便防止光量超过光电转换传感器的饱和电平，从而可以获得有意义的信息。将以短曝光时间拍摄的图像的每一个像素的值乘以下面所述的曝光比的倒数，或者与一偏移相加，以便产生作为结果的像素值。然后，对于每一个像素，将作为结果的像素值与以长曝光时间拍摄的图像的对应像素的值进行比较，以便选择相互比较的两个像素中特定的一个并丢弃另一个。以这种方式，可以产生具有宽动态范围的合成图像。要注意的是，曝光比是正常拍摄的图像的快门速度与以短曝光时间拍摄的图像的快门速度之比。如上所述，为了产生具有宽动态范围的图像，必须通过与(1/几千)秒的曝光时间对应的快门速度，将曝光时间减小到相对短的一个。在下面的描述中，曝光时间也称为快门时间。由此，以这种短曝光时间拍摄的图像已经产生了颜色闪烁。在下面的描述中，将以这种短曝光时间拍摄的图像称为短曝光图像。另一方面，在许多情况下，通常以一般1/60或1/100秒的曝光时间所对应的快门速度获得以等于或长于标准视频信号的曝光时间的曝光时间所拍摄的图像。在下面的描述中，将以这种长曝光时间拍摄的图像称为长曝光时间图像。由此，如之前说明的那样，长曝光时间图像几乎不受颜色闪烁的影响。据此，颜色闪烁对于短曝光时间图像的影响大，而颜色闪烁对于长曝光时间图像的影响小。由此，结果，在具有宽动态范围的合成图像的一部分上不期望地产生颜色闪烁。 据此，由于合成图像与用户眼睛实际看到的图像不同，因此用户不可避免地以不自然的方式感觉合成图像。为了解决上述问题，已经提出了这样的建议彼此独立地执行对于通过利用短曝光时间光拍摄的图像的白平衡调整处理和对于通过利用长曝光时间光拍摄的图像的白平衡调整处理。图2是示出用于彼此独立地执行对于通过利用短曝光时间光拍摄的图像的白平衡调整处理和对于通过利用长曝光时间光拍摄的图像的白平衡调整处理的第一典型图像拍摄装置1的框图。如图中所示，图像拍摄装置1采用固态图像拍摄器件2、前级处理部分3-1和3-2、 转换处理部分4-1和4-2 (其每一个均用于将RAW数据转换为RGB数据)以及积分值计算处理部分5。图像拍摄装置1还具有白平衡调整处理部分6-1和6-2、放大器7_1和7_2、合成处理部分8、后级处理部分9和CPU 10。图像拍摄装置1中采用的积分值计算处理部分5计算长曝光时间光的RGB数据的积分值以及短曝光时间光的RGB数据的积分值。积分值计算处理部分5将计算出的积分值提供到CPU 10。基于积分值，CPU 10计算要作为乘数用于长曝光时间图像的白平衡增益以及要作为乘数用于短曝光时间图像的白平衡增益。CPU 10将计算出的白平衡增益提供到白平衡调整处理部分6-1和6-2。白平衡调整处理部分6-1执行白平衡调整处理，以将长曝光时间图像的RGB数据乘以数据的白平衡增益，而白平衡调整处理部分6-2执行白平衡调整处理，以将短曝光时间图像的RGB数据乘以数据的白平衡增益。
如上所述，通过采用这种系统配置，可以将长曝光时间图像和短曝光时间图像乘以它们相应的彼此不同的白平衡增益。图3是示出用于彼此独立地执行对于通过利用短曝光时间光拍摄的图像的白平衡调整处理和对于通过利用长曝光时间光拍摄的图像的白平衡调整处理的第二典型图像拍摄装置IA的框图。图3中所示的图像拍摄装置IA是图2中所示的图像拍摄装置1的典型修改。在图3所示的图像拍摄装置IA中，在合成处理部分8的后级提供积分值计算处理部分5和白平衡调整处理部分6。如果可以将指示在通过图3中所示的图像拍摄装置IA的合成处理部分8执行的合成处理中已经据以选择了像素的长曝光时间图像或短曝光时间图像的信息作为每一像素的标志FLG提供到后级，则在后合成处理中，可以执行与图2中所示的图像拍摄装置1的处理相同的处理。如之前所述，图2中所示的图像拍摄装置1所执行的处理包括积分值计算处理和白平衡调整处理。在图3所示的图像拍摄装置IA中，将标志FLG提供到白平衡调整处理部分6。因此，白平衡调整处理6具有与图4中所示的电路配置类似的电路配置。如图4所示，白平衡调整处理6采用选择器61和乘法器62。选择器61基于指示在合成处理部分8执行的合成处理中已经选择了长曝光时间图像还是短曝光时间图像的标志FLG来选择白平衡增益。如果标志FLG指示已经选择了长曝光时间图像，则选择器61选择长曝光时间图像的白平衡增益WBG_R_Long、WBG_G_Long和WBG_B_Long，并将所选择的白平衡增益WBG_R_ Long、WBG_G_Long 和 WBG_B_Long 提供到乘法器 62。另一方面，如果标志FLG指示已经选择了短曝光时间图像，则选择器61选择短曝光时间图像的白平衡增益WBG_R_aiort、WBG_G_Short和WBG_B_aiort，并将所选择的白平衡增益 WBG_R_Short, WBG_G_Short 和 WBG_B_Short 提供到乘法器 62。乘法器62将作为RAW-RGB转换处理部分4所执行的用以将RAW数据转换为R、G 和B信号的转换处理的结果所获得的R、G和B信号乘以选择器61选择的白平衡增益，以便输出经白平衡调整的图像。图3所示的配置提供了这样的优点经历积分值计算处理和白平衡调整处理的像素数是经历图2中所示的配置中执行的积分值计算处理和白平衡调整处理的像素数的一半。也就是说，图2中所示的图像拍摄装置1对于两个图像(即，长曝光时间图像和短曝光时间图像)的像素执行处理，而图3中所示的图像拍摄装置IA仅对于一个图像(即，合成图像)的像素执行处理。由此，图3中所示的图像拍摄装置IA具有比图2中所示的图像拍摄装置1更小的电路尺寸。在由图3所示的系统执行的用以产生具有宽动态范围的图像的处理中，大多数长曝光时间图像PXLE和大多数短曝光时间图像PXSE乘以它们相应的彼此不同的白平衡增益。因此，自然白色的图像拍摄对象的颜色是白色。然而，在图3中所示的系统中，在长曝光时间图像的像素和短曝光时间图像的像素彼此混合的混合区域PXMX中，如图5所示那样不期望地产生错误颜色。根据前级提供的合成处理部分8所采用的合成处理方法，错误颜色归因于不同的原因。通过参照下面所述的一些概念图，将原因说明如下。图6示出表示在合成图像产生时间执行的像素选择处理的流程图。图7A和7B是根据现有技术中的技术描述以短或长曝光时间图像选择时间在混合区域中产生错误颜色的原因时要参照的说明图。图8A和8B是在根据现有技术中的技术描述以混合时间在混合区域中产生错误颜色的原因时要参照的说明图。图9是示出表示混合比与像素值或亮度级别之间的关系的曲线图的图。图6中所示的流程图开始于接收像素的步骤ST1。然后，在下一步骤ST2，检查像素以便确定像素值或像素的亮度级别是否等于或大于阈值LVTH。如果像素值或像素的亮度级别等于或大于阈值LVTH，则在步骤ST3选择短曝光时间图像。另一方面，如果像素值或像素的亮度级别小于阈值LVTH，则在步骤ST4选择长曝光时间图像。在任一情况下，处理的流程然后进行到下一步骤ST5，以便确定是否已经处理了最后像素。重复地执行处理，直到已经处理了最后像素为止。如果在上述处理中在混合区域部分中已经选择了长曝光时间图像或短曝光时间图像的RAW数据，如图7A所示，则根据情景，以混合状态提供长曝光时间图像和短曝光时间图像的数据(像素值)，作为要选择的数据。当执行将RAW数据转换为RGB数据的处理时，使用至少一个相邻RAW数据(像素值)的信息。因此，以混合状态提供长曝光时间图像和短曝光时间图像的数据(像素值) 的操作使得不能高精度地表达颜色(如图7B所示)。结果，在某些情况下不期望地产生错误颜色。另外，为了去除以混合状态提供长曝光时间图像和短曝光时间图像的数据(像素值)的操作，如图8A所示，在混合区域的情况下，在某些情况下采用一方法以将长曝光时间图像的RAW数据和短曝光时间图像的RAW数据混合，以便产生合成图像。图9是示出信号电平或亮度级别与混合比α之间的关系的图。在这种情况下，不能知道长曝光时间图像的白平衡增益和短曝光时间图像的白平衡增益中的哪一个要作为混合区域部分的乘数用于后级提供的白平衡调整处理部分6。另外，即使任一白平衡增益用作乘数，增益也不能很好地匹配，从而结果如图8Β 所示那样产生错误颜色。由于用作乘数的增益与用作被乘数的RAW数据之间起源上的差， 因此白平衡增益未很好地匹配。在这种情况下，RAW数据是长曝光时间图像和短曝光时间图像的混合。要注意的是，在图8A和8B所示的典型示例中，长曝光时间图像的白平衡增益用作乘数。另外，分别基于通过利用长曝光时间图像或短曝光时间图像而获得的信息，确定要用作乘数的长曝光时间图像的白平衡增益或短曝光时间图像的白平衡增益。如上所述，在能够将长曝光时间图像和短曝光时间图像乘以它们的相应的彼此不同的白平衡增益的现有技术的系统中，在某些情况下，出现了在多个图像的混合区域中产生错误颜色的问题。本公开提供了即使在对于长曝光时间图像和短曝光时间图像存在不同光源的情况下以及即使在颜色闪烁(或色漂)存在的情况也能够有效地抑制混合区域中产生的错误颜色的图像处理装置，并且提供了采用该图像处理装置的图像拍摄装置、该图像处理装置要采用的图像处理方法以及实施该图像处理方法的图像处理程序。根据本公开第一模式的图像处理装置具有合成处理部分，其配置为合成以不同曝光时间拍摄的多个图像。在用以合成所述拍摄图像的处理中，所述合成处理部分获取根据从所述拍摄图像中选择的分量而变化的拍摄图像混合比，并通过将所述混合比应用于要混合所述拍摄图像的像素的混合区域，对于所述混合区域执行混合处理。根据本公开第二模式的图像拍摄装置具有图像拍摄设备，用于以不同曝光时间拍摄多个图像；以及合成处理部分，其配置为合成所述图像拍摄设备拍摄的所述图像。在用以合成所述拍摄图像的处理中，所述合成处理部分获取根据从所述拍摄图像中选择的分量而变化的拍摄图像混合比，并通过将所述混合比应用于要混合所述拍摄图像的像素的混合区域，对于所述混合区域执行混合处理。根据按照本公开第三模式的图像处理方法，用以合成以不同曝光时间拍摄的多个图像的处理包括用以获取根据从所述拍摄图像中选择的分量而变化的拍摄图像混合比的操作，以及通过将所述混合比应用于要混合所述拍摄图像的像素的混合区域而对于所述混合区域执行混合处理。根据本公开第四模式的图像处理程序是计算机在如下处理中执行的图像处理程序，在所述处理中，合成以不同曝光时间拍摄的多个图像，以便执行用以获取根据从所述拍摄图像中选择的分量而变化的拍摄图像混合比的操作，以及通过将所述混合比应用于要混合所述拍摄图像的像素的混合区域而对于所述混合区域执行的混合处理。根据本公开，即使对于长曝光时间图像和短曝光时间图像存在多个不同光源以及即使存在颜色闪烁(或色漂)，也可以有效地抑制混合区域中产生的颜色闪烁。


图1是示出对于产生具有宽动态范围的图像所需要的图像的光量与传感器输出之间的关系的概念图；图2是示出用于彼此独立地执行对于通过利用短曝光时间光拍摄的图像的白平衡调整处理和对于通过利用长曝光时间光拍摄的图像的白平衡调整处理的第一典型图像拍摄装置的框图；图3是示出用于彼此独立地执行对于通过利用短曝光时间光拍摄的图像的白平衡调整处理和对于通过利用长曝光时间光拍摄的图像的白平衡调整处理的第二典型图像拍摄装置的框图；图4是示出后级提供的白平衡调整处理部分的典型配置的图；图5是在混合区域中产生的错误颜色的描述中要参照的说明图；图6示出表示在合成图像产生时间执行的像素选择处理的流程图；图7A和7B是根据现有技术中的技术描述以短或长曝光时间图像选择时间在混合区域中产生错误颜色的原因时要参照的多个说明图；图8A和8B是在根据现有技术中的技术描述以混合时间在混合区域中产生错误颜色的原因时要参照的多个说明图；图9是示出表示混合比与像素值或亮度级别之间的关系的曲线图的图；图10是示出采用根据本公开第一实施例的图像处理装置的图像拍摄装置的典型配置的框图；图11是示出采用用于根据第一实施例抑制混合区域中产生的错误颜色的合成方法的合成处理部分的典型配置的框图；图12示出表示用以根据第一实施例确定长/短曝光时间选择标志的值的处理的流程图；图13A和1 是在说明根据第一实施例可以抑制混合区域中产生的错误颜色的原因时参照的多个概念图；图14是示出采用根据本公开第二实施例的图像处理装置的图像拍摄装置的典型配置的框图；图15是示出根据第二实施例将合成方法应用于拍摄图像以便抑制混合区域中产生的错误颜色的合成处理部分的典型配置的图；图16是示出根据第二实施例将合成方法应用于白平衡增益以便抑制混合区域中产生的错误颜色的白平衡调整处理部分的典型配置的图；图17A和17B是说明通过利用根据第二实施例提供的合成处理部分和白平衡调整处理部分可以抑制混合区域中产生的错误颜色的原因的多个概念图；图18示出表示用以根据本公开第三实施例计算混合比的处理的流程图；图19是示出配备有根据第三实施例的静态/动态确定功能的、用作图11中所示的合成处理部分的修改的合成处理部分的典型配置的框图；图20是示出提供有根据第三实施例的静态/动态确定功能的、用作图15中所示的合成处理部分的修改的合成处理部分的典型配置的框图；图21是示出采用根据本公开第四实施例的图像处理装置的图像拍摄装置的典型配置的框图；图22是示出采用根据本公开第五实施例的图像处理装置的图像拍摄装置的典型配置的框图；图23是示出采用根据本公开第六实施例的图像处理装置的图像拍摄装置的典型配置的框图；图M是示出采用根据本公开第七实施例的图像处理装置的图像拍摄装置的典型配置的框图；图25示出表示根据第七实施例检测颜色闪烁的处理的流程图；图沈示出表示用以积分R、G和B像素值的处理的流程图；图27是在用于针对不考虑噪声容限的情况指定像素值的积分范围的方法的描述中所参照的概念图；图观是在用于针对考虑噪声容限的情况指定像素值的积分范围的方法的描述中所参照的概念图；图四是示出针对短曝光时间图像的R与G之比以及B与G之比的概念图；图30是示出针对长曝光时间图像的R与G之比以及B与G之比的概念图；图31是示出了通过利用等式而获得的典型颜色闪烁评估值的图；图32是在描述典型颜色闪烁确定方法时要参照的说明图；图33是示出颜色闪烁检测处理部分的典型配置的框图34示出表示颜色闪烁检测和确定度计算处理的流程图；图35是在说明用于计算检测颜色闪烁的确定度的方法时要参照的图；图36是示出检测颜色闪烁的确定度的图；图37是在说明用于计算检测颜色闪烁的确定度的另一方法时要参照的图；图38是示出用于计算对于短和长曝光时间图像的不同的最终白平衡增益的白平衡增益计算系统的图；图39是在描述用于计算混合比α的方法时要参照的说明图；图40是示出用于计算对于短和长曝光时间图像的不同的最终白平衡增益的另一白平衡增益计算系统的图；图41是示出具有用以抑制颜色闪烁的功能的颜色闪烁检测处理部分的典型配置的框图；图42是示出采用根据本公开第八实施例的图像处理装置的图像拍摄装置的典型配置的框图；图43示出表示用以根据第八实施例检测颜色闪烁的处理的流程图；图44是示出根据第八实施例的颜色闪烁检测处理部分的典型配置的框图；图45示出表示根据本公开第九实施例、针对包括R、G和B积分值的静态/动态确定作为附加条件的情况的处理的流程图；图46是示出提供有根据第九实施例的静态/动态确定功能的颜色闪烁检测处理的典型配置的框图；图47示出表示用以根据本公开第十实施例积分评估值(而非积分R、G和B积分值)的处理的流程图；图48示出表示针对已经执行了用以积分评估值的处理的情况的颜色闪烁确定处理的流程图；图49用作在对于根据第十一实施例执行用以分割颜色闪烁检测区域的处理的情况的描述中要参照的说明图，并且用作示出了存在多个光源的典型情形的图；图50是在对于根据第十一实施例执行用以分割颜色闪烁检测区域的处理的情况的描述中要参照的说明图；图51是示出采用根据本公开第十二实施例的图像处理装置的图像拍摄装置的典型配置的框图；图52是示出采用根据本公开第十三实施例的图像处理装置的图像拍摄装置的典型配置的框图；图53是示出采用根据本公开第十四实施例的图像处理装置的图像拍摄装置的典型配置的框图；以及图M是示出采用根据本公开第十五实施例的图像处理装置的图像拍摄装置的典型配置的框图。
具体实施例方式参照

本公开的实施例。要注意的是，在按照如下那样安排的各部分中描述各实施例
1.实施图像拍摄装置的第一典型图像处理装置的第一实施例2.实施图像拍摄装置的第二典型图像处理装置的第二实施例3.实施图像拍摄装置的第三典型图像处理装置的第三实施例4.实施图像拍摄装置的第四典型图像处理装置的第四实施例5.实施图像拍摄装置的第五典型图像处理装置的第五实施例6.实施图像拍摄装置的第六典型图像处理装置的第六实施例7.实施图像拍摄装置的第七典型图像处理装置的第七实施例8.实施图像拍摄装置的第八典型图像处理装置的第八实施例9.实施图像拍摄装置的第九典型图像处理装置的第九实施例10.实施图像拍摄装置的第十典型图像处理装置的第十实施例11.实施图像拍摄装置的第十一典型图像处理装置的第十一实施例12.实施图像拍摄装置的第十二典型图像处理装置的第十二实施例13.实施图像拍摄装置的第十三典型图像处理装置的第十三实施例14.实施图像拍摄装置的第十四典型图像处理装置的第十四实施例15.实施图像拍摄装置的第十五典型图像处理装置的第十五实施例1 第一实施例图10是示出采用根据本公开第一实施例的图像处理装置120的图像拍摄装置100 的典型配置的框图。图像拍摄装置的配置图像拍摄装置100采用固态图像拍摄器件110和图像处理装置120。图像处理装置120具有前级处理部分121和122、放大器123和124以及合成处理部分口5。另外，图像处理装置120还包括RAW-RGB转换处理部分126、积分值计算处理部分127、白平衡调整处理部分128、后级处理部分1 和用作控制部分的CPU(中央处理单元)130。以根据用以产生具有宽动态范围的图像所执行的处理操作的顺序的次序来说明组成图像拍摄装置100的各个块。固态图像拍摄器件110被配置为图像传感器，如CCD图像传感器或CMOS图像传感器。在本公开的此说明书中，技术术语‘传感器’也用以表示固态图像拍摄器件110。固态图像拍摄器件110执行光电转换，以将光学系统(图中未示出)创建的拍摄图像转换为数字信号，将数字信号提供到图像处理装置120中采用的前级处理部分121和 122。在固态图像拍摄器件110中，创建以不同曝光时间拍摄的多个图像，以便产生具有宽动态范围的图像。具体地，固态图像拍摄器件110输出表示以不同曝光时间拍摄的至少两个图像的数字信号。在图中所示的配置中，附图标记PXSE表示作为以短曝光时间拍摄的图像的短曝光时间图像。另一方面，附图标记PXLE表示作为以等于比短曝光时间更长的正常曝光时间或者甚至长于正常曝光时间的长曝光时间拍摄的图像的长曝光时间图像。短曝光时间图像和长曝光时间图像用于产生具有宽动态范围的图像。
前级处理部分121和122执行的前级处理是必须在相对靠近透镜输出的位置处执行的处理。前级处理包括黑电平平衡处理、噪声消除处理和黑点校正(shading correction)处理。前级处理部分121对长曝光时间图像执行黑电平平衡处理、噪声消除处理和黑点校正处理。另一方面，前级处理部分122对短曝光时间图像执行黑电平平衡处理、噪声消除处理和黑点校正处理。放大器123将已经经历了前级处理部分121中执行的前级处理的长曝光时间图像乘以从CPU 130接收到的增益以便产生乘积，并将乘积提供到合成处理部分125。同样地，放大器IM将已经经历了前级处理部分122中执行的前级处理的短曝光时间图像乘以从CPU 130接收到的增益以便产生乘积，并将乘积提供到合成处理部分125。CPU 130输出的增益可以是曝光比的倒数或者该倒数的校正值。曝光比是正常拍摄的图像的快门速度与短曝光时间图像的快门速度之比。合成处理部分125执行处理以便以像素为单元将长曝光时间图像与短曝光时间图像合成。合成方法的细节将在稍后描述。作为合成处理的结果，合成处理部分125输出合成图像以及为合成图像的每个合成图像像素提供的标志信息(其指示长曝光时间图像的像素和短曝光时间图像的像素中的哪一个已经被选择为合成图像像素)。在下面的描述中，将标志信息称为长/短曝光时间选择标志FLGLS。合成处理部分125将合成图像输出到RAW-RGB转换处理部分126，然后RAW-RGB转换处理部分1 对合成图像执行RAW-RGB转换处理。RAff-RGB转换处理是用以将固态图像拍摄器件110针对每个像素输出的RAW数据转换为三个数据(即，R数据、G数据和B数据)的处理。RAW-RGB转换处理也称为去马赛克处理。要注意的是，RAW数据包括R、G和B色或补色的拜耳阵列的值以及像素值，其中每一个像素值均是通过将像素值经过滤色镜并对像素值执行电光转换而为像素获得的。RAff-RGB转换处理部分1 将作为RAW-RGB转换处理的结果而获得的R、G和B合成图像输出到积分值计算处理部分127和白平衡调整处理部分128。首先，以下描述说明白平衡调整处理部分1 和后级处理部分129的配置以及由白平衡调整处理部分1 和后级处理部分1 执行的功能。根据从合成处理部分125接收到的长/短曝光时间选择标志FLGLS，白平衡调整处理部分1 将从RAW-RGB转换处理部分1 接收到的R、G和B合成图像的像素值乘以针对长曝光时间图像和短曝光时间图像的像素从CPU 130接收到的其相应的R、G和B白平衡增益。在下面的描述中，针对长曝光时间图像和短曝光时间图像的像素从CPU130接收到的 R、G 禾口 β 白平衡增益称为 WBG_R_Long、WBG_G_Long、WBG_B_Long、WBG_R_Short、WBG_ G_Short 和 WBG_B_Short0如之前所述，长/短曝光时间选择标志FLGLS是指示长曝光时间图像的像素和短曝光时间图像的像素中的哪一个已经被选择为合成图像像素的标志。
后级处理部分1 对于从白平衡调整处理部分1 接收到的图像执行后级处理。 后级处理包括噪声消除、边缘加强处理、灰度级转换和伽马处理。如上所述，RAff-RGB转换处理部分1 将作为RAW-RGB转换处理结果而获得的R、 G和B合成图像输出到积分值计算处理部分127。积分值计算处理部分127基于R、G和B合成图像以及长/短曝光时间选择标志 FLGLS确定每一个均满足给定条件的像素，执行处理以积分每一个像素的值。最终，积分值计算处理部分127将作为对于整个屏幕的像素执行处理的结果而获得的R、G和B图像的每一个积分结果输出到CPU 130。以上提到的给定条件表示区域规格，其为图像的位置坐标的规格，以及从某一电平(level)的像素值到另一个某一电平的像素值的范围的规格。另外，给定条件也可以表示要求长/短曝光时间选择标志FLGLS以指示已经选择了长曝光时间图像或短曝光时间图像的条件。在下面的描述中，将积分值计算处理部分127产生的积分结果称为Sum_R_L0ng、 Sum_G_Long、Sum_B_Long、Sum_R_Short、Sum_G_Short 禾口 Sum_B_Short。根据积分值计算处理部分127提供的R、G和B积分结果，CPU 130计算对于长曝光时间图像的白平衡增益WBG_R_Long、WBG_G_Long和WBG_B_Long以及对于短曝光时间图像的白平衡增益 WBG_R_Short、WBG_G_Short 和 WBG_B_Short。作为计算白平衡增益的方法，CPU 130基于以下给出的等式(1-1)到(1_6)采用与典型方法类似的计算方法。然而，基于等式(1-1)到(1-6)的计算方法只不过是典型方法，或者CPU采用的计算方法不特别地限于该典型方法。也就是说，CPU 130可以采用任何计算方法，只要该方法是根据现有技术的技术的现有方法即可。[等式1]WBG_R_Long = Sum_G_Long/Sum_R_Long . . . (1-1)WBG_G_Long = 1. 0 ... (1-2)WBG_B_Long = Sum_G_Long/Sum_B_Long . . . (1-3)WBG_R_Short = Sum_G_Short/Sum_R_Short . . . (1-4)WBG_G_Short = 1. 0 . . . (1-5)WBG_B_Short = Sum_G_Short/Sum_B_Short . . . (1-6)合成处理的详细描述下面的描述说明用于抑制混合区域中产生的错误颜色的合成方法的细节。图11是示出采用用于根据第一实施例抑制混合区域中产生的错误颜色的合成方法的合成处理部分125的典型配置的框图。如图中所示，合成处理部分125采用RAW-YC转换处理部分1251和1252、选择器 1253、混合比计算部分1254、乘法器1255和1256、减法器1257、加法器1258和YC-RAW转换处理部分1259。RAff-YC转换处理部分1251对于RAW-YC转换处理部分1251接收到的长曝光时间图像的RAW数据RAW_long执行RAW-YC转换处理。RAff-YC转换处理部分1252对于RAW-YC转换处理部分1252接收到的短曝光时间图像的RAW数据RAW_short执行RAW-YC转换处理。
RAff-YC转换处理是将RAW数据转换为亮度(Y)分量和颜色(C)分量的处理。RAW-YC转换处理中使用的转换公式根据RAW数据、亮度⑴分量和颜色(C)分量的起源和评估值而变化。这里，RAW数据的起源指示图像拍摄设备已将哪个滤色镜用于获取图像拍摄信息。滤色镜可以是R(红)、G(绿)、B(蓝)、C(青)、M(紫)、Y(黄)或G(绿) 滤波器。评估值指示现有彩色空间，其可以是YCrCb、YUV或YPrPb。以下给出的等式0-1)到(2-3)是针对图像拍摄设备的滤色镜是RGB原色系统的滤波器的情况变换至YCrCb的典型转换公式。以下给出的等式(3-1)到(3-3)可用作表示RGB原色系统和CMYG补色系统之间的关系的等式。因此，通过将等式(3-1)到(3-3)代入等式到Q-3)，CMYG补色系统可以变换为YCrCb。[等式2]Y = O. 257 X R+0. 504 X G+0. 098 X B ... (2-1)Cr = -0. 148 X R-0. 291XG+0. 439 X B . . . (2-2)Cb = 0. 439 X R-0. 368 X G-0. 071 X B ... (2-3)[等式3]C=LO-R …(3-1)M=LO-G …(3-2)Y=LO-B …(3-3)以上给出的等式是典型的变换公式。其它变换公式或简化公式也可以使用。另外， 其它评估值同样也可以使用。除此之外，对于在上述转换处理中如何使用像素信息或周围像素信息没有特别限制。作为转换处理的结果，RAff-YC转换处理部分1251和1252分别产生长曝光时间图像和短曝光时间图像的亮度(Y)分量和颜色(C)分量。在混合比计算部分1254、乘法器 1255和1256以及减法器1257中，亮度(Y)分量经历利用混合比α (也称为搀和比)的合成处理。在合成处理中，混合比计算部分12Μ通过利用长曝光时间图像的亮度(Y)分量和短曝光时间图像的亮度(Y)分量来计算混合比α。用于计算混合比α的方法可以是通过参照图9在之前说明的技术，或者稍后说明的修改版本所采用的方法。颜色(C)分量不经历合成处理。长曝光时间图像的颜色(C)分量或短曝光时间图像的颜色(C)分量由选择器1253根据C分量选择信号CSEL来选择，并且由YC-RAW转换处理部分1259使用所选择的颜色(C)分量。长曝光时间图像的颜色(C)分量和短曝光时间图像的颜色(C)分量中的所选择的一个不会带来问题。然而，在用于产生具有宽动态范围的图像的系统的情况下，短曝光时间图像的信号电平低。因此，极有可能的是，在短曝光时间图像中产生相对大量的噪声。由于上述原因，极有可能的是，在许多情况下，长曝光时间图像的所选颜色(C)分量好于短曝光时间图像的所选颜色(C)分量。最终，YC-RAW转换处理部分1259利用混合的亮度⑴分量和所选颜色(C)分量来执行将各分量转换回RAW数据的处理。该处理基于利用通过反转之前描述的公式而获得的公式的转换方法。
如之前所述，合成处理部分125输出作为合成处理的结果而获得的合成图像以及对于合成图像的每一个合成图像像素提供的长/短曝光时间选择标志FLGLS(用于指示长曝光时间图像的像素和短曝光时间图像的像素中的哪一个已经被选择为合成图像像素)。这里，在第一实施例的情况下，混合区域的长/短曝光时间选择标志FLGLS的值指示已经选择了长曝光时间图像的颜色(C)分量或短曝光时间图像的颜色(C)分量。因此， 用于确定长/短曝光时间选择标志FLGLS的值的方法可以由图12中所示的流程图表示。图12示出了表示用以根据第一实施例确定长/短曝光时间选择标志FLGLS的值的处理的流程图。表示以上处理的流程图开始于接收像素值的步骤ST11。然后，在下面的步骤 ST12，计算混合比α。如果在下面的步骤ST13获得混合比α的计算值为0. 0，则在步骤 ST14输出短曝光时间图像的ID(标识符)。如果在下面的步骤ST13获得混合比α的计算值为处于范围0.0 < α <1.0中的值，则在步骤ST15输出已经选择了其颜色(C)分量的图像的ID(标识符)。如果在下面的步骤ST13获得混合比α的计算值为1.0，则在步骤ST16 输出长曝光时间图像的ID(标识符)。在任一情况下，处理流程然后进行到下一步骤ST17，以便确定是否已经处理了最后像素。重复地执行处理，直到已经处理了最后像素为止。以上已经描述了根据第一实施例的合成处理部分125。图13A和1 是在下面说明根据第一实施例可以抑制混合区域中产生的错误颜色的原因时参照的概念图。图13A是在下面说明根据第一实施例的合成处理方法时参照的概念图。在第一实施例中，颜色(C)分量不经历合成处理。也就是说，原样使用以长或短曝光时间拍摄的图像的颜色(C)分量。因此，同样在后级提供的白平衡调整处理部分128中， 所使用的颜色(C)分量仅乘以颜色(C)分量的白平衡增益。结果，如图1 所示，在混合区域PXMX中，适当的白平衡增益可以用作乘数以抑制混合区域PXMX中产生的错误颜色。2:第二实施例图14是示出采用根据本公开第二实施例的图像处理装置120A的图像拍摄装置 100A的典型配置的框图。根据第二实施例的图像拍摄装置100A与根据第一实施例的图像拍摄装置100的不同之处在于，在第二实施例的情况下，将新信号从合成处理部分125A发送到白平衡调整处理部分128A以传输混合比。合成处理部分125A和白平衡调整处理部分128A将在稍后详细说明。因此，除了合成图像信号和长/短曝光时间选择标志FLGLS之外，第二实施例中的合成处理部分125A还将合成处理中使用的混合比(BLD比)α输出到白平衡调整处理部分 128Α0由于其它部分与第一实施例中采用的对应部分相同，因此不重复它们的说明。合成处理的详细描述下面的描述说明用于根据第二实施例抑制混合区域中产生的错误颜色的合成方法的细节。
图15是示出根据第二实施例将合成方法应用于拍摄图像以便抑制混合区域中产生的错误颜色的合成处理部分125A的典型配置的图。下面逐个说明组成合成处理部分 125A的组件。如图15所示，合成处理部分125A采用混合比计算部分1254A、乘法器1255A和 1256A、减法器1257A和加法器1258A。首先，合成处理部分125A对于长曝光时间图像的RAW数据RAW_long以及短曝光时间图像的RAW数据RAW_short执行合成处理。在合成处理中，混合比计算部分1254A通过利用长曝光时间图像的RAW数据RAW_ long和短曝光时间图像的RAW数据RAW_short来计算混合比α。作为计算混合比α的方法，混合比计算部分1254Α可以采用之前通过参照图9说明的技术或稍后说明的修改版本所采用的方法。基于同样由合成处理部分125Α输出到后级提供的白平衡调整处理部分128Α的计算出的混合比α，由乘法器1255Α和1256Α混合RAW数据。以上描述说明根据第二实施例的合成处理部分125A。白平衡调整处理的详细描述下面的描述说明根据第二实施例的白平衡调整处理部分128A采用的用以抑制混合区域中产生的错误颜色的白平衡调整方法的细节。图16是示出根据第二实施例将合成方法应用于白平衡增益以便抑制混合区域中产生的错误颜色的白平衡调整处理部分128A的典型配置的图。如图16所示，白平衡调整处理部分128A采用乘法器1281至1观3、减法器1284和加法器1285。根据现有技术，通过利用如图4所示的长/短曝光时间选择标志FLGLS来执行白平衡调整处理。另一方面，在根据第二实施例的白平衡调整处理部分128A中，不使用长/短曝光时间选择标志FLGLS。而是，通过利用针对每一个像素从合成处理部分125A接收到的混合比α作为合成处理中使用的比值，来执行白平衡调整处理。白平衡调整处理的顺序描述如下。输入到白平衡调整处理部分128Α的信号包括作为RAW-RGB转换的结果而获得的 R、G和B图像以及合成处理中使用的混合比α。另外，提供到白平衡调整处理部分128Α的输入信号还包括长曝光时间图像的白平衡增益WBG_R_Long、WBG_G_Long和WBG_B_Long以及短曝光时间图像的白平衡增益WBG_R_Short、WBG_G_Short和WBG_B_Short。这些白平衡增益已经由CPU 130基于RGB积分值计算出。基于合成处理中使用的混合比α，图16中所示的白平衡调整处理部分128Α的电路根据长曝光时间图像的白平衡增益WBG_R_Long、WBG_G_Long和WBG_B_Long以及短曝光时间图像的白平衡增益WBG_R_aiort、WBG_G_Short和WBG_B_Short计算每一个像素的最终白平衡增益WBG_R、WBG_G和WBG_B。然后，通过利用最终白平衡增益WBG_R、WBG_G* WBG_B，对于R、G和B图像执行白
平衡调整处理。以上已经说明了根据第二实施例的白平衡调整处理部分128A。
在现有白平衡调整处理部分的情况下，一个屏幕的像素用作被乘数，而两组乘数用于被乘数。第一组具有长曝光时间图像的白平衡增益WBG_R_Long、WBG_G_Long和WBG_ B_Long,而第二组具有短曝光时间图像的白平衡增益WBG_R_Short、WBG_G_Short和WBG_B_ Short。另一方面，在第二实施例的情况下，利用白平衡调整处理部分U8A，以便使得可以利用白平衡增益作为乘数，所述白平衡增益中的每一个在像素之间变化。结果，白平衡增益的数字的组合用作一个屏幕上的像素的乘数。以上描述说明了第二实施例中包括的合成处理部分125A和白平衡调整处理部分 128A0图17A和17B是说明通过利用根据第二实施例提供的合成处理部分125A和白平衡调整处理部分128A可以抑制混合区域中产生的错误颜色的原因的概念图。图17A是根据第二实施例执行的合成处理的概念图。根据第二实施例，合成处理部分125A以与现有技术相同的方式，对于长累积时间图像的RAW数据和短累积时间图像的RAW数据执行合成处理。根据第二实施例的白平衡调整处理部分128A将混合区域(其中，长累积时间图像的RAW数据已经与短累积时间图像的RAW数据混合)中每一个像素的值乘以CPU 130针对像素所获得的白平衡增益。以这种方式，针对每一个像素，基于合成处理中使用的混合比， 可以执行白平衡调整。结果，如图17B所示，通过实质上抑制混合区域中产生的错误颜色，可以解决现有技术中的技术问题。3 第三实施例在下面作为本公开第三实施例描述的实施例中，用以计算合成处理中使用的混合比α的处理包括静态/动态确定。图18示出表示用以根据本公开第三实施例计算混合比的处理的流程图。用以通过利用静态/动态确定来计算混合比α的典型处理第一和第二实施例采用之前通过参照图9说明的方法，作为用于计算混合比α的方法。然而，由于长曝光时间图像和短曝光时间图像之间在图像拍摄时间方面存在很小差异，因此运动对象可能在这种短时间差期间经过。如果运动对象在这种短时间差期间经过，则在某些情况下，运动对象可能仅存在于长曝光时间图像或短曝光时间图像上。在这种情况下，如果如图9中所示那样通过利用根据像素电平而获得的混合比来执行合成处理，则结果，混合了关于完全不同的图像拍摄对象的像素的信息。因此，读者可容易地想象用于产生合成图像的合成处理以失败告终的情况。为了解决上述问题，在第三实施例的情况下，图18中所示的流程图包括步骤 ST22，其被执行用以确定像素或像素区域(也称为像素块)是属于图像拍摄对象的图像的静态的一个还是属于运动对象的图像的动态的一个。如果像素或像素区域被确定为是静态的一个，则在步骤ST23计算混合比α的值。另一方面，如果像素或像素区域被确定为是动态的一个，则不执行混合处理。而是，在步骤STM，将像素值或亮度级别与阈值LV_TH相比较。根据比较结果，在步骤ST25选择短曝光时间图像，或者在步骤SD6选择长曝光时间图像。该流程图表示的处理也可以在第一和第二实施例中执行。图19是示出配备有根据第三实施例的静态/动态确定功能的、用作图11中所示的合成处理部分125的修改的合成处理部分125B的典型配置的框图。如图19所示，合成处理部分125B采用RAW-YC转换处理部分1251B和1252B、选择器1253、混合比计算部分12MB、乘法器1255B和1256B、减法器1257B、加法器1258B、 YC-RAff转换处理部分1259B和静态/动态确定部分1260。这些部分执行它们相应的处理，以便完成上述合成处理。图20是示出提供有根据第三实施例的静态/动态确定功能的、用作图15中所示的合成处理部分125A的修改的合成处理部分125C的典型配置的框图。如图20所示，合成处理部分125C采用混合比计算部分12MC、乘法器1255C和 1256C、减法器1257C、加法器1258C和静态/动态确定部分1260C。这些部分执行它们相应的处理，以便完成上述合成处理。4:第四实施例本公开的第四和第五实施例中的每一个实施这样的典型配置其中，计算混合比 α并执行延迟调整，以便应对延迟的用于抑制处理的白平衡增益。图21是示出采用根据本公开第四实施例的图像处理装置120Β的图像拍摄装置 100Β的典型配置的框图。根据第四实施例的图像拍摄装置100Β与根据第一实施例的图像拍摄装置100的不同之处在于图像拍摄装置100Β将额外的存储器131用于延迟调整。执行延迟调整，以便使得据以已经计算出评估值的帧与已经针对白平衡调整处理计算出白平衡增益的帧相同。5 第五实施例本公开的第五实施例实施其中计算混合比α并执行延迟调整以便应对用于抑制处理的延迟的白平衡增益的典型配置。图22是示出采用根据本公开第五实施例的图像处理装置120C的图像拍摄装置 100C的典型配置的框图。根据第五实施例的图像拍摄装置100C与根据第二实施例的图像拍摄装置100Α的不同之处在于，图像拍摄装置100C将额外的存储器131用于延迟调整。执行延迟调整以便使得据以已经计算出评估值的帧与已经针对白平衡调整处理计算出白平衡增益的帧相同。用于抑制处理的混合比α和白平衡增益的延迟调整在第一和第二实施例中，通过采用普通技术，根据积分结果计算长曝光时间图像和短曝光时间图像中每一个的白平衡增益。根据该普通技术，在由图10和图14中所示的配置的积分值计算处理部分127执行的用以产生积分结果的积分处理中，使用整个屏幕的像素。据此，为了完成积分处理，花费比对应于至少一帧的时间段更长的时间。结果，要提供到CPU 130中的白平衡调整处理部分1 或128A的白平衡增益的计算被延迟。另外，CPU 130还执行用以根据积分值计算评估值的处理，使得计算评估值同样花费时间。因此，在第一和第二实施例的情况下，已经根据通过执行积分处理所获得的积分结果计算出评估值的帧不同于针对白平衡调整处理计算白平衡增益的帧。也就是说，已经计算出评估值的帧不同于实际上要通过利用白平衡增益执行白平衡调整的帧。通过利用根据第一和第二实施例的电路以及这些实施例采用的处理方法，与普通技术相比，可以执行适于每个单独像素的白平衡调整。由于这种帧差异，极有可能恶化了用以抑制错误颜色的性能。另一方面，在第四和第五实施例的情况下，添加存储器131用于延迟调整，以便使得据以已经计算出评估值的帧与已经针对白平衡调整处理计算出白平衡增益的帧相同。通过如上所述那样向图10中所示的图像拍摄装置100和图14中所示的图像拍摄装置100A中的每一个添加存储器131以分别获得图21中所示的图像拍摄装置100B和图 22中所示的图像拍摄装置100C，可以执行图像拍摄装置100B和图像拍摄装置100C中的延迟调整。6 第六实施例在本公开的第六实施例中，省略长/短曝光时间选择标志FLGLS。图23是示出采用根据本公开第六实施例的图像处理装置120D的图像拍摄装置 100D的典型配置的框图。根据第六实施例的图像拍摄装置100D与根据第二实施例的图像拍摄装置100A的不同之处在于，在根据第六实施例的图像拍摄装置100D的情况下，省略长/短曝光时间选择标志FLGLS。没有长/短曝光时间选择标志的典型配置长/短曝光时间选择标志FLGLS是这样的信号其指示在合成处理中已经选择了长曝光时间图像和短曝光时间图像中的哪一个的像素。另一方面，如图9和图12所示，第二实施例中提出的混合比α的值可以用以指示已经选择了仅长曝光时间图像的像素或仅短曝光时间图像的像素。具体地，α = 1. 0指示已经选择了长曝光时间图像的像素，而α = 0. 0指示已经选择了短曝光时间图像的像素。如从以上描述中显而易见的那样，在第二实施例的情况下，长/短曝光时间选择标志FLGLS可以由混合比α替换。因此，不需要利用长/短曝光时间选择标志FLGLS。由于上述原因，通过从图14中所示的第二实施例的配置中除去长/短曝光时间选择标志FLGLS，获得由图23中所示的第六实施例提供的图像拍摄装置100D的典型配置。第一和第二实施例的优点描述第一和第二实施例的优点如下。第一实施例的优点由于根据第一实施例的处理几乎在合成处理部分125中完成，因此不存在用于将提供到后级的信号进行延迟的延迟电路(或诸如此类)。因此，可以使得硬件尺寸较小。在已经选择了长曝光时间图像的颜色(C)分量的情况下，可以利用作为相比于短曝光时间光产生的图像信号具有极少噪声的信号的、长曝光时间光产生的图像信号的颜色 (C)分量。第二实施例的优点由于在像素之间变化的白平衡增益可以用作乘法器，因此与第一实施例相比，可以执行错误颜色的适当抑制。
由于混合RAW数据，因此只要考虑颜色(C)分量，长曝光时间图像和短曝光时间图像之间就没有空间切换点。也就是说，可以进行平滑的切换。因此，即使不能执行错误颜色的充分抑制，用户也难以识别出错误颜色。如上所述，根据第一到第六实施例，呈现了如下效果。在基于以彼此不同的曝光时间拍摄的多个图像产生具有宽动态范围的图像的处理中，可以有效地抑制在拍摄图像的混合区域中产生的错误颜色。错误颜色包含在混合区域中，并且由于光源在拍摄图像之间变化而带来问题，使得产生颜色闪烁(色漂)。7 第七实施例通过将颜色闪烁检测功能添加到用以抑制长曝光时间图像和短曝光时间图像的混合部分中产生错误颜色的功能来获得下面作为本公开第七实施例所描述的实施例。图M是示出采用根据本公开第七实施例的图像处理装置120E的图像拍摄装置 100E的典型配置的框图。如图M所示，除了图10中所示的配置中包括的各部分之外，图像处理装置120E 还采用颜色闪烁检测处理部分132。如下说明颜色闪烁检测处理部分132。颜色闪烁检测处理部分132根据接收到的数据来确定颜色闪烁的存在/不存在， 并进一步计算颜色闪烁的存在/不存在的确定度。然后，颜色闪烁检测处理部分132将该确定度提供到CPU 130。如下详细说明颜色闪烁检测处理部分132所采用的用以检测颜色闪烁的方法。颜色闪烁检测的详细描述如下详细说明由颜色闪烁检测处理部分132所采用的用以检测颜色闪烁的方法。图25示出表示根据第七实施例检测颜色闪烁的处理的流程图。流程图开始于执行RAW-RGB转换处理的步骤ST31。然后，在下一步骤ST32，颜色闪烁检测处理部分132计算长曝光时间图像和短曝光时间图像的R、G和B积分值。积分值的这种计算与图2和图3中所示的配置中采用的积分值计算部分5所执行的积分值计算类似。作为积分值计算的主要处理，颜色闪烁检测处理部分132对满足特定条件的像素的值进行积分。最终，颜色闪烁检测处理部分132将对于整个屏幕的像素执行的积分值计算的积分结果提供到CPU 130E。图沈示出表示在步骤ST32计算积分结果的、用以积分R、G和B像素值的处理的流程图。在图26所示的流程图中，颜色闪烁检测处理部分132通过确定像素的位置是否处于指定区域并且确定像素值是否处于指定范围来确定像素是否满足特定条件。对于满足这两个条件的像素，执行RGB像素值积分处理(参照图沈所示的流程图中的步骤ST41到 ST46)。如下说明用于指定像素值的积分范围的方法。图27是在用于针对不考虑噪声容限的情况指定像素值的积分范围的方法的以下描述中所参照的概念图。该图示出表示像素值的传感器输出与长曝光时间图像和短曝光时间图像的光量之间的关系。该实施例的特征在于，指定积分范围以使得积分范围包括要对于长曝光时间图像和短曝光时间图像二者积分的像素值。如从图27中显而易见的那样，对于小于1 的光量，传感器所产生的用以表示长曝光时间图像的像素值的输出低于饱和水平。因此，存在传感器产生的像素值。另一方面，对于大于1 的光量，传感器不可避免地达到饱和，使得传感器不输出有意义的信息。据此，对于长曝光时间图像和短曝光时间图像，最好指定包括小于1 的光量产生的像素值的积分范围。在图中所示的典型示例中，符号X表示的部分中包括的像素值是待积分的像素值。图27是在用于针对不考虑噪声的情况指定像素值的积分范围的方法的以上描述中所参照的概念图。然而，在实际的图像拍摄操作中，确实存在噪声，并且曝光时间比越大，则在短曝光时间图像中包括的作为积分对象像素(其每一个产生低电平信号)的像素的数目越小。 因此，大曝光时间比率恶化了关于是否存在颜色闪烁的确定的精度。为了解决此问题，可以通过预先考虑噪声容限来指定积分范围。图观是在用于针对考虑噪声容限的情况指定像素值的积分范围的方法的以下描述中所参照的概念图。在图中，在传感器输出为0和传感器饱和水平处，在传感器输出轴上提供噪声电平。如图观所示，噪声容限中包括的像素值不经历积分。因此，待积分的像素值是图中的符号Y表示的部分中的传感器输出。与不考虑噪声容限的情况相比，待积分的像素值的数量较小。通过指定像素值的积分的这种范围并积分像素值，在图25中所示的流程图的步骤ST32，可以获得六个最终的积分结果。最终的积分结果是长曝光时间图像的R、G和B积分结果以及短曝光时间图像的R、G和B积分结果。在下面的描述中，长曝光时间图像的R、G 和B积分结果以及短曝光时间图像的R、G和B积分结果分别由参照标记Sum_R_L0ng、Sum_ G_Long、Sum_B_Long、Sum_R_Short、Sum_G_Short 禾口 Sum_B_Short 表不。然后，通过利用下面作为基于计算出的积分结果的等式的所给出的等式到 G-4)，在图25所示的流程图的步骤ST33按照如下那样计算长曝光时间图像和短曝光时间图像的R/G和B/G比[等式4](R/G)_Long = Sum_R_Long/Sum_G_Long . . . (4-1)(B/G)_Long = Sum_B_Long/Sum_G_Long . . . (4-2(R/G)_Short = Sum_R_Short/Sum_G_Short . . . (4-3)(B/G)_Short = Sum_B_Short/Sum_G_Short . . . (4-4)图四和图30中示出了利用等式G-1)到(4-4)分别针对长曝光时间图像和短曝光时间图像所计算出的典型比值。图四是示出针对短曝光时间图像的R与G之比以及B与G之比的概念图。图30是示出针对长曝光时间图像的R与G之比以及B与G之比的概念图。两个图示出针对产生颜色闪烁的情况的典型比值。由于表示比值的每一个曲线图的凹凸以及各曲线图之间的上下关系根据情形而变化，因此图中所示的比值仅仅是典型比值。也就是说，表示R/G比的曲线图不总是在表示B/G比的曲线图的上面，并且表示B/G比的曲线图不一定是具有凹陷的曲线图。
如之前所述，短曝光时间图像是以相对高的快门速度拍摄的图像。因此，短曝光时间图像易于受到颜色闪烁的影响，并且如图四的曲线图所示，R/G和B/G比随着时间的经过而改变。另一方面，长曝光时间图像是以相对低的快门速度拍摄的图像。因此，长曝光时间图像几乎不受到颜色闪烁的影响。然而，不可以认为长曝光时间图像是完全不受颜色闪烁影响的图像。如图30的曲线所示，与表示短曝光时间图像的R/G和B/G比的曲线相比，长曝光时间图像的R/G和B/G比随着时间的经过仅略有改变。然后，在下一步骤ST34，计算颜色闪烁的评估值。根据如下给出的等式(5-1)和(5-2)计算颜色闪烁的评估值[等式δ]CR_Est_R = (R/G)_Short/(R/G)_Long . . . (5-1)CR_Est_B = (B/G)_Short/(B/G)_Long . . . (5-2)图31是示出了通过利用以上等式而获得的典型颜色闪烁评估值的图。如等式(5-1)和(5-2)所示，评估值是短曝光时间图像的比与长曝光时间图像的比的比值。通过检查评估值，可以从短曝光时间图像中消除同样对于长曝光时间图像具有影响的闪烁分量。另外，自动地相对于长曝光时间图像的比归一化短曝光时间图像的比。即使短曝光时间图像和长曝光时间图像在曝光时间上有差异，将长曝光时间图像上的每一个特定像素与短曝光时间图像上与该特定像素相同位置处的像素相比较。因此， 应该获得关于相同图像拍摄对象的图像拍摄的信息。据此，如果不产生颜色闪烁，则短曝光时间图像具有与长曝光时间图像的B/G和 R/G比相等的B/G和R/G比，而不论曝光时间如何。此时，要如上所述那样比较的值是B/G 和R/G比。因此，即使长曝光时间图像的像素值的量值(或绝对像素值)与短曝光时间图像的不同，也不会出现问题。据此，如果不产生颜色闪烁，则评估值(其每一个均为比值) 应为1. 0。另一方面，如果产生颜色闪烁，如之前所述的那样，即使对于相同的图像拍摄对象，色调由于照明光呈现的余辉特性的影响也改变。在这种情况下，评估值(其每一个均为比值)每一个均具有大于或小于1. 0的值。由于上述原因，如果产生颜色闪烁，则如图31的曲线所示那样，评估值随着时间的经过而从值1.0改变。然后，在步骤ST35到ST38，使用评估值来确定是否存在颜色闪烁。如之前所述，在不产生颜色闪烁的理想状态下，评估值应为1. 0。然而，存在如下事实1)存在由噪声等引起的误差。2)即使根据等式(5-1)和(5-2)可以从短曝光时间光中消除对于长曝光时间光有影响的闪烁分量，对于长曝光时间图像的闪烁分量的影响也不是零。3)积分值不是评估值的积分结果，而是积分R、G和B像素值中每一个的结果。因此，与从R、G和B积分值获得评估值的情况存在差异。结果，几乎不存在评估值刚好等于1.0的情况。为此，定义如图32中所示的那样的死区NZN，并且将该死区NZN中存在的颜色闪烁评估值看作指示尚未产生颜色闪烁的值。更确切地，检查R色的评估值CR_Est_R和B色的评估值CR_Est_B，以确定评估值 CR_Est_R和CR_Est_B是否处于死区NZN。如果评估值CR_Est_R和CR_Est_B中的至少一个在死区NZN之外，则确认存在颜色闪烁。以上描述已经说明了用于确定是否存在颜色闪烁的方法。如果确定方法的结果指示存在颜色闪烁，则可以应用之前所述的现有颜色闪烁抑制方法。图33是示出颜色闪烁检测处理部分132的典型配置的框图。如图中所示，颜色闪烁检测处理部分132采用RAW-RGB转换部分1321、条件确定部分1322、RGB积分部分1323、评估值计算部分13M和检测部分1325。这些部分执行它们相应的处理，以便如上所述那样完成用以检测颜色闪烁的处理。颜色闪烁抑制方法如之前所述，根据此实施例检测颜色闪烁，并且如果确认存在颜色闪烁，则可以应用普通颜色闪烁抑制方法。另一方面，除了根据实施例的颜色闪烁检测之外，还可以执行额外处理。执行额外处理以便计算获得颜色闪烁检测的结果的确定度。然后，可以基于确定度来应用颜色闪烁抑制方法。下面的描述说明用于计算确定度的方法以及用于基于确定度抑制颜色闪烁的方法。首先，下面的描述说明用于计算获得颜色闪烁检测的结果的确定度的方法。图34示出表示颜色闪烁检测和确定度计算处理的流程图。如图34所示，表示所述处理的流程图开始于检测颜色闪烁的步骤ST51。以与图 26中所示的流程图表示的颜色闪烁检测处理相同的方式检测颜色闪烁。在下一步骤ST52检查在步骤ST51执行的颜色闪烁检测的结果，以便确定是否存在颜色闪烁。如果不存在颜色闪烁，则图34所示的流程图表示的处理的流程进行到步骤 ST53，以便根据R、G和B积分值计算作为对于长短曝光时间图像公共的乘数的白平衡增益。白平衡增益的计算中使用的R、G和B积分值可以是在闪烁检测时间计算的积分值，或者是由积分值计算部分计算的积分值。在闪烁检测时间计算的积分值与由积分值计算部分计算的积分值之间的差异之一可以想象地是诸如计算范围之类的条件的差异。另外，用于根据R、G和B积分值计算作为对于长短曝光时间图像公共的乘数的白平衡增益的方法可以是基于下面给出的等式(6-1)到(6-3)的增益计算方法。然而，等式 (6-1)到(6-3)只是典型等式。也就是说，可以采用任何增益计算方法，只要该增益计算方法是已经存在的方法即可。[等式6]WBG_R = (Sum_G_Long+Sum_G_Short)/(Sum_R_Long+Sum_R_Short) . . . (6-1)WBG_G =1.0 …(6-2)WBG_B = (Sum_G_Long+Sum_G_Short)/(Sum_B_Long+Sum_B_Short) . . . (6-3)然后，在下一步骤ST54，白平衡调整处理块执行白平衡调整处理，以将长短曝光时间图像乘以公共的白平衡增益。另一方面，如果存在颜色闪烁，则在步骤ST55执行下述处理，以便计算已经检测到存在颜色闪烁的确定度。图35是用于计算已经检测到颜色闪烁的确定度的方法所参照的图。图36是示出检测到颜色闪烁的确定度的图。如图35所示那样，将确定度定义为在颜色闪烁检测时间计算出的颜色闪烁评估值与死区NZN的偏移量。在图中，箭头的长度是确定度。在这种情况下，将偏移量处理为标量。因此，确定度通常为正数。图36中示出了通过采用这种方法获得的确定度。图37是在下面说明用于计算检测到颜色闪烁的确定度的另一方法时参照的图。根据上面通过参照图35说明的方法，将确定度定义为颜色闪烁评估值与死区NZN 的偏移量。然而，如图37所示，将确定度定义为颜色闪烁评估值与值1的偏移量。如图37 所示那样定义的确定度也可以通过将图35中所示的TH_high和TH_low中的每一个设置为 0而获得。接着，下面的描述说明在步骤ST56采用的用以基于计算出的确定度来计算用于抑制颜色闪烁的白平衡增益的方法。在步骤ST56，首先，根据R、G和B积分值计算白平衡增益，作为对于长曝光时间图像和短曝光时间图像中每一个的乘数。作为计算白平衡增益的方法，可以采用基于下面给出的等式(7-1)到(7-6)的计算方法。与等式(6-1)到(6-3)非常相像，等式(7-1)到(7-6)也是典型等式。[等式7]R_gain_Long = Sum_G_Long/Sum_R_Long. . . (7-1)G_gain_Long =1.0 ... (7-2)B_gain_Long = Sum_G_Long/Sum_B_Long . . . (7-3)R_gain_Short = Sum_G_Short/Sum_R_Short . . . (7-4)G_gain_Short =1.0 …(7-5)B_gain_Short = Sum_G_Short/Sum_B_Short . . . (7-6)根据等式(7-1)到(7-6)计算白平衡增益时所使用的R、G和B积分值可以是在闪烁检测时间计算的积分值，或者是由积分值计算处理部分计算的积分值。在闪烁检测时间计算的积分值与由积分值计算部分计算的积分值之间的差异之一可以想象地是诸如计算范围之类的条件的差异。从分别根据等式(7-1)到(7-6)计算出的六个白平衡增益R_gain_L0ng、G_gain_ Long、B_gain_Long、R_gain_Short、G_gain_Short 禾口 B_gain_Short，获得六个最终的白平衡增益 WBG_R_Long、WBG_G_Long, WBG_B_Long、WBG_R_Short, WBG_G_Short 和 WBG_B_Short 以最终用作长曝光时间图像和短曝光时间图像的乘数。图38是示出用于计算长短曝光时间图像的不同最终白平衡增益的白平衡增益计算系统140的图。如图中所示，白平衡增益计算系统140采用乘法器141和142以及加法器143。根据在步骤ST55获得的颜色闪烁确定度来计算混合比fa。然后，基于混合比 fa，将长曝光时间图像的白平衡增益与短曝光时间图像的白平衡增益混合。
图39是用于计算混合比fa的方法所参照的说明图。图39的水平轴表示在步骤ST55获得的颜色闪烁确定度，而该图的垂直轴表示混合比fa。对于小于低侧阈值TH_min的确定度，将混合比f α设置为0。对于大于高侧阈值 TH_max的确定度，将混合比fa设置为1. 0。低侧阈值TH_min与高侧阈值THjnax之间的任何特定的确定度的混合比f α具有处于范围0到1. 0的值。根据将表示0的混合比fa和低侧阈值TH_min的点连接到表示 1. 0的混合比f α和高侧阈值TH_max的点的直线，确定处于范围0到1. 0的值。具体地，通过将低侧阈值TH_min与特定确定度之差乘以直线的斜率来获得特定确定度的混合比fa。 直线的斜率等于1. 0/(TH_max-TH_min)。通过采用上述方法，可以得到最终用作长曝光时间图像和短曝光时间图像的乘数的六个最终白平衡增益 WBG_R_Long、WBG_G_Long、WBG_B_Long、WBG_R_Short, WBG_G_Short 和WBG_B_a!0rt。然后，由白平衡调整处理部分使用这些乘数以便调整白平衡。根据上面参照图38所说明的方法，在对于六个白平衡增益R_gain_L0ng、G_gain_ Long、B_gain_Long、R_gain_Short、G_gain_Short 禾口 B_gain_Short 执 亍的、混合处理中使用混合比fa，以便计算六个最终的白平衡增益WBG_R_Long、WBG_G_Long、WBG_B_Long、WBG_ R_Short、WBG_G_Short 和 WBG_B_Short。然而，代替六个白平衡增益 R_gain_Long、G_gain_ Long、B_gain_Long、R_gain_Short、G_gain_Short 禾口 B_gain_Short，也可以对于 R、G 禾口 B 积分值执行混合处理，以便计算六个最终的白平衡增益WBG_R_Long、WBG_G_Long、WBG_B_ Long、WBG_R_Short、WBG_G_Short 和 WBG_B_Short (如图 40 所示)。如图中所示，对于六个 R、G 禾口 β 积分值 SUM_R_Long、SUM_G_Long、SUM_B_Long、SUM_R_Short、SUM_G_Short 和 SUM_ B_Short执行混合处理，以便计算六个最终的白平衡增益WBG_R_Long、WBG_G_Long、WBG_B_ Long、WBG_R_Short, WBG_G_Short 和 WBG_B_Short 以上描述说明了用于根据该实施例执行颜色闪烁检测以抑制颜色闪烁的方法。图41是示出了具有用以抑制颜色闪烁的功能的颜色闪烁检测处理部分132A的典型配置的框图。如图中所示，颜色闪烁检测处理部分132A采用条件确定部分1322、RGB积分部分 1323、评估值计算部分1324、检测部分1325、确定度计算部分13 和白平衡增益计算部分 1327。这些部分执行它们相应的处理，以便完成用以检测颜色闪烁和抑制闪烁的处理。下面的描述说明用于主要执行用以检测颜色闪烁的处理的第八到第十五实施例。8 第八实施例图42是示出采用根据本公开第八实施例的图像处理装置的图像拍摄装置100F的典型配置的框图。图43示出了表示用以根据第八实施例检测颜色闪烁的处理的流程图。图44是示出根据第八实施例的颜色闪烁检测处理部分132F的典型配置的框图。根据第八实施例的图像拍摄装置100F与根据第七实施例的图像拍摄装置100E之间的差异描述如下第七实施例是以与图3中所示的配置相同的方式在后级执行白平衡调整处理的实施例。另一方面，第八实施例是以与图2中所示的配置相同的方式在前级执行白平衡调整处理的实施例。因此，在第八实施例的情况下，在如图43和图44所示那样检测颜色闪烁的处理中不需要RAW-RGB转换。9:第九实施例下面说明本公开的第九实施例，用作将静态/动态确定添加到应用于R、G和B积分值的条件的实施例。图45示出表示根据本公开第九实施例、针对包括R、G和B积分值的静态/动态确定作为附加条件的情况的处理的流程图。将静态/动态确定添加到RGB积分值的条件的典型配置在第八实施例的情况下，具有对于长曝光时间图像和短曝光时间图像二者有意义的信息的像素值被积分。对于同一像素，除了颜色闪烁之外，假设长曝光时间图像的比与短曝光时间图像的比不同。理想地，评估值是1.0。然而，由于长曝光时间图像和短曝光时间图像之间在图像拍摄时间上存在小差异，因此运动对象可能在该短时间差期间经过。如果运动对象在该短时间差期间经过，则同一图像拍摄对象的假设不期望地不再有效，使得颜色闪烁检测的结果受到影响。为了解决上述问题，在第九实施例中，对于每一个像素或各像素的每一个块执行静态/动态确定，作为称为静态条件的新增加的条件。以这种方式，可以高精度地检测颜色闪烁(参照图45中所示的流程图)。在第九实施例中，如对于现有技术的情况那样，可以使用在获得运动矢量的处理过程中用于获得运动矢量或信息的机构，以便基于诸如沿时间轴的之前和之后帧之间的差异之类的数据来确定静态或动态。图46是根据第九实施例示出配备有静态/动态确定功能的颜色闪烁检测处理部分132G的典型配置的框图。如图中所示，颜色闪烁检测处理部分132G采用条件确定部分1322、RGB积分部分1323、评估值计算部分1324、检测部分1325、静态/动态确定部分13 和用作延迟电路 1329的存储器。这些部分执行它们相应的处理，以便完成用以检测颜色闪烁的处理。10 第十实施例下面作为本公开的第十实施例所描述的典型实施例对评估值进行积分，而不是对 R、G和B积分值进行积分。图47示出表示用以根据本公开第十实施例积分评估值(而非积分R、G和B积分值)的处理的流程图。图48示出表示针对已经执行了用以积分评估值的处理的情况的颜色闪烁确定处理的流程图。用于对作为R、G和B积分值的代替的评估值进行积分的典型配置在之前描述的各实施例的情况下，计算R、G和B积分值，并根据积分值获得颜色闪烁评估值。
然而，如之前所述，在根据R、G和B积分值获得评估值的配置与针对每一个像素获得评估值然后获得作为评估值的平均的积分值的配置之间存在差异。对于后一情况，给出图47作为示出了表示用以根据第十实施例在步骤ST66对评估值进行积分的处理的流程图的图，而给出图48作为表示针对如图47的流程图所示那样已经执行了用以积分评估值的处理的情况的颜色闪烁确定处理的流程图的图。也就是说，在图47所示的流程图中详细描述了图48所示的流程图的步骤ST71计算评估值的平均所执行的处理。图47所示的流程图开始于复位颜色闪烁的评估值的积分值的步骤ST61。然后，在下一步骤ST62，接收像素值。接下来，在下一步骤ST63，检查像素以便确定像素是否位于指定区域中的位置。如果像素位于指定区域中的位置，则在步骤ST64，检查像素值以便确定像素值是否位于指定范围内。如果像素值在指定范围内，则在步骤ST65，针对长时间曝光图像和短时间曝光图像中的每一个计算R/G和B/G比，而根据R/G和B/G比获得颜色闪烁的评估值。然后，在下一步骤ST66，计算表示颜色闪烁的评估值之总和的评估值总和。接下来，在下一步骤ST67，更新表示目前为止处理的像素数的像素计数。然后，在下一步骤ST68，检查当前像素以便确定当前像素是否为最后处理的像素。如果当前像素不是最后处理的像素，则重复用以积分评估值的处理。当然，重复地执行用以积分评估值的处理，直到处理了最后像素为止。图48所示的流程图开始于步骤ST71，在步骤ST71中，将图47所示的流程图的步骤ST66获得的评估值总和除以图47所示的流程图的步骤ST67获得的像素计数以便得到 B/G和R/G平均评估值。然后，在下一步骤ST72，检查B/G平均评估值以便检查B/G平均评估值是否在死区的范围中。如果B/G平均评估值处于死区的范围中，则在步骤ST73检查R/G平均评估值以便确定R/G平均评估值是否在死区的范围中。如果R/G平均评估值在死区的范围中，则在步骤ST74确认不存在颜色闪烁。如果在步骤ST72获得不在死区的范围中的B/G平均评估值和/或如果在步骤 ST73获得不在死区的范围中的R/G平均评估值，则在步骤ST75确认存在颜色闪烁。11 第^^一实施例在下面作为本公开的第十一实施例所说明的典型实施例中，执行用以分割颜色闪烁检测区域的处理。图49用作对于根据第十一实施例执行用以分割颜色闪烁检测区域的处理的情况所参照的说明图，并且用作示出了存在多个光源的典型情形的图。图50是对于根据第十一实施例执行用以分割颜色闪烁检测区域的处理的情况所参照的说明图。用以分割颜色闪烁检测区域的处理根据之前所述的各实施例，更具有鲁棒性(robust)的颜色闪烁检测是可能的，从而可以有效地抑制所产生的颜色闪烁。然而，在之前所述的各实施例的情况下，长时间曝光图像和短时间曝光图像中的每一个可以仅乘以一组白平衡增益，即R、G和B增益。
结果，如果在短时间曝光图像中存在具有彼此不同特性的多个光源，则可以应对仅由任何一个光源引起的颜色闪烁。在例如像图49中所示情形那样的情形的情况下，提供对于短时间曝光图像有意义的信息的光源是用作光源OSl的室内灯以及用作光源0S2的太阳光源(其为通过窗户可以看到的外部光源)。在这种情形下，如果抑制室内灯引起的颜色闪烁，则对于经由窗户可以看到的外部场景不能再执行白平衡调整。为了解决以上问题，如图50所示，将屏幕划分为对于每一个都可以执行相同处理的几个区域DVA。然而，如果将屏幕划分为几个区域DVA，则对于一区域DVA，可能不存在短时间曝光图像，并且像素数可能太小，从而可能未积分正确的值。在这种情况下，如果计算出的像素计数太小，则执行控制以取消颜色闪烁的抑制。12 第十二实施例图51是示出采用根据本公开第十二实施例的图像处理装置120G的图像拍摄装置 100G的典型配置的框图。根据第十二实施例的图像拍摄装置100G与根据第七实施例的图像拍摄装置100E 的不同之处在于，在图像拍摄装置100E的情况下，用硬件执行第七实施例的典型处理。典型处理包括用以计算评估值的处理。然而，为了在计算评估值的处理中得到比值，需要除法器，从而极有可能的是，图像拍摄装置100E的硬件电路的尺寸增大。为了解决以上问题，第十二实施例采用用以利用CPU 130G执行某些处理的方法。 具体地，在第十二实施例的情况下，颜色闪烁检测处理部分132G利用硬件执行直至积分处理的处理，而CPU 130G执行评估值的计算以及关于是否存在颜色闪烁的确定。13 第十三实施例图52是示出采用根据本公开第十三实施例的图像处理装置120H的图像拍摄装置 100H的典型配置的框图。根据第十三实施例的图像拍摄装置100H与根据第八实施例的图像拍摄装置100F 的不同之处在于，在图像拍摄装置100F的情况下，用硬件执行第八实施例的典型处理。典型处理包括用以计算评估值的处理。然而，为了在计算评估值的处理中得到比值，需要除法器，从而极有可能的是，图像拍摄装置100F的硬件电路的尺寸增大。为了解决以上问题，第十三实施例采用用以利用CPU 130H执行某些处理的方法。 具体地，在第十三实施例的情况下，颜色闪烁检测处理部分132H利用硬件来执行直至积分处理的处理，而CPU 130H执行评估值的计算以及关于是否存在颜色闪烁的确定。14 第十四实施例本公开的第十四和第十五实施例中的每一个均实施执行延迟调整以便应对用于检测和抑制颜色闪烁的延迟的白平衡增益的典型配置。图53是示出采用根据本公开第十四实施例的图像处理装置1201的图像拍摄装置 1001的典型配置的框图。根据第十四实施例的图像拍摄装置1001与根据第七实施例的图像拍摄装置100E的不同之处在于，在图像拍摄装置1001的情况下，执行延迟调整以便使得已经据以计算出评估值的帧与已经针对白平衡调整处理计算出白平衡增益的帧相同。因此，图像拍摄装置 1001将额外的存储器133和134用于延迟调整。15 第十五实施例图M是示出采用根据本公开第十五实施例的图像处理装置120J的图像拍摄装置 100J的典型配置的框图。根据第十五实施例的图像拍摄装置100J与根据第八实施例的图像拍摄装置100F 的不同之处在于，在图像拍摄装置100J的情况下，在图像拍摄装置100J的情况下，执行延迟调整以便使得据以已经计算出评估值的帧与已经针对白平衡调整处理计算出白平衡增益的帧相同。因此，图像拍摄装置100J将额外的存储器133和134用于延迟调整。用于检测和抑制颜色闪烁的延迟的白平衡增益的延迟调整在之前所述的各实施例执行的典型处理中，根据从对于整个帧的所有像素执行的积分处理获得的积分结果，计算长时间曝光图像和短时间曝光图像中每一个的白平衡增益。因此，为了完成积分处理，花费与一个帧对应的时间，从而相应地延迟了白平衡增益。 另外，CPU 130还执行用以根据积分结果计算评估值的处理，从而计算评估值同样也花费时间。因此，在之前所述的各实施例执行的典型处理中，据以已经通过执行积分处理计算出评估值的帧与实际要通过利用白平衡增益执行白平衡调整的帧不同。另一方面，在第十四和第十五实施例的情况下，使得据以已经计算出评估值的帧与要通过利用白平衡增益执行白平衡调整的帧相同。通过将存储器133和134添加到图42 所示的配置，可以执行延迟调整，以便使得据以已经计算出评估值的值与要执行白平衡调整的帧相同。要注意的是，目前为止描述的各实施例所特有的特征可以适当地相互组合。根据第七到第十五实施例，可以获得下列效果。与现有白平衡调整处理相比，可以执行更加多样化的白平衡调整处理。也就是说， 可以执行对于应用适当的白平衡调整处理。另外，更具有鲁棒性的颜色闪烁检测是可能的。可以执行对于检测颜色闪烁的确定度适当的白平衡调整处理，以便可以有效地抑制颜色闪烁。即使对于具有宽动态范围的图像，也可以执行适当的白平衡调整处理，以便可以有效地抑制颜色闪烁。由于在不考虑时间轴方向周期性的情况下对于每一帧执行颜色闪烁的存在的确定，因此可以对于周期颜色闪烁以外的颜色闪烁执行白平衡调整处理。因此，颜色闪烁的适当抑制是可能的。根据上述实施例的图像拍摄装置均可以用作具有各种图像拍摄功能的装置。具有各种图像拍摄功能的装置的典型示例是便携式电话、摄像机和数码相机。要注意的是，以上详细说明的方法可以通过将所述方法实施为要由计算机(如 CPU)执行的用作根据所述方法的过程的程序的程序来配置。另外，可以将程序配置为预先存储在记录介质上，以由计算机存取，以便使得程序由其上安装了记录介质的计算机执行。记录介质的典型示例是半导体存储器、磁盘、光盘、 和软 盘。本公开包含与2010年6月M日向日本专利局提交的日本优先权专利申请JP 2010-144205中公开的主题有关的主题，其全部内容通过引用的方式合并在此。本领域的技术人员应当理解，依据设计要求和其它因素可以出现各种修改、组合、 部分组合和变更，只要它们在所附权利要求或其等同体的范围内即可。
权利要求
1.一种图像处理装置，包括合成处理部分，其配置为合成以不同曝光时间拍摄的多个图像， 其中，在用以合成拍摄图像的处理中，所述合成处理部分获取根据从所述拍摄图像中选择的分量而变化的拍摄图像混合比，并通过将所述混合比应用于要混合所述拍摄图像的像素的混合区域，对于所述混合区域执行混合处理。
2.如权利要求1所述的图像处理装置，其中，所述合成处理部分 获取基于所述拍摄图像的亮度分量而计算出的混合比；在对于所述混合区域执行的所述混合处理中利用所述混合比； 从所述拍摄图像中选择任何图像；以及将所选择图像的颜色分量应用于所述混合区域。
3.如权利要求2所述的图像处理装置，其中，所述合成处理部分 从所述拍摄图像中选择以相对长曝光时间拍摄的图像；以及将以所述相对长曝光时间拍摄的所选择图像的颜色分量应用于所述混合区域。
4.如权利要求2所述的图像处理装置，所述图像处理装置进一步包括白平衡调整处理部分，其配置为执行将所述合成处理部分中合成的合成图像乘以增益的白平衡调整处理，其中，所述白平衡调整处理部分在所述白平衡调整处理中，将所述合成图像的颜色分量乘以分别针对所述颜色分量计算出的所述增益。
5.如权利要求1所述的图像处理装置，所述图像处理装置进一步包括白平衡调整处理部分，其配置为执行将所述合成处理部分中合成的合成图像乘以增益的白平衡调整处理，其中所述合成处理部分在合成时间处，从所述拍摄图像的原始数据中获取所述混合比，并将合成时间混合比提供到所述白平衡调整处理部分；所述白平衡调整处理部分基于所述合成时间混合比计算所述增益；以及所述白平衡调整处理部分在所述白平衡调整处理中，将所述合成图像乘以所计算出的增 ο
6.如权利要求1所述的图像处理装置，其中，所述合成处理部分包括运动确定部分，其配置为执行运动确定，并且通过利用所述运动确定的结果来校正所述混合比。
7.如权利要求6所述的图像处理装置，其中，所述合成处理部分在所述运动确定的所述结果指示静态的情况下计算所述混合比，而在所述运动确定的所述结果指示动态的情况下输出所述拍摄图像之一而不执行所述混合处理。
8.如权利要求1所述的图像处理装置，所述图像处理装置进一步包括白平衡调整处理部分，其配置为执行将所述合成处理部分中合成的合成图像乘以白平衡增益的白平衡调整处理；以及配置为对于所获取的混合比以及已经计算出帧图像的所述白平衡增益的所述帧图像执行延迟调整的部分。
9.一种图像拍摄装置，包括图像拍摄器件，其用于以不同曝光时间拍摄多个图像；以及合成处理部分，其配置为合成所述图像拍摄器件拍摄的所述图像，其中，在合成所述拍摄图像的处理中，所述合成处理部分获取根据从所述拍摄图像中选择的分量而变化的拍摄图像混合比，并通过将所述混合比应用于要混合所述拍摄图像的像素的混合区域，对于所述混合区域执行混合处理。
10.如权利要求9所述的图像拍摄装置，其中，所述合成处理部分 获取基于所述拍摄图像的亮度分量而计算的混合比；在对于所述混合区域执行的所述混合处理中利用所述混合比； 从所述拍摄图像中选择任何图像；以及将所选择图像的颜色分量应用于所述混合区域。
11.如权利要求10所述的图像拍摄装置，其中，所述合成处理部分 从所述拍摄图像中选择以相对长曝光时间拍摄的图像；以及将以所述相对长曝光时间拍摄的所选择图像的颜色分量应用于所述混合区域。
12.如权利要求10所述的图像拍摄装置，所述图像拍摄装置进一步包括白平衡调整处理部分，其配置为执行将所述合成处理部分中合成的合成图像乘以增益的白平衡调整处理，其中，所述白平衡调整处理部分在所述白平衡调整处理中，将所述合成图像的颜色分量乘以分别针对所述颜色分量计算出的所述增益。
13.如权利要求9所述的图像拍摄装置，所述图像拍摄装置进一步包括白平衡调整处理部分，其配置为执行将所述合成处理部分中合成的合成图像乘以增益的白平衡调整处理，其中所述合成处理部分在合成时间处，从所述拍摄图像的原始数据中获取所述混合比，并将合成时间混合比提供到所述白平衡调整处理部分；所述白平衡调整处理部分基于所述合成时间混合比计算所述增益；以及所述白平衡调整处理部分在所述白平衡调整处理中，将所述合成图像乘以所计算出的增 ο
14.如权利要求9所述的图像拍摄装置，其中，所述合成处理部分包括运动确定部分， 其配置为执行运动确定，并通过利用所述运动确定的结果来校正所述混合比。
15.如权利要求14所述的图像拍摄装置，其中，所述合成处理部分在所述运动确定的所述结果指示静态的情况下计算所述混合比，而在所述运动确定的所述结果指示动态的情况下输出所述拍摄图像之一而不执行所述混合处理。
16.如权利要求9所述的图像拍摄装置，所述图像拍摄装置进一步包括白平衡调整处理部分，其配置为执行将所述合成处理部分中合成的合成图像乘以白平衡增益的白平衡调整处理；以及配置为对于所获取的混合比以及已经计算出帧图像的所述白平衡增益的所述帧图像执行延迟调整的部分。
17.一种图像处理方法，其中，用以合成以不同曝光时间拍摄的多个图像的处理包括用以获取根据从所述拍摄图像中选择的分量而变化的拍摄图像混合比的操作，以及通过将所述混合比应用于要混合所述拍摄图像的像素的混合区域而对于所述混合区域执行的混合处理。
18.一种要由计算机在如下处理中执行的图像处理程序，在所述处理中，合成以不同曝光时间拍摄的多个图像，以便执行用以获取根据从所述拍摄图像中选择的分量而变化的拍摄图像混合比的操作，并通过将所述混合比应用于要混合所述拍摄图像的像素的混合区域而对于所述混合区域执行混合处理。
全文摘要
在此公开了图像处理装置、图像拍摄装置、图像处理方法和程序。所述图像处理装置包括合成处理部分，其配置为合成以不同曝光时间拍摄的多个图像，其中，在合成所述拍摄图像的处理中，所述合成处理部分获取根据从所述拍摄图像中选择的分量而变化的拍摄图像混合比，并通过将所述混合比应用于要混合所述拍摄图像的像素的混合区域而对于所述混合区域执行混合处理。
文档编号H04N5/355GK102300055SQ20111017388
公开日2011年12月28日 申请日期2011年6月24日 优先权日2010年6月24日
发明者和岛贤二, 山本洋司, 神明克尚, 长滝真吾 申请人:索尼公司