闪光带判断装置及其控制方法、存储介质和摄像设备与流程

本发明涉及闪光带判断装置及其控制方法、存储介质和摄像设备，并且更特别涉及用于判断在经由摄像所获得的图像中是否存在由外部闪光所引起的闪光带的闪光带判断装置。

背景技术：

近年来，作为在摄像设备中使用的摄像装置，使用了诸如摄像机、cmos图像传感器(以下称为cmos传感器)等。通常，与ccd图像传感器(以下称为ccd传感器)相比，cmos传感器的优势不仅在于其容易制造、而且还在于其耗电更少等。此外，还提出了通过增大读出通道的数量来增大帧读取速度的cmos传感器。

cmos传感器使用如下的所谓的卷帘式快门方法，其中在该卷帘式快门方法中，顺次对水平行进行曝光，并且以行为单位顺次读出视频信号(图像信号)，由此生成一帧。在使用卷帘式快门方法的cmos传感器中，针对各行的曝光定时和针对各行的读出定时不同步。由此，如果在存在诸如所谓的闪光或频闪光等的在非常短的发光时间段内发射出的外部闪光，则根据画面上的位置而持续两帧地生成一帧被分割成亮度不同的上部带状区域和下冲带状区域的图像，换句话说，生成在两帧之间分割由外部闪光引起的明亮区域的图像。将由外部闪光引起的带状区域之间的这种亮度级差称为闪光带。

另一方面，在使用ccd传感器的情况下，不会生成上述闪光带，使得即使在使用了外部闪光的情况下，也可以获得整个一帧的亮度均匀且没有不自然感的图像。由此如上所述的这种原因，使用cmos传感器的摄像设备装配有用于校正闪光带的校正功能。

例如，提出了被配置为检测闪光带以校正该闪光带的摄像设备(参见例如日本特开2009-253367)。在该摄像设备中，计算亮度的变化，并且如果亮度的变化大体上与一帧相对应，则判断为产生了闪光带。

然而，在使用日本特开2009-253367所述的方法来进行闪光带的判断的情况下，如果存在常亮且水平地延伸的被摄体，则难以进行闪光带的判断。

技术实现要素：

本发明提供能够始终高精度地检测闪光带并且校正所检测到的闪光带的闪光带判断装置及其控制方法、存储器介质和摄像设备。

在本发明的第一方面，提供一种闪光带判断装置，用于判断在经由摄像所获得的图像中是否存在外部闪光所引起的闪光带，所述闪光带判断装置包括：第一判断单元，用于判断在所述图像中是否存在作为亮度等级超过预定亮度等级的区域的高亮度区域；以及第二判断单元，用于在判断在作为连续获得的两个图像之间的差的差图像中是否存在作为亮度等级高于预定阈值等级的区域的闪光带时，所述第一判断单元判断为存在所述高亮度区域的情况下，通过从所述差图像中排除作为判断排除区域的与所述高亮度区域相对应的区域，来判断是否存在所述闪光带。

在本发明的第二方面，提供一种摄像设备，包括：摄像单元，用于顺次读取并输出与经由光学镜头所形成的光学图像相对应的图像；以及闪光带判断装置，用于判断在经由摄像所获得的图像中是否存在外部闪光所引起的闪光带，其中，所述闪光带判断装置包括：第一判断单元，用于判断在所述图像中是否存在作为亮度等级超过预定亮度等级的区域的高亮度区域，以及第二判断单元，用于在判断在作为连续获得的两个图像之间的差的差图像中是否存在作为亮度等级高于预定阈值等级的区域的闪光带时，所述第一判断单元判断为存在所述高亮度区域的情况下，通过从所述差图像中排除作为判断排除区域的与所述高亮度区域相对应的区域，来判断是否存在所述闪光带。

在本发明的第三方面，提供一种闪光带判断装置的控制方法，所述闪光带判断装置用于判断在经由摄像所获得的图像中是否存在外部闪光所引起的闪光带，所述控制方法包括以下步骤：判断在所述图像中是否存在作为亮度等级超过预定亮度等级的区域的高亮度区域；以及在判断在作为连续获得的两个图像之间的差的差图像中是否存在作为亮度等级高于预定阈值等级的区域的闪光带时，判断为存在所述高亮度区域的情况下，通过从所述差图像中排除作为判断排除区域的与所述高亮度区域相对应的区域，来判断是否存在所述闪光带。

在本发明的第四方面，提供一种非瞬态计算机可读存储介质，其存储用于执行闪光带判断装置的控制方法的计算机可读程序，所述闪光带判断装置用于判断在经由摄像所获得的图像中是否存在外部闪光所引起的闪光带，其中，所述控制方法包括以下步骤：判断在所述图像中是否存在作为亮度等级超过预定亮度等级的区域的高亮度区域；以及在判断在作为连续获得的两个图像之间的差的差图像中是否存在作为亮度等级高于预定阈值等级的区域的闪光带时，判断为存在所述高亮度区域的情况下，通过从所述差图像中排除作为判断排除区域的与所述高亮度区域相对应的区域，来判断是否存在所述闪光带。

根据本发明，能够始终高精度地检测闪光带，结果，能够容易地校正所检测到的闪光带。

通过以下(参考附图)对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是根据本发明的第一实施例的作为包括闪光带判断装置的摄像设备的数字照相机的框图。

图2是用于说明图1中的摄像装置的曝光和输出图像之间的关系的图。

图3a～3d是分别示出第一差图像～第四差图像的用于说明差图像中的差等级和垂直线之间的关系的图。

图4是示出在各帧中存在高亮度被摄体的情况下所获得的差图像的示例的图。

图5a和5b是分别示出第二差图像和第三差图像的用于说明在图2中在帧中恒定存在高亮度被摄体的情况下所获得的差图像中的差等级和垂直线之间的关系的图。

图6a～6c是用于说明在存在高亮度被摄体部分的情况下所检测到的行亮度的图，其中，图6a示出第一帧的行亮度，图6b示出第二帧的行亮度以及图6c示出第三帧的行亮度。

图7是用于说明在判断高亮度被摄体部分的情况下所使用的高亮度被摄体行数的图。

图8a和8b是图1所示的照相机所进行的闪光带判断处理的流程图。

图9是根据本发明的第二实施例的用于说明通过作为摄像设备的数字照相机所进行的闪光带判断中的行的排除的图。

图10a～10c是根据本发明的第三实施例的各自示出各帧的行亮度的用于说明通过作为摄像设备的数字照相机所获得的帧的行亮度的图。

图11a～11c是各自示出各差图像的差等级的用于说明从图10a～10c所示的帧中所获得的差图像的差等级的图。

具体实施方式

现在，以下将参考示出本发明的实施例的附图来详细说明本发明。

图1是包括根据本发明的第一实施例的闪光带判断装置的摄像设备的框图。

所示的摄像设备例如是能够拍摄运动图像的数字照相机(以下简称为“照相机”)1，并且具有光学镜头单元(以下简称为“光学镜头”)101。光学镜头101包括透镜组，并且具有调焦机构、光圈机构和变焦机构。调焦机构用于调节焦点，以及光圈机构用于调节光量和景深。此外，变焦机构用于改变焦距。

经由光学镜头101将被摄体图像(光学图像)形成在摄像装置102上。摄像装置102输出与光学图像相对应的电信号(模拟信号)。摄像装置102的示例包括ccd图像传感器(电荷耦合器件)和cmos图像传感器。在所示示例中，使用以行为单位顺次进行像素的读出的cmos图像传感器作为摄像装置102。

图像获取部103获取从摄像装置102输出的图像信号作为数字信号。换句话说，图像获取部103包括用于将从摄像装置102输出的模拟信号转换成数字信号(图像信号)的模拟-数字前端。

闪光检测部104接收来自图像获取部103的输出，并且检测例如从闪光灯或频闪灯发出的外部闪光是否出现在经由摄像所获得的图像中作为闪光带(即，检测是否存在闪光带)。在闪光检测部104检测到闪光带的情况下，图像校正部105将包括闪光带的图像(闪光带图像)校正成如稍后所述的全画面闪光图像。

系统控制器106控制照相机1的整体操作。在该控制下，系统控制器106通过确定如何根据用户操作对照相机1进行操作来控制照相机1。摄像装置控制器107在系统控制器106的控制下控制摄像装置102的驱动。例如，摄像装置控制器107进行包括摄像装置102的增益的确定和向摄像装置102的垂直同步信号vd的传送的控制。

镜头控制器108在系统控制器106的控制下对光学镜头101的光圈、调焦、变焦和nd(中性密度)等进行控制。记录和输出部109将从图像校正部105输出的校正后的图像信号记录在存储介质(未示出)中，并且将图像信号输出至诸如lcd等的显示装置(未示出)。

这里，将说明由图1所示的照相机所进行的闪光带的检测。注意，在本示例中，假定进行运动图像拍摄。

图2是用于说明图1中的摄像装置的曝光和输出图像之间的关系的图。

参考图2，横轴代表时间(sec)，以及纵轴代表指示在垂直方向上配置的各水平行在垂直方向上的位置的垂直线。此外，图2示出外部闪光(频闪发光)的产生定时和输出图像之间的关系。此外，vd代表输入至摄像装置102的垂直同步信号。

现在，假定进行运动图像拍摄，结果顺次获得了帧0～4。摄像装置控制器107使用顺次对水平行进行曝光并且以水平行为单位顺次读出图像信号来生成一帧的所谓的卷帘式快门方法，来进行对摄像装置102的读出控制。假定由此在比帧2和帧3之间的一行时间短的时间段内进行了频闪发光。也就是说，假定对画面的下部正进行针对帧2的曝光并且对画面的上部正进行针对帧3的曝光的状态下进行了频闪发光。

结果，在从中间部分到下端的帧2的区域中产生闪光带，并且在从上端到大体等同于与帧2的闪光带开始相对应的水平行的水平行的帧3的区域中产生闪光带。在检测到闪光带的情况下，获得当前帧和紧挨着的先前帧(前一帧)之间的差，并且基于差图像来检测发生了闪光带的帧。

差图像1(第一差图像)是通过从帧1的各像素的亮度值减去帧0的各像素的亮度值所获得的图像(即，两个图像之间的像素值的相减结果)。如果在帧0和帧1中不存在作为运动被摄体的被摄体，则差图像1的全部水平行(以下还简称为“行”)的各行的差的积分值变得大约等于0。差图像2(第二差图像)是通过从帧2的各像素的亮度值减去帧1的各像素的亮度值所获得的图像。帧2具有作为产生了闪光带的闪光带区域的下半部分，并且帧1的相应部分不是闪光带区域，因而，在差图像2中，与闪光带区域相对应的部分中的各行的差的积分值变大(阴影区域)。

差图像3(第三差图像)是通过从帧3的各像素的亮度值减去帧2的各像素的亮度值所获得的图像。帧3具有作为产生了闪光带的闪光带区域的上半部分，并且帧2的相应部分不是闪光带区域，因而，在差图像3中，与闪光带区域相对应的部分中的各行的差的积分值变大(阴影区域)。另一方面，从帧3的下半部分的各像素的亮度值减去帧2的下半部分的闪光带区域的各像素的亮度值，因而各行的差的积分值是最小值(由黑色表示)。差图像4(第四差图像)是通过从帧4的各像素的亮度值减去帧3的各像素的亮度值所获得的图像。从帧4的上半部分的各像素的亮度值减去帧3的闪光带区域的各像素的亮度值，因而，各行的差的积分值是最小值(由黑色表示)，但是从帧4的下半部分的各像素的亮度值减去帧3的不是闪光带区域的部分的各像素的亮度值，因而，各行的差的积分值大约等于0。

图3a～3d是分别示出第一差图像～第四差图像的用于说明差图像中的差等级和垂直线之间的关系的图。

参考图3a～3d，横轴代表在差图像中由在水平方向上延伸的各行(以下称为“水平行”)的平均亮度(或者作为各行的差的积分值的行亮度)所指示的差等级，以及纵轴代表在垂直方向上配置的各水平行在垂直方向上的位置的垂直线。在差图像中，预先设置用于判断闪光带的阈值(闪光带判断阈值：阈值等级)。在差图像1(参见图3a)中，针对在垂直方向上配置的全部水平行，差等级大约等于0。在差图像2(参见图3b)中，在闪光带区域开始的水平行处，差等级超过闪光带判断阈值。

在差图像3(参见图3c)中，在与差图像2中差等级超过闪光带判断阈值的行大体上相同的位置处，差等级跨过闪光带判断阈值。在差图像4(参见图3d)中，在与差图像3中差等级跨过闪光带判断阈值的行大体上相同的位置处，该差等级从低于0的状态改变成等于0的状态。在本示例中，在差图像中差等级超过闪光带判断阈值的情况下，表示与差图像相关联的两帧中的至少一帧具有闪光带区域，从而判断为产生了闪光带。

接着，将说明在恒定存在高亮度被摄体的情况下的闪光带的检测。

图4是示出在各帧中存在高亮度被摄体区域(高亮度被摄体部分)的情况下所获得的差图像的示例的图。

参考图4，在帧0～4各自中存在高亮度被摄体区域(高亮度区域)，并且帧2和3各自中存在闪光带区域。在差图像1中，帧0和帧1在大体上相同的位置具有高亮度被摄体部分，因而针对高亮度被摄体部分的差等级等于0，并且针对差图像的全部行的各行的差的积分值大约等于0。

图5a和5b是分别示出第二差图像和第三差图像的用于说明在图2中在各帧中恒定存在高亮度被摄体的情况下所获得的差图像中的差等级和垂直线之间的关系的图。

参考图4和5a，同样地，在差图像2中，针对高亮度被摄体部分的差等级也等于0，并且与在帧2中所产生的闪光带区域相关联的各行的差的积分值变大。在这种情况下，可以判断为差等级超过预先设置的闪光带判断阈值的第一行表示闪光带开始位置(参见图5a)。

在差图像3中，从存在于帧3中的闪光带区域的各像素的亮度值减去高亮度被摄体部分的各像素的亮度值，此外，从帧3的各像素的亮度值减去帧2中的闪光带区域的各像素的亮度值。此时，如果帧2中的高亮度被摄体部分和帧3中的闪光带区域之间的亮度差小，则在差图像3中的闪光带区域的部分中产生差小的区域。如图5b所示，在高亮度被摄体部分中，如果闪光带区域的亮度差小，则在相应部分处差等级跨过闪光带判断阈值。这导致即使在由于闪光而产生了闪光带区域的状态下，也根据高亮度被摄体部分的位置而不将闪光带区域检测为闪光带区域。注意，在差图像4中，与存在于帧3中的闪光带区域相对应的部分的各行的差的积分值变成最小值。

为了应对此，在图1所示的照相机1中，以上述方式获得差图像，并且检测超过闪光带判断阈值的差等级。此外，如果在进行相减的帧中存在被判断为高亮度被摄体部分的区域，则将该区域从闪光带判断中排除。

图6a～6c是用于说明在存在高亮度被摄体部分的情况下所检测到的行亮度的图，其中，图6a示出第一帧的行亮度，图6b示出第二帧的行亮度，以及图6c示出第三帧的行亮度。

参考图6a～6c，横轴代表在各帧中的各水平行的平均亮度(或者作为各行的差的积分值的行亮度)，以及纵轴代表表示在垂直方向上配置的各水平行在垂直方向上的位置的垂直线。设置用于以帧为单位来判断高亮度被摄体的阈值(高亮度判断阈值：亮度等级)。在帧0和1各自中恒定存在高亮度被摄体部分的情况下(参见图6a)，将帧1中的被判断为亮度高的行从差图像2的闪光带判断中排除(参见图6b)。同样地，在差图像3中，将帧2中被判断为亮度高的行从闪光带判断中排除(参见图6c)。

图7是用于说明在判断高亮度被摄体部分的情况下所使用的高亮度被摄体行数的图。

如上所述，在将被判断为高亮度的行从闪光带判断中排除的情况下，有时闪光带开始的行被识别为高亮度行。因此，在判断高亮度被摄体部分的情况下，除了高亮度判断阈值以外，还将判断高亮度被摄体部分所参考的行数设置为高亮度被摄体判断行数。然后，在超过高亮度判断阈值的行数不大于高亮度被摄体判断行数的情况下，将相应区域判断为高亮度被摄体部分。

因此，如图7所示，超过高亮度判断阈值的上部区域的行数不大于高亮度被摄体判断行数，因而将该区域判断为高亮度被摄体部分。另一方面，超过高亮度判断阈值的下部区域的行数大于高亮度被摄体判断行数，因而不将该区域判断为高亮度被摄体部分。更具体地，在如在闪光带区域中彼此垂直地连续的高亮度的行的数量大于高亮度被摄体判断行数的情况下，不将高亮度行的区域判断为高亮度被摄体部分。结果，即使在将与高亮度被摄体部分相关联的行排除的情况下，其也不会对差图像中的闪光带区域的检测产生影响。

图8a和8b是图1所示的照相机1所进行的闪光带判断处理的流程图。

首先，系统控制器106针对帧n(n是自然数)以行为单位计算亮度值的积分值，并且将与各自具有比预定的高亮度判断阈值大的积分值的行有关的信息作为与高亮度被摄体部分行有关的信息存储在内部存储器中(步骤s1)。然后，系统控制器106计算帧n和紧挨着的先前帧(n-1)之间的差图像n(步骤s2)。然后，系统控制器106使闪光检测部104检测在差图像n中是否存在差等级(差的积分值)超过闪光带判断阈值的任意行(步骤s3)。

如果不存在差等级超过闪光带判断阈值的行(步骤s3中为“否”)，则系统控制器106设置n＝n+1(步骤s4)，并且返回至步骤s1。另一方面，如果存在差等级超过闪光带判断阈值的任意行(步骤s3中为“是”)，则系统控制器106将差等级超过闪光带判断阈值的各行的位置存储在内部存储器中(步骤s5)。

然后，系统控制器106以上述方式针对帧(n-1)排除被判断为高亮度被摄体部分的行的行(步骤s6)。然后，系统控制器106从在步骤s1中所存储的高亮度被摄体部分行中排除与针对帧(n-1)所排除的行相对应的行，并且将所得到的高亮度被摄体部分行存储在内部存储器中(步骤s7)。

接着，系统控制器106针对除了所排除的行以外的全部行来计算差，以获得帧n和帧(n-1)之间的差图像n(步骤s8)。然后，系统控制器106判断在差图像n中、在与步骤s7中所存储的高亮度被摄体行中的任意行大体上相同的位置是否存在差等级跨过闪光带判断阈值的行(步骤s9)。

如果存在差等级跨过闪光带判断阈值的行(步骤s9中为“是”)，则系统控制器106判断在差图像n中在与帧(n-1)的相应行的位置大体上相同的位置处、该行的差等级是否跨过闪光带判断阈值(步骤s10)。如果在与帧(n-1)的相应行的位置大体上相同的位置处该行的差等级跨过闪光带判断阈值(步骤s10中为“是”)，则系统控制器106判断为产生了闪光带(步骤s11)。然后，系统控制器106终止闪光带判断处理。

另一方面，如果判断为在与帧(n-1)的相应行的位置大体上相同的位置处该行的差等级没有跨过闪光带判断阈值(步骤s10中为“否”)，则系统控制器106判断为没有产生闪光带(步骤s12)。然后，系统控制器106终止闪光带判断处理。注意，如果不存在差等级跨过闪光带判断阈值的行(步骤s9中为“否”)，则系统控制器106进入步骤s12。

如上所述，在本发明的第一实施例中，在从差图像中检测到闪光带的情况下，通过以帧为单位将高亮度被摄体部分从闪光带判断中排除。这使得能够高精度地进行闪光带检测。

接着，将说明作为根据本发明的第二实施例的摄像设备的数字照相机。注意，作为根据第二实施例的摄像设备的数字照相机具有与图1所示的照相机1的结构相同的结构，因而同样将该数字照相机称为照相机1。

在第一实施例中，以示例的方式在图4所示的差图像2中，将帧1中存在的高亮度被摄体部分的行从闪光带判断中排除。这样，帧1中存在的高亮度被摄体部分和帧2中存在的高亮度被摄体部分有时位置移位。因此，期望将要从闪光带判断中排除的高亮度被摄体部分设置为比帧1中的被判断为高亮度被摄体部分的区域宽。

图9是根据第二实施例的用于说明从通过作为摄像设备的照相机1所进行的闪光带判断判断中排除行的图。

这里，系统控制器106将帧1中存在的高亮度被摄体部分的区域扩大(即改变)预定行数(α行)，由此增加高亮度被摄体部分的行数，并且将这些行从闪光带判断中排除。注意，数量α是根据诸如照相机1的照相机抖动量等的照相机1的状态来确定的。

如上所述，在第二实施例中，根据诸如照相机抖动量等的照相机1的状态来扩大要作为高亮度被摄体部分而排除的区域。这使得可以高精度地进行闪光带检测。

接着，将说明作为根据本发明的第三实施例的摄像设备的数字照相机。注意，根据作为第三实施例的摄像设备的数字照相机具有与图1所示的照相机1的结构相同的结构，因而同样将该数字照相机称为照相机1。

图10a～10c是根据第三实施例的各自示出各帧的行亮度的用于说明作为摄像设备的照相机1所获得的帧的行亮度的图。此外，图11a～11c是各自示出各差图像的差等级的用于说明从图10a～10c所示的帧所获得的差图像的差等级的图。

图10a～10c以及11a～11c示出帧中存在的高亮度被摄体部分和闪光带区域至少部分彼此重叠的示例。也就是说，所示示例示出了在高亮度被摄体部分中产生了闪光带的状态。

如图10a所示，在帧1中，存在被判断为高亮度被摄体部分的行。此外，如图10b所示，在帧2中，闪光带区域从高亮度被摄体部分的中间部分开始。此外，如图10c所示，在帧3中，闪光带区域在与帧2的闪光带开始位置大体上相同的位置处结束。

在针对图10a～10c所示的各帧获得差图像的情况下，由于通过从帧2的各像素的亮度值减去帧1的各像素的亮度值来获得差图像2，因此针对帧1中的高亮度被摄体部分的行，差图像2中的差等级大约等于0。此外，在差图像2中，在比高亮度被摄体部分低的位置处，差等级超过闪光带判断阈值(参见图11a)。

由于差图像3是通过从帧3的各像素的亮度值减去帧2的各像素的亮度值而获得的，因此在高亮度被摄体部分中差等级大约等于0。此外，在差图像3中，在跨过闪光带判断阈值且与高亮度被摄体部分相对应的位置处，差等级变得大约等于0(参见图11b)。在将差图像2和3进行比较的情况下，差图像2中差等级跨过闪光带判断阈值的位置与差图像3中差等级跨过闪光带判断阈值的位置不同，从而难以检测到闪光带。

因此，系统控制器106将帧1的高亮度被摄体部分设置为从闪光带判断被摄体中排除的判断排除区域，并且如图11c的差图像3’所示，系统控制器106将差等级跨过闪光带判断阈值的位置判断为紧接着判断排除区域的结束之后的位置。

如上所述，将高亮度被摄体部分设置为判断排除区域，此外，将紧挨在闪光带判断排除区域之前的差等级保持在闪光带判断排除区域中。这使得能够将差图像2中的闪光带开始位置和差图像3中的闪光带结束位置对准。结果，即使在上述状态下存在高亮度被摄体部分的情况下，也可以进行闪光带检测。

如上所述，在本发明的第三实施例中，将帧中存在的高亮度被摄体部分从闪光带判断中排除。此外，在从闪光带判断排除的区域中，保持紧挨在从闪光带判断排除的区域之前的差等级。结果，即使在高亮度被摄体部分中产生了闪光带的情况下，也可以高精度地进行闪光带检测。

在上述实施例中，尽管差图像是基于帧间的各像素的亮度值的差来获得的，但是差图像可以基于帧间的各行的亮度值的积分值的差来获得。

通过上述说明，显而易见，在图1的所示示例中，系统控制器106和闪光检测部104用作第一判断单元和第二判断单元，此外，闪光带判断装置至少由系统控制器106和闪光检测部104构成。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

例如，可以通过使闪光带判断装置执行基于上述实施例的功能的控制方法。

其它实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(cpu)、微处理单元(mpu)读出并执行程序的方法。

本申请要求2016年3月16日提交的日本专利申请2016-052246的优先权，这里通过引用将其全部内容包含于此。