摄像控制设备和摄像控制方法与流程

本公开涉及成像控制设备和成像控制方法。

背景技术：

已广泛用作内部光源的荧光灯、近年来已变得广泛使用的发光二极管(led)等产生所谓的闪烁。闪烁是由于商用供电频率的影响而发生的照明灯的周期性闪光。已提出与用于防止例如因此闪烁所致的颜色不均匀性等图像质量的恶化的成像设备相关的技术(例如，参照下文所述的专利文献1)。

【引用文献列表】

【专利文献】

【专利文献1】

jp2014-220763a

技术实现要素：

【技术问题】

在此领域中，需要因闪烁所致的图像质量的恶化的有效降低。

已考虑到前述问题而作出本公开。本公开的目标是提供防止因闪烁所致的图像质量的恶化的成像控制设备和成像控制方法。

【问题的解决方案】

为了解决上述问题，本公开例如是一种成像控制设备，包含：闪烁检测部，被配置成检测光源的闪烁分量，闪烁分量包含在图像中；以及控制部，被配置成根据闪烁检测部的检测结果而控制成像的定时，其中控制部根据所检测的闪烁分量的峰值或底部的定时而控制成像的定时。

此外，本公开例如是一种成像控制设备，所述成像控制设备包含被配置成检测光源的闪烁分量的闪烁检测部，闪烁分量包含在图像中，其中闪烁检测部根据检测时的传感器部的曝光时间而输出将所检测的闪烁分量的相位反相的信息。

此外，本公开例如是一种成像控制设备，所述成像控制设备包含被配置成控制闪烁分量的检测时的第一传感器部的第一曝光时间以及成像时的第二传感器部的第二曝光时间的控制部，其中控制部调整第一曝光时间或第二曝光时间中的至少一个以便将各自对应于一个周期的、奇数数量或偶数数量的闪烁分量包含在第一曝光时间和第二曝光时间中的每一个内并且以便并非是闪烁分量的周期的整数倍。

此外，本公开例如是一种成像控制方法，包含：通过闪烁检测部来检测光源的闪烁分量，闪烁分量包含在图像中；以及通过控制部来根据闪烁分量的检测结果而控制成像的定时，其中控制部根据所检测的闪烁分量的峰值或底部的定时而控制成像的定时。

此外，本公开例如是一种成像控制方法，包含：通过闪烁检测部来检测光源的闪烁分量，闪烁分量包含在图像中；以及根据检测时的传感器部的曝光时间而输出将所检测的闪烁分量的相位反相的信息。

此外，本公开例如是一种成像控制方法，包含：通过控制部来控制闪烁分量的检测时的第一传感器部的第一曝光时间以及成像时的第二传感器部的第二曝光时间；以及通过控制部来调整第一曝光时间或第二曝光时间中的至少一个以便将各自对应于一个周期的、奇数数量或偶数数量的闪烁分量包含在第一曝光时间和第二曝光时间中的每一个内并且以便并非是闪烁分量的周期的整数倍。

【本发明的有利效果】

根据本公开的至少一个实施例，可以防止因闪烁所致的图像质量的恶化。应注意，此处所述的效果未必是限制性的，并且本公开中所述的效果中的任一个可得以提供。此外，本公开的内容应被解释为受所示范的效果限制。

附图说明

图1是描绘根据本公开的一个实施例的成像设备的配置的实例的框图。

图2是描绘根据本公开的一个实施例的数字信号处理部的配置的实例的框图。

图3是描绘闪烁分量的实例的图。

图4是描绘根据本公开的实施例的闪烁检测部的配置的实例的框图。

图5是辅助解释根据本公开的实施例的成像设备的动作的实例的图。

图6是辅助解释无闪烁拍摄过程的实例的图。

图7是图示根据本公开的一个实施例的过程的流程的实例的流程图。

图8是辅助解释闪烁分量的检测时的图像的曝光时间与闪烁光源的周期之间的关系(曝光时间比闪烁光源的周期短的状况的实例)的图。

图9是辅助解释闪烁分量的检测时的图像的曝光时间与闪烁光源的周期之间的关系(曝光时间比闪烁光源的周期长的状况的实例)的图。

图10是辅助解释闪烁分量的峰值位置根据曝光时间而反相的图。

图11是辅助解释由闪烁检测部执行的过程等的实例的图。

图12是辅助解释用于将拍摄的定时与闪烁分量的底部同步的控制的图。

图13是辅助解释由系统控制器执行的过程等的实例的图。

图14是图示每一样式的过程、进行样式化并图示闪烁分量的峰值位置是否在检测时反相与用于将实际拍摄的定时同步的定时之间的图。

具体实施方式

下文中，将参照附图来描述本公开的实施例等。应注意，将按以下次序进行描述。

<1.一个实施例>

<2.修改>

下文所述的实施例等是本公开的优选具体实例，并且本公开的内容不限于这些实施例等。

<1.一个实施例>

【成像设备的配置的实例】

“整体配置的实例”

图1描绘根据本公开的实施例的成像设备(成像设备100)的配置的实例。在成像设备100中，互补金属氧化物半导体(cmos)成像装置12经由成像光学系统11从对象接收光，并执行光电转换。可从cmos成像装置12获得模拟图像信号。例如，成像部包含成像光学系统11和cmos成像装置12。

cmos成像装置12是传感器部的实例。除按二维阵列布置且形成的多个像素外，cmos成像装置12还包含垂直扫描电路、水平扫描电路和视频信号输出电路。多个像素各自在cmos衬底上包含光电二极管(光栅)、传送栅(快门晶体管)、开关晶体管(寻址晶体管)、放大晶体管、复位晶体管(复位栅)等。

cmos成像装置12可以是原色系统或补色系统，如下所述。从cmos成像装置12获得的模拟图像信号是rgb颜色中的每一个的原色信号或补色系统的颜色信号。

模拟信号处理部13被配置为集成电路(ic)。模拟信号处理部13对从cmos成像装置12接收的每一颜色信号的模拟图像信号进行采样并保持，并经由自动增益控制(agc)而控制增益。模拟信号处理部13执行模拟/数字(a/d)转换以将模拟图像信号转换为数字信号。

数字信号处理部20被配置为ic并充当检测部。数字信号处理部20处理从模拟信号处理部13接收的数字图像信号，如下所述。接着，数字信号处理部20中的闪烁检测部25检测每一信号分量的闪烁分量并适当地减小闪烁分量，如下所述。最终，闪烁检测部25将数字图像信号转换为亮度信号y以及红色和蓝色色差信号r-y和b-y。数字信号处理部20输出亮度信号y以及红色和蓝色色差信号r-y和b-y。

系统控制器14是控制部的实例。系统控制器14包含微计算机等，并控制成像设备100的每一部。作为实例，系统控制器14根据闪烁检测部25的检测结果而控制成像(例如，实际拍摄)的定时。

具体来说，系统控制器14将镜头驱动控制信号供应到镜头驱动驱动器15。镜头驱动驱动器15包含ic，并驱动成像光学系统11的镜头和光圈。

此外，系统控制器14将定时控制信号供应到定时产生器16。定时产生器16将各种定时信号供应到cmos成像装置12以驱动cmos成像装置12。

此时，cmos成像装置12的快门速度(曝光时间)也受从系统控制器14接收的定时控制信号控制。具体来说，系统控制器14中的快门控制部14c设定快门速度。例如，快门速度根据模式来手动或自动设定。

此外，系统控制器14从数字信号处理部20获得每一信号分量的所检测的信号。模拟信号处理部13根据从系统控制器14接收的agc信号而控制每一颜色信号的增益，如上所述。系统控制器14还控制数字信号处理部20中的信号过程。

此外，相机抖动传感器17连接到系统控制器14。从其获得的相机抖动信息用于校正相机抖动。

此外，操作部18a和显示部18b经由接口19而连接到系统控制器14。接口19包含微计算机等。用户接口18包含操作部18a和显示部18b。系统控制器14检测操作部18a中的设定操作、选择操作等。系统控制器14还导致显示部18b显示相机的设定状态、控制状态等。例如，操作部18a可用于设定是否执行下文所述的无闪烁拍摄。

应注意，成像设备100可包含存储设备。存储设备可以是建置在成像设备100中的硬盘等，或可以是例如可自由附接到成像设备100并从成像设备100拆卸的通用串行总线(usb)存储器等存储器。此外，成像设备100可包含通信设备。使用通信设备，成像设备100可能够经由因特网等而将图像数据、各种设定数据等传输到外部设备以及从外部设备接收图像数据、各种设定数据等。可有线地或无线地执行通信。

“数字信号处理部的配置的实例”

图2描绘原色系统的状况下的数字信号处理部20的配置的实例。在原色系统中，图1中的成像光学系统11包含分离光学系统。分离光学系统将来自对象的光分离为rgb颜色中的每一个的彩色光。原色系统是三板系统或单板系统。三板系统包含rgb颜色中的每一个的cmos成像装置作为cmos成像装置12。单板系统包含单个cmos成像装置作为cmos成像装置12，其中rgb颜色中的每一个的彩色滤光片在屏幕的水平方向上依序且重复布置在光入射表面上的每一像素中。在此状况下，从cmos成像装置12并行读取相应rgb颜色的原色信号。

在图2中的数字信号处理部20中，箝位电路21将输入rgb原色信号的黑色电平箝位到预定电平。增益调整电路22根据曝光量而调整所箝位的rgb原色信号的增益。使用下文所述的方法，闪烁检测部25r、25g和25b检测已调整增益之后的rgb原色信号中的闪烁分量，并且适当地减小闪烁分量。此外，在实际拍摄时执行根据系统控制器14的控制来执行无闪烁拍摄的过程。实际拍摄表示响应于预定操作(例如，完全按压快门按钮的操作)而执行的拍摄，例如，将图像记录在存储介质中的拍摄。此外，无闪烁拍摄表示可防止因闪烁光源所产生的闪烁所致的对图像质量的影响(图像质量的恶化)的拍摄。

此外，在图2中的数字信号处理部20中，白平衡调整电路27调整已减少闪烁之后的rgb原色信号的白平衡。伽玛校正电路28转换已调整白平衡之后的rgb原色信号的灰度级。从已进行伽玛校正之后的rgb原色信号，合成矩阵电路29产生将输出的亮度信号y和色差信号r-y和b-y。

应注意，闪烁检测部25可设置在合成矩阵电路29的输出侧上。从合成矩阵电路29的输出侧，输出亮度信号y。这允许检测亮度信号y中的闪烁分量。

相比之下，补色系统是单板系统。单板系统包含单个cmos成像装置作为图1中的cmos成像装置12，其中补色系统的彩色滤光片形成在光入射表面上。

在补色系统中，cmos成像装置12合成并读取邻近的两个水平线位置处的视频信号。在数字信号处理部20中，补色信号(合成信号)的黑色电平被箝位到预定电平。所箝位的补色信号的增益根据曝光量来调整。此外，从已调整增益之后的补色信号产生亮度信号和rgb原色信号。

接着，校正亮度信号的灰度级并获得将输出的亮度信号y。还调整rgb原色信号的白平衡。转换已调整白平衡之后的rgb原色信号的灰度级，并从已进行伽玛校正之后的rgb原色信号产生色差信号r-y和b-y。

【动作的实例】

“基本动作”

接着，将描述成像设备100的动作的实例。此处，将描述静态图像拍摄的实例。当将成像设备100通电时，动态图像模式中的图像(直通图像)在例如拍摄之后的对象的合成的确定(成帧)时显示(实时取景显示)在显示部18b上。

随后，在已确定对象之后，执行预备操作。预备操作是预备进行拍摄并紧接在拍摄之前执行的操作。预备操作例如是部分地(大约到一半)按压快门按钮的半按压操作。快门按钮包含在操作部18a中。当对快门按钮执行半按压操作时，例如执行用于将对象的静态图像成像的预备动作。用于将对象的静态图像成像的预备动作的实例包含曝光控制值的设定、用于检测焦点的检测动作、辅助光部的发光等。应注意，当在半按压状态中取消快门按钮的按压时，这些预备动作结束。

当从半按压状态进一步按压并安全按压快门按钮时，成像设备100被指示执行实际拍摄并且使用cmos成像装置12以执行与对象图像(对象的光学图像)相关联的曝光动作。在模拟信号处理部13和数字信号处理部20对从曝光动作获得的图像数据执行预定信号过程时，可获得静态图像。对应于所获得的静态图像的图像数据适当地存储在未图示的存储设备中。

应注意，成像设备100可捕捉动态图像。在成像设备100捕捉动态图像的状况下，例如，成像设备100在快门按钮被按压时捕捉并记录动态图像，并在快门按钮被再次按压时停止捕捉动态图像。

“关于闪烁减少过程”

接着，将描述成像设备100的闪烁减少过程等。闪烁减少过程例如是将对实时取景显示中的直通图像执行的过程。在描述之前，将描述闪烁分量的实例以有助于理解。闪烁分量在ntsc系统中由荧光灯产生。应注意，在此实例中，将关于帧率是60帧/秒(fps)并且商用供电频率是50赫兹(hz)的状况进行描述。在此状况下产生的闪烁分量的特性如下所述。

(1)在一个屏幕中产生5/3周期的闪烁分量(重复周期是三帧(或可以是字段))。

(2)每一线的相位改变。

(3)闪烁分量可作为具有是商用供电频率(50hz)的频率的两倍的频率(100hz)的正弦波来处置。

当发生闪烁现象时，如图3所描绘的闪烁分量由于上文所述的特性而产生。应注意，在图3中，从上侧(屏幕的上部)到下侧(屏幕的下部)执行扫描。在cmos成像装置12中，曝光定时在每一水平线处不同。因此，接收光的量取决于水平线而改变。因此，即使在荧光灯在空间上并均匀地点亮的状况下，视频信号的值高于平均值的水平线以及视频信号的值低于平均值的水平线也存在，如同在图3中。例如，在图3中的帧中，图像中的最上方水平线(即，顶部线)是闪烁分量(闪烁分量的量值)最高的峰值。此外，闪烁分量也在相对于顶部线移位并对应于一个屏幕中所包含的全部线的数量的3/5的水平线处最高。以此方式，闪烁分量可被表达为具有振幅、周期和初始相位的正弦函数(正弦波)，如图3所描绘。应注意，在此实例中，初始相位表示顶部线处的相位。

此外，每一水平线的相位取决于帧而改变。也就是说，视频信号的值高于平均值的水平线以及视频信号的值低于平均值的水平线在每一帧中改变。在下一帧中，正弦波具有不同初始相位。例如，在100hz的闪烁由荧光灯产生并且帧率是60fps的状况下，荧光灯的闪烁的五个周期是对应于三帧的一段时间。因此，初始相位每三帧变得相同。以此方式，闪烁分量取决于水平线和帧而波动。应注意，在pal方法的状况下，也就是说，在帧率是50fps并且商用供电频率是60hz的状况下，可以将闪烁分量表达为具有五帧的周期的正弦波。将关于检测并减小具有如上所述的特性的闪烁分量的过程(动作)的实例进行描述。

图4描绘闪烁检测部25的配置的详细实例。应注意，在以下描述中，输入图像信号中的每一个表示在闪烁减少过程之前输入到闪烁检测部25中的rgb原色信号或亮度信号。输出图像信号中的每一个表示由闪烁检测部25检测的闪烁分量已减少的rgb原色信号或亮度信号。

闪烁检测部25例如包含归一化积分值计算块30、算术块40、离散傅里叶变换(dft)块50、闪烁产生块55和频率估计/峰值检测块60。归一化积分值计算块30包含积分块31、积分值保持块32、平均值计算块33、差计算块34和归一化块35。

积分块31对屏幕的水平方向上的一条线上的输入图像信号in’(x,y)求积分以计算积分值fn(y)。所计算的积分值fn(y)由积分值保持块32存储并保持以检测稍后帧中的闪烁。在垂直同步频率是60hz的状况下，积分值保持块32被配置成能够保持至少两帧的积分值。

平均值计算块33计算三个积分值fn(y)、fn_1(y)和fn_2(y)的平均值ave[fn(y)]。应注意，fn_1(y)是与一帧前相同的线上的积分值fn_1(y)，并且fn_2(y)是与两帧前相同的线上的积分值fn_2(y)。这些积分值是从积分值保持块32读取的值。

差计算块34计算已从积分块31供应的积分值fn(y)与已从积分值保持块32供应的一帧前的积分值fn_1(y)之间的差。通过差值fn(y)-fn_1(y)，充分地移除对象的影响。因此，与积分值fn(y)相比，闪烁分量(闪烁系数)的状态清楚地显现。

此外，归一化块35执行归一化过程以计算归一化差值gn(y)。在归一化过程中，归一化块35将从差计算块34获得的差值fn(y)-fn_1(y)除以从平均值计算块33获得的平均值ave[fn(y)]。

dft块50对从归一化块35获得的归一化差值gn(y)的数据执行离散傅里叶变换。数据对应于闪烁的一个波长(l条线)。因此，估计每一后续闪烁分量的振幅γm和初始相位φmn。应注意，初始相位φmn针对成像设备100中所产生的每一预定时间(例如，针对每一0.5微秒(μs))与计数器相关联而被保持。

此外，闪烁产生块55从获自dft块50的估计值γm和φmn计算闪烁系数γn(y)。接着，算术块40执行将1与获自闪烁产生块53的闪烁系数γn(y)相加并将输入图像信号in’(x,y)除以所得的和[1+γn(y)]的逆增益过程。因此，几乎完全移除输入图像信号in’(x,y)中所包含的闪烁分量。作为输出图像信号(闪烁减少过程之后的rgb原色信号或亮度信号)，可从算术块40获得实质上不包含闪烁分量的信号分量in(x,y)。

经由如上所述的过程，可以检测闪烁的存在或不存在，并且防止因闪烁所致的直通图像的图像质量的恶化。应注意，可在动态图像的捕捉(包含记录)时执行上述闪烁减少过程。应注意，在此实施例中，针对每一rgb而检测闪烁分量。在此状况下，检测具有最大振幅的颜色分量(通道)的峰值的定时。或者，可检测亮度信号的峰值。

应注意，由dft块50计算的初始相位φmn被供应到频率估计/峰值检测块60。频率估计/峰值检测块60基于输入初始相位φmn而估计至少闪烁分量(光源)的频率，换句话说，闪烁分量的周期。此外，频率估计/峰值检测块60检测闪烁分量的峰值的定时(下文中，也适当地称为峰值位置)。例如，频率估计/峰值检测块60从基于帧率的时间差以及相对于初始相位φmn的相位差估计闪烁分量的频率。此外，频率估计/峰值检测块60例如从第一帧中的初始相位φmn以及与初始相位φmn相关联的计数器检测闪烁分量的峰值和底部的定时。

例如，在初始相位φmn处于60度的状况下，可使用计数器的时间间隔而获得可近似于正弦波的闪烁分量的峰值(例如，90度)的定时。从频率估计/峰值检测块60获得的信息被通知给系统控制器14。应注意，闪烁分量的峰值(闪烁分量的顶峰)是闪光的闪烁的最亮部分，如上所述。此外，闪烁分量的底部(闪烁分量的谷底)是闪光的闪烁的最暗部分。

如上所述，可基于使用cmos成像装置12进行的成像的结果(经由成像部而获得的所拍摄的图像)而检测闪烁分量的特性(闪烁分量的周期、峰值的定时等)。因此，不需要设置任何专用传感器，并且因此可以防止因部件的数量的增加所致的成本提高。此外，成像设备的缩减也是可能的。然而，应注意，在此实施例中，可设置专用光电传感器。应注意，获得闪烁分量的特性的过程不限于上文所述的方法，并且可应用已知方法。

“关于无闪烁拍摄过程”

接着，将描述无闪烁拍摄过程。例如，在已在成像设备100中设定无闪烁拍摄模式的状况下执行无闪烁拍摄过程。

在上文所述的检测并减小闪烁分量的上述过程中，多个帧的图像(例如，三帧)用于从平均值提取背景分量。因此，在帧率匹配例如荧光灯等闪烁光源的闪光周期的状况下，难以分离背景与闪烁。这导致难以检测闪烁。此外，因为使用多个帧的图像，所以难以在执行静态图像的无闪烁拍摄的状况下在不进行任何改变的情况下应用上述过程。因此，在静态图像的无闪烁拍摄的状况下，将执行下文所述的无闪烁拍摄过程。

首先执行将帧率切换到比正常时间的帧率高的帧率的过程。例如，所切换的帧率n倍于光源的频率(然而，应注意，频率大于闪烁分量的频率(100hz或120hz))。优选地，帧包含闪烁分量的一个周期。作为实例，帧率被设定为n＝4，即，200fps(在光源的频率是50hz的状况下)或240fps(在光源的频率是60hz的状况下)。

应注意，闪烁光源的频率可获自用户设定或可基于实时取景显示中的上述闪烁减少过程的结果来自动地设定。也就是说，在闪烁减少过程中，在帧率是60fps并且闪烁分量未被检测到状况下，光源的频率被确定为50hz。在帧率是50fps并且闪烁分量未被检测到的状况下，光源的频率被确定为60hz。可在无闪烁拍摄过程期间使用结果。此外，可经由无闪烁拍摄过程而检测闪烁的存在或不存在。

虽然可适当地设定帧率切换定时，但优选的是，帧率紧接在实际拍摄之前切换。例如，当对快门按钮执行半按压操作(其为实际拍摄的预备操作)时切换帧率。更具体来说，响应于对快门按钮执行的半按压操作的操作信号经由接口19而供应到系统控制器14。系统控制器14通过控制定时产生器16而驱动cmos成像装置12，因此提高帧率。

当帧率提高时，闪烁分量的重复周期改变。例如，在帧率是200fps的状况下，闪烁分量的重复周期是20帧。在帧率是240fps的状况下，闪烁分量的重复周期是12帧。

可基于提高的帧率而获得图像数据。在模拟信号处理部13进行的过程之后，所获得的图像数据输入到数字信号处理部20中。闪烁检测部25类似地对以高帧率获得的图像数据执行上述闪烁减少过程。此外，在此过程中，从dft块50输出的初始相位φmn输入到闪烁检测部25的频率估计/峰值检测块60中。

频率估计/峰值检测块60基于输入初始相位φmn而估计至少闪烁分量(光源)的频率(周期)。此外，频率估计/峰值检测块60检测闪烁分量的峰值的定时。

图5是概括上述过程的图。对以正常帧率(例如，50或60fps)获得的图像执行闪烁减少过程。已被执行闪烁减少过程的图像作为直通图像而显示在显示部18b上。接着，当半按压快门按钮时，帧率切换到高速(例如，200或240fps)并且频率估计和峰值检测过程与闪烁减少过程一起执行。接着，已被执行闪烁减少过程的图像显示在显示部18b上。应注意，显示在显示部18b上的图像基于已从减小显示系统中的数据的频带、消耗功率等的角度来看从所获得的图像数据部分地精简的图像数据。接着，当深度按压快门按钮时，执行实际拍摄。

图6是辅助解释在响应于对快门按钮执行的深度按压操作的拍摄期间的过程的图。如上所述，当对快门按钮执行半按压操作时，估计闪烁分量的频率并执行峰值定时检测过程。此过程在半按压操作期间重复执行。应注意，在半按压操作期间确定是否已设定用于执行无闪烁拍摄的模式(模式是否已设定到开启)。此处，在已设定用于执行无闪烁拍摄的模式的状况下，执行下文所述的过程。

例如，在图6中，假设在定时ta对快门按钮执行深度按压操作。响应于深度按压操作，闪烁检测部25向系统控制器14(快门控制部14c)通知闪烁分量的下一峰值的定时(在此实例中，tb)。应注意，例如，此处的峰值的定时表示已紧接在深度按压操作之前获得的定时。

系统控制器14执行曝光定时与闪烁分量的峰值的定时同步的拍摄。应注意，在图6所描绘的实例中，最接近闪烁分量的峰值的定时处于定时tb。在此实例中，考虑到与静态图像拍摄相关联的过程的延迟等，针对闪烁分量的周期的倍数，曝光定时在时间上与比定时tb迟的定时(例如，定时tc)同步。然而，应注意，曝光定时可与定时tb同步，只要过程使其及时即可。

例如，曝光定时与闪烁分量的峰值的定时同步的拍摄表示在曝光时间内包含闪烁分量的峰值的拍摄。更具体来说，曝光时间的中心以及帘幕速度的中心与闪烁分量的峰值匹配或实质上匹配。术语“实质上匹配”表示定时的移位在预定误差范围内。因此，在图6中，阴影四边形的重心(曝光重心)与闪烁分量的峰值匹配或实质上匹配。阴影四边形指示曝光量。因为曝光定时始终与闪烁分量的峰值同步，所以可以实现防止因闪烁分量所致的图像的图像质量的降级的无闪烁拍摄。

“过程的流程”

图7是图示无闪烁拍摄中的过程的流程的实例的流程图。在步骤st11中，系统控制器14确定是否已设定用于执行无闪烁拍摄的模式(无闪烁拍摄模式)。此处，在系统控制器14已确定尚未设定无闪烁拍摄模式的状况下，在稍后过程中执行与正常拍摄相关联的过程(此处，正常拍摄表示在不存在无闪烁拍摄过程的情况下进行的拍摄)。在步骤st11中，在系统控制器14已确定已设定无闪烁拍摄模式的状况下，过程进行到步骤st12。

在步骤st12中，确定是否已半按压操作部18a中所包含的快门按钮。在尚未半按压快门按钮的状况下，对以正常帧率(例如，50或60fps)获得的图像执行闪烁减少过程。已被执行闪烁减少过程的图像作为直通图像而显示在显示部18b上。应注意，在室外拍摄等中并未发生闪烁并且在执行闪烁减少过程时并未检测到闪烁分量的状况下，并不执行闪烁减少过程。在半按压快门按钮的状况下，过程进行到步骤st13。

在步骤st13中，响应于对快门按钮执行的半按压操作而执行无闪烁拍摄过程。具体来说，以高帧率(例如，200或240fps)驱动cmos成像装置12。使用所获得的图像数据而估计闪烁分量的频率，并且执行检测闪烁分量的峰值的定时的过程。应注意，在经由闪烁减少过程而估计闪烁分量的频率的状况下，可仅执行检测闪烁分量的峰值的定时的过程。例如已获得的定时等数据被通知给系统控制器14。例如，在半按压操作继续时，上文所述的过程继续。接着，过程进行到步骤st14。

在步骤st14中，确定是否已在发生闪烁的闪烁环境中对快门按钮执行深度按压操作。在此确定中，在已在并未发生闪烁的环境中对快门按钮执行深度按压操作的状况下，过程进行到步骤st15。在步骤st15中，执行并未执行无闪烁拍摄过程的静态图像拍摄过程。相比之下，在已在发生闪烁的环境中对快门按钮执行深度按压操作的状况下，过程进行到步骤st16。

在步骤st16中，执行无闪烁拍摄，其中无闪烁拍摄是实际拍摄中的一个。具体来说，执行曝光定时与经由步骤st13中的过程而获得的闪烁分量的峰值同步的拍摄。这实现防止因闪烁分量所致的静态图像的图像质量的降级的拍摄。应注意，在无闪烁拍摄中，如下所述，在一些状况下，曝光定时被同步的定时可处于闪烁分量的底部处。

“图像的曝光时间与闪烁光源的供电周期之间的关系”

顺便提及，有可能的是，闪烁光源的闪光取决于图像的曝光时间与闪烁光源的周期之间的关系来反相并识别。将描述此点。图8和图9是辅助解释闪烁分量的检测时(波检测时)的图像的曝光时间与闪烁光源的周期(供电周期)之间的关系的图。

图8描绘曝光时间比闪烁光源的周期短的状况的实例。在图8所描绘的实例中，闪烁光源的频率是50hz(周期为1/100秒)。如图所描绘，图像在闪烁波形的底部处的曝光中最暗(在cmos成像装置12中，积聚定时处于线0处)。图像在已经过预定时间之后的曝光中略亮(在cmos成像装置12中，积聚定时处于线m处)。图像在闪烁波形的峰值处的曝光中最亮(在cmos成像装置12中，积聚定时处于线n处)。也就是说，在曝光时间比闪烁光源的周期短的状况下，被识别为闪烁光源的峰值位置的部分对应于屏幕中的最亮部分。

图9描绘曝光时间比闪烁光源的周期长的状况的实例。在图9所描绘的实例中，闪烁光源的频率也是50hz(周期为1/100秒)。此外，曝光时间比闪烁光源的周期略长。如图所描绘，图像在中心处于闪烁波形的峰值处的曝光中最暗(在cmos成像装置12中，积聚定时处于线0处)。图像在已经过预定时间之后的曝光中略亮(在cmos成像装置12中，积聚定时处于线p处)。图像在中心处于闪烁波形的底部处的曝光中最亮(在cmos成像装置12中，积聚定时处于线q处)。也就是说，在曝光时间比闪烁光源的周期长的状况下，在图像中出现的闪光的峰值位置(由传感器部识别的表观峰值位置)对应于光源的闪光中的实际最暗部分。以此方式，每次图像的曝光时间与闪烁光源的周期交叉，所识别的闪烁分量的亮/暗特性(下文中适当地缩写为亮/暗特性或简单地缩写为特性)便反相。

图10是将上文描述作为表图示的图。在快门速度高于1/100秒的状况下，换句话说，在对应于一个周期的闪烁分量(在此实例中，1/100秒的闪烁波形)并未包含(0)在曝光时间内的状况下，特性未被反相。在快门速度低于1/100秒且高于2/100秒的状况下，换句话说，在对应于一个周期的一个闪烁分量包含在曝光时间内的状况下，特性被反相。在快门速度低于2/100秒且高于3/100秒的状况下，换句话说，在各自对应于一个周期的两个闪烁分量包含在曝光时间内的状况下，特性未被反相。

在快门速度低于3/100秒且高于4/100秒的状况下，换句话说，在各自对应于一个周期的三个闪烁分量包含在曝光时间内的状况下，特性被反相。在快门速度低于4/100秒且高于5/100秒的状况下，换句话说，在各自对应于一个周期的四个闪烁分量包含在曝光时间内的状况下，特性未被反相。在快门速度低于5/100秒且高于6/100秒的状况下，换句话说，在各自对应于一个周期的五个闪烁分量包含在曝光时间内的状况下，特性被反相。以此方式，每次光源的周期交叉，特性便被反相或未被反相。应注意，在曝光时间的开始与具有周期性的闪烁波形的预定位置的谷底匹配的状况下，例如，包含在上述曝光时间内的各自对应于一个周期的闪烁分量的数量由包含在曝光时间内的各自对应于一个周期的闪烁分量的数量定义。

下式(1)和(2)是上文描述的数学表达式。下式(1)是各自对应于一个周期的、偶数数量的闪烁分量(波形)包含在闪烁分量的检测时的曝光时间内的状况的数学表达式。下式(2)是各自对应于一个周期的、奇数数量的闪烁分量(波形)包含在闪烁分量的检测时的曝光时间内的状况的数学表达式。

2m×光源的周期<闪烁分量的检测时的曝光时间<(2m+1)×光源的周期……式(1)

(应注意，m是整数。光源的周期例如是1/100或1/120。)

(2m+1)×光源的周期<闪烁分量的检测时的曝光时间<2(m+1)×光源的周期……式(2)

(应注意，m是整数。光源的周期例如是1/100或1/120。)

在上述式(2)的状况下，亮/暗特性被颠倒。因此，闪烁检测部25的频率估计/峰值检测块60将所检测的闪烁分量的相位反相并输出。将相位反相并输出表示所检测的闪烁光源的峰值位置被移位π[rad]并输出。

图11是概括闪烁分量的检测时的上述过程的图。在已对从cmos成像装置12输出的图像执行适当信号过程之后，图像输入到闪烁检测部25中。闪烁检测部25从输入图像的所检测的值计算输入图像中所包含的闪烁图像的峰值位置。因为上文已描述峰值位置的计算的实例，所以将省去冗余描述。在cmos成像装置12的曝光时间是式(1)的状况下，所检测的闪烁分量的峰值位置由闪烁检测部25的频率估计/峰值检测块60输出到系统控制器14。此外，在cmos成像装置12的曝光时间是式(2)的状况下，所检测的闪烁分量的相位经由相位反相过程而反相并由闪烁检测部25的频率估计/峰值检测块60输出到系统控制器14。因此，系统控制器14存储闪烁光源的正确峰值位置。

应注意，系统控制器14采取控制，以使得闪烁分量的检测时的cmos成像装置12的曝光时间例如被优化为适用于闪烁分量的检测的时间。系统控制器14向闪烁检测部25通知cmos成像装置12的曝光时间，以使得闪烁检测部25可获得闪烁分量的检测时的曝光时间。闪烁检测部25可存储闪烁分量的检测时的曝光时间。频率估计/峰值检测块60能够基于闪烁分量的频率而确定闪烁分量的周期。

应注意，在曝光时间与闪烁光源的周期匹配的状况下，已知因闪烁分量所致的图像质量的影响可减小。在此状况下，不需要考虑亮/暗特性的上述反相。因此，不需要执行上述过程。

顺便提及，可不仅在闪烁分量的检测时还在实际拍摄时发生可将闪烁分量的亮/暗特性反相并识别的现象。因此，必须适当地控制实际拍摄的定时。下式(3)和(4)指示类似于式(1)和(2)的内容，不同之处在于闪烁分量的检测时的曝光时间是实际拍摄时的曝光时间。

2m×光源的周期<实际拍摄时的曝光时间<(2m+1)×光源的周期……式(3)

(应注意，m是整数。光源的周期例如是1/100或1/120。)

(2m+1)×光源的周期<实际拍摄时的曝光时间<2(m+1)×光源的周期……式(4)

(应注意，m是整数。光源的周期例如是1/100或1/120。)

在式(3)的状况下，所识别的闪烁分量的峰值位置未被反相。因此，系统控制器14控制拍摄的定时，以使得在从频率估计/峰值检测块60供应的闪烁分量的峰值位置处执行实际拍摄。例如，在参照图6描述的定时执行实际拍摄。

在式(4)的状况下，所识别的闪烁分量的峰值位置被反相。因此，实际拍摄的定时相对于峰值位置被移位180度。将参照图12进行具体描述。例如，在图12中，假设在定时ta对快门按钮执行深度按压操作。响应于深度按压操作，闪烁检测部25识别闪烁分量的底部的定时。例如，闪烁检测部25的频率估计/峰值检测块60基于闪烁分量的初始相位而识别闪烁分量的底部的定时。闪烁检测部25向系统控制器14通知闪烁分量的底部的定时。

系统控制器14执行曝光定时与闪烁分量的底部的定时(在此实例中，定时tb)同步的拍摄。应注意，在图12所描绘的实例中，考虑到与静态图像拍摄相关联的过程的延迟等，针对闪烁分量的周期的倍数，曝光定时与在时间上比定时tb迟的定时(例如，定时tc)同步。然而，应注意，曝光定时可与定时tb同步，只要过程使其及时即可。

例如，曝光定时与闪烁分量的底部的定时同步的拍摄表示在曝光时间内包含闪烁分量的底部的拍摄。更具体来说，曝光时间的中心以及帘幕速度的中心与闪烁分量的底部的定时匹配或实质上匹配。术语“实质上匹配”表示定时的移位在预定误差范围内。以此方式，在图12中，阴影四边形的重心(曝光重心)与闪烁分量的底部匹配或实质上匹配。阴影四边形指示曝光量。在实践中，闪烁分量的底部对应于闪烁光源内的最亮部分。也就是说，在式(4)的状况下，可通过使曝光定时与闪烁分量的底部同步来实现无闪烁拍摄。

图13是概括实际拍摄时的上述过程的图。闪烁检测部25将闪烁光源的当前峰值位置供应到系统控制器14。从由闪烁检测部25检测的闪烁分量的周期(频率的倒数)以及实际拍摄时的曝光时间(快门速度)，系统控制器14确定各自对应于一个周期的偶数数量还是奇数数量的闪烁分量包含在曝光时间内，也就是说，上述式(3)的状况或上述式(4)的状况。

在式(3)的状况下，闪烁分量的相位未被反相。因此，系统控制器14采取控制以将曝光定时与由闪烁检测部25检测的闪烁分量的峰值位置同步。

在式(4)的状况下，闪烁分量的相位被反相。因此，系统控制器14采取控制以将曝光定时与闪烁分量的底部位置同步。通过此配置，因此，可在闪烁光源的最亮定时执行拍摄。

图14是图示每一样式的过程、进行样式化并图示闪烁分量的峰值位置是否在检测时反相与用于将实际拍摄的定时同步的定时之间的图。样式1和样式2是闪烁分量的相位在检测时未被反相的样式(对应于上述式(1))。在样式1和样式2中，闪烁检测部25在不进行任何改变的情况下输出所检测的闪烁分量的相位。在样式1(对应于上述式(3))的状况下，闪烁分量的相位在实际拍摄时未被反相。因此，系统控制器14执行曝光定时与从闪烁检测部25供应的闪烁分量的峰值位置同步的实际拍摄。在样式2(对应于上述式(4))的状况下，闪烁分量的相位在实际拍摄时被反相。因此，系统控制器14执行曝光定时与从闪烁检测部25供应的闪烁分量的底部位置同步的实际拍摄。

图3和图4是闪烁分量的相位在检测时被反相的样式(对应于上述式(2))。在样式3和样式4中，闪烁检测部25将所检测的闪烁分量的相位反相并输出。在样式3(对应于上述式(3))的状况下，闪烁分量的相位在实际拍摄时未被反相。因此，系统控制器14执行曝光定时与从闪烁检测部25供应的闪烁分量的峰值位置同步的实际拍摄。在样式4(对应于上述式(4))的状况下，闪烁分量的相位在实际拍摄时被反相。因此，系统控制器14执行曝光定时与从闪烁检测部25供应的闪烁分量的底部位置同步的实际拍摄。经由上文所述的过程，可在样式中的任一个中在闪烁光源的最亮定时执行拍摄，并且因此可实现上述无闪烁拍摄。

“关于曝光时间调整过程”

可通过调整检测时以及实际拍摄时的曝光时间而避免将闪烁分量的特性反相的上述现象。下文将描述此方法。

上述式(1)到(4)例如如下分组。

群组1：各自对应于一个周期的、偶数数量的闪烁分量包含在曝光时间内(对应于式(1)和(3))。

群组2：各自对应于一个周期的、奇数数量的闪烁分量包含在曝光时间内(对应于式(2)和(4))。

接着，系统控制器14调整曝光时间，以使得检测时的曝光时间以及实际拍摄时的曝光时间相等或变为同一群组。应注意，在调整曝光时间的过程中，即使在式(2)的状况下，闪烁检测部25也不校正(反相)闪烁分量的峰值位置并在不进行任何改变的情况下输出闪烁分量的峰值位置。

在群组1的状况下，闪烁分量的相位在检测时未被反相并且闪烁分量的相位在实际拍摄时也未被反相。因此，类似于上述样式1的过程，可通过执行曝光定时与从闪烁检测部25输出的闪烁分量的峰值位置同步的实际拍摄而在闪烁光源的最亮定时执行拍摄。

在群组2的状况下，闪烁分量的相位在检测时被反相并且闪烁分量的相位在实际拍摄时也被反相。在此状况下，执行类似于上述样式4的过程。并未校正闪烁检测部25的输出。因此，虽然从闪烁检测部25输出的闪烁分量的表观峰值位置对应于闪烁光源的最暗部分，但经由曝光定时与闪烁分量的表观底部位置(即，闪烁光源的最亮部分)同步的控制来执行实际拍摄。因此，可在闪烁光源的最亮定时执行实际拍摄。如上所述，调整闪烁分量的检测时的曝光时间和实际拍摄时的曝光时间。因此，可以应对将闪烁分量的亮/暗特性反相的现象。

应注意，将调整的曝光时间可以是闪烁分量的检测时的曝光时间、实际拍摄时的曝光时间或闪烁分量的检测与实际拍摄两者时的曝光时间。在由于模式的设定而无法在实际拍摄时调整曝光时间的状况下，可在不执行调整曝光时间的过程的情况下执行将闪烁分量的相位适当地反相的上述过程。

<3.修改>

应注意，本公开也可如下配置。

(1)

一种成像控制设备，包含：

闪烁检测部，被配置成检测光源的闪烁分量，所述闪烁分量包含在图像中；以及

控制部，被配置成根据所述闪烁检测部的检测结果而控制成像的定时，

其中所述控制部根据所检测的所述闪烁分量的峰值或底部的定时而控制所述成像的所述定时。

(2)

根据(1)的成像控制设备，其中所述控制部除所述闪烁分量的所述峰值或所述底部的所述定时外还根据所述成像期间的传感器部的曝光时间而控制所述成像的所述定时。

(3)

根据(2)的成像控制设备，

其中在所述传感器部的所述曝光时间不与所述闪烁分量的周期的整数倍匹配并且各自对应于一个周期的、奇数数量的所述闪烁分量包含在所述曝光时间内的状况下，所述控制部采取控制，以使得在所检测的所述闪烁分量的所述底部处执行所述成像，并且

在所述传感器部的所述曝光时间不与所述闪烁分量的所述周期的所述整数倍匹配并且各自对应于所述一个周期的、偶数数量的所述闪烁分量包含在所述曝光时间内的状况下，所述控制部采取控制，以使得在所检测的所述闪烁分量的所述峰值处执行所述成像。

(4)

根据(2)或(3)的成像控制设备，其中所述控制部基于已设定的模式而确定所述传感器部的所述曝光时间。

(5)

根据(2)到(4)中任一项的成像控制设备，其中所述闪烁分量的所述峰值或所述底部包含在所述传感器部的所述曝光时间内。

(6)

根据(1)到(5)中任一项的成像控制设备，其中所述成像的所述定时处于曝光的定时。

(7)

根据(1)到(6)中任一项的成像控制设备，其中所述传感器部包含成像装置。

(8)

根据(1)到(7)中任一项的成像控制设备，还包含：

成像部。

(9)

一种成像控制设备，包含：

闪烁检测部，被配置成检测光源的闪烁分量，所述闪烁分量包含在图像中，

其中所述闪烁检测部根据所述检测时的传感器部的曝光时间而输出将所检测的所述闪烁分量的相位反相的信息。

(10)

根据(9)的成像控制设备，

其中在所述传感器部的所述曝光时间不与所述闪烁分量的周期的整数倍匹配并且各自对应于一个周期的、奇数数量的所述闪烁分量包含在所述曝光时间内的状况下，所述闪烁检测部输出将所检测的所述闪烁分量的所述相位反相的所述信息，并且

在所述传感器部的所述曝光时间不与所述闪烁分量的所述周期的所述整数倍匹配并且各自对应于所述一个周期的、偶数数量的所述闪烁分量包含在所述曝光时间内的状况下，所述闪烁检测部在不进行任何改变的情况下输出所述所检测的闪烁分量的所述相位。

(11)

根据(9)或(10)的成像控制设备，其中所述传感器部包含成像装置。

(12)

一种成像控制设备，包含：

控制部，被配置成控制闪烁分量的检测时的第一传感器部的第一曝光时间以及成像时的第二传感器部的第二曝光时间，

其中所述控制部调整所述第一曝光时间或所述第二曝光时间中的至少一个以便将各自对应于一个周期的、奇数数量或偶数数量的所述闪烁分量包含在所述第一曝光时间和所述第二曝光时间中的每一个内并且以便并非是所述闪烁分量的周期的整数倍。

(13)

根据(12)的成像控制设备，

其中在各自对应于所述一个周期的、所述奇数数量的所述闪烁分量包含在所述第一曝光时间内的状况下，所述控制部调整所述第二曝光时间以便将各自对应于所述一个周期的、所述奇数数量的所述闪烁分量包含在所述第二曝光时间内，并且

在各自对应于所述一个周期的、所述偶数数量的所述闪烁分量包含在所述第一曝光时间内的状况下，所述控制部调整所述第二曝光时间以便将各自对应于所述一个周期的、所述偶数数量的所述闪烁分量包含在所述第二曝光时间内。

(14)

根据(13)的成像控制设备，还包含：

闪烁检测部，被配置成检测所述闪烁分量，

其中所述闪烁检测部在不进行任何改变的情况下输出关于所检测的所述闪烁分量的信息。

(15)

根据(12)到(14)中任一项的成像控制设备，其中所述第一传感器部和所述第二传感器部包含相同的成像装置。

(16)

一种成像控制方法，包含：

通过闪烁检测部来检测光源的闪烁分量，所述闪烁分量包含在图像中；以及

通过控制部来根据所述闪烁分量的检测结果而控制成像的定时，

其中所述控制部根据所检测的所述闪烁分量的峰值或底部的定时而控制所述成像的所述定时。

(17)

一种成像控制方法，包含：

通过闪烁检测部来检测光源的闪烁分量，所述闪烁分量包含在图像中；以及根据所述检测时的传感器部的曝光时间而输出将所检测的所述闪烁分量的相位反相的信息。

(18)

一种成像控制方法，包含：

通过控制部来控制闪烁分量的检测时的第一传感器部的第一曝光时间以及成像时的第二传感器部的第二曝光时间；以及

通过所述控制部来调整所述第一曝光时间或所述第二曝光时间中的至少一个以便将各自对应于一个周期的、奇数数量或偶数数量的所述闪烁分量包含在所述第一曝光时间和所述第二曝光时间中的每一个内并且以便并非是所述闪烁分量的周期的整数倍。

虽然在上述实施例中，帧率提高以有效地检测图像中所包含的闪烁分量，但帧率未必提高。然而，应注意，提高帧率允许基于高帧率和图像而估计具有充足数量的样本的闪烁分量的频率等。因此，可提高过程结果的准确性。

应注意，快门速度的范围由于提高的帧率而有限。因为快门速度的范围有限，所以可以省去在闪烁分量的检测时将闪烁分量的峰值反相的过程。然而，应注意，在实际拍摄时的快门速度与闪烁分量的一个周期交叉的状况下，执行上述峰值反相过程。

可基于在成像设备100中设定的模式来确定实际拍摄时的曝光时间。例如，在手动模式的状况下，由用户设定的快门速度是曝光时间。此外，在自动模式的状况下，由成像设备100设定的快门速度(例如，系统控制器14)是曝光时间。

虽然在上述实施例中，已将半按压操作作为预备操作的实例来描述，但预备操作可以是另一操作，例如停止或实质上停止成像设备100持续某段时间或更多的操作。

此外，虽然在上述实施例中，包含闪烁检测部25的数字信号处理部20由硬件配置，但闪烁检测部25或数字信号处理部20的部分或全部可由软件配置。

虽然在上述实施例中，已将荧光灯作为产生闪烁的光源的实例来描述，但光源不限于荧光灯。本公开可应用到另一光源(例如，led)，只要光源周期性地闪光即可。在此状况下，可将识别led的频率的过程作为预备步骤来执行。

此外，上述实施例也可应用到除cmos成像装置之外的xy地址扫描型成像装置以及使用被应用滚动快门的成像装置的成像设备。

在上述实施例中，可代替无闪烁拍摄或与无闪烁拍摄一起执行已知信号过程或用于减少闪烁的另一过程。

例如，成像控制设备可具有如同在实施例中包含系统控制器14和数字信号处理部20的配置。除这些配置之外，成像控制设备可包含成像部和其它配置。成像设备自身的配置可以是成像控制设备。

根据上述实施例的成像设备可以并入到医疗设备、智能电话、计算机设备、游戏设备、机器人、安全相机和移动主体(火车、飞机、直升飞机、小型飞行器等)中。

上文已具体描述本公开的实施例；然而，本公开不限于上述实施例中的每一个，并且基于本公开的技术理念的各种修改是可能的。例如，上述实施例中所示范的配置、方法、过程、形状、材料、数值等仅是实例，并且必要时，可使用不同配置、方法、过程、形状、材料、数值等。可适当地添加用于实现上述实施例和修改的配置。此外，本公开可不仅由设备实现，而且由例如方法、程序和记录了程序的记录介质等任何形式实现。

【附图标记列表】

100成像设备

11成像光学系统

12cmos成像装置

14系统控制器

20数字信号处理部

25、25r、25g、25b闪烁检测部。