成像装置、检测闪烁的方法以及信息处理单元的制作方法
【专利摘要】成像装置包括：成像器件，配置为将光转换为电信号并输出所述电信号；曝光控制部，配置为使用电子快门可变地控制所述成像器件的曝光期间；以及闪烁检测部，配置为基于当电子快门的速度从相对高速到相对低速变化时的来自所述成像器件的输出信号的变化来检测闪烁。
【专利说明】成像装置、检测闪烁的方法以及信息处理单元
[0001] 相关申请的交叉引用
[0002] 本申请请求于2013年5月29日提交的日本在先专利申请JP2013-112695的优先 权，其所有内容通过引用并入本文。
【技术领域】
[0003] 本公开涉及具有电子快门功能的成像装置、在这样的成像装置中检测闪烁的方法 以及能够适用于这样的成像装置的信息处理单元。
【背景技术】
[0004] 在包括例如 CMOS (Complementary Metal-Oxide Semiconductor，互补金属氧化物 半导体）的成像器件的成像装置中，作为电子快门的类型，已知全局快门类型和卷帘快门 类型。全局快门类型的电子快门在所有像素中同时执行电子快门操作。因此当使用全局快 门类型的电子快门时，曝光的定时在所有像素中是相同的。卷帘快门类型的电子快门以例 如一水平行接一水平行来执行电子快门操作。因此，当使用卷帘快门类型的电子快门时，曝 光的定时以例如一水平行接一水平行来改变。
[0005] 在上述的成像装置中，例如当在由如日光灯等交流电源配置的光源下拍摄运动图 像时，根据交流电源的频率与电子快门的快门速度之间的关系，在某些情况下可能由光源 的亮度的周期性变化而引起闪烁。特别是，当使用卷帘快门类型的电子快门来拍摄运动图 像时，曝光的定时以例如一水平行接一水平行而改变。因此，闪烁分量周期性地出现在特定 行中，并且由此导致横向条纹。相应地，已经提出了一些检测这样的闪烁分量的方法（见日 本未审专利申请公开 No. H08-29864 (JPH08-29864)和 No. 2004-7402 (JP2004-7402))。
【发明内容】
[0006] 在JPH08-29864中公开的成像装置，在聚焦被调节为最适于拍摄的状态下检测 闪烁。因此，当特别是通过卷帘快门类型的电子快门来拍摄运动图像时，某些情况下例 如，当在背景具有条纹图案的状态下成像装置被倾斜时，可能会错误地检测出闪烁。在 JPH08-29864中的成像装置特征在于检测由交流电源的频率^OHz或50Hz)导致的闪烁分 量。因此，难以检测由例如近年来被越来越多地使用的LED (Light Emitting Diode,发光二 极管）等高频光源导致的具有高频的闪烁分量。
[0007] 引用文献2提出了如下方法：在成像装置中，通过在聚焦操作被调整为允许图像 变模糊的状态下检测闪烁，从而抑制由背景导致的闪烁的检测错误。然而，在引用文献2中 公开的成像装置中，也很难检测由例如LED等高频光源导致的具有高频的闪烁分量。
[0008] 希望提供能够提高闪烁检测的精度的成像装置、检测闪烁的方法以及信息处理单 J Li 〇
[0009] 根据本公开的实施例，提供了一种成像装置，包括：成像器件，配置为将光转换为 电信号并输出所述电信号；曝光控制部，配置为使用电子快门可变地控制所述成像器件的 曝光期间；以及闪烁检测部，配置为基于当电子快门的速度从相对高速到相对低速变化时 的来自所述成像器件的输出信号的变化来检测闪烁。
[0010] 根据本公开的实施例，提供了一种检测闪烁的方法，该方法包括：使用电子快门可 变地控制所述成像器件的曝光期间；以及当所述电子快门的速度从相对高速到相对低速变 化时，基于来自所述成像器件的输出信号中的变化来检测闪烁。
[0011] 根据本公开的实施例，提供了一种信息处理单元，包括：曝光控制部，配置为使用 电子快门可变地控制成像器件的曝光期间；以及闪烁检测部，配置为基于当电子快门的速 度从相对高速到相对低速变化时的来自所述成像器件的输出信号的变化来检测闪烁。
[0012] 在根据本公开的上述实施例的成像装置、检测闪烁的方法和信息处理单元中，当 电子快门的速度从相对高速到相对低速变化时，基于来自成像器件的输出信号中的变化来 检测闪烁。
[0013] 在根据本公开的上述实施例的成像装置、检测闪烁的方法和信息处理单元中，通 过使得电子快门的速度能够从高速到低速变化来检测闪烁。因此，能够提高闪烁的检测的 精度。
[0014] 但应当注意的是，在本说明书中公开的效果仅仅是例子且本公开的效果不限于 此。另外，本公开可以有额外的效果。
[0015] 但应当理解的是，前面的一般性描述和下面的详细描述都是示例性的，且旨在提 供所要求保护的技术的进一步说明。
【专利附图】
【附图说明】
[0016] 附图被包括以提供本公开的进一步理解，并且被并入且构成本说明书的一部分。 附图阐释实施例，并与说明书一起，用于解释本技术的原理。
[0017] 图1是示出根据本公开的实施例的成像装置的配置例的框图。
[0018] 图2是示出用于检测闪烁的成像装置的操作例的流程图。
[0019] 图3是示出全局快门类型的电子快门的概念的说明图。
[0020] 图4是示出卷帘快门类型的电子快门的概念的说明图。
[0021] 图5是示出在横向条纹由闪烁引起的情况下的图像的例子的说明图。
[0022] 图6是示出在当图像包括具有横向条纹图案的背景分量的情况下的图像的例子 的说明图。
[0023] 图7是示出用于检测闪烁的区域的例子的说明图。
[0024] 图8是示出由闪烁引起的横向条纹与用于检测闪烁的区域之间的关系的例子的 说明图。
【具体实施方式】
[0025] 以下将参照附图详细描述本公开的实施例。将按照以下次序进行描述。
[0026] 1.成像装置的配置
[0027] 2.闪烁检测的操作
[0028] 3·成像装置的效果
[0029] 4.其它实施例
[0030] [1.成像装置的配置]
[0031] 图1示出根据本公开的实施例的成像装置的配置例。成像装置包括成像透镜1、成 像器件2、成像电路3、检波电路4、信号处理电路5、TG(Timing Generator,定时发生器）电 路6,记录系统7以及显示系统8。显示系统8包括IXD (Liquid Crystal Display,液晶显 示器）81和EVF (Electronic View Finder，电子取景器）82。成像装置还包括EVF感测部 9、曝光计算控制电路10、闪烁检测控制电路11、焦点计算控制电路12、WB(White Balance， 白平衡）计算控制电路13、操作部14以及控制部20。操作部14包括模式切换部25。控制 部 20包括CPU (Central Processing Unit，中央处理单兀）21、R0M(Read Only Memory，只读 存储器）22、RAM (Random Access Memory，随机存取存储器）23 以及 EEPR0M (Electrically Erasable Programmable Read-Only Memory,电可擦除可编程只读存储器）24。成像装置 可以进一步包括可检测例如手的抖动等的抖动检测部分。抖动检测部分可以包括陀螺传感 器。
[0032] 成像透镜1是形成通过成像器件2拍摄的被摄体的光学像的成像光学系统。成像 透镜1被配置为其聚焦操作是可调整的光学系统。焦点计算控制电路12控制成像透镜1 的聚焦操作的调整。成像透镜1可进一步包括可抑制例如手的抖动等导致的图像模糊的防 抖光学系统，而且当手的抖动等由未示出的抖动检测部分检测到时，手的抖动等导致的图 像模糊可以被防抖光学系统抑制。
[0033] 成像器件2输出基于通过成像透镜1在成像平面上形成的光学像的电信号。成像 器件2由例如CMOS和(XD (Charge Coupled Device，电荷耦合器件）等固态成像器件构成。 成像器件2包括二维布置的多个像素。多个像素的每个都各包括将光转换为电信号并输出 电信号的光电转换装置。
[0034] 成像电路3对来自成像器件2的输出信号执行各种信号处理，并由此生成数字图 像信号。检波电路4被配置为检测图像信号的信号值。信号处理电路5对图像信号执行各 种信号处理，从而将图像信号转换为适于在记录系统7中记录的图像数据，并输出图像数 据。信号处理电路5还对图像信号执行各种信号处理，从而将图像信号转换为适于在显示 系统8上显示的图像数据，并输出图像数据。WB计算控制电路13调整图像信号的白平衡。
[0035] 记录系统7将通过拍摄获得的图像数据记录在各种记录介质中。IXD81显示例如 成像装置的操作菜单等，或者在再现模式下再现并显示记录在记录系统7中的图像数据。 IXD81还在实时取景模式下实时地显示拍摄中的图像。
[0036] EVF82是用于用户确认被拍摄中的图像的取景器。EVF感测部9包括感测EVF82 的使用状态的传感器。例如，EVF感测部9可以包括感测用户是否正窥视EVF82的传感器。
[0037] TG电路6根据来自控制部20和曝光计算控制电路10的指令来控制成像器件2的 成像定时。
[0038] 曝光计算控制电路10控制在拍摄时的曝光量和曝光定时。曝光计算控制电路10 被配置为基于通过检波电路4和闪烁检测控制电路11的检测闪烁的结果，来控制TG电路 6,并通过使用电子快门来可变地控制成像器件2的曝光期间。特别是，当之后描述的检测 闪烁的操作被执行时，曝光计算控制电路10在预定的速度范围内将电子快门的速度可变 地控制为以预定的速度步长从最高速到较低速变化。
[0039] 操作部14包括诸如释放按钮和各种操作旋钮等部件。根据由用户执行的操作的 内容，操作部14将各种操作信号供给至控制部20。操作部14的操作的内容可以包括指示 闪烁的检测的操作。模式切换部25可以指示例如运动图像拍摄模式和静止图像拍摄模式 之间的切换。
[0040] 控制部20总体上控制成像装置中的各个部分。CPU21执行已预先存储在R0M22中 的控制程序，并由此总体上控制各个部分。RAM23临时存储各种数据。EEPR0M24是可重写 的非易失性存储器，并且可以存储例如各种设置信息等。
[0041] [2.闪烁检测的操作]
[0042] 在该成像装置中，允许通过电子快门来可变地控制成像器件2的曝光期间。在解 释检测闪烁时的操作之前，以下将会提供对于电子快门的类型和依照电子快门操作而产生 的闪烁的概要的描述。
[0043] 图3示出在拍摄运动图像时全局快门类型的电子快门的概念。图4示出在拍摄运 动图像时卷帘快门类型的电子快门的概念。在图3和4中，横向示出时间，而纵向示出在被 拍摄图像的垂直方向上的位置。
[0044] 全局快门类型的电子快门对于成像器件2中的所有像素同时执行电子快门操作。 因此，如图3中所示，在全局快门类型的电子快门下，曝光期间Te和曝光定时在所有像素中 都是相同的。在此情况下，由光源造成的闪烁分量呈现为在整个拍摄图像的亮度的变化。在 此情况下，使得能够基于例如在整个图像的亮度的平均值的在时间上的变化，而检测到闪 烁分量。
[0045] 另一方面，卷帘快门类型的电子快门可以以例如一水平行接一水平行来执行电子 快门操作。因此，如图4中所示，在卷帘快门类型的电子快门中，即使曝光期间Te本身在各 个水平线上是相同的，曝光定时也可以例如以一水平时间一水平行地在时间上改变。在这 种情况下，例如如图5中所示，由光源造成的闪烁分量31在特定线上周期性地呈现为横向 条纹。在这种情况下，例如如图7和8中所示，使得能够基于从成像器件2的输出信号获取 的二维图像中横向布置的多个检测区域33的信号值的在时间上的变化，而检测到闪烁分 量。
[0046] 然而，如图6中所示，例如在图像包括具有横向条纹图案的背景分量32的状态下， 可能在闪烁分量31与背景分量32之间发生检测错误。因此，在本实施例中，在如下状态中 检测闪烁：在作为焦点控制部的焦点计算控制电路12使得能够在无限远距离方向和最近 距离方向之中的、使得被摄体的光学像为最模糊的方向上执行聚焦操作的状态。从而，抑制 了由背景分量32引起的检测错误。
[0047] 图2示出在该成像装置中检测闪烁时的操作的例子。检测闪烁时的操作包括获取 闪烁分量的图像的处理（步骤S21)和识别闪烁的频率的处理（步骤S22)。这些处理在闪 烁检测启动触发发生（步骤S1)时被执行。控制部20可以在例如以下的情况中判断闪烁检 测启动触发已经发生，并且控制部20使得各部分执行检测闪烁时的操作。检测闪烁时的操 作包括散焦处理、以及强制地使电子快门的速度从高速到较低速变化的处理。因此，输出图 像暂时变得混乱，尽管时间很短。因此，能够基于输出图像来判断执行了闪烁检测操作的。 相应地，例如通过仅在下面的情况中执行闪烁的检测，能够减少对于实际拍摄的影响。但应 当注意的是"c)在拍摄模式被切换时"可以指例如在当拍摄模式从静止图像拍摄模式切换 为运动图像拍摄模式时。在d)情况下，当尽管没有手的抖动等信号值也大幅变化时，判断 为很可能造成了闪烁并且执行闪烁检测。"e)在再现模式状态下"指再现并显示记录在记 录系统7中的图像数据的模式。
[0048] a)在用户已经经由操作部14来执行指示检测闪烁的操作的情况下
[0049] b)在EVF82未被使用的情况下，例如，在判断用户没有正窥视EVF82的情况下（在 EVF感测部9未感测到用户正窥视EVF82的情况下）
[0050] C)在拍摄模式被切换时
[0051] d)在当陀螺传感器是稳定的、而信号值大幅变化时
[0052] e)在再现模式的状态下
[0053] 当闪烁检测启动触发发生时（步骤S1)，作为焦点控制部的焦点计算控制电路12 控制成像透镜1，使得成像透镜1在无限远距离方向和最近距离方向中的、被摄体的光学像 为最模糊的方向上执行聚焦操作。在此情况下，首先，基于被摄体的当前焦点位置，焦点计 算控制电路12判断无限远距离方向和最近距离方向的哪个是被摄体的光学像为最模糊的 方向（步骤S2)。当焦点计算控制电路12判断无限远距离方向是被摄体的光学像模糊的方 向时（步骤S2 :是），焦点计算控制电路12使得成像透镜1移动以在无限远距离方向上执 行聚焦操作（步骤S3)。当焦点计算控制电路12判断最近距离方向是被摄体的光学像模 糊的方向时（步骤S2 :否），焦点计算控制电路12使得成像透镜1移动以在最近距离方向 上执行聚焦操作（步骤S4)。这样，就产生了如图6中所示的具有模糊的背景分量32的状 态。检波电路4和闪烁检测控制电路11将直流分量（模糊的背景图像）从具有模糊的背 景分量32的图像减去，并因此获取被认为是纯闪烁分量的图像（步骤S5)。
[0054] 接下来，曝光计算控制电路10控制TG电路6,并使得电子快门的速度（SS)成为 在预定的可操作速度的范围内的最高速度（步骤S6)。检波电路4和闪烁检测控制电路11 在必要时检测当电子快门的速度（SS)变化时信号值的变化。例如，卷帘快门类型的电子 快门在必要时可以检测例如如图7和图8所示地设置的检测区域33中的信号值的在时间 上的变化。曝光计算控制电路10控制TG电路6,并使得电子快门的速度（SS)以预定的速 度步长被降低，直到检测值在时间上变得不稳定为止（步骤S7)。例如，曝光计算控制电路 10使得电子快门的速度（SS)被降低，直到检测值的在时间上的变化可能变为例如大值一 小值一大值为止。当检测值在速度的预定的可操作范围内保持在时间上稳定时（步骤S8: 是），闪烁检测控制电路11判断为没有闪烁存在（步骤S12)。
[0055] 另一方面，当检测值变得在时间上不稳定时（步骤S8 :否），曝光计算控制电路10 控制TG电路6,并使得电子快门的速度（SS)以预定的速度步长被进一步降低（步骤S9)。 此时，电子快门的速度（SS)假定为S[ms，毫秒]。当在电子快门的速度（SS)被设为S[ms] 情况下检测值变得在时间上稳定时（步骤S10 :是），闪烁检测控制电路11判断为存在具有 周期S[ms]的闪烁（步骤S13)。通过基于用此方式确定的闪烁的频率来设置电子快门的速 度（SS)，能够拍摄无闪烁的运动图像。
[0056] 当在电子快门的速度（SS)被设为S[ms]情况下检测值变得在时间上不稳定时 (步骤S10:否），并且当电子快门的速度（SS)超过终止阈值时（步骤S11 :是），闪烁检测 控制电路11判断未没有闪烁存在（步骤S12)。当电子快门的速度（SS)未超过终止阈值 时（步骤S11 :否），处理返回到步骤S9中的处理。但应当注意的是"终止阈值"是快门作 为电子快门可操作的预定的速度范围的下限。
[0057] 通过将电子快门的速度以此种方式从高速变化到低速以确定闪烁的频率的一些 理由可以是如下。
[0058] -般来说，为了在具有不同亮度的各种环境下执行适当的曝光，希望作为快门速 度的可用范围较大。当引起闪烁的电源的周期为T[sec，秒]时，T/2[sec]的常数倍数（T/2、 T、3T/2、2T、……）的所有值对应于取得无闪烁状态（闪烁消失的状态）的快门速度。因 此，确定Τ/2的值是重要的。当如上所述确定闪烁的频率时，将快门速度从高速变化到低速 的一个原因是：因为在检测时快门速度的范围是足够大的情况下，首次找到的、达到无闪烁 状态的快门速度就是Τ/2的曝光期间。
[0059] [3.成像装置的效果]
[0060] 根据本实施例，通过将电子快门的速度从高速变化到低速这种方式来检测到闪 烁。因此，提高了检测闪烁的精确度。相应地，例如能够检测由诸如LED等高频光源引起的 闪烁。另外，根据本实施例，在聚焦操作在被摄体的光学像为最模糊的方向上被执行的状态 下执行闪烁检测。因此，能够不取决于例如横向条纹等背景分量而实现稳健的闪烁检测。能 够抑制例如由具有横条纹状的图案的被摄体的纵向运动、照相机的纵向运动等引起的检测 错误。另外，基于特定的闪烁检测启动触发，执行检测闪烁时的操作。因此，在对用户产生 较少不利影响的定时，自动地检测闪烁。相应地，能够容易地实现无闪烁运动图像的拍摄。
[0061] [4.其它实施例]
[0062] 根据本公开的技术不限于上述实施例的描述，并且可以作出各种修改。
[0063] 从上述实施例的说明和本公开的修改能够实现至少以下配置。
[0064] (1) 一种成像装置包括：
[0065] 成像器件，配置为将光转换为电信号并输出所述电信号；
[0066] 曝光控制部，配置为使用电子快门可变地控制所述成像器件的曝光期间；以及
[0067] 闪烁检测部，配置为基于当电子快门的速度从相对高速到相对低速变化时的来自 所述成像器件的输出信号的变化来检测闪烁。
[0068] (2)根据⑴的成像装置，其中
[0069] 使得所述曝光控制部在预定的速度范围内可变地控制所述电子快门的速度，并且
[0070] 所述闪烁检测部基于当所述电子快门的速度在预定的速度范围内以预定的速度 步长从最高速到较低速变化时的来自所述成像器件的所述输出信号的变化，来检测所述闪 烁。
[0071] ⑶根据⑴或⑵的成像装置，还包括：
[0072] 成像光学系统，配置为形成通过所述成像器件拍摄的被摄体的光学像；以及
[0073] 焦点控制部，配置为调节所述成像光学系统的聚焦操作，其中
[0074] 所述闪烁检测部在所述焦点控制部使得所述成像光学系统在无限远距离方向和 最近距离方向中的、所述被摄体的光学像为最模糊的方向上执行聚焦操作的状态下，检测 所述闪烁。
[0075] (4)根据⑴到⑶任一项的成像装置，其中
[0076] 所述曝光控制部通过使用卷帘快门类型的电子快门来可变地控制所述成像器件 的所述曝光期间，并且
[0077] 所述闪烁检测部基于从所述成像器件的所述输出信号获取的二维图像中的、横向 布置的多个区域的信号值的变化，来检测所述闪烁。
[0078] (5)根据⑴到⑷任一项的成像装置，还包括：
[0079] 电子取景器；以及
[0080] 取景器感测部，配置为感测所述电子取景器的使用状态，其中
[0081] 当所述电子取景器未被使用时，所述闪烁检测部检测所述闪烁。
[0082] (6)根据⑴到（5)任一项的成像装置，还包括：
[0083] 模式切换部，配置为在运动图像拍摄模式和静止图像拍摄模式之间执行切换，其 中
[0084]当所述模式切换部执行到所述运动图像拍摄模式的切换时，所述闪烁检测部检测 所述闪烁。
[0085] (7) -种检测闪烁的方法，所述方法包括：
[0086] 使用电子快门可变地控制所述成像器件的曝光期间；以及
[0087] 当所述电子快门的速度从相对高速到相对低速变化时，基于来自所述成像器件的 输出信号中的变化来检测闪烁。
[0088] (8) -种信息处理单元包括：
[0089] 曝光控制部，配置为使用电子快门可变地控制成像器件的曝光期间；以及
[0090] 闪烁检测部，配置为基于当电子快门的速度从相对高速到相对低速变化时的来自 所述成像器件的输出信号的变化来检测闪烁。
[0091] 本领域的技术人员应该理解，根据设计要求和其它因素，只要在所附权利要求或 其等同物的范围内，可以出现各种修改、组合、子组合以及变更。
【权利要求】
1. 一种成像装置，包括： 成像器件，配置为将光转换为电信号并输出所述电信号； 曝光控制部，配置为使用电子快门可变地控制所述成像器件的曝光期间；以及 闪烁检测部，配置为基于当电子快门的速度从相对高速到相对低速变化时的来自所述 成像器件的输出信号的变化来检测闪烁。
2. 根据权利要求1所述的成像装置，其中 使得所述曝光控制部在预定的速度范围内可变地控制所述电子快门的速度，并且 所述闪烁检测部基于当所述电子快门的速度在预定的速度范围内以预定的速度步长 从最高速到较低速变化时的来自所述成像器件的所述输出信号的变化，来检测所述闪烁。
3. 根据权利要求1所述的成像装置，还包括： 成像光学系统，配置为形成通过所述成像器件拍摄的被摄体的光学像；以及 焦点控制部，配置为调节所述成像光学系统的聚焦操作，其中 所述闪烁检测部在所述焦点控制部使得所述成像光学系统在无限远距离方向和最近 距离方向中的、所述被摄体的光学像为最模糊的方向上执行聚焦操作的状态下，检测所述 闪烁。
4. 根据权利要求1所述的成像装置，其中 所述曝光控制部通过使用卷帘快门类型的电子快门来可变地控制所述成像器件的所 述曝光期间，并且 所述闪烁检测部基于从所述成像器件的所述输出信号获取的二维图像中的、横向布置 的多个区域的信号值的变化，来检测所述闪烁。
5. 根据权利要求1所述的成像装置，还包括： 电子取景器；以及 取景器感测部，配置为感测所述电子取景器的使用状态，其中 当所述电子取景器未被使用时，所述闪烁检测部检测所述闪烁。
6. 根据权利要求1所述的成像装置，还包括： 模式切换部，配置为在运动图像拍摄模式和静止图像拍摄模式之间执行切换，其中 当所述模式切换部执行到所述运动图像拍摄模式的切换时，所述闪烁检测部检测所述 闪烁。
7. -种检测闪烁的方法，所述方法包括： 使用电子快门可变地控制所述成像器件的曝光期间；以及 当所述电子快门的速度从相对高速到相对低速变化时，基于来自所述成像器件的输出 信号中的变化来检测闪烁。
8. -种信息处理单元，包括： 曝光控制部，配置为使用电子快门可变地控制成像器件的曝光期间；以及 闪烁检测部，配置为基于当电子快门的速度从相对高速到相对低速变化时的来自所述 成像器件的输出信号的变化来检测闪烁。
【文档编号】H04N5/235GK104219455SQ201410218799
【公开日】2014年12月17日 申请日期:2014年5月22日 优先权日:2013年5月29日
【发明者】葛西大佑 申请人:索尼公司