专利名称：成像装置和成像方法
技术领域：
本发明涉及应用于摄像机的能够以低帧速率成像的成像装置，并涉及 应用于该成像装置的成像方法。
背景技术：
获得与电视广播格式等相符的视频信号的摄像机使用1/60秒、1/50秒 等指定帧速率来用成像器捕捉图像。例如，具有1/60秒的帧速率的摄像机 对于每一帧具有1/60秒的最大周期(或者快门周期)用来积累用成像器接 收到的成像光。
在执行将接收成像光的时段縮短至一个帧周期内的处理(或电子快门 处理)时，可以以1/100秒、1/1000秒等高快门速度来捕捉图像。但是在 这种情况下，可能不会允许接收成像光的周期长于一个帧周期。
为了实现以比所定义的帧速率更低的帧速率成像，在覆盖多个帧周期 的长周期内的成像光可被成像器接收并且在所述多个帧周期内接收到的信 号然后可被从所述成像器中读出。例如，当CCD (电荷耦合器件)图像传 感器被用作成像器时，通过接收到的光在每个像素内积累电荷的周期可被 延长。例如，当每个像素的电子积累周期对应于两个帧周期之和(1/30) 时，在1/30秒内积累的信号可被读出。从而可以获得具有两倍积累周期的 低速率成像。当正常的帧周期被设为1/60秒时，这样得到的成像信号可以 每1/30秒(这是一般帧周期的两倍)就间歇地改变。例如，即使在诸如夜 晚之类的黑暗中也可以捕捉图像。这样，通过以比重放的帧速率更低的帧 速率执行成像和记录，可以得到快速进行的效果。在上面的描述中，已经 说明了在两倍帧周期内积累电荷的处理示例。例如可以调节在成像器中积 累电子的周期，以使得成像可以在数十帧的周期内得到延续。
公开号为2005-39710的日本未审查专利申请公开了如下成像装置的示例，该成像装置通过帧相加来执行改变帧速率的处理。
发明内容
但是，如果如上所述扩展图像传感器的光接收元件中的电子积累的周 期，则会使图像传感器的校正功能的动态范围变得不足。因此，由此得到 的图像可能会暴露图像传感器的固定模式噪声，或者诸如白平衡调节之类 的自动控制系统将会由于断续图像而不足以应对实际使用。结果，图像质 量的劣化可能会大量发生。
例如，在来自图像传感器的成像信号输出是线性信号阶段处来自图像 传感器的输出受到数字同步的相加。这里，"来自图像传感器的成像信号 输出是线性信号的阶段"意味着信号的如下阶段，在该阶段期间，受到各 种类型的成像信号处理(例如白平衡调节和伽玛校正)之前的图像传感器 的输出被直接反映。
在图像传感器的输出在紧接非线性信号处理电路之后的阶段中被相加 的情况下，如果所相加的各帧的信号特性在相加被执行时发生变化，则相 加之后的信号特性可能会劣化。
例如，如果两个帧周期被相加，则这两个帧周期中的每一个可能属于 完全相同的电荷积累周期。但是，事实上，在称为电子快门的处理中的一 个帧周期内，图像传感器的信号电荷积累周期可能被縮短。如果所相加的 两个帧周期的信号积累周期由于电子快门处理而发生变化，则在来自图像 传感器的输出被相加时所相加的各帧周期的信号特性不总是相同。因此， 相加之后的信号可能具有劣化的特性。
本发明解决了上面指出的问题以及与传统方法和装置相关联的其他问 题。希望提供将低帧速率的成像和电子快门合适地结合的成像装置和成像 方法。
根据本发明的一个实施例，提供了一种成像装置，并且根据本发明的 另一个实施例，提供了一种成像方法。放大从用于将成像光转换为成像信 号的图像传感器得到的成像信号。以帧为单位把放大后的成像信号中的预 定多个帧相加。接着，根据将被相加的多个帧中的每个帧的信号积累周期来可变地设置每个帧的信号积累周期。
根据如上所述的处理，当为了以低帧速率进行成像而执行成像信号中 的多个帧的相加时，基于信号积累周期来可变地设置将被相加的每个帧的 信号所具有的增益。
根据本发明的实施例，当为了以低帧速率进行成像而执行成像信号中 的多个帧的相加时，基于信号积累周期来可变地设置将被相加的每个帧的 信号所具有的增益。从而可以使相加之前的信号的特性变得相等，使得可 以防止信号的特性因相加而劣化。
图1是图示出根据本发明实施例的成像装置的配置示例的框图。 图2是图示出根据本发明实施例的成像装置中的同步加法的示例的电 路图。
图3A至图3D是图示出根据本发明实施例的成像装置中的成像时刻的 示例(三帧相加)的时序图。
图4A至图4E是图示出根据本发明实施例的当电子快门被执行时的成 像装置中的成像时刻的示例(三帧相加)的时序图。图5是图示出根据本发明实施例的成像装置中的处理示例的流程图。
图6A至图6D是图示出根据本发明实施例的成像装置中的电子快门的 孔径(aperture)和增益的示例的时序图，其中图6A、 6B、 6C和6D分别 表示100%、 75%、 50%和25%的不同快门孔径。
图7A至7E是图示出根据本发明实施例的成像装置中的电子快门和增 益的另一设置示例的时序图。
图8是图示出根据本发明实施例的成像装置中的增益和伽玛曲线的特 性图。
具体实施例方式
在下文中，将参考附图来描述本发明的一种实施例的示例。
图1是图示出作为本发明实施例示例的成像装置的示例性配置的框图。现在参考图1，成像装置的配置将被描述。通过透镜ll得到的成像光 被由棱镜12分成三原色。各颜色的分离成像光线分别入射到蓝色、绿色
和红色图像传感器13B、 13G和13R的成像表面上。各颜色图像传感器 13B、 13G和13R的成像表面上的成像光线形成图像在各图像传感器 13B、 13G和13R中被转换为电信号，接着转换后的电信号被分别读出。 从图像传感器13B、 13G和13R中读出的电信号被分别称为成像信号。
为了简化描述，透镜11在图1中被表示为单个透镜。但是，事实上 透镜11可以包括多个透镜(透镜组)并且可以充当变焦透镜。此外，光 圈、孔径机构也被布置在透镜11的光路中，但是未在图中示出。图像传 感器13B、 13G和13R例如可以是CCD图像传感器或CMOS图像传感 器。图像传感器13B、 13G和13R中的每个图像传感器中的每帧的信号积 累周期由来自后述控制单元25的指令来可变设置。换言之，例如，如果 一帧是1/60秒，则一个帧周期的最大信号积累周期大约是1/60秒，但是 比这更短的积累周期可被定义。这样，使一个帧周期内的信号积累周期縮 短的处理被称为电子快门。
从图像传感器13B、 13G和13R中读出的成像信号被提供给相机处理 单元30。接着，成像信号在相机处理单元30中受到各种校正处理。校正 过程包括与线性信号处理和非线性信号处理有关的校正。
输入到相机处理单元30的成像信号首先被提供给线性处理单元31然 后受到线性信号处理。如图1所示，线性处理单元31中的线性信号处理 在用于各颜色成像信号的放大电路31b、 31g和31r中独立地执行放大处 理，以获得具有合适电平的各颜色成像信号。在本实施例中，根据在执行 后述帧相加的模式(低帧速率的成像模式)下的各帧中的信号积累周期的 差异来校正由各放大电路31b、 31g和31r设置的增益。稍后将描述增益设
置的示例。
此外，用于调节蓝色、绿色和红色成像信号的平衡的校正白平衡调节 的处理被执行。校正白平衡调节的处理也可被在放大电路31b、 31g和31r
中的每一个中执行。
经线性处理单元31处理的成像信号被提供给非线性处理单元32，从而受到非线性信号处理。
与非线性处理单元32中的非线性处理有关的校正可以是伽玛("校
正、拐点校正(knee correction)等等。伽玛校正是这样一种校正，其中基 于伽玛校正曲线利用非线性I/O特性来变换每种颜色的辉度值。拐点校正 是非线性处理单元32中的用于调节图像中的明亮部分的亮度的非线性校 正处理。非线性处理单元32中的非线性校正处理被配置如下可以通过 从后述控制单元25提供的指令利用不同的校正特性来分别定义执行正常 成像时的非线性校正处理和执行如下所述的帧相加时的非线性校正处理。 另外，可以利用根据在帧相加时相加的帧数的进一步的校正来定义校正特 性。
经在非线性处理单元32中校正的成像信号被提供给YC转换单元 33。这里，YC转换单元33把由蓝色、绿色和红色的原色信号(在下文中 被称为RGB信号)形成的成像信号转换为包括辉度信号(在下文中被称 为Y信号)和色度信号(在下文中被称为C信号)的成像信号。经YC转 换单元33转换的成像信号被从相机处理单元30中输出。
从相机处理单元30中输出的成像信号(Y信号和C信号)被提供给 同步加法电路14。此外，同步加法电路14连接到由帧存储器组成的帧缓 冲器24。所提供的成像信号在成像被以低帧速率执行时受到按照帧的算数 加法。控制单元25可以控制所相加的帧的数目等等。在同步加法电路中 相加的成像信号或者没有相加的成像信号被提供给编解码器单元15。
编解码器单元15执行编解码处理，其中所提供的成像信号被转换为 预定格式的视频信号。然后，转换得到的视频信号被提供给记录电路16 然后被记录在记录介质(存储介质)中。适合使用的记录介质可以是诸如 存储卡、光盘和磁带之类的各种介质中的任何一种。
另外，从相机处理单元30中输出的成像信号和从同步加法电路14中 输出的成像信号被提供给选择器21。从而，在控制单元25的控制下，由 选择器21来选择将要显示的成像信号。例如，选择器21当显示在低帧速 率成像时以低帧速率得到的成像信号时选择从同步加法电路14中输出的 成像信号。另一方面，选择器21当在低帧速率成像期间未被按照帧相加的成像信号被显示时选择来自相机处理单元30的输出。在正常成像时， 在所选择的成像信号中没有差异。
由选择器21选择的图像信号被帧速率转换单元22进行帧速率转换以 供显示或外部输出，接着被显示在显示器23上。由帧速率转换单元22转 换的视频信号也可被从输出端(未示出)输出。帧速率转换单元22中的 转换和显示器23中的显示也是在控制单元25的控制下执行的。当帧速率 的转换被帧速率转换单元22执行时，转换处理是使用帧缓冲器24作为临 时存储设备来执行的。
控制成像装置的各单元的控制单元25接收来自具有操作开关等的操 作单元26的操作指令。从而，操作单元26的操作导致对诸如成像的开始 或终止之类的成像动作的控制。此外，可以基于操作单元26的操作来执 行成像模式的设置等。低帧速率模式的设置和电子快门的设置也是由操作 单元26的操作来执行的。也可以根据当时的成像条件(辉度等)由控制 单元25来自动控制电子快门。在帧缓冲器24中积累成像信号的动作也是 由控制单元24控制的。这里，帧缓冲器24是如下存储器，其中图像信号 可被以Y信号和C信号的形式存储。
现在参考图2，帧缓冲器24被用作同步加法的存储电路时的同步加法 电路的配置将被描述。输入到输入端24a中的成像信号被通过转换开关 24b提供到加法器24c。这里，转换开关24b在没有成像信号相加的时段期 间选择得到0 (零)数据的端子，而非相对方(输入端24a)。加法器24c 被提供用于来自存储单元24d的输出的相加。然后，加法器24c的输出被 提供给存储单元24d并被存储在存储单元24d中。接着，存储在存储单元 24d中的成像信号被从输出端24e输出。在图2所示的电路配置中，对每 一帧同步地执行如下处理存储单元24d存储一帧的成像信号，以及在加 法器24c中将所存储的成像信号加到输入信号上。从而，每一帧的信号可 被按顺序相加。接着，被相加所需数目的帧的成像信号被从输出端24e输 出。为了在帧缓冲器24中执行相加，在每一帧中相加的像素的位置被调 节，以与其他像素一致。从而，这种相加使得每个像素位置的辉度值变成 在与所相加的帧的数目相对应的时段中相加得到的值。图3A至图3D是图示出在该示例的成像装置的同步加法电路14中执 行加法处理时的成像操作的时序图。图3A至图3D中所示示例是如下示 例，其中三个帧的图像信号被相加。图3A图示出成像信号的帧周期。如 图3B至图3D中所示，曝光期间的三个帧的成像信号被相加并被提供作为 一个帧的信号。具体而言，如图3D所示，在具有曝光周期l.l、 1.2禾口1.3 的三个帧周期期间的来自图像传感器的输出被加起来，导致1号帧的成像 信号在同步加法电路14中受到三帧相加。1号帧的成像信号在连续的三个 帧周期期间被从同步加法电路14输出。在具有后续曝光周期2.1、 2.2和 2.3的三个帧周期期间的来自图像传感器的输出被加起来，导致2号帧的 成像信号在同步加法电路14中受到三帧相加。2号帧的成像信号也在三个 帧周期期间被从同步加法电路14输出。
因此，由三个帧相加得到的成像信号导致图像传感器13B、 13G或 13R中的曝光时间比正常成像时的图像信号的曝光时间长二倍。从而，成 像的帧速率是正常成像的三分之一。
图3A至图3D中所图示的示例已被描述为三帧相加的示例。但是，相 加的帧的数目可以是二或更多，这是可选择的。例如，如果一个帧是1/60 秒并且60帧相加被执行，则可以以每一秒的低帧速率来执行成像。
现在参考图4A至图4B，描述了如下处理，其中如上所述的低帧速率 的成像处理被与电子快门相结合。图4A至图4B所示的示例是如下示例， 其中低帧速率的成像是与图3A至图3D所示情况类似的1/3的帧速率。
当电子快门不被执行时，成像信号的三个帧在以1/3的帧速率进行成 像的模式下如图3A至图3D所示被相加。但是，当电子快门被执行时，例 如，在将被相加的三个帧周期中，在电子快门所指示的时刻之前的信号被 丢弃。只有在电子快门所指示的时刻之后的信号被相加。
在图4A至图4B的示例中，成像帧周期被定义为如图4A所示。此 外，如图4B所示，低帧速率的成像被定义，使得图像帧的三个帧周期被 设为一个帧周期。这里，在低帧速率的成像状态被定义之后，认为如图 4B所示执行电子快门，其中几乎在第二帧周期的中间之后的信号被累加 (相加)而在前信号被丢弃。具体而言，例如，在将曝光周期2.1、 2.2和2.3的三个帧周期相加的低帧速率成像的模式下，电子快门时刻被设为曝 光周期2.2的几乎中间的时刻，然后此后的周期仅被定义为曝光周期。因
此，在同步加法电路14中，只有后一半曝光周期2.2中的成像信号和整个 曝光周期2.3中的成像信号被相加。
在这种配置的情况下，电子快门中的具有短积累周期的周期(例如， 曝光周期2.2)通过相机处理单元30中的线性处理单元根据其他周期的信 号增益来改变信号增益。换言之，当线性处理单元31中的放大电路31b、 31g和31r中的每一个放大电路的正常增益是0dB时，具有大约一半积累 周期的帧周期中的增益被设为比正常增益高6dB。因此，即使在不同积累 周期的情况下，用于各帧的图像信号的线性处理单元31的输出几乎是相 等的电平。
图4C图示出在相机处理单元30的放大电路31b、 31g和31r中设置增 益的示例。通过这种增益放大过的信号如图4D所示被输出。在这种情况 下，如图4C所示，如下处理被重复，其中每隔两帧就提供具有高增益的 帧周期。在三个放大电路31b、 31g和31r中设置的增益基本上是相同的。 但是，如果放大电路31b、 31g和31r也充当用于白平衡等的放大电路，则 在某些情况下三原色信号当中的增益可能会不同。
增益的可变设置是结合如图4C所示的电子快门来执行的，同时图4D 所示的输出在同步加法电路14中被相加。作为同歩加法电路14的输出， 对于图4E所示的三个帧周期，相同的相加信号被重复地输出。
这里，在图4A至图4B所示的示例中，帧周期的积累周期被限制为大 约1/2，其中信号积累周期是由电子快门控制的。因此，增益的附加电平 可以根据积累周期中的限制程度而变化。具体而言，如果积累周期变得更 短，则增益的附加电平变得更高。另一方面，如果积累周期变得更长，则 增益的附加电平变得更小。换言之，积累周期和信号增益是反比关系，使 得即使在不同积累周期的情况下用于各帧的成像信号的线性处理单元31 的输出也是几乎相等的电平。此外，在图4A至图4B的示例中，三个帧周 期中的第一帧周期的信号(图4D的输出2.1等)不被相加作为成像信号， 使得这一周期的增益可以不是O (零)dB。另外，图5是一流程图，其描述了由控制单元25的控制动作执行的
低帧速率成像时的处理示例。首先，控制单元25确定当前的成像模式是 正常帧速率的成像还是低帧速率的成像(步骤Sll)。这里，在正常帧速 率的成像时，非线性处理单元32为正常成像定义伽玛校正曲线(步骤 S12)，并且记录、显示等被执行，同时没有加法处理在同步加法电路14 中执行(步骤S13)。
相比之下，在低帧速率的成像时，非线性处理单元32为低帧速率成 像定义伽玛校正曲线(步骤S14)。
这里，控制单元25确定电子快门是否被执行(步骤S15)。如果电子 快门被执行，则帧(其信号积累周期受电子快门限制)的增益被定义为与 其信号积累周期成反比关系(步骤S16)。这样，可以得到在同步加法电 路14中按照帧相加的成像信号。
为了在显示器23上显示视频，正常帧速率的视频或者经帧相加处理 过的低帧速率的视频被选择(步骤S17)。如果正常帧速率的视频被选 择，则选择器21选择相机处理单元30的输出，并且基于所选择的成像信 号的视频随后被显示在显示器23上(步骤S18)。当希望显示正常帧速率 的视频时，视频以正常帧速率(例如1/60秒等)变化。从而，实际的成像 状态被发现，并且透镜的焦距调节、变焦透镜的张角调节等等可被正确且 快速地执行。但是，这是没有帧相加的视频，所以得到的视频在某些情况 下可能会暗。
另外，如果经帧相加处理的低帧速率视频被选择用于显示，则选择器 21选择相加之后的输出，并且基于所选择的成像信号的视频随后被显示在 显示器23上(步骤S19)。在显示以低帧速率捕捉的图像时，得到的视频 的亮度或SNR可被却确认为实际上以帧速率摄制的视频。此时，当信号积 累周期受使用电子快门的限制时，可以通过在显示器23上的显示来检查 具有这种电子快门的成像状态。
图4A至图4B中所示的示例已经描述了当执行1/3的低帧速率成像时 的电子快门。本发明的实施例还可应用于其他低帧速率的成像。
图6A至图6D图示出如下示例，其中当成像模式是1/2的低帧速率成像时电子快门的快门孔径分别被设为100% (图6A) 、 75% (图6B)和 25% (图6D)。
如果快门孔径是如图6A所示的100%,则没有关于电子快门的限制施 加于孔径，并且加法处理被执行使得所有的传感器输出被用相同增益来放 大。
如果快门孔径是如图6B所示的75%，则电子快门的孔径在一个帧周 期(曝光周期2等)内被限制一半。接着，来自受限周期的图像传感器的 输出被用高增益放大然后被与其他帧周期的信号相加。
如果快门孔径是如图6C所示的50%，则一个帧周期(曝光周期2 等)的信号完全不被使用，所以其他帧周期的信号仅被输出，而增益没有 改变。
如果快门孔径是如图6D所示的25%，则一个帧周期(曝光周期2 等)的信号完全不被使用。此外，电子快门的孔径在其他帧周期(曝光周 期1等)中被限制一半。来自受限周期的图像传感器输出被用高增益放大 然后其他帧周期的信号被输出。
如上所述，根据电子快门对每个帧周期中的孔径的限制状态，以低帧 速率相加的帧的数目的设置被与增益的可变设置相结合。从而，这种组合 可以对应于以各种低帧速率中的任何一种进行成像时的电子快门。
如上所述，根据按照本发明实施例的成像装置的配置，在将低帧速率 的成像与电子快门相结合的情况下，在如下帧周期中执行增加增益的处 理，在所述帧周期中孔径受电子快门限制。结果，相机处理单元30中的 线性处理单元31的输出电平在任何帧周期内彼此几乎相等。从而，可以 在非线性处理单元32 (线性处理单元的后续级)中合适地执行非线性校正 处理。
换言之，在非线性处理单元32中，诸如伽玛校正之类的非线性校正 处理被执行。在这种情况下，在非线性处理单元32中受到非线性校正处 理的信号在任何帧周期中具有同等的特性，从而产生受到同步相加的信号 的非线性校正处理的无扰动状态。
关于伽玛校正，其增益例如可以由曲线表示，其中1/0充当在1倍增益、1/2倍增益和3/2倍增益下的预定特性，如图8所示。注意到，伽玛校
正的增益通常是l倍。
如图8所示，伽玛校正由输入电平所定义的曲线表示。因此，如果电
平在多个相加帧周期内由于电子快门而不同，则这是不可取的，因为具有 不同伽玛校正效果的信号可被相加。但是，根据本发明的实施例，即使当 电子快门被执行时，将被相加的各帧周期的信号电平也几乎彼此相等。从 而在恒定状态下执行合适的伽玛校正。在执行除了伽玛校正之外的任何其 他非线性校正过程的情况下，可以根据本发明的实施例得到合适的特性。
应当注意到，在图4A至图4B和图6A至图6D中所示的时间设置示 例中，在将受到同步相加的多个帧中只有一个帧周期的孔径受电子快门限 制。但是，将受到同步相加的多个帧中的每个帧的孔径被限制，并且增益 可以根据受限孔径而被改变。
换言之，例如，以1/3的低帧速率进行成像的模式(即与图4A至图 4B相同的模式)如图7A至7E所示被选择。然后，对于将被相加的三个 帧周期中的每一个，孔径被限制为50%，并且增益可以根据每个帧周期中 的孔径来定义。在这种情况下，例如执行在每个帧周期中从正常电平增加 6dB增益的处理。
另外，在迄今为止所描述的示例中，同步相加被设计为以辉度信号和 色度信号的形式执行。还可以对呈RGB信号形式的成像信号执行同步相 加。此外，将受到同步相加的信号被设计为按照帧来相加。还可以按照场 来执行同步相加。
本领域技术人员将会明白，各种修改、组合、子组合和变更可以根据 设计要求和其他因素而发生，只要它们属于所附权利要求书和其等同物的 范围内。
本发明包含与2007年4月10日在日本专利厅提交的日本专利申请 2007-103242有关的主题，上述申请的全部内容通过引用而结合于此。
权利要求
1. 一种成像装置，包括图像传感器，用于将通过光学系统得到的成像光转换为成像信号；成像信号处理单元，用于放大从所述图像传感器得到的所述成像信号；帧加法单元，用于以帧为单位将经所述成像信号处理单元处理的所述成像信号中的预定多个帧相加；以及控制单元，用于通过控制所述图像传感器中的将在所述帧加法单元中相加的多个帧中的每个帧的信号积累周期，来基于所述信号积累周期进行所述成像信号处理单元中的每个帧的放大增益的可变设置。
2. 如权利要求l所述的成像装置，其中基于将在所述帧加法单元中相加的预定多个帧中的每个帧的信号积累 周期的所述成像信号处理单元中的每个帧的放大增益的可变设置是在预定 范围内导致所述信号积累周期和所述放大增益之间的反比关系的设置，其 中在所述预定范围内所述信号积累周期不为零。
3. 如权利要求l所述的成像装置，其中 所述信号积累周期是由电子快门处理设置的。
4. 如权利要求1所述的成像装置，其中对在所述成像信号处理单元中被放大的信号执行伽玛校正处理。
5. 如权利要求4所述的成像装置，其中根据在所述帧加法单元中相加的帧的数目来改变所述成像信号处理单 元中的伽玛校正特性。
6. 如权利要求l所述的成像装置，其中对在所述成像信号处理单元中被放大的信号执行拐点校正处理。
7. —种成像方法，包括如下步骤放大从用于将成像光转换为成像信号的图像传感器得到的成像信号； 对放大后的信号执行非线性处理；以帧为单位把受到所述非线性处理的所述成像信号中的预定多个帧相加；以及基于经历所述相加的多个帧中的每个帧的信号积累周期来执行每个帧 的放大增益的可变设置。
全文摘要
提供了一种成像方法。该方法包括如下步骤放大从用于将成像光转换为成像信号的图像传感器得到的成像信号；对放大后的信号执行非线性处理；以帧为单位把受到非线性处理的成像信号中的预定多个帧相加；以及基于受到相加的多个帧中的每个帧的信号积累周期来可变地设置每个帧的放大增益。
文档编号H04N5/232GK101287131SQ20081008978
公开日2008年10月15日 申请日期2008年4月10日 优先权日2007年4月10日
发明者龟山隆 申请人:索尼株式会社