摄像设备及其控制方法
【技术领域】
[0001] 本发明设及一种摄像设备及其控制方法，尤其设及用W生成高动态范围图像的技 术。
【背景技术】
[0002] 已知有被称为高动态范围化DR)合成的技术，其中在该技术中，通过合成在不同 的曝光（曝光不足和过度曝光）下所拍摄到的多个图像来增大图像的动态范围。利用该技 术，合成各种图像的适当曝光部分，W抑制高光溢出和暗部缺失并且获得从暗区域到亮区 域呈现良好色调的图像。
[0003] 皿R合成技术不仅适用于拍摄静止图像，而且还适用于拍摄视频。存在用于在拍摄 视频师R视频拍摄）时进行皿R合成的结构，其中一个已知示例是在W交替方式对视频的 帖应用不同的曝光（曝光不足和过度曝光）的情况下拍摄视频的结构。
[0004]日本特开2012-049600公开了用W对视频帖应用白平衡控制、并且使用应用了白 平衡控制的图像来进行皿R合成的技术。另一方面，日本特开2009-278524公开了用W在 改变曝光的情况下连续进行摄像、并且使用在时间上相邻的多个图像来进行皿R合成的技 术。在与皿R合成有关的处理中，针对在时间上相邻的图像的处理重叠；运样，在下一皿R 合成中重复使用最初进行处理后的图像的处理结果，因而高效地执行了该处理。
[0005] 利用日本特开2012-049600所公开的技术，使皿R合成处理延迟，直至针对所有帖 完成了诸如颜色信息的提取、光源信息的估计和白平衡增益的设置等的白平衡控制所需的 处理为止。因此，在使用曝光不同的两个帖的图像来进行皿R合成的情况下，帖频减半。另 一方面，利用日本特开2009-278524所公开的技术，由于重复使用针对在时间上相邻的图 像其中之一的处理，因而实际上可W维持帖频。然而，由于在皿R合成中重复使用一个图像 的图像处理结果，因此在颜色和亮度随时间的经过而发生改变的场景中，因无法应用适当 的图像处理而导致预期会W例如色调跳跃（tonejump)的形式发生与颜色和亮度相关联的 图像质量的劣化。
【发明内容】
[0006] 本发明是考虑到上述问题而作出的，并且实现用W即使在皿R视频拍摄期间颜色 和亮度发生改变的场景中也能减轻所生成图像的图像质量的劣化的技术。
[0007] 为了解决上述问题，本发明提供一种摄像设备，包括：摄像单元；摄像控制单元， 用于控制所述摄像单元W对曝光不同的帖图像进行重复摄像；显像单元，用于对所拍摄到 的帖图像各自应用显像处理；W及合成单元，用于通过合成所述显像单元显像后的在时间 上连续的图像来生成合成图像，其中，所述显像单元根据所拍摄到的帖图像其中之一来生 成与不同的显像参数相关联的第一图像和第二图像，W及所述合成单元合成根据在时间上 连续的所拍摄到的帖图像所生成的图像中的、使用同一显像参数所生成的图像。
[000引为了解决上述问题，本发明提供一种摄像设备的控制方法，所述控制方法包括W 下步骤：摄像步骤，其中在所述摄像步骤中，摄像单元进行摄像；摄像控制步骤，用于控制 所述摄像单元W对曝光不同的帖图像进行重复摄像；显像步骤，用于对所拍摄到的帖图像 各自应用显像处理；W及合成步骤，用于通过合成所述显像步骤中显像后的在时间上连续 的图像来生成合成图像，其中，所述显像步骤根据所拍摄到的帖图像其中之一来生成与不 同的显像参数相关联的第一图像和第二图像，W及所述合成步骤合成根据在时间上连续的 所拍摄到的帖图像所生成的图像中的、使用同一显像参数所生成的图像。
[0009] 根据本发明，即使在皿R视频拍摄期间颜色和亮度发生改变的场景中，也可W减 轻所生成图像的图像质量的劣化
[0010] 通过W下（参考附图）对典型实施例的说明，本发明的其它特征将变得明显。
【附图说明】
[0011] 包含在说明书中并构成说明书一部分的附图示出了本发明的实施例，并和说明书 一起用来解释本发明的原理。
[0012] 图IA是用作根据本发明实施例的摄像设备的示例的数字照相机100的截面图。
[0013] 图IB是示出用作根据本发明实施例的摄像设备的示例的数字照相机100的示例 功能结构的框图。
[0014] 图2是示出根据第一实施例的皿R视频拍摄处理的一系列操作的流程图。
[0015] 图3示出根据第一实施例的所获得的测光所用的信号和区域的分割。
[0016] 图4是用于确定根据第一实施例的皿R视频拍摄处理中的曝光条件的程序图。
[0017] 图5是用于说明摄像帖频减半的皿R视频的图。
[0018] 图6是用于说明维持了摄像帖频的皿R视频的图。
[0019] 图7是用于说明显像结果作为下一皿R合成中所使用的帖的重复使用的图。
[0020] 图8是示出根据第一实施例的显像处理和合成处理所用的示例功能结构的框图。
[0021] 图9是用于说明根据第一实施例的使用模式改变的白平衡系数的在显像之后的 皿R合成的图。
[0022] 图10示出皿R合成处理中的两个图像的合成比例的示例。
[0023] 图11是示出根据第二实施例的皿R视频拍摄处理的一系列操作的流程图。
[0024] 图12A和12B是示出根据第二实施例的显像处理和合成处理所用的示例功能结构 的框图。
[00巧]图13A和13B示出根据第二实施例的用于生成色调校正中所使用的查找表的方 法。
[0026] 图14示出根据第二实施例的使用颜色/亮度调整所用的查找表的在显像之后的 皿R合成。
[0027] 图15是示出根据第S实施例的皿R视频拍摄处理的一系列操作的流程图。
[002引图16示出根据第S实施例的通过对移动物体进行多重擅染（render)的皿R合成 的示例。
[0029] 图17是示出根据第=实施例的移动物体应对处理所用的示例功能结构的框图。
[0030] 图18A和18B示出根据第S实施例的合成比率和基准亮度之间的关系。
[0031] 图19示出根据第=实施例的噪声降低处理的强度根据合成比率的变化的示例。
[0032] 图20是示出根据第=实施例的显像处理和合成处理所用的示例功能结构的框 图。
[0033] 图21是示出根据第S实施例的噪声降低处理所用的示例功能结构的框图。
[0034] 图22示出根据第S实施例的噪声降低处理之后的图像比例与合成比率之间的关 系。
【具体实施方式】
[00巧] 第一连施例
[0036] W下参考附图来详细说明本发明的典型实施例。应当注意，W下说明关于将本发 明应用于作为摄像设备的示例的具有可W在改变曝光的情况下获得视频的摄像功能的数 字照相机的示例。然而，本发明所设及的摄像设备不限于数字照相机，并且可W是具有运种 摄像功能的任何电子装置。运种电子装置的示例例如可W包括移动电话装置、游戏机、平板 终端、个人计算机W及腕表型或眼镜型信息终端。
[oow]1.撒辛照巧化的结构
[003引图IA是示出用作根据实施例的摄像设备的示例的数字照相机100的主要是光学 构件和传感器等的配置的截面图。数字照相机100是使用可更换镜头的所谓的数字单镜头 反光照相机，并且包括照相机本体1和可更换镜头2。
[0039] 照相机本体1的图像传感器10例如是CMOS图像传感器或CCD图像传感器，并且 内部排列有多个像素（储存型光电转换元件）。除配置在光接收部中的像素外，例如在图像 传感器10中还形成有针对像素信号的放大电路和信号处理所用的周边电路。通过调整针 对像素的电荷的累积时间段和电荷的读取，图像传感器10实现了使得能够利用图像传感 器来进行曝光控制的电子快口功能。在各像素中，对可更换镜头2中所包括的摄像光学系 统所形成的被摄体的光学图像应用光电转换；结果，W像素为单位输出图像信号。
[0040] 在图像传感器10的前方附近设置机械快口 11，并且该机械快口 11调节图像传感 器10的曝光时刻和曝光时间段。在摄像时，半透过性的主镜3和配置于主镜3的背面的第 一反射镜7上翻。第二反射镜8进一步反射第一反射镜7所反射的光束，由此使该光束入 射到AF传感器9上。AF传感器9例如可W是像素数比图像传感器10的像素数小的图像传 感器。第一反射镜7、第二反射镜8和AF传感器9是用于在摄像画面内的任意位置处使用 相位差检测方法来进行焦点检测的构成元件。应当注意，在实时取景显示和视频记录时，主 镜3始终处于上翻状态，因而使用摄像面的图像信息来进行曝光控制和焦点调节控制。
[0041]AE传感器6是测光传感器，并且通过接收五棱镜4和第S反射镜5所反射的来自 被摄体的光束来进行测光。AE传感器6可W将光接收部分割成多个区域并且W区域为单位 输出被摄体的亮度信息。
[0042] 五棱镜4构成取景器光学系统。可W经由未示出的目镜来观察五棱镜4所反射的 被摄体的光学图像。此外，在五棱镜4所反射的光束中，主镜3所反射的并且因聚焦屏12 而发生扩散的光线的一部分从光轴偏转并且入射到AE传感器6上。
[0043] 可更换镜头2是可移除镜头，并且根据需要经由照相机本体1中所安装的镜头卡 口的接点来与照相机本体1进行通信。
[0044] 图IB是示出图IA所示的数字照相机100的照相机本体1和相应的可更换镜头2 的功能结构的示例的框图。应当注意，图IB所示的功能块中的一个或多个可W利用诸如ASIC和可编程逻辑阵列（PLA)等的硬件来实现、或者可W通过诸如CPU和MPU等的可编程 处理器执行软件来实现。此外，运些功能块中的一个或多个可W利用软件和硬件的组合来 实现。因此，在W下说明中，尽管不同的功能块可W用作操作的执行主体，但运些功能块也 可W由用作执行主体的相同硬件来实现。
[0045] 控制单元21例如是设置有诸如算术和逻辑单元（ALU) 33、ROM34、RAM35、A/D转 换器31、计时器32和串行通信端口（SPI)36等的内置构成元件的单片微计算机。控制单元 21通过例如执行ROM34中所存储的程序来控制照相机本体1和可更换镜头2的操作。例 如，控制单元21控制照相机本体1的构成元件W执行后面所述的与皿R视频拍摄有关的处 理。将来自AF传感器9和AE传感器6的输出信号输入至控制单元21的A/D转换器31。
[0046] 信号处理单元25根据来自控制单元21的指示来控制图像传感器10,并且通过向 从图像传感器10输出的信号应用A/D转换和信号处理来获得图像信号。为了记录所获得 的图像信号，信号处理单元