图像处理装置及其控制方法
【技术领域】
[0001]本发明涉及从拍摄的运动图像生成静止图像的技术。
【背景技术】
[0002]近年来，能够拍摄运动图像的摄像装置中的像素数迅速增加。能够拍摄全高清(Full HD)运动图像的摄像装置已经普及，并且能够拍摄4K或2K运动图像的摄像装置现在也开始出现在市场上。
[0003]由于这种高清运动图像的发展，近年来，运动图像的各帧图像具有足以用作静止图像的充足的像素数。因此，预计用于从运动图像的各帧生成静止图像的方法在将来会更普及。
[0004]在从运动图像生成静止图像时的一个问题是:用户难以确定哪个帧图像最适合作为静止图像。例如，由于在图像被视为运动图像的一部分的情况下的帧之间的连续转换而未注意到的照相机抖动或离焦图像，在图像被视为静止图像时常常超过可接受的程度。因此，对于用户来说逐一检查各帧是非常繁琐的。
[0005]为了解决这种问题，日本特开第2010-252078号公报公开了以下方法:首先，在运动图像的回放期间，读取在运动图像的记录期间已经记录的照相机图像状态信息。然后，从按下用于记录静止图像的开关时的时间前后拍摄的帧之中，选择最适合作为静止图像的图像。
[0006]然而，虽然上述传统的示例公开了如下概念:与运动图像的记录同步地记录AF、AE、AWB、抖动等的状态信息，使得状态信息能够用于在运动图像的回放期间选择静止图像，但是该示例不包含任何关于如何生成状态信息的具体披露。
【发明内容】
[0007]本发明是鉴于上述问题而作出的，并提供了一种使得用户能够容易地从构成已拍摄的运动图像的图像之中，选择最适合作为静止图像的图像的图像处理装置。
[0008]根据本发明的第一方面，提供了一种图像处理装置，所述图像处理装置包括:第一计算单元，其被构造为通过使用从抖动检测单元输出的抖动信号，来计算运动图像的抖动校正量；第二计算单元，其被构造为通过使用从所述抖动检测单元输出的抖动信号，来计算静止图像的抖动校正量；生成单元，其被构造为基于所述运动图像的抖动校正量与所述静止图像的抖动校正量之间的比较结果，来生成作为用于从所述运动图像的帧图像当中提取静止图像的指标的评价值；以及记录单元，其被构造为将所述评价值与所述运动图像的各帧图像相关联地记录。
[0009]根据本发明的第二方面，提供了一种图像处理装置，所述图像处理装置包括:第一计算单元，其被构造为通过使用从抖动检测单元输出的抖动信号，来计算运动图像的抖动校正量；第二计算单元，其被构造为通过使用从所述抖动检测单元输出的抖动信号，来计算相比于所述运动图像的抖动校正量实现更高防振性能的抖动校正量；生成单元，其被构造为基于所述运动图像的抖动校正量与相比于所述运动图像的抖动校正量实现更高防振性能的抖动校正量之间的比较结果，生成作为用于从所述运动图像的帧图像当中提取静止图像的指标的评价值；以及记录单元，其被构造为将所述评价值与所述运动图像的各帧图像相关联地记录。
[0010]根据本发明的第三方面，提供了一种图像处理装置的控制方法，所述控制方法包括:第一计算步骤，通过使用从抖动检测单元输出的抖动信号，来计算运动图像的抖动校正量；第二计算步骤，通过使用从所述抖动检测单元输出的抖动信号，来计算静止图像的抖动校正量；生成步骤，基于所述运动图像的抖动校正量与所述静止图像的抖动校正量之间的比较结果，生成作为用于从所述运动图像的帧图像当中提取静止图像的指标的评价值；以及记录步骤，将所述评价值与所述运动图像的帧图像相关联地记录。
[0011]根据本发明的第四方面，提供了一种图像处理装置的控制方法，所述控制方法包括:第一计算步骤，通过使用从抖动检测单元输出的抖动信号，来计算运动图像的抖动校正量；第二计算步骤，通过使用从所述抖动检测单元输出的抖动信号，来计算相比于所述运动图像的抖动校正量实现更高防振性能的抖动校正量；生成步骤，基于所述运动图像的抖动校正量与相比于所述运动图像的抖动校正量实现更高防振性能的抖动校正量之间的比较结果，生成作为用于从所述运动图像的帧图像当中提取静止图像的指标的评价值；以及记录步骤，将所述评价值与所述运动图像的帧图像相关联地记录。
[0012]根据以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。
【附图说明】
[0013]图1是示出作为根据本发明的摄像装置的实施例的摄像机的结构的框图。
[0014]图2A和图2B是例示计算聚焦元数据的方法的示例的图。
[0015]图3A至图3C是例示计算曝光元数据的方法的示例的图。
[0016]图4A至图4C是例示计算白平衡元数据的方法的示例的图。
[0017]图5A和图5B是示出用于计算抖动元数据的结构的框图。
[0018]图6是例示来自抖动校正量计算单元和抖动量计算单元的输出的图。
[0019]图7A至图7C是例示计算抖动元数据的方法的示例的图。
[0020]图8A至图8C是例示计算抖动元数据的方法的另一示例的图。
[0021]图9A和图9B是例示计算平移(panning)速度的方法的图。
[0022]图10A至图10C是例示在考虑到平移速度的情况下，由抖动量计算单元进行的计算的图。
[0023]图11是用于通过使用元数据从运动图像生成静止图像的流程图。
[0024]图12是示出用于向用户通知帧作为静止图像的适合度的显示的示例的图。
【具体实施方式】
[0025]以下参照附图，来对本发明的实施例提供详细的描述。图1是示出作为根据本发明的摄像装置的实施例的、能够拍摄运动图像的摄像机的结构的框图。图1示出了用于运动图像的拍摄的摄像装置的各个功能块。参照图1，以下对摄像装置100的结构和在运动图像的拍摄期间摄像装置100的操作提供具体的描述。
[0026]在图1中，摄像装置100包括沿着光轴的方向布置的变倍透镜101、光学校正系统102、光圈103和聚焦透镜104。这些元件和附图中未示出的其他光学系统构成了摄像光学系统。
[0027]变倍透镜101是通过沿着光轴方向移动来改变倍率的透镜。聚焦透镜104是具有校正随着倍率变化的焦平面的移动的功能和聚焦功能的透镜。光圈103是例如用于调整入射光量的虹膜光圈。
[0028]图像传感器105被布置在聚焦透镜104的后面。图像传感器105通过光电转换来拍摄被摄体的图像。图像传感器105例如被构造为XY寻址方式的互补金属氧化物半导体(CMOS)图像传感器。将通过图像传感器105的光电转换得到的信号，在图像传感器105内转换为数字信号，然后将该信号提供给信号处理单元111。信号处理单元111对从图像传感器105输出的图像信息，进行诸如伽马校正和色彩校正等的各种信号处理。
[0029]系统控制单元121控制整个摄像装置100。例如，系统控制单元121响应于从信号处理单元111接收到亮度值、色彩等的信息，进行各种计算处理。稍后将描述由系统控制单元121进行的控制的详情。
[0030]变焦驱动单元106是用于移动变倍透镜101的驱动源，并且根据来自系统控制单元121的指令进行变焦操作。系统控制单元121根据用户对变焦操作单元(附图中未示出)进行的操作，将指令发送到变焦驱动单元106。
[0031]聚焦驱动单元109是用于移动聚焦透镜104的驱动源，并且根据来自系统控制单元121的指令进行驱动。系统控制单元121根据从距离信息生成单元117提供的信号，来确定聚焦透镜104的驱动位置。距离信息生成单元117通过使用由信号处理单元111对图像传感器105获取的图像信号进行的信号处理的结果，来生成指示摄像装置100与被摄体之间的距离的距离信息。可以通过诸如使用图像传感器105上的多个像素进行相位差AF的方法等的已知方法，来生成距离信息。作为另选方案，可以通过使用诸如专用于进行相位差AF的传感器或IR传感器等的距离信息获取装置，来生成距离信息。
[0032]光圈驱动单元108是用于驱动光圈103并调整入射到图像传感器105的光量的驱动源，并且根据来自系统控制单元121的指令进行驱动。图像传感器驱动单元110根据来自系统控制单元121的指令，向图像传感器105提供例如用于驱动图像传感器105的驱动脉冲，并且进行例如图像传感器105中累积的电荷的读取和曝光时间(S卩，快门速度)的调整。图像传感器105通常在被施加了快门脉冲时，进行移除像素中累积的信号电荷的电子快门操作，在直到下一次读取为止的期间在其中累积由光学图像的光电转换产生的电荷。累积期间的长度为前述快门速度。当由于被摄体的低亮度水平而不能设置适当的快门速度时，通过对从图像传感器105输出的图像信号的水平调整(S卩，增益调整)来校正由于光线不足引起的非最佳曝光。
[0033]AE信号生成单元118通过进行主要包括计算各像素的数字信号的累积总和的计算处理，来计算与被摄体的明度相对应的测光值，并且向系统控制单元121提供测光值。系统控制单元121根据由AE信号生成单元118生成的测光值