具有图像抖动检测功能的摄像装置的制作方法

专利名称：具有图像抖动检测功能的摄像装置的制作方法
技术领域：
本发明涉及具有图像抖动检测功能的摄像装置、摄像方法和摄像程序。
背景技术：
近年来，从个人计算机的惊人普及和其使用便利性优良的角度来看，
代替使用现有的银盐胶巻的摄像机，而使用CCD (电荷耦合设备)等摄像 元件的数码相机迅速普及。在这种数码相机中，在拍摄被摄体图像的情况 下，拍摄者移动相机来决定视角，并且为了不发生手抖动而按住相机，操 作快门键进行拍摄。
但是，拍摄者决定视角时，即使很可靠地固定相机，拍摄时相机也会 移动，还会产生手抖动。因此，为了抑制这种手抖动的影响，例如专利文 献l (特开平6 — 350895号公报)所示，出现在数码相机上装载了手抖动 校正功能的设备。
在被摄体是人等的情况下，在拍摄者决定视角后，用声音来暗示对该 人进行拍摄，并促使其静止。但是，在促使其静止后，若作为被摄体的人 动了，会产生图像抖动。这种图像抖动仅通过现有的手抖动校正，很难加 以校正。
因此，考虑检测没有产生手抖动或被摄体抖动等的图像抖动的定时， 并在没有产生图像抖动的定时下进行记录摄影。
如上所述，为了可在没有发生图像抖动的定时下进行记录摄影，最好 可高精度地检测出手抖动或被摄体抖动。作为手抖动的检测，例如专利文 献1所示，已知使用运动矢量。
但是，运动矢量可以检测出摄像机运动的情况下的大的手抖动，但有 难以高精度检测出被摄体的运动的问题。发明内容本发明的一个方式是一种具有图像抖动检测功能的摄像装置，其特征 在于，包括第一图像抖动检测单元，其检测图像抖动；第二图像抖动检测单元，其用与第一图像抖动检测单元不同的方法来检测图像抖动；和判 断单元，其在判断为通过第一图像抖动检测单元检测出的图像抖动收敛 后，进一步在判断为通过所述第二图像抖动检测单元检测出的图像抖动收 敛的情况下，判断为没有图像抖动。本发明的另一方式是一种具有图像抖动检测功能的摄像装置，其特征 在于，包括差分值计算单元，其计算连续的两个图像帧之间的差分值； 高频成分检测单元，其检测图像帧内的高频成分；和判断单元，其从评价 对象中除去所述高频成分比基准值低的图像帧后，通过由所述差分值计算 单元算出的差分值来判断有无图像抖动。本发明的又一方式是一种具有图像抖动检测功能的摄像装置，其特征 在于，包括差分值计算单元，其计算连续的两个图像帧之间的差分值； 保持单元，其保持通过所述差分值计算单元连续检测出的所述差分值中最 小的差分值；和判断单元，其在通过所述差分值计算单元对应于新的帧而 算出的差分值比由所述保持单元保持的差分值小的情况下，用新的差分值 来更新所保持的差分值，在该更新次数为预定次数以上的情况下，判断为 没有图像抖动。本发明的又一方式是一种控制方法，其是对具有图像抖动检测功能的 摄像装置进行控制的方法，.其特征在于，该控制方法由下列步骤构成第 一图像抖动检测步骤，检测图像抖动；第二图像抖动检测步骤，通过与所 述第一图像抖动检测步骤不同的方法来检测图像抖动；和判断步骤，在判 断为由所述第一图像抖动检测步骤检测出的图像抖动收敛后，进一步在判 断为由所述第二图像抖动检测步骤检测出的图像抖动收敛的情况下，判断 为没有图像抖动。本发明的又一方式是一种控制方法，其是对具有图像抖动检测功能的 摄像装置进行控制的方法，其特征在于，该控制方法由下列步骤构成差 分值计算步骤，计算连续两个图像帧之间的差分值；高频成分检测步骤， 检测图像帧内的高频成分；和判断步骤，从评价对象中除去所述高频成分比基准值低的图像帧后，通过由所述差分值计算步骤算出的差分值来判断 有无图像抖动。本发明的又一方式是一种控制方法，其是对具有图像抖动检测功能的 摄像装置进行控制的方法，其特征在于，该控制方法由下列步骤构成差 分值计算步骤，计算连续两个图像帧之间的差分值；保持步骤，保持由所 述差分值计算步骤检测出的差分值；更新步骤，在由所述差分值计算步骤 对应于新的帧而算出的差分值比由所述保持步骤保持的差分值小的情况 下，用新的差分值来更新所保持的差分值；和判断步骤，在由所述更新步 骤更新后的次数为预定次数以上的情况下，判断为没有图像抖动。


图l (a)是本发明涉及的摄像装置的外观结构图(主视图)； 图l (b)是本发明涉及的摄像装置的外观结构图(后视图)； 图2是本发明涉及的摄像装置的电气结构图； 图3是用于本发明涉及的摄像装置的说明的功能框图； 图4是用于本发明涉及的摄像装置的说明的流程图(整体处理)； 图5是用于本发明涉及的摄像装置的说明的流程图(运动矢量检测处 理)。
具体实施方式
下面，参考附图来说明本发明的实施方式。图1表示本实施方式的摄像装置(数码相机1)的外观结构，图1 (a) 表示其主视图，图1 (b)表示其后视图。摄像装置(数码相机1)如图1 所示，在其正面侧具有频闪发光部ll和摄像透镜(透镜组)12。在摄像装置(数码相机l)的背面如图1 (b)所示，设置有模式转盘 13、液晶监视屏14、光标键15、SET键16、用于远处拍摄时的变焦键(Wide 按钮17—1、 Tde按钮17—2) 17和拍摄模式选择键20等。在摄像装置(数码相机1)的上面如图1 (a)和图1 (b)所示，设置 快门键18和电源按钮19等，在图中未示出的摄像装置(数码相机l)的 侧面设置有在用USB线缆连接个人计算机和调制解调器等外部装置的情况下使用的USB(通用串行总线)端子的连接部和插入存储卡等的槽等。图2表示本实施方式的摄像装置(数码相机l)的内部的电气结构。本实施方式涉及的摄像装置如图2所示，包括摄像透镜22、透镜驱动 块23、光圈兼用快门24、 CCD摄像元件21、 TG (Timing Generator定时 生成器)26、单元电路(CDS/AGC/AD)27、DRAM(Dynamic Random Access Memory动态随机访问存储器)28、存储器29、 CPU (Central Processing unit 中央处理单元)30、图像显示部31、按键输入部32、外部通信I/F (接口) 33、频闪驱动部34、频闪发光部35和卡I/F (Interface接口 ) 36，在卡I/F36 上，在图中未示出的数码相机1主体的卡槽上可装卸地连接有存储卡40。摄像透镜22包含聚焦透镜和变焦透镜，连接透镜驱动块23。该透镜 驱动块23由以下元件构成分别将图中未示的聚焦透镜、变焦透镜沿与 摄像面平行的光轴方向驱动的聚焦电机和变焦电机；和根据来自CPU30 的控制，分别驱动聚焦电机和变焦电机的聚焦驱动器和变焦电机驱动器。光圈兼用快门24包含图中未示出的驱动电路，该驱动电路根据从 CPU30送来的控制信号，使光圈兼用快门动作。另外，该光圈兼用快门 24作为光圈和快门起作用。CCD摄像元件21将经摄像透镜22和光圈兼用快门24投影的被摄体 的光变换为电信号，并作为摄像信号输出到单元电路(CDS/AGC/AD) 27 中。另外，CCD摄像元件21根据通过TG26生成的预定频率的定时信号 来加以驱动。将单元电路(CDS/AGC/AD) 27连接到TG26。单元电路(CDS/AGC/AD) 27由对从CCD摄像元件21输出的摄像 信号相关双取样并加以保持的CDS (Correlated Double Sampling相关双取 样)电路、进行该取样后的摄像信号的自动增益调整的AGC (Automatic Gain Control自动增益控制)电路和将该自动增益调整后的模拟摄像信号 变换为数字信号的A/D转换器构成，CCD摄像元件21的摄像信号经单元 电路(CDS/AGC/AD) 27后作为数字信号送到CPU30。CPU30是具有进行从单元电路(CDS/AGC/AD) 27送来的图像数据 的图像处理(像素内插处理、伽马校正、亮度色差信号的生成、白平衡处 理、曝光校正处理等)、抖动校正处理、图像数据的压縮*解压缩(例如 JPEG形式的压缩*解压缩)的处理等功能，并且根据控制程序来控制数码相机1的各部分的单芯片微处理器。
DRAM28在通过CCD摄像元件21进行拍摄后，作为暂时存储从 CPU30送来的图像数据的缓存器来使用，并且还可以用作CPU30的工作 存储器。
图像显示部31包含彩色LCD (液晶显示器)及其驱动电路，在处于 拍摄待机状态时，将通过CCD摄像元件21拍摄的被摄体作为直通图像进 行显示，在记录图像的再现时，显示从存储卡40中读出、并解压縮后的 记录图像。
按键输入部32包含模式转盘13、光标键15、 SET键16、变焦键17、 快门键18、电源按钮19、摄像模式选择键20 (参考图1 (a)和图1 (b)) 等多个操作键，并将基于用户的按键操作的操作信号输出到CPU30。
外部通信I/F33与外部电子设备(例如个人计算机)之间进行数据的 输入输出，可以进行基于USB标准、正EE1394标准等各种接口标准的输 入输出，可以与可进行基于这些标准的数据输入输出的个人计算机等电子 设备相连。另外，也可通过基于IrDA标准的红外线通信、基于蓝牙标准
的无线通信来与外部电子设备进行图像数据的输入输出。
频闪驱动部34根据CPU30的控制信号，闪光驱动频闪发光部35，频 闪发光部35由此使频闪装置闪光。CPU30通过图中未示出的测光电路， 来判断摄像场景是否昏暗，在判断为摄像场景昏暗且进行拍摄的情况下 (快门键的按下时)，将控制信号输出到频闪驱动部34。
存储器29记录存储CPU30的数码相机1的各部分控制所需的程序和 各部分的控制所需的数据，CPU30根据该程序来执行处理。
若上述摄像装置(数码相机l)中，操作了快门键18 (包含在按键输 入部32中)，则将经拍摄透镜22和光圈兼用快门24投影的被摄体像的 光取入到CCD摄像元件21中，并在CCD摄像元件21中将该图像变换为 电信号，而作为摄像信号输出到单元电路(CDS/AGC/AD) 27中。并且， 通过CPU30，对从单元电路(CDS/AGC/AD) 27送来的图像数据进行图 像处理，并通过JPEG等加以压缩后，记录到存储卡40中。
这里，在拍摄者通过摄像装置进行拍摄时，若相机移动，或被摄体移 动，则因图像抖动而在摄像图像上产生了模糊。因此，本实施方式中，检测出手抖动和被摄体抖动，若手抖动和被摄体抖动收敛，则可进行拍摄记 录。这样，下面说明手抖动和被摄体抖动收敛后，可进行摄像记录用的动作。图3是表示本实施方式中，检测手抖动和被摄体抖动而实现控制摄像 记录的定时的功能用的结构的功能框图。另外，该功能框图可使用CPU30 由软件来实现。如图3所示，本实施方式中设置了第一图像抖动检测部101、第二图 像抖动检测部102和判断部103。第一图像抖动检测部101和第二图像抖 动检测部102同时从图像数据中检测图像抖动，但是检测速度和检测精度 不同。进一步，本实施方式中，设置了检测图像帧内的高频成分的高频检 测部105。另外，后面说明高频检测部105的工作。第一图像抖动检测部101在摄像的初始阶段，检测大的图像抖动的产 生程度。g卩，在进行拍摄时，拍摄者大大移动数码相机l来决定视角，若 决定了视角，则使数码相机l静止，而进行拍摄。因此，在拍摄的初始阶 段，需要检测大的图像抖动，检测数码相机1变为某种程度的静止的状态。 第一图像抖动检测部101检测这种拍摄初始阶段的手抖动。作为第一图像 抖动检测部101，不要求高检测精度，但是要求可高速地检测出大的图像 抖动。即，因相机和被摄体的移动大，或因聚焦没有会聚到被摄体，故需 要在所摄像的图像的摇晃和模糊大的状态中，快速检测出图像抖动。与此相对，第二图像抖动检测部102在手抖动某种程度收敛后，检测 精细的图像抖动。即，在拍摄者决定了视角后，使数码相机l静止并进行 拍摄。但是，这里有时数码相机l稍微移动，或被摄体移动了。第二图像 抖动检测部102在拍摄者决定了视角后使数码相机1静止的期间，高精度 检测手抖动和图像抖动产生的程度。作为第二图像抖动检测部102，不要 求可检测出大的手抖动，要求高精度检测。即，因相机和被摄体的移动小， 或因聚焦会聚到被摄体，故在所拍摄的图像的摇晃和模糊小的状态中，需 要高精度的图像抖动检测。判断部103最先根据来自第一图像抖动检测部101的检测输出，判断 大的图像抖动的程度，在判断为图像抖动某种程度收敛后，通过来自第二 图像抖动检测部102的检测输出，更详细判断图像抖动的程度，若判断为没有图像抖动，则将表示没有手抖动和图像抖动的信号送到摄像记录处理 部104而进行拍摄记录。
这样，本实施方式中，设置两个图像抖动检测部，即在聚焦没有会聚 的状态中可高速检测出大的图像抖动的第一图像抖动检测部101、和在聚
焦会聚的状态下可检测出高精度的图像抖动的第二图像抖动检测部102， 最先根据来自第一图像抖动检测部101的检测输出来判断大的图像抖动的 程度，在判断为图像抖动某种程度收敛后，通过来自第二图像抖动检测部 102的检测输出，更详细判断图像抖动的程度，若判断为没有图像抖动， 则进行记录摄像。由此，在没有手抖动和图像抖动的定时下，可以可靠进 行拍摄。
摄像记录处理部104可以控制为在从判断部103送来了表示没有手抖 动和图像抖动的信号后，自动进行记录摄像。另外，也可在从判断部103 没有送来表示没有手抖动和图像抖动的信号时，控制为禁止摄像。另外， 判断部103通过表示没有手抖动和图像抖动的信号来判断摄像定时，也可 在指示摄像时，产生警告。
接着，说明第一和第二图像抖动检测部101和102。
第一图像抖动检测部101如上所述，检测大的图像抖动，以判断变为 了数码相机1静止的状态。数码相机1静止的状态是视角整体的移动小的 状态，其可以通过整体运动矢量来求出。
艮P，关注图像帧Fn—l的某一点，若可求出该点移动到下一图像帧 Fn的哪个地方，就可以求出对该点的运动矢量。但是，被摄体中存在背景 部分和运动的部分，不能通过运动部分的运动矢量来判断整体的运动。这 是因为例如考虑到在被摄体沿手抖动方向和逆方向运动的情况下，尽管 产生了手抖动，但是运动矢量变为非常小的值。
因此，本实施方式中，从图像帧中提取N个(N是足够大的整数)特 征点，并求出N个运动矢量，计算支持数，将支持数最大的运动矢量作为 整体运动矢量，若该整体运动矢量变小，则判断为变为了数码相机l静止 的状态。
这里，支持数表示对一个运动矢量，有几个运动矢量与该运动矢量相 同。即，若将某一个运动矢量设作MVa，将其余的运动矢量设作MVi (i是0 N的整数)，将D设作常数，则支持数可以作为满足IMVa—MVi卜D 的个数来计算。
由于背景部分的运动矢量反映整体的运动，所以为同样值的运动矢量 多，支持数大。与此相对，由于运动的被摄体部分的运动矢量与整体的运 动不同，所以支持数小。由此，支持数大的运动矢量表示整体运动矢量。
另一方面，第二图像抖动检测部102如前所述，在手抖动某种程度收 敛后，检测细小的图像抖动。这种细小的图像抖动可以通过图像帧之间的 差分值来检测。
艮P,若将图像帧Fn的某个坐标设作Fn (x,y)，则图像帧之间的差分 值可以计算为EiFn (x,y) —Fn-l(x，y)l (E是所有像素的累积值)。若产 生图像抖动，则该图像帧之间的差分值变大，若没有图像抖动，则图像帧 之间的差分值为接近于O的值。
因此，本实施方式中，求出图像帧Fn和图像帧Fn—1的图像帧之间 的差分值，若图像帧之间的差分值小，则判断为是没有图像抖动的状态。
但是，实际上因随机噪声的影响等，图像帧之间的差分值不为0。另 外，由于图像帧之间的差分值根据拍摄环境和曝光条件、增益等变化，所 以不能唯一决定阈值。因此，本实施方式中，最初所判断的图像帧之间的 差分值慢慢变小，若小到某种程度，则判断为没有图像抖动。
艮口，在初始阶段的最初图像帧中，求出图像帧之间的差分值，并将该 图像帧之间的差分值作为基准值A进行登记。并且，比较由之后的图像帧 检测出的图像帧之间的差分值和基准值A。这里，在之后的图像帧之间的 差分值比基准值A小的情况下，可以判断为与求出基准值A时的图像帧 相比，该图像帧中图像抖动减小了。
这时，通过这时求出的图像帧之间的差分值，来更新基准值A，并多 次重复同样的处理。由此，图像帧之间的差分值慢慢减小，从而可判断为 某种程度地减小。并且，若基准值A的更新次数为预定次数以上，则判断 为是图像抖动小的状态。
但是，仅在该条件下，有时不能正确评价被摄体抖动的大小。
例如，首先，由于聚焦没有会聚到被摄体，或被摄体在图像帧之间大 大运动，所以在产生了模糊和摇晃的图像和都是纯暗的图像等中，图像帧之间的差分值的可靠性低。因此，本实施方式中，设置了检测图像帧内的高频成分的高频检测部 105。 g卩，通过高频检测部105检测图像帧内的高频成分，将高频成分比 基准值小的图像帧排除到基于图像帧间的差分值的图像抖动的评价对象 之外。由此，还可以在聚焦没有会聚到被摄体，或相机大大移动这种摄像 准备阶段中来防止错误检测出图像抖动收敛。艮口，在初始阶段中从最初的图像帧中计算高频成分，并以该值为基础来设置高频成分的基准值B。下次之后，在图像帧内求出高频成分，并将 所求出的高频成分与基准值B相比较。并且，在所求出的高频成分比基准 值B小的图像帧中，设作图像摇晃，而将其排除到基于图像帧间的差分值 的图像抖动的评价对象之外。这样，第二图像抖动检测部102使用图像帧之间的差分值和图像帧内的高频成分来判断图像抖动。即，将如前所述，将要更新的图像帧之间的 差分值的基准值设作A，将初始阶段中设置的高频成分的基准值设作B时，判断是否两者都满足下面的两个条件。条件(1):图像帧之间的差分值比基准值A小。条件(2):图像帧内的高频成分比基准值B大。图4是进行上述处理用的流程图。图4中，输出所拍摄的一个图像帧的图像(步骤S1)，进行整体运动 矢量(GMV)的检测处理(步骤S2)。在整体运动矢量(GMV)的检测 处理中，进行以下处理提取N个特征点，求出N个运动矢量，计算支 持数，并将支持数最高的运动矢量作为整体运动矢量(GMV)。后面说明 整体运动矢量(GMV)的检测处理流程。若检测出整体运动矢量(GMV)，则评价该整体运动矢量(GMV)， 并判断整体运动矢量(GMV)是否足够小(步骤S3)。在拍摄者决定视角的情况下，由于数码相机l不静止，所以整体运动 矢量(GMV)为大的值。即，若整体运动矢量(GMV)大(步骤S3的"否" 的情况)，则处理进入到下一图像帧(步骤S4)，返回到步骤S2，而继 续进行整体运动矢量(GMV)的检测处理。若拍摄者决定了视角并使数码相机l静止，则整体运动矢量(GMV)为小的值。§卩，步骤S3中，若整体运动矢量(GMV)足够小(步骤S3 的"是"的情况)，则求出图像帧之间的差分值，如上所述，作为i:iFn (x，y) —Fn-l(x,y)沐进行计算。并且，求出图像帧内的高频成分，并将该 图像帧内的高频成分作为基准值B (步骤S6)。输出下一图像帧的图像(步骤S7)，在该图像帧中求出图像帧之间的 差分值(步骤S8)，求出图像帧内的高频成分(步骤S9)。并且，判断 图像帧之间的差分值是否比基准值A小，且图像帧内的高频成分是否比基 准值B大(步骤SIO)。在图像帧之间的差分值比基准值A大，且图像帧内的高频成分比基准 值B小的情况下(步骤S10的"否"的情况)，判断图像帧之间的差分值 是否比允许值大(步骤Sll)，若图像帧之间的差分值不比允许值大(步 骤Sll的"否"的情况)，则返回到步骤S7。在手抖动没有收敛的情况下和产生了被摄体的图像抖动的情况下，图 像帧之间的差分值比基准值A大。另外，在图像摇晃的情况下，图像帧内 的高频成分比基准值B小。由此，这些情况下，步骤S10的判断结果为"否"， 而重复执行步骤S7 步骤Sll的处理。另外，除拍摄者一次决定的视角之外，有时大大移动数码相机l。这 时，步骤S11中，判断为图像帧之间的差分值比允许值大。因此，这种情 况下(步骤Sll的"是"的情况)，步骤S4中，处理进入到下一图像帧， 而返回到步骤S2。这里，说明基准值A。在为了将被摄体收到帧内而移动相机的期间，由于图像沿一定方向持 续运动，所以图像帧之间的差分值大的状态连续，但是在被摄体收到帧内 后，由于图像重复进行向上下或左右的移动，所以重复图像帧之间的差分 值大的状态和小的状态。基准值A是在重复差分值大的状态和小的状态的 状况下，保持过去最小值时的差分值的值。若手抖动和图像抖动慢慢收敛，则有时多次中有一次图像帧之间的差 分值比基准值A小。另外，若画面不模糊，则图像帧内的高频成分变为比 基准值B大。由此，这些情况下，步骤S10的判断结果为"是"。步骤S10中，在图像帧之间的差分值比基准值A小，且图像帧内的高频成分比基准值B大的情况下(步骤S10的"是"的情况)，用这次的图
像帧之间的差分值更新过去最小值时的差分值的基准值A (步骤S12)。 并且，判断更新次数是否达到预定次数(步骤S13)，若更新次数没有达 到预定次数(步骤S13的"否"的情况)，则返回到步骤S7。
这样，在设最初的图像帧之间的差分值为基准值A，比较之后的图像 帧之间的差分值和基准值A，在之后的图像帧之间的差分值比基准值A还 小的情况下，通过这时求出的图像帧之间的差分值来更新基准值A，之后， 多次重复同样的处理。并且，通过这种动作，在图像帧之间的差分值重复 变大或变小，同时慢慢变小的情况下，可以检测出该抖动振幅变小了。
步骤S13中，在更新次数达到预定次数的情况下(步骤S13的"是" 的情况)，判断为手抖动和被摄体抖动收敛了 (步骤S14)。
图5是表示图4中的步骤S2的整体运动矢量的检测处理的流程图。
图5中，从图像帧Fn—l中提取N个特征点(步骤S101)，和与其 连续的图像帧Fn进行比较，跟踪各特征点移动到了哪里(步骤S102)。 由此，求出运动矢量(步骤S103)。
判断是否重复了N次的处理(步骤S104)，若没有重复N次(步骤 S104的"否"的情况)，处理进入到下一位置的特征点(步骤S105)， 并返回到步骤S101来重复同样的处理。由此，求出了N个各点的运动矢 量。若对N个所有块求出了运动矢量，则在步骤S104中判断为重复了N 次的处理。
步骤S104中，在判断为重复了 N次处理的情况下(步骤S104的"是" 的情况)，将支持数的基准值C设置为初始值(例如O)(步骤S106)。 并且，计算对一个运动矢量的支持数(步骤S107)。这里，如前所述，支 持数可以计算为满足IMVa—MVil〈D的个数。
若求出了支持数，则判断所求出的支持数是否比支持数的基准值C大 (步骤S108)。
步骤S108中，若这次求出的支持数比基准值C大(步骤S108中"是" 的情况)，则通过这次的支持数来更新支持数的基准值C (步骤S109)， 并判断是否重复了N次的处理(步骤SllO)。步骤S108中，若支持数比 基准C值小(步骤S108中"否"的情况)，则支持数的基准值C保持原样，而判断是否重复了N次的处理(步骤S110)。步骤S110中，若没有重复N次的处理(步骤S110中"否"的情况)， 则处理进入到下一位置的运动矢量(步骤Slll)，返回到步骤S107，重 复同样的处理。通过重复这些处理，将支持数的基准值C更新为之前的支 持数的最大值。步骤S110中，若判断为重复了N次的处理(步骤S110中"是"的情 况)，则从支持数的基准值C中判断之前的支持数的最大值，根据支持数 最大的运动矢量来求出整体运动矢量(GMV)(步骤SU2)。如上所说明的，本实施方式中，最先使用整体运动矢量来判断大的图 像抖动的程度，在判断为图像抖动某种程度收敛后，使用图像帧之间的差 分值，更详细地判断图像抖动的程度，若判断没有图像抖动，则进行记录 摄像。由此，可以在没有手抖动和图像抖动的定时下可靠进行拍摄。另外，本实施方式中，进行了运动矢量的检测，但是在具有MPEG等 的运动图像的实时压縮记录单元的数码相机等中，由于在运动图像压縮时 检测出运动矢量，所以可使用该运动图像压縮时检测出的运动矢量来进行 图像抖动的检测。这时，由于不需要专用的运动矢量检测处理，所以可以 提高处理效率和处理速度。另外，本实施方式中，检测图像的高频成分，但是在具有自动聚焦(AF) 功能的数码相机等中，可以利用在自动聚焦处理时检测出的对比度信息来 检测高频成分。另外，也可在自动聚焦的动作中，进行基于第一图像抖动 检测部的图像抖动检测，在自动聚焦的动作完成后，进行基于第二图像抖 动检测部的图像抖动检测。另外，在具有自动曝光(AE)功能的数码相机等中，也可在自动曝光 的动作中进行基于第一图像抖动检测部的图像抖动检测，在自动曝光的动 作完成后进行基于第二图像抖动检测部的图像抖动检测。另外，源程序可以由软盘、磁光盘、ROM、 CD-ROM等的可拆卸介 质等的计算机可读记录介质来加以提供。另外，源程序也可从计算机系统 中经传送介质、或通过传送介质中的传送波，传送到其他计算机系统中。 这里，传送程序的"传送介质"是指如因特网等的网络(通信网)和电话 线等的通信线路(通信线)那样，具有传送信息的功能的介质。另外，源程序可以用于实现所述功能的一部分。进一步，可以是通过与计算机系统 中己经记录的程序的组合来实现所述功能的所谓的差分文件(差分程序)。 本实施方式中的构成要素可以适当与现有的构成要素等进行替换。另 外，可以是包含与其他现有的构成要素的组合的各种变形。因此，并不限 定具有本实施方式的记载，在权利要求的范围中记载的发明内容。
权利要求
1、一种摄像装置，其具有图像抖动检测功能，该摄像装置包括第一图像抖动检测单元，其检测图像抖动；第二图像抖动检测单元，其用与所述第一图像抖动检测单元不同的方法来检测图像抖动；和判断单元，其在判断为通过所述第一图像抖动检测单元检测出的图像抖动收敛后，进一步在判断为通过所述第二图像抖动检测单元检测出的图像抖动收敛的情况下，判断为没有图像抖动。
2、 根据权利要求1所述的摄像装置，其特征在于， 所述第二图像抖动检测单元在判断为通过所述第一图像抖动检测单元检测出的图像抖动收敛后，开始基于与所述第一 图像抖动检测单元不同 的方法进行的图像抖动检测处理。
3、 根据权利要求1所述的摄像装置，其特征在于， 所述判断单元在判断为通过所述第一图像抖动检测单元检测出的图像抖动收敛之前的阶段中，即使在判断为通过所述第二图像抖动检测单元 检测出的图像抖动收敛的状况下也不判断为没有图像抖动。
4、 根据权利要求1所述的摄像装置，其特征在于， 在通过所述判断单元判断为没有图像抖动的情况下，自动进行摄像记录。
5、 根据权利要求l所述的摄像装置，其特征在于， 在通过所述判断单元判断为有图像抖动的期间内，禁止摄像记录或在摄像指示时加以警告。
6、 根据权利要求1所述的摄像装置，其特征在于， 所述第二图像抖动检测单元的图像抖动检测精度比所述第一图像抖动检测单元高。
7、 根据权利要求1所述的摄像装置，其特征在于， 所述第二图像抖动检测单元在聚焦没有会聚到被摄体的状态下图像抖动检测的精度降低，且该精度降低的程度比所述第一图像抖动检测单元中的聚焦没有会聚到被摄体的状态下的精度降低的程度大。
8、 根据权利要求1所述的摄像装置，其特征在于，所述第二图像抖动检测单元在被摄体或摄像装置的运动大的状态下 图像抖动检测的精度降低，且该精度降低的程度比所述第一图像抖动检测 单元中的被摄体或摄像装置的运动大的状态下的精度降低的程度大。
9、 根据权利要求l所述的摄像装置，其特征在于，所述第一图像抖动检测单元检测由手抖动引起的图像抖动成分和由被摄体的运动引起的图像抖动成分中的由手抖动引起的图像抖动成分；所述第二图像抖动检测单元进行的检测，对由手抖动引起的图像抖动 成分和由被摄体的运动引起的图像抖动成分不进行区分。
10、 根据权利要求1所述的摄像装置，其特征在于， 所述第一图像抖动检测单元通过从连续得到的多个图像帧中检测出的运动矢量来检测图像抖动。
11、 根据权利要求10所述的摄像装置，其特征在于， 所述运动矢量是拍摄得到的图像整体的运动矢量。
12、 根据权利要求1所述的摄像装置，其特征在于， 所述第二图像抖动检测单元通过连续的两个图像帧之间的差分值来检测图像抖动。
13、 根据权利要求12所述的摄像装置，其特征在于， 所述第二图像抖动检测单元通过按每个像素比较各帧的图像数据后的差分值来检测图像抖动。
14、 根据权利要求12所述的摄像装置，其特征在于， 所述判断单元保持通过所述第二图像抖动检测单元连续检测出的所述差分值中最小的差分值，并通过新检测出的差分值是否比所保持的差分 值小来判断有无图像抖动。
15、 根据权利要求14所述的摄像装置，其特征在于，所述判断单元在新检测出的差分值比所保持的差分值小的情况下，通 过新检测出的差分值来更新所保持的差分值，并且在该更新次数为预定次 数以上的情况下，判断为没有图像抖动。
16、 根据权利要求12所述的摄像装置，其特征在于，该摄像装置还具有高频成分检测单元，其检测图像帧内的高频成分； 所述判断单元判断通过所述高频成分检测单元检测出的高频成分是 否比基准值低，从评价对象中去除判断为高频成分比基准值低的图像帧 后，通过由所述第二图像抖动检测单元检测出的差分值来判断有无图像抖动。
17、 根据权利要求15所述的摄像装置，其特征在于， 该摄像装置还具有高频成分检测单元，其检测图像帧内的高频成分； 所述判断单元在根据通过所述高频成分检测单元检测出的高频成分比基准值低的图像帧而检测出的差分值比所保持的差分值小的情况下也 不进行更新。
18、 根据权利要求12所述的摄像装置，其特征在于， 所述判断单元将初始连续的两个图像帧之间的差分值设定为基准值，之后，在所述基准值比新算出的图像帧之间的差分值小的情况下，由所述 新算出的图像帧之间的差分值来更新所述基准值，在该基准值的更新次数 为预定次数以上的情况下，判断为是图像抖动少的状态。
19、 一种摄像装置，其具有图像抖动检测功能， 该摄像装置包括-差分值计算单元，其计算连续的两个图像帧之间的差分值； 高频成分检测单元，其检测图像帧内的高频成分；和 判断单元，其从评价对象中除去所述高频成分比基准值低的图像帧 后，通过由所述差分值计算单元计算出的差分值来判断有无图像抖动。
20、 一种摄像装置，其具有图像抖动的检测功能， 该摄像装置包括差分值计算单元，其计算连续的两个图像帧之间的差分值； 保持单元，其保持通过所述差分值计算单元连续检测出的所述差分值 中最小的差分值；和判断单元，其在通过所述差分值计算单元对应新的帧而算出的差分值 比由所述保持单元保持的差分值小的情况下，用新的差分值来更新所保持 的差分值，在该更新次数为预定次数以上的情况下，判断为没有图像抖动。
21、 一种控制方法，其是对具有图像抖动检测功能的摄像装置进行控制的方法，该控制方法由以下步骤构成第一图像抖动检测步骤，检测图像抖动；第二图像抖动检测步骤，以与所述第一图像抖动检测步骤不同的方法 来检测图像抖动；和判断步骤，在判断为由所述第一图像抖动检测步骤检测出的图像抖动 收敛后，进一步在判断为由所述第二图像抖动检测步骤检测出的图像抖动 收敛的情况下，判断为没有图像抖动。
22、 一种控制方法，其是对具有图像抖动检测功能的摄像装置进行控 制的方法，该控制方法由以下步骤构成差分值计算步骤，计算连续两个图像帧之间的差分值； 高频成分检测步骤，检测图像帧内的高频成分；和 判断步骤，从评价对象中除去所述高频成分比基准值低的图像帧后， 通过由所述差分值计算步骤算出的差分值来判断有无图像抖动。
23、 一种控制方法，其是对具有图像抖动检测功能的摄像装置进行控 制的方法，该控制方法由以下步骤构成差分值计算步骤，计算连续两个图像帧之间的差分值；保持步骤，保持由所述差分值计算步骤检测出的差分值；更新步骤，在由所述差分值计算步骤对应于新的帧而算出的差分值比由所述保持步骤保持的差分值小的情况下，用新的差分值来更新所保持的差分值；和判断步骤，在由所述更新步骤更新后的次数为预定次数以上的情况 下，判断为没有图像抖动。
全文摘要
本发明提供一种具有图像抖动检测功能的摄像装置。在最初阶段中，使用整体运动矢量来判断大的图像抖动的程度。在判断为图像抖动以某种程度收敛后，使用图像帧之间的差分值，更详细地判断图像抖动的程度。并且，若判断为没有图像抖动，则进行记录摄像。由此，可以在没有手抖动和图像抖动的定时下可靠地进行拍摄。
文档编号H04N5/14GK101309357SQ20081009959
公开日2008年11月19日 申请日期2008年5月15日 优先权日2007年5月18日
发明者佐佐木雅昭, 松井绅一 申请人:卡西欧计算机株式会社