手抖动补偿装置以及手抖动补偿方法

手抖动补偿装置以及手抖动补偿方法
【专利摘要】本发明提供一种手抖动补偿装置以及手抖动补偿方法。手抖动补偿装置(20)包括对任意的运动图像数据执行手抖动补偿处理的手抖动补偿单元(22)，并且包括在所述运动图像数据的帧频为预定值以下时对所述手抖动补偿单元(22)指示禁止执行手抖动补偿处理的指令单元(23)。据此，在不需要手抖动补偿的状况下能够自动地不进行手抖动补偿。
【专利说明】手抖动补偿装置以及手抖动补偿方法
[0001] 本申请是申请日为2011年9月9日、申请号为201110268110. 2、发明名称为"手 抖动补偿装置以及手抖动补偿方法"的发明专利申请的分案申请。

【技术领域】
[0002] 本发明涉及手抖动补偿装置以及手抖动补偿方法，详细而言，涉及能够在运动图 像再生时进行手抖动补偿的手抖动补偿装置以及手抖动补偿方法。

【背景技术】
[0003] 为了拍摄没有手抖动的运动图像，优选使用三脚架，但是由于欠缺便利性，所以大 多情况下进行手持拍摄。在对如此拍摄得到的运动图像进行再生时非本意的图像模糊（摇 权）（由手抖动引起的模糊）成为问题。手抖动补偿是用于减少这种"模糊"从而使图像 容易观看的技术。例如，在下述专利文献1中记载了如下的手抖动补偿的技术（以下称为 现有技术）比较1场前的视频信号和当前场的视频信号，求出运动矢量，并根据该运动矢 量，使输出的画面的切取框在与运动相反的方向上平行移动从而对模糊进行补偿"。
[0004] 另外，手抖动补偿一般有"静止图像用"和"运动图像用"两种，但本说明书中的手 抖动补偿指的是后者，也就是说指的是运动图像用的手抖动补偿。
[0005] 图7是手抖动补偿的原理图。在该图中，在上层描画的3张图像1?3是构成一 个运动图像的连续的帧，在各图像1?3中摄入静止的同一人物4a?4c作为被摄体。这 里，为了方便，将拍摄该运动图像时的手抖动的方向设为从画面的右上向左下（参照箭头 5、6)的情况下，各图像1?3的人物4a?4c各自的位置在与手抖动相反的方向上发生偏 离。即，第二张图像2的人物4b相对于第一张图像1的人物4a的位置少许向右上偏离，并 且，第三张图像3的人物4c相对于第二张图像2的人物4b的位置进一步地少许向右上偏 离。这样的被摄体位置的偏离，表现为运动图像再生时的"模糊"，所以难看。
[0006] 现有技术的手抖动补偿，只不过是使各图像1?3的人物4a?4c的位置相匹配， 此时对各图像1?3设定共同的切取框7,并将该切取框7内侧的图像作为手抖动补偿后的 图像8?10进行输出。
[0007] 专利文献1 JP特开平5-91396号公报
[0008] 现有技术在运动图像再生时能够对手抖动进行补偿，这一点是有益的，但是由于 该手抖动补偿的开闭主要是人为进行的结构，所以存在即使在不需要手抖动补偿的情况下 也进行徒劳的处理的问题。
[0009] 即，运动图像拍摄、再生时的帧频大多遵循电视广播基准（在NTSC标准的情况下 是每秒大约30张）而进行，不仅如此，例如，存在进行快速拍摄、慢动作再生这样的特殊的 帧频拍摄、再生的情况。特别在低帧频再生时，图像的运动变得缓慢，所以即使有稍微的手 抖动，在视觉上也不会产生不协调。但是，在现有技术中，在那种情况下，只要不人为地使手 抖动补偿关闭，就进行手抖动补偿，所以不能否定徒劳的处理，而且，也不能忽视由该处理 所造成的功耗的增加。
[0010] 此外，在图7中也进行了表示，手抖动补偿后的图像是切取框7内侧的图像8? 10,与补偿前的图像1?3相比，尺寸少许变小（图像8?10的四周的交叉阴影部8a? l〇a变得无用），所以还存在不能充分发挥拍摄性能（拍摄像素数）的问题。


【发明内容】

[0011] 本发明的一种形态是一种手抖动补偿装置，其特征在于，对运动图像数据进行手 抖动补偿，该手抖动补偿装置包括：判断部，其根据运动图像数据的帧频，判断手抖动补偿 的必要性；和手抖动补偿部，其利用与所述判断部的判断结果相应的内容，对成为判断对象 的所述运动图像数据执行手抖动补偿处理。
[0012] 此外，本发明的另一种形态是一种手抖动补偿装置的手抖动补偿方法，其特征在 于，包括：判断步骤，所述手抖动补偿装置自动地取得运动图像数据的帧频，并根据该取得 的帧频自动地判断手抖动补偿的必要性；和手抖动补偿步骤，所述手抖动补偿装置利用与 所述判断步骤中的判断结果相应的内容，对成为判断对象的所述运动图像数据执行手抖动 补偿处理。
[0013] 此外，本发明的另一种形态是一种记录了程序的记录介质，其特征在于，所述程序 使手抖动补偿装置的计算机执行以下处理：判断处理，自动地取得运动图像数据的帧频，并 根据该取得的帧频自动地判断手抖动补偿的必要性；和补偿处理，利用与所述判断处理的 判断结果相应的内容，对成为判断对象的所述运动图像数据执行手抖动补偿处理。

【专利附图】

【附图说明】
[0014] 图1是数码摄像机或带运动图像拍摄功能的数码照相机等摄像装置中所安装的 手抖动补偿装置的概念构成图。
[0015] 图2是表示补偿墓准保持部24中所保持的判断条件的一例的数据表图。
[0016] 图3是表示手抖动补偿装置20的动作流程的图。
[0017] 图4是表示补偿基准保持部24中所保持的判断条件的另一例的数据表图。
[0018] 图5是表示补偿基准保持部24中所保持的判断条件的又一例的数据表图。
[0019] 图6是表示基于帧频比的判断条件的数据表图。
[0020] 图7是手抖动补偿的原理图。

【具体实施方式】
[0021] 以下，参照附图来说明本发明的实施方式。
[0022] 图1是数码摄像机或带运动图像拍摄功能的数码照相机等摄像装置中所安装的 手抖动补偿装置的概念构成图。该手抖动补偿装置20包括运动图像输入部21、手抖动补偿 部22、补偿强度判断部23、补偿基准保持部24以及运动图像输出部25。
[0023] 运动图像输入部21取入由摄像装置的摄像部（C⑶或CMOS等摄像设备）所生成 的运动图像数据。或者，运动图像输入部21从摄像装置的存储部或其他外部存储装置取入 已经拍摄的运动图像数据。
[0024] 该摄像部以预先设定的帧频依次进行摄像从而生成帧数据。该摄像时的帧频可以 由用户任意设定。
[0025] 此外，从摄像装置的存储部或其他外部存储装置取入的已经拍摄的运动图像数 据，以通过该运动图像数据中所附加的信息等可以判别摄像时的帧频的形态被记录。
[0026] 手抖动补偿部22对由运动图像输入部21取入的运动图像数据进行所需的手抖动 补偿处理。
[0027] 在从摄像部取入运动图像数据的运动图像拍摄时，或在再生已经记录的运动图像 数据的运动图像再生时，运动图像输出部25将通过手抖动补偿部22根据需要而实施了手 抖动补偿的运动图像数据输出给摄像装置本体的显示部或外部显示装置。
[0028] 运动图像输出部25,在再生已经记录的运动图像数据的运动图像再生时，用户能 够任意地指定与该运动图像数据的拍摄时的帧频不同的再生时的帧频。
[0029] 手抖动补偿部22的手抖动补偿处理是运动图像用的手抖动补偿处理，例如，能够 使用开头所说明的现有技术（专利文献1)中记载的技术，即，原理为"比较1场前的视频信 号和当前场的视频信号，求出运动矢量，并根据该运动矢量，使输出的画面的切取框在与运 动相反的方向上平行移动从而对模糊进行补偿"的技术。
[0030] 补偿强度判断部23根据补偿基准保持部24中所保持的判断条件和运动图像数据 的帧频，判断手抖动补偿的必要性。该判断，判断有无手抖动补偿的必要性，或者以多个等 级判断手抖动补偿的必要性的程度。
[0031] 由补偿强度判断部23和补偿基准保持部24构成判断部。
[0032] 与现有技术的不同点在于：不仅通过用户操作进行手抖动补偿的开闭，还根据补 偿强度判断部23的判断结果来自动地进行。总之，手抖动补偿部22接收补偿强度判断部 23的判断结果，在判断为"不需要手抖动补偿"的情况下，不进行补偿而将来自运动图像输 入部21的运动图像数据传递给运动图像输出部25,在判断为"需要手抖动补偿"的情况下， 对来自运动图像输入部21的运动图像数据进行所需的手抖动补偿处理之后传递给运动图 像输出部25。在这点上不相同。
[0033] 手抖动补偿部22接收补偿强度判断部23的判断结果，并根据该判断结果，对成为 判断对象的运动图像数据执行手抖动补偿处理或不执行，或者使强度发生变化来进行手抖 动补偿。在手抖动补偿部22使手抖动补偿处理的强度发生变化时，根据由补偿强度判断部 23按照多个等级所判断的手抖动补偿的必要性的程度，以多个等级使手抖动补偿处理的强 度发生变化。
[0034] 另外，虽然在图中没有进行明示，但是可以与手抖动补偿的手动开闭并用。例如， 在手动关闭的情况下，可以强制性地使补偿强度判断部23的判断结果为"不需要手抖动补 偿"。
[0035] 补偿基准保持部24保持补偿强度判断部23的判断条件，例如，是PR0M或ROM等 非易失性半导体存储器。
[0036] 图2是表示补偿墓准保持部24中所保持的判断条件的一例的数据表图。在该图 中，数据表26具有拍摄时的帧频和再生时的帧频的二维的表格构造。在图示的例中，示出 拍摄时的帧频为1种，再生时的帧频为6种，具体而言，作为拍摄时的帧频示出30fps (帧/ 秒；以下同样），作为再生时的巾贞频示出5fps、10fps、15fps、30fps、60fps、120fps，所以拍 摄时和再生时的巾贞频的组合成为如下6种：30fps和5fps、30fps和10fps、30fps和15fps、 30fps 和 30fps、30fps 和 60fps、30fps 和 120fps。
[0037] 这里，30fps和30fps的组合是同一巾贞频的再生（等速再生），此外，30fps和5fps、 30fps和10fps、30fps和15fps的组合都是再生时的帧频较低的低速再生（也称为缓慢再 生），进而30fps和60fps、30fps和120fps的组合都是再生时的巾贞频较高的高速再生。
[0038] 数据表26中所记载的"打开"和"关闭"分别表示"需要手抖动补偿"和"不需要手 抖动补偿"，在图示的数据表26中为：30fps和5fps的组合时"不需要手抖动补偿";30fps和 10fps、30fps 和 15fps、30fps 和 30fps 的组合时"需要手抖动补偿";30fps 和 60fps、30fps 和120fps的组合时"不需要手抖动补偿"。
[0039] 这样的手抖动补偿的开闭条件是基于以下的考虑而设定的。
[0040] 首先，运动图像的手抖动比较引人注目的主要是等速再生（30fps和30fps的组 合）的情况，在该情况下要积极地进行手抖动补偿，所以在该组合（30fps和30fps)时设定 了 "打开""需要手抖动补偿"）。
[0041] 另一方面，在低速再生时，手抖动不怎么引人注目。尤其在最低速的再生时，手抖 动本身也变得缓慢，所以大多数人基本不在意。因此，该情况下的手抖动补偿可以说是徒劳 的，所以在该组合（30fps和5fps)时设定了 "关闭""不需要手抖动补偿"）。
[0042] 另一方面，即使是低速再生，在接近等速再生的组合（30fps和10fps、30fps和 15fps)的情况下，虽然手抖动不像等速再生那样引人注目，但可以说是会在意的级别，所以 在图示的示例中，在该组合（30fps和10fps、30fps和15fps)时也设定了 "打开""需要 手抖动补偿"）。
[0043] 剩下的组合（高速再生）是进行所谓的快进的情况，该情况下的手抖动通常不会 引人在意，所以在该组合（30fps和60fps、30fps和120fps)时设定了"关闭""不需要手 抖动补偿"）。
[0044] 如此，在图2的数据表26中，在等速再生时以及接近等速再生的低速再生时设定 "需要手抖动补偿"，另一方面，在最慢的低速再生时和高速再生时设定了"不需要手抖动补 偿"，但是这是一例。重点是在再生时在手抖动会引人注目的帧频的组合时设定"需要手抖 动补偿"，在其以外时设定"不需要手抖动补偿"即可。例如，不仅在最慢的低速再生时，根据 需要也可以针对低速再生的全部组合（30fps和5fps、30fps和10fps、30fps和15fps)设 定"不需要手抖动补偿"。
[0045] 也就是说，运动图像数据的帧频越小，由补偿强度判断部23和补偿基准保持部24 构成的判断部判断为手抖动补偿的必要性的程度越小。
[0046] 此外，该判断部，在再生运动图像数据时的帧频相对于拍摄运动图像数据时的帧 频的差或者比为预定值以下的情况下，判断为不需要对成为判断对象的所述运动图像数据 进行手抖动补偿处理。
[0047] 此外，在再生时的帧频比拍摄时的帧频低的低速再生之中，在再生时的帧频相对 于拍摄时的帧频的差或者比为预定值以下的情况下，该判断部判断为不需要进行手抖动补 偿处理（必要性低），在再生时的帧频比拍摄时的帧频低的低速再生之中，在再生时的帧频 相对于拍摄时的帧频的差或者比为预定值以上的情况下，或者在再生时的帧频与拍摄时的 帧频相同的等速再生的情况下，该判断部判断为需要进行手抖动补偿处理（必要性高），在 再生时的帧频比拍摄时的帧频高的高速再生的情况下，该判断部判断为不需要进行手抖动 补偿处理（必要性低）。
[0048] 图3是表示手抖动补偿装置20的动作流程的图。如该图所示，手抖动补偿装置 20首先对手抖动补偿的手动关闭进行判断，也就是说，判断是否人为地设置了不进行手抖 动补偿的设定（步骤S1)，然后，若判断结果为手动关闭，则手抖动补偿装置20直接结束流 程，另一方面，若不是手动关闭，即，若没有人为地设置不进行手抖动补偿的设定，则手抖动 补偿装置20执行以下的两个处理。
[0049] 第一处理是手抖动补偿的强度判断（步骤S2)。在该强度判断处理中，根据从运 动图像输入部21取入的运动图像数据的拍摄时以及再生时的帧频、和预定判断基准（参照 图2的数据表26)，判断是进行手抖动补偿（打开）还是不进行手抖动补偿（关闭）。在图 2的数据表26中按照拍摄时和再生时的帧频的组合设定了开闭条件。打开是"需要手抖动 补偿"，关闭是"不需要手抖动补偿"。这些开闭是以二值的方式进行表现的，与"强度"的含 义稍微不同，但是这里考虑为：使手抖动补偿的效果最低时为关闭，使手抖动补偿的效果最 高时为打开。
[0050] 第二处理是手抖动补偿的执行（步骤S3)。在该手抖动补偿处理中，采取如下方 式：根据第一处理（手抖动补偿的强度判断处理/步骤S2)的判断结果，选择是不对从运动 图像输入部21取入的运动图像数据进行补偿而传递给运动图像输出部25,还是对从运动 图像输入部21取入的运动图像数据进行所需的手抖动补偿处理之后传递给运动图像输出 部25。
[0051] 采取哪种方式，主要依据从运动图像输入部21取入的运动图像数据的拍摄时以 及再生时的帧频、和图2的数据表26的设定内容。
[0052] 这里，若将从运动图像输入部21取入的运动图像数据的帧频以"拍摄时的帧频/ 再生时的帧频"的形式进行书写，则根据图2的数据表26而得到如下组合：

【权利要求】
1. 一种手抖动补偿装置，其特征在于，对运动图像数据进行手抖动补偿，该手抖动补偿 装置包括： 判断部，其根据运动图像数据的帧频，判断手抖动补偿的必要性；和 手抖动补偿部，其利用与所述判断部的判断结果相应的内容，对成为判断对象的所述 运动图像数据执行手抖动补偿处理， 所述判断部根据运动图像数据的帧频，利用多个等级判断手抖动补偿的必要性的程 度， 所述手抖动补偿部根据所述判断部所判断的手抖动补偿的必要性的程度，利用多个等 级改变对成为判断对象的所述运动图像数据执行的手抖动补偿处理的强度。
2. 根据权利要求1所述的手抖动补偿装置，其特征在于， 在运动图像数据的帧频为预定值以上的情况下，所述判断部利用多个等级改变对成为 判断对象的所述运动图像数据执行的手抖动补偿处理的强度，在运动图像数据的帧频为预 定值以下的情况下，所述判断部判断为不需要对成为判断对象的所述运动图像数据执行手 抖动补偿处理即将强度判断为〇， 在所述判断部判断为不需要执行手抖动补偿处理的情况下，所述手抖动补偿部中止对 成为判断对象的所述运动图像数据执行手抖动补偿处理。
3. 根据权利要求1所述的手抖动补偿装置，其特征在于， 运动图像数据的帧频越小，所述判断部判断为手抖动补偿的必要性的程度越小。
4. 一种手抖动补偿装置的手抖动补偿方法，其特征在于，包括： 判断步骤，所述手抖动补偿装置自动地取得运动图像数据的帧频，并根据该取得的帧 频自动地判断手抖动补偿的必要性；和 手抖动补偿步骤，所述手抖动补偿装置利用与所述判断步骤中的判断结果相应的内 容，对成为判断对象的所述运动图像数据执行手抖动补偿处理， 在所述判断步骤中，根据运动图像数据的帧频，利用多个等级判断手抖动补偿的必要 性的程度， 在所述手抖动补偿步骤中，根据所述判断步骤所判断的手抖动补偿的必要性的程度， 利用多个等级改变对成为判断对象的所述运动图像数据执行的手抖动补偿处理的强度。
【文档编号】H04N5/232GK104284094SQ201410575465
【公开日】2015年1月14日 申请日期:2011年9月9日 优先权日:2010年9月16日
【发明者】清水博, 村木淳, 星野博之, 市川英里奈 申请人:卡西欧计算机株式会社