专利名称：用于稳定化视频数据的方法和系统的制作方法
技术领域：
本发明涉及一种用于稳定化视频数据的方法以及一种用于执行所述方法的稳定化系统。
背景技术：
近年来，视频摄影机的小型化以及在其中引入强大的缩放已经导致这种设备出现图像稳定性问题，这是由于手持式视频摄影机的移动而造成的。已经开发了数字图像稳定化(DIS)系统来消除这种不希望有的摄影机移动(或抖动)，并且从而产生只显示必需的摄影机移动的序列，从而提供更愉快的观看体验。所述抖动被定义为被附加到有意的摄影机运动之上的、所有的不希望有的图像位置波动(平移、旋转等等)，其可能具有许多严重的不利影响(例如，在运动估计编码中，抖动可能会增加运动矢量的大小和数量，从而减小已编码运动矢量的游程长度)。在大多数DIS系统中，在(时间t-1和t处的)两个连续帧之间执行运动估计，以便得到图像帧的全局运动。所述全局运动由被称为全局运动矢量GMV(t)的单个运动矢量代表。其问题是，GMV(t)的连续值既包含有意的运动也包含无意的运动(抖动)。
文献“Fast digital image stabilizer based on Gray-coded bit-planematching(基于灰度编码的位平面匹配的快速数字图像稳定器)”(IEEETransactions on Consumer Electronics，vol.45，n°3，1999年8月，pp.598-603)描述了一种允许判断运动是否是有意的运动校正系统。为此，将该全局运动矢量与一个阻尼(damping)系数集成在一起，如此定义的集成运动矢量IMV(t)表示将被应用于当前的未经处理的帧以用于运动校正的最终运动矢量。被提供来构建一个稳定化的序列的该集成运动矢量由下面的表达式(1)给出IMV(t)＝a.IMV(t-1)+GMV(t)(1)其中GMV(t)是对应于在时间t处考虑的当前帧的全局运动矢量，并且是一个包含在0和1之间的数字，根据该全局运动矢量所起到作用，该集成运动矢量在没有摄影机运动时收敛到0。对于数字a(阻尼系数)的选择取决于所期望的稳定化程度，但是考虑摄影机运动的类型是十分重要的，并且例如使用恒定值通常不是最佳的。
实际上，在处理过程中将有意的运动与抖动分开总是一个复杂的问题。对于实施应用来说，主要的限制是不允许延迟，因此不可能将某些帧存储在存储器中以及一旦更好地了解了移动之后在后面应用运动校正。在该文献中为此所提出的所有解决方案都或多或少地有相同的缺点在具有低幅度抖动和固定位置的序列的各部分中衰减了抖动(而不是消除)，但是一旦有全景运动或者任何其它类型的较大的摄影机运动，输出的经过滤的序列就几乎无法跟随实际的运动，或者在长的延迟之后才跟随实际的运动。此外，当校正低幅度抖动时，用于过滤的采样窗导致明显的延迟。因此，总是要在衰减低幅度抖动的强度和以尽可能小的延迟跟随有意运动的能力之间找到折衷。
发明概要因此，本发明的一个目的是提出一种允许执行改进的运动校正的过滤方法。
为此，本发明涉及一种用于稳定化由视频摄影机进行并且由视频数据代表的对场景的视频记录的方法，所述方法包括以下步骤-将所述视频细分成多个连续帧；-将每个所述连续帧划分成多个块；-对于每个帧的每个块确定代表所述块中的运动的方向和大小的运动矢量，在时刻t处的所述矢量GMV被称为全局运动矢量GMV(t)并且代表在时刻t处相对于先前帧的所述运动；-定义在时刻t处被称为集成运动矢量IMV(t)并且表示鉴于其运动校正而将被应用于当前帧的最终运动矢量校正的经修改的矢量，所述集成运动矢量由下面的表达式给出IMV(t)＝GMV(t)+a(E).IMV(t-1)其中GMV(t)是时刻t下的当前帧的全局运动矢量，a(E)是取决于表达式E的可变自适应因子，而IMV(t-1)是对应于先前的当前帧的集成运动矢量；以及-根据为每个连续当前帧所定义的经修改的集成运动矢量来修改视频数据。
在一个优选实施例中，所述可变自适应因子取决于两个全局运动矢量的和。
优选地，对于各IMV和GMV的水平和垂直坐标独立地计算该可变阻尼因子，从而沿着两个轴的滤波总是彼此独立的。
相应于经授权的额外输入区域，还可以检查IMV校正是否高于一个给定阈值如果是的话则修改该校正，以便保持在一个预定允许范围内，例如+/-16个像素。
附图简述下面将参照附图以举例的方式来描述本发明，其中
图1是给出在根据本发明的稳定化方法中使用的阻尼因子值的一些例子的表格；图2说明了根据本发明的稳定化方法的优点。
发明的详细描述根据本发明，提出了一种稳定化方法，其中，所提出的校正现在等于先前定义的集成运动矢量IMV(t)，但是其具有表示为a(E)的阻尼系数并且现在是一个可变自适应因子IMV(t)＝a(t，t-1，...).IMV(t-1)+GMV(t)(2)在该表达式(2)中，阻尼因子a(E)现在不再是恒定值，而是例如取决于最近两个全局运动矢量的和的自适应因子。这允许跟踪有意的运动开头(最近的全局运动矢量本身通常太不稳定以致无法使用)。
阻尼因子a(E)和最近两个全局运动矢量的和(GMV(t)+GMV(t-1))之间的对应表被如下建立(a)GMV值的较小的和意味着较高的阻尼因子值，其强烈地稳定化所述序列，正如假定摄影机有意保持稳定一样；(b)GMV值的较大的和意味着较低的阻尼因子值；于是所述序列更为精确地跟随原始运动。
在图1的表中以四分之一像素单位给出了阻尼因子值DFV对增加的最近两个全局运动矢量的和SLG的一个例子。
可以提出一些附加特征。例如，如果具有独立于y矢量滤波的对x矢量的滤波则是有利的。此外，可以提供边界外检测所述检测允许相应于经授权的额外输入区域来检查IMV校正是否高于一个给定阈值，并且对其进行校正以便保持在允许范围内，例如+/-16个像素(pixels)。
所提出的稳定化方法从而在抖动以特定空间位置为中心时创建经稳定化的长镜头，同时在运动过高时跟随有意的运动，正如图2中所示出的那样。图2同时示出了原始运动(曲线A)、通过移动平均滤波器以传统方式滤波的运动(曲线B)以及通过根据本发明的稳定化方法滤波的运动的曲线M(对于这三条曲线，水平轴对应于帧号NOF，垂直轴对应于累积的位移，例如对应于全局运动矢量的和SLG)。一些快速的移动过渡仍然是可见的，但是它们一般对应于原始序列中的如果希望保持在所允许的额外图像边界内的话就必须以某种方式跟随的突然运动。所述稳定化方法在跟踪缓慢移动的运动方面也是有效的。
权利要求
1.一种用于稳定化视频数据的方法，所述方法包括以下步骤-将所述视频细分成多个连续帧；-将每个所述连续帧划分成多个块；-对于每个帧的每个块确定代表所述块中的运动的方向和大小的运动矢量，在时刻t处的所述矢量GMV被称为全局运动矢量GMV(t)并且代表在时刻t处相对于先前帧的所述运动；-定义一个经修改的矢量，该经修改的矢量在时刻t处被称为集成运动矢量IMV(t)并且表示鉴于其运动校正而将被应用于当前帧的最终运动矢量校正，所述集成运动矢量由下面的表达式给出IMV(t)＝GMV(t)+a(E).IMV(t-1)其中GMV(t)是时刻t下的当前帧的全局运动矢量，a(E)是取决于表达式E的可变自适应因子，而IMV(t-1)是对应于先前的当前帧的集成运动矢量；以及-根据为每个连续当前帧所定义的经修改的集成运动矢量来修改视频数据。
2.如权利要求1所述的稳定化方法，其中所述可变自适应因子取决于最近两个全局运动矢量的和。
3.如权利要求2所述的稳定化方法，其中对于矢量的水平坐标和垂直坐标独立地确定所述可变阻尼因子a(E)。
4.如权利要求1-3中的任何一项所述的稳定化方法，其包括附加的校正步骤，该附加的校正步骤用于检查对运动矢量的校正是否高于一个给定阈值，并且如果是的话则用于修改所述校正以使得该校正保持在预定的允许范围内。
5.一种用于稳定化视频数据的系统，所述系统包括-帧存储器，用于存储视频记录的视频数据的多个连续帧；-处理器，其耦合到所述帧存储器以用于将每个帧划分成多个块；对于每个帧的每个块确定代表所述块中的运动的方向和大小的运动矢量，在时刻t处的所述矢量被称为全局运动矢量GMV(t)并且代表在时刻t处相对于先前帧的所述运动；定义一个运动矢量，该运动矢量在时刻t处被称为集成运动矢量IMV(t)并且表示鉴于其运动校正而将被应用于当前帧的最终运动矢量校正，所述集成运动矢量由下面的表达式给出IMV(t)＝GMV(t)+a(E).IMV(t-1)其中GMV(t)是时刻t下的当前帧的全局运动矢量，a(E)是取决于表达式E的可变自适应因子，而IMV(t-1)是对应于先前的当前帧的集成运动矢量；以及根据为每个连续当前帧所定义的经修改的集成运动矢量来修改视频数据。
全文摘要
本发明涉及一种用于稳定化由视频摄影机进行并且由视频数据代表的对场景的视频记录的方法，所述方法包括以下步骤将所述视频细分成多个连续帧；将每个所述连续帧划分成多个块；对于每个帧的每个块确定代表所述块中的运动的方向和大小的运动矢量，在时刻t处的所述矢量被称为全局运动矢量GMV(t)并且代表在时刻t处相对于先前帧的所述运动；定义在时刻t处被称为集成运动矢量IMV(t)、并且表示鉴于其运动校正而将被应用于当前帧的最终运动矢量校正的经修改的矢量，所述集成运动矢量由下面的表达式给出IMV(t)＝GMV(t)+a(E).IMV(t－1)，其中a(E)是取决于表达式E的可变自适应因子，而IMV(t－1)是对应于先前的当前帧的集成运动矢量；以及根据为每个连续当前帧所定义的经修改的集成运动矢量来修改视频数据。
文档编号H04N5/232GK1898948SQ200480038523
公开日2007年1月17日 申请日期2004年12月17日 优先权日2003年12月23日
发明者S·奥伯格 申请人:皇家飞利浦电子股份有限公司