专利名称：一种去除视频抖动的方法和系统的制作方法
技术领域：
本发明属于图像处理领域，特别地，涉及去除视频抖动的技术。
背景技术：
摄像设备固定在建筑物或柱子上时，当有风时就会出现晃动；在机器(如车、飞 机、船等)、加热通风设备、空调、PTZ云台等有震动的场合中也输出抖动的不稳定的视频 图像，尤其是在使用高倍放大的镜头情况下，视频抖动的程度更加严重，严重影响了视觉效 果。针对于摄像装置输出的视频，目前的视频去除抖动方法处理的速度往往不能达到实时 的要求，或降低处理后视频的分辨率。 视频去除抖动的首要工作为相邻帧图像间的配准，配准的精确程度将直接影响视 频去抖动的效果。常用于图像配准的方法有光流法、基于形状内容的方法、角点检测与匹 配的方法等。光流法的运算复杂度较高，很难做到视频的实时处理。基于形状内容的方法 适合于图像间的内容匹配和检索。角点检测与匹配的方法主要包括SIFT角点检测与匹配 方法，Harris角点检测方法，SUSAN角点检测方法等。其中，SIFT角点检测与匹配方法具有
尺度和旋转不变性，能较准确的对图像进行配准，但运算复杂度较高，难以做到实时处理。 Harris和SUSAN角点检测算法相对较快，且能较准确的检测出图像中的角点，但当图像的 对比度较低或图像偏移尺度较大时，配准精度较低，边缘的连续性和一致性较差。
发明内容
本发明的目的在于提供一种去除视频抖动的方法和系统，能够对视频帧中的原图
像进行配准后产生的抖动的轨迹信息进行平滑，并对产生的空白区域进行填充。
该方法包括如下步骤 步骤一 将视频中当前图像帧相对于其邻近图像帧进行配准； 步骤二 将配准中产生的抖动的轨迹信息进行累计，并平滑抖动产生的运动轨迹， 对当前图像帧进行与运动轨迹相反方向的校正； 步骤三用与当前图像帧邻近的图像帧来填充平滑抖动时在当前图像帧边缘处产 生的空白区域； 步骤四跳转到当前图像帧的下一图像帧，返回步骤一，直至视频中的所有图像帧 处理完毕。
所述步骤一包括如下步骤 步骤a、计算当前图像帧的最大下采样尺度，根据最大下采样尺度对原图像进行下 采样，生成下采样图像； 步骤b、在下采样图像中计算每个像素的纹理特征； 步骤c、根据各像素的纹理特征计算两图像帧的下采样图像的代价函数，从而得到 下采样图像的运动方向； 步骤d、根据运动方向对原图像进行校正，得到原图像在行方向和列方向上的轨迹信息；
度为0。
度。
所示
素点(x，
步骤e、縮小下采样尺度，对校正后的图像进行下采样，返回步骤b，直至下采样尺
所述步骤a中，最大下采样尺度为t ， t = max{i-y W《min(H， W}}
其中，i表示临界下采样尺度，y为相对参数，H表示图像的高度，W表示图像的宽 所述步骤b中，纹理特征用图像的灰度、水平和竖直梯度三维向量来表示，如下式
J(w) L (")，(").
其中，I(x,y)为图像在像素点(x， y)处的灰度值，I(x,/ y)处的水平和竖直梯度。 所述步骤c中，代价函数为
1H W ,} 2 、2
和I
(x,y)
表示图像在像
c,、= 其中，u为水平方向的像素偏移，v为竖直方向的像素偏移，u和v的取值范围均是 {-1，0，1} ;C(u,v)为两帧图像间按(u，v)方向运动时的代价值，H表示图像的高度，W表示图
像的宽度。f(w/表示图像在像素点(x，y)处的纹理特征值，f
(x+u， y+v)
表示邻帧图像在像素
点(x+u， y+v)处的纹理特征值
所述步骤c中，图像的运动方向的计算公式为 , ("，v) min(C(—l",ve{-1,0,1}}S-L(O,O) c紐 其中，小为判定阈值，(u' ， v')为相邻两帧间的运动方向。
所述步骤e中，对校正后的图像进行下采样时，采用金字塔模型进行下采样。
所述步骤二中，将配准中产生的抖动的轨迹信息进行累计时，首先计算当前帧在 行方向需移动的像素数目S^和当前帧在行方向需移动的像素数目S。y
1 々=p0r
<formula>formula see original document page 6</formula> 其中，Pk为运动轨迹中与当前图像帧相邻i帧的图像在行方向的累积位移，Pjc为 运动轨迹中与当前图像帧相邻j帧的图像在列方向的累积位移，a为滤除抖动采用的视频 帧宽度，P。r表示当前图像帧在行方向的积累位移，P。。表示当前图像帧在列方向的积累位 移，i、j为自然数；根据S^和S。。反方向移动当前图像帧来平滑抖动产生的运动轨迹。
所述步骤三中，计算当前图像帧和与当前图像帧邻近的图像帧之间的共享边缘约 束值，当共享边缘的约束值小于既定阈值时，用与当前图像帧邻近的图像帧的对应区域填 充平滑抖动时当前图像帧中的空白区域，否则用与当前图像帧邻近的图像帧的下一帧进行 阈值匹配，直至当前图像帧中的空白区域填充完毕。
所述步骤三中，共享边缘约束值Sk (x。， y。)为
Sk(x。， y。) = S。k(x。， y。)+Sk。(x。， y0)
其中， S。k(X。， y。)为当前图像帧相对于邻近的第k帧图像在(x。， y。)处的共享边缘约束；
sk。(X。，y。)为邻近的第k帧图像相对于当前图像帧在(x。，y。)处的共享边缘约束；(x。，y。)为
当前图像帧在与第k帧图像共享边缘上像素点的坐标。 本发明还提供了一种去除视频抖动的系统，包括 配准装置，用于将视频中当前图像帧相对于其邻近图像帧进行配准； 校正装置，用于将配准中当前图像帧产生的抖动的轨迹信息进行累计，并平滑抖
动产生的运动轨迹，对当前图像帧进行与运动轨迹相反方向的校正； 填充装置，用于使用与当前图像帧邻近的图像帧来填充平滑抖动时在当前图像帧
边缘处产生的空白区域。
所述配准装置包括 下采样单元，用于计算当前图像帧的最大下采样尺度，根据最大下采样尺度对原 图像进行下采样，生成下采样图像；以及縮小下采样尺度，对运动方向校正装置校正后的图 像进行下采样以生成下采样图像，直至下采样尺度为0 ;
计算单元，用于在下采样图像中计算每个像素的纹理特征； 运动方向确定单元，用于根据各像素的纹理特征计算两图像帧的下采样图像的代 价函数，从而得到下采样图像的运动方向； 运动方向校正单元，用于根据运动方向对原图像进行校正，得到原图像在行方向 和列方向上的轨迹信息。 与现有技术相比，本发明去除视频抖动的方法和系统利用多种采样尺度对图像帧 进行配准，并计算纹理特征，处理速度较快，且与图像的对比度无关，仅取决于图像的尺寸， 采用代价函数来对图像的运动方向进行判定，并在此基础上对图像的运动方向进行校正， 保证了图像的对比度较低或图像偏移尺度较大时的配准精度。利用邻近的图像帧来对当前 帧进行填充，保证了填充后在当前帧的边缘处具有良好的连续性和一致性，减少了人工处 理的痕迹，输出的视频与原始视频具有相同的分辨率，且保持了图像的清晰度和连续性。
图1是本发明去除视频抖动的方法的流程图；
图2是本发明去除视频抖动的方法的图像帧的配准流程图；
图3是本发明去除视频抖动的方法的金字塔模型示意图；
图4是本发明去除视频抖动的系统的示意性框图； 图5a是本发明去除视频抖动的方法的视频在行方向的运动轨迹以及不同程度平 滑后视频的运动轨迹示意图； 图5b是本发明去除视频抖动的方法的视频在列方向的运动轨迹以及不同程度平 滑后视频的运动轨迹示意图； 图6是本发明去除视频抖动的方法的当前帧和与当前帧邻近的图像帧的共享边 缘约束示意 图7a是本发明去除视频抖动的方法的图像具有不同偏移比例时，不同方法的配准精度； 图7b是本发明去除视频抖动的方法的图像具有不同对比度时，不同方法的配准精度； 图7c是本发明去除视频抖动的方法的图像具有不同对比度对角点检测数目的影响； 图7d是本发明去除视频抖动的方法的图像具有不同对比度时，三种方法进行图像配准所需时间。
具体实施例方式
下面结合附图对本发明实施例进行详细说明。 本实施例中，采用3秒至54秒不等的8段抖动视频和30段5分钟的个人录制的不同场景抖动视频，图像帧的尺寸为320X240，电脑配置为CPU :Pentium(R)D 3GHz ;内存1GB。从不同场景的视频中截取共100帧图像用于说明，100帧图像具有不同的对比度和清晰度。对每帧图像进行了不同程度的随机偏移，使得偏移比例最小为O，最大为图像宽度或高度的1/2，偏移方向包括水平和竖直两个方向。
图1是本发明去除视频抖动的方法的流程图
步骤一 将视频中当前图像帧相对于其邻近图像帧进行配准。
该步骤具体如图2所示 步骤a、计算当前图像帧的最大下采样尺度，根据最大下采样尺度对原图像进行下采样，生成下采样图像。其中，最大下采样尺度为t，
t = max{i-y |2丄《min(H， W}} 其中，i表示临界下采样尺度，当下采样尺度大于i时，下采样后的图像将小于2X2，成为一个像素点；y为相对参数，为了保证配准精度而设置，通过y的值来对t进行调整，使下采样后得到的图像尺寸不小于2X2，从而保证了配准的精度；式中y越大时，配准的精度越高，但能正确配准的像素数将减少，本实施例中设置相对参数y为2。 H表示图像的高度，W表示图像的宽度。图像的尺寸越大，全局纹理配准的精度将越高。y的取值对图像配准精度和图像偏移的配准范围都有影响。如图3所示，本实施例中y取值2，使得下采样后的图像尺寸至少为3X3，以保证图像配准具有足够的精度，同时使得配准范围达到图像宽度或高度的一半，满足剧烈抖动视频的配准要求。
步骤b、在下采样图像中计算每个像素的纹理特征； 纹理特征用图像的灰度、水平和竖直梯度三维向量来表示，如下式所示
/M = 其中，I(x,y)为图像在像素点(x， y)处的灰度值，I(x,/'和I(x,/'表示图像在像素点(x， y)处的水平和竖直梯度。 步骤c、根据各像素的纹理特征计算两图像帧的下采样图像的代价函数，从而得到下采样图像的运动方向；
/ 尸 /少
8<formula>formula see original document page 9</formula>
代价函数为C( ，V) =^^Z(H，V)) 其中，u为水平方向的像素偏移，v为竖直方向的像素偏移，u和v的取值范围均是{-1，0，1} ;C(U,V)为两帧图像间按(u，v)方向运动时的代价值，H表示图像的高度，W表示图像的宽度。f(〃/表示图像在像素点(x，y)处的纹理特征值，f(自,y+v)2表示邻帧图像在像素点(x+u， y+v)处的纹理特征值。
图像的运动方向的计算公式为
(w,v) min{c(u,v) |w，ve{-l，0,l}}"
(O，O) c紐 其中，小为判定阈值，(u' ，v')为相邻两帧间的运动方向。当最小的代价函数值大于某一个阈值小时意味着两帧图像是完全不同的场景，否则可得相邻两帧间的运动方向(u' ， v')。 步骤d、根据运动方向对原图像进行校正，得到原图像在行方向和列方向上的轨迹信息； 将最大偏移比例分成从1/10到1/2不等的10组，具体偏移比例如表1所示。如
1/2组中任一图像的偏移比例在宽度和高度的0倍到1/2倍之间。每帧图像均有10组最大
偏移比例，每组随机产生100幅偏移图像，并记录图像的偏移方向和偏移像素数，得到原图
在行方向和列方向上的轨迹信息。 表1.不同偏移尺度对应的配准精度
偏移比例1/101/81/61/51/4. 51/41/3. 51/31/2. 51/2
配准精度0. 9910. 9890. 9820. 9790. 9720. 9550. 9160. 8360. 7350. 631 步骤e、縮小下采样尺度，对校正后的图像进行下采样生成下采样图像，回到步骤b继续处理，直至下采样尺度为0时结束处理。 本实施例中，对校正后的图像进行下采样时，采用金字塔模型进行下采样。如图
3所示，最底层为原图像，经过一次2X2尺度的下采样可得到中间层图像，此时原图像中
2X2个像素的均值构成下采样后中间层图像中一个像素的值。返回步骤b计算每个像素的
纹理特征后，根据各像素的纹理特征计算两图像帧的下采样图像的代价函数，得到下采样
图像的运动方向为(1，1)，表示中间层图像具有水平和竖直方向各1个像素的偏移。根据配
准结果对原图像进行校正，得到原图像在行方向和列方向上的轨迹信息为(2，2)。 继续縮小下采样尺度，对中间层图像进行2X2尺度(等效于对原 图像进行4X4尺度)下采样可得到最顶层图像。此时中间层图像中2X2个像素
的均值构成下采样后最顶层图像中一个像素的值。返回步骤b计算每个像素的纹理特征
后，根据各像素的纹理特征计算两图像帧的下采样图像的代价函数，得到下采样图像的运
动方向为(1， 1)，表示最顶层图像具有水平和竖直方向各1个像素的偏移。根据配准结果对
中间层图像进行校正，得到中间层图像在行方向和列方向上的轨迹信息为(2，2)，则原图像
在行方向和列方向上的轨迹信息为(4，4)，此时下采样尺度为0，结束处理。 (M',V')-'
9
步骤二 将配准中产生的抖动的轨迹信息进行累计，并平滑抖动产生的运动轨迹， 对图像进行与运动轨迹相反方向的校正。 将配准中产生的抖动的轨迹信息进行累计时，在本实施例中，共检测了 100帧图 像，图5a中曲线501为视频帧在行方向的运动轨迹，图5b中曲线501为视频帧在列方向的 运动轨迹。首先计算当前图像帧在行方向需移动的像素数目s^和当前图像帧在列方向需 移动的像素数目S。y4 = ^-^yl巧c 其中，如图5a中曲线501所示，p^为运动轨迹中与当前图像帧相邻i帧的图像在 行方向的累积位移，Pj。为运动轨迹中与当前图像帧相邻j帧的图像在列方向的累积位移， a为滤除抖动采用的视频帧宽度，如图5a、图5b中的5帧，10帧或20帧，p。^表示当前图像 帧在行方向的积累位移，P。。表示表示当前图像帧在列方向的积累位移，i、 . j为自然数；根 据S^和S。。反方向移动当前图像帧来平滑抖动产生的运动轨迹。 通过多尺度全局纹理配准可检测出视频帧间的抖动情况，对抖动进行累积计算便 可得到摄像机的运动信息。视频在行方向和列方向的运动轨迹中含有大量的高频成分，即 剧烈的抖动。运动轨迹中的低频成分是摄像机的主观运动，应当予以保留。视频去抖动操 作就是为了滤除运动轨迹中的高频成分。检测出视频的运动信息后，可利用行方向和列方 向的运动轨迹来滤除视频的抖动。本发明中采用运动轨迹的平滑处理来达到滤除抖动的目 的，并取得了很好的效果。 本实施例中的抖动滤除方法类似与对运动轨迹进行低通滤波，图5a中的曲线502 是对运动轨迹进行ll帧宽度(左右各5帧)的平滑处理结果；采用21帧宽度来平滑运动轨 迹可得到图5a中曲线503所示的运动轨迹；采用41帧宽度来处理可得到图5a中曲线504 所示的运动轨迹。相对于原始视频运动轨迹501，去抖动后视频的运动轨迹更加平滑，滤除 了高频抖动干扰，且保留了曲线501中的低频运动趋势，反映了摄像机的主观运动方向。同 理，图5b中的不同曲线反映了不同程度平滑后视频在列方向的运动轨迹。
经过运动检测与抖动滤除处理后，视频已经基本稳定。校正过程中对图像的偏移， 导致视频的周边出现空白区域。以往一些视频去抖动算法的结果通常降低去抖动后视频的 分辨率。本发明将采用共享边缘约束的最邻近图像帧来填充空白区域，使得输出视频与输
入具有相同的分辨率，保证视频帧在边缘处的连续性和一致性，且保持了视频帧的对比度。
步骤三用与当前图像帧邻近的图像帧来填充平滑抖动时在当前图像帧边缘处产 生的空白区域； 图像配准的结果难免出现偏差，如果直接采用与当前图像帧邻近的图像帧来填充 当前帧的空白区域，容易留下明显的人工处理痕迹。本发明将采用共享边缘约束来验证图 像配准的结果。如图6所示，实线框601是显示区域，虚线框602是平移后的图像帧。经过 运动检测和滤除，当前图像帧需要向左上方平移以消除抖动，导致显示窗口下侧和右侧出 现空白区域。与当前图像帧邻近的图像帧(虚线603)需要向右下方平移，覆盖了显示窗口 中的一部分空白区域。图6中黑色粗实线604为两帧图像的共享边缘，采用既定范围内的方 差来描述共享边缘的平滑程度。既定范围如图6中灰色方框605所示，使既定范围的中心 遍历共享边缘上的点，并统计既定范围内像素的亮度的方差的均值作为共享边缘约束值。
10
共享边缘约束值Sk (x。， y。)为
Sk(x。， y。) = S。k(x。， y。)+Sk。(x。， y0)其中，^(A^o)-—Z (/(^)—/(&,;^))为当前图像帧
相对于与当前图像帧邻近的第k帧图像在(x。， y。)处的共享边缘约束。
&oh，％)=;; S (A"力—A%，>W))为与当前图像帧邻近的第k帧图像相对于当前图
像帧在(x。，y。)处的共享边缘约束。(x。，y。)为当前图像帧在与当前图像帧邻近的第k帧图 像内的边缘的像素点的坐标；(x， y)为显示窗口中的像素坐标；m为以(x。， y。)为中心的既 定范围的像素数目；"Jx。，y。)为当前图像帧在既定范围中的区域，"2(x。，y。)为与当前图 像帧邻近的第k帧图像在既定范围中的区域，I(x， y)为当前图像帧在(x， y)处的亮度值， Ik(x，y)为与当前图像帧邻近的第k帧图像在(x，y)处的亮度值，1^^775^是当前图像帧 与当前图像帧邻近的第k帧图像在以(x。，y。)为中心的既定范围的亮度均值，即 "4,、) = — Z Z 既定范围为以当前图像帧在与当前图像帧邻近的第k帧图像内的边缘的像素点
的坐标(x。，y。)为中心，显示区域宽度的3%至1%为边长的正方形区域。 共享边缘约束值Sk(X。， y。)越小，说明两帧图像在边缘处越平滑，即图像配准的越
精确，用该邻近帧来填充当前图像帧的可信度越高。本实施例中局部窗口采用5X5的大小。 得到两帧图像的共享边缘约束后，便可由该帧与当前图像帧的共享边缘的约束值 确定配准的精确程度，当共享边缘的约束值小于既定阈值时，用与当前图像帧邻近的图像 帧的对应区域填充平滑抖动时在当前帧边缘处产生的空白区域，否则用该邻近的图像帧的 下一帧对空白区域进行填充。如下式所示，当共享边缘约束小于既定阈值P (本实施例中 设为IOO)时，可以用于当前图像帧的空白区域填充；否则，不能使用该邻近帧。^k等于l 表示邻近的第k帧图像可用于空白区域填充。 当邻近的多帧图像都可用于当前图像帧的空白区域填充时，优先选用与当前图像 帧更邻近的图像帧。因为视频中两帧图像靠的越近，图像间旋转和縮放变化的系数越小，更 加符合本发明提出的快速图像配准方法的假设，图像配准的精度更高，空白区域填充后的 人工处理痕迹也将越小。 步骤四跳转到当前图像帧的下一帧，返回步骤一，直至视频中的所有图像帧处理 完毕后结束。 参见图4，公开了一种去除视频抖动的系统400，包括配准装置401、校正装置402 和填充装置403。其中配准装置401将视频中当前图像帧相对于其邻近图像帧进行配准； 校正装置402将配准中当前图像帧产生的抖动的轨迹信息进行累计，并平滑抖动产生的运 动轨迹，对当前图像帧进行与运动轨迹相反方向的校正；填充装置403使用与当前图像帧邻近的图像帧来填充平滑抖动时在当前图像帧边缘处产生的空白区域。配准装置401进一 步包括下采样单元411，用于计算当前图像帧的最大下采样尺度，根据最大下采样尺度对 原图像进行下采样，生成下采样图像；以及縮小下采样尺度，对运动方向校正装置校正后的 图像进行下采样以生成下采样图像，直至下采样尺度为0;计算单元412，用于在下采样图 像中计算每个像素的纹理特征；运动方向确定单元413，用于根据各像素的纹理特征计算 两图像帧的下采样图像的代价函数，从而得到下采样图像的运动方向；运动方向校正单元 414，用于根据运动方向对原图像进行校正，得到原图像在行方向和列方向上的轨迹信息。 通过该系统能够实施所述视频抖动的方法。 本方法的配准过程与Harris和SUSAN角点检测与配准方法进行了比较，包括随 着偏移比例变化的配准精度，随着图像对比度变化的配准精度和随着图像对比度变化的配 准速度。图7a展示了图像具有不同偏移比例时，不同方法的配准精度。图中，本方法的配 准过程由于采用多种尺度进行下采样，采集纹理特征进行配准，故用MSGTR(Multi-Scale Global Texture Registeration多尺度全局纹理配准方法)表示。横坐标为10时表示图 像行方向和列方向偏移的范围从O到宽度和高度的1/10。从图中可知，在图像偏移较大时， 本方法的配准过程配准精度相对较高，为63. 1% ;在图像偏移较小时，其配准精度与SUSAN 角点检测与匹配方法相当，比Harris角点检测与配准方法的配准精度相对较低。各种方法 的具体配准精度如表2所示。 表2.三种方法不同偏移尺度对应的配准精度
偏移比例1/101/81/61/51/4.51/41/3.51/31/2.51/2
配 准 精 度Harris0.9590.9560.950.9460.9440.9390.8710.7540.6440.504
SUSAN0.9920.9890.9880.9850.9830.9810.9190.8210.7170.598
MSGTR0.9910.9890.9820.9790.9720.9550.9160.8360.7350.631 图7b展示了图像具有不同对比度时，不同方法的配准精度。图像的对比度较低 时，Harris和SUSAN角点检测的精确程度有所降低，从而影响图像配准的精度。从图中可 见，MSGTR代表的本方法的配准过程受对比度的影响相对较小，对比度最低时，配准精度为 82% ;而Harris角点检测与匹配方法受的影响最大，配准精确度仅为69%。对比度较高时， 三种方法的配准精度都较高。 图7c显示了图像具有不同对比度对角点检测数目的影响。从图中可见，随着图像 对比度的增强，Harris和SUSAN角点检测方法能够检测出更多的角点。且相同对比度情况 下，SUSAN角点检测方法检测出的角点数目更多一些。这是图像具有相同对比度时，SUSAN 角点检测与配准方法精度略高一些的原因，如图5a和图5b所示。 图7d显示了图像具有不同对比度时，三种方法进行图像配准所需时间的变化情 况。从图中可见，随着图像对比度的提高，Harris和SUSAN算法检测出更多的角点，也消耗 更多的时间，但MSGTR代表的本方法的配准过程受图像对比度的影响较小，且耗时较其他 两种方法明显偏小。 本方法的配准过程与Harris和SUSAN角点检测与配准方法的性能相比，本方法的 配准过程的配准速度与图像的对比度无关，仅受图像尺寸的影响。当图像尺寸为320X240 时，本方法的配准过程的处理时间仅为16ms，且由共享边缘的约束值确定的与当前帧邻近
12的图像帧填充平滑抖动时在当前帧边缘处产生的空白区域，保证了边缘的连续性和一致 性，使重建后图像与原始输入视频具有相同的分辨率，在边缘处能够平滑过渡，填充区域具 有较高的对比度，有效地去除了视频的抖动。 显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精 神和范围。这样，倘若对本发明的这些修改和变型属于本发明权利要求及其等同技术的范 围之内，则本发明也意图包含这些改动和变型在内。
权利要求
一种去除视频抖动的方法，其特征在于，包括步骤一将视频中当前图像帧相对于其邻近图像帧进行配准；步骤二将配准中当前图像帧产生的抖动的轨迹信息进行累计，并平滑抖动产生的运动轨迹，对当前图像帧进行与运动轨迹相反方向的校正；步骤三用与当前图像帧邻近的图像帧来填充平滑抖动时在当前图像帧边缘处产生的空白区域；步骤四跳转到当前图像帧的下一图像帧，返回步骤一，直至视频中的所有图像帧处理完毕。
2. 根据权利要求1所述的方法，其特征在于，所述步骤一包括如下步骤 步骤a、计算当前图像帧的最大下采样尺度，根据最大下采样尺度对原图像进行下采样，生成下采样图像；步骤b、在下采样图像中计算每个像素的纹理特征；步骤c、根据各像素的纹理特征计算两图像帧的下采样图像的代价函数，从而得到下采 样图像的运动方向；步骤d、根据运动方向对原图像进行校正，得到原图像在行方向和列方向上的轨迹信息；步骤e、縮小下采样尺度，对校正后的图像进行下采样，返回步骤b，直至下采样尺度为0。
3. 根据权利要求2所述的方法，其特征在于，所述步骤a中，最大下采样尺度为t， t = max{i-y 《min(H， W}}其中，i表示临界下采样尺度，Y为相对参数，H表示图像的高度，W表示图像的宽度。
4. 根据权利要求2所述的方法，其特征在于，所述步骤b中，纹理特征用图像的灰度、水 平和竖直梯度三维向量来表示，如下式所示力w)=其中，l(x,y)为图像在像素点(X， W处的灰度值，l(X,/'和iky)"表示图像在像素点(x，y)处的水平和竖直梯度。
5. 根据权利要求2所述的方法，其特征在于，所述步骤c中，代价函数为<formula>formula see original document page 2</formula>其中，u为水平方向的像素偏移，v为竖直方向的像素偏移，u和v的取值范围均是{-1， 0，1} ;C(u,v)为两帧图像间按(u， v)方向运动时的代价值，H表示图像的高度，W表示图像的 宽度。f(〃/表示图像在像素点(x， y)处的纹理特征值，f(自,y+v)2表示邻帧图像在像素点 (x+u， y+v)处的纹理特征值。
6. 根据权利要求5所述的方法，其特征在于，所述步骤c中，图像的运动方向的计算公 式为<formula>formula see original document page 2</formula>其中，小为判定阈值，(u' ，v')为相邻两帧间的运动方向，
7. 根据权利要求2所述的方法，其特征在于，所述步骤e中，对校正后的图像进行下采 样时，采用金字塔模型进行下采样。
8. 根据权利要求1所述的方法，其特征在于，所述步骤二中，将配准中产生的抖动的轨 迹信息进行累计时，首先计算当前帧在行方向需移动的像素数目s^和当前帧在行方向需 移动的像素数目S。y其中，P^为运动轨迹中与当前图像帧相邻i帧的图像在行方向的累积位移，Pj。为运动 轨迹中与当前图像帧相邻j帧的图像在列方向的累积位移，a为滤除抖动采用的视频帧宽 度，P。r表示当前图像帧在行方向的积累位移，P。。表示当前图像帧在列方向的积累位移，i、 j为自然数；根据S to和S 。。反方向移动当前图像帧来平滑抖动产生的运动轨迹。
9. 根据权利要求l所述的方法，其特征在于，所述步骤三中，计算当前图像帧和与当 前图像帧邻近的图像帧之间的共享边缘约束值，当共享边缘的约束值小于既定阈值时，用 与当前图像帧邻近的图像帧的对应区域填充平滑抖动时当前图像帧中的空白区域，否则用 与当前图像帧邻近的图像帧的下一帧进行阈值匹配，直至当前图像帧中的空白区域填充完 毕。
10. 根据权利要求9所述的方法，其特征在于，所述步骤三中，共享边缘约束值Sk (x。， y。)为 <formula>formula see original document page 3</formula>) 其中，S。k(X。， y。)为当前图像帧相对于邻近的第k帧图像在(x。， y。)处的共享边缘约束； Sk。(x。，y。)为邻近的第k帧图像相对于当前图像帧在(x。，y。)处的共享边缘约束；(x。，y。)为 当前图像帧在与第k帧图像共享边缘上像素点的坐标。
11. 一种去除视频抖动的系统，其特征在于，包括 配准装置，用于将视频中当前图像帧相对于其邻近图像帧进行配准；校正装置，用于将配准中当前图像帧产生的抖动的轨迹信息进行累计，并平滑抖动产生的运动轨迹，对当前图像帧进行与运动轨迹相反方向的校正；填充装置，用于使用与当前图像帧邻近的图像帧来填充平滑抖动时在当前图像帧边缘 处产生的空白区域。
12. 根据权利要求11所述的系统，其特征在于，所述配准装置包括下采样单元，用于计算当前图像帧的最大下采样尺度，根据最大下采样尺度对原图像 进行下采样，生成下采样图像；以及縮小下采样尺度，对运动方向校正装置校正后的图像进 行下采样以生成下采样图像，直至下采样尺度为0 ;计算单元，用于在下采样图像中计算每个像素的纹理特征；运动方向确定单元，用于根据各像素的纹理特征计算两图像帧的下采样图像的代价函 数，从而得到下采样图像的运动方向；运动方向校正单元，用于根据运动方向对原图像进行校正，得到原图像在行方向和列 方向上的轨迹信息。
全文摘要
本发明提供了一种去除视频抖动的方法和系统，所述方法包括步骤一将视频中当前图像帧相对于其邻近图像帧进行配准；步骤二将配准中产生的抖动的轨迹信息进行累计，并平滑抖动产生的运动轨迹，对当前图像帧进行与运动轨迹相反方向的校正；步骤三用与当前图像帧邻近的图像帧来填充平滑抖动时在当前图像帧边缘处产生的空白区域；步骤四跳转到当前图像帧的下一图像帧，返回步骤一，直至视频中的所有图像帧处理完毕。通过本发明的方法和系统，处理速度更快，且与图像的对比度无关，具有相对更高的配准精度，并保证了填充后图像在边缘处具有很好的连续性和一致性，减少了人工处理的痕迹。
文档编号H04N5/232GK101742122SQ20091024279
公开日2010年6月16日 申请日期2009年12月21日 优先权日2009年12月21日
发明者刘昌平, 姚波, 黄磊 申请人:汉王科技股份有限公司