专利名称：基于运动周期性分析的视频修复方法
技术领域：
本发明属于图像处理领域，具体涉及一种基于运动周期性分析的视频修复方法。
背景技术：
视频修复是对视频上信息缺损区域进行填充的过程，其目的是填充缺损的图像， 并使观察者无法察觉视频曾经缺损并且已被修复。随着数字图像处理技术的发展，越来越多的领域期望能够对视频进行一定的修补，并且达到人眼觉察不出来的效果。因此，数字视频修复技术成为当前计算机图形学和计算机视觉中的一个研究热点，在文物保护、影视特技制作、多余目标物体剔除(如视频图像中删除字幕、台标等)、视频通信的错误隐匿等方面有着广泛的应用前景。目前，数字图像修复技术主要分为两类第一类逐帧修复，Kokaram等人通过对这些区域进行插值计算修复视频中的斑点和划痕，Bertalmio等人提出基于Navier-Stokes 流体模型视频修复方法，该方法逐帧的图像单独进行修复，没有考虑前后帧之间的连续性， 导致了修复大块区域时的闪烁失真的情况。Yan等人使用BSCB方法对视频进行修复，将视频拆分为单幅图像分别进行处理，这类方法也没有充分利用视频的时间冗余信息，而只是简单的应用图像修复技术来处理视频数据，相邻各帧之间的连续性很难得到保持。为了克服上述逐帧修复方法的不足I^twardhan等人先后利用对视频中物体的运动估计对镜头固定和镜头移动的视频进行了修复。Kokaram采用了基于光流估计的时空信息来纠正在修复视频序列上的噪声，他的方法仅适用于小的缺损区域。Tourapis等人提出了一种基于区域分析的方法，通过计算各区域的运动矢量，分割区域，然后结合运动补偿以及时空间滤波对视频进行修复。但是，上述视频修复方法采用的是分块进行的方式，因此它们的修复结果在播放易出现虚影。
发明内容
为了解决现有视频修复技术中存在的上述技术问题，本发明提供一种基于运动周期性分析的视频修复方法，本发明可以明显提高修复结果视频的质量，达到理想的实用效^ ο本发明解决上述技术问题的技术方案包括以下步骤1)使用帧间差的方法将视频每一帧中的运动物体与视频的背景分离；2)提取步骤1中每一帧中的运动前景的骨骼；3)对步骤2、中得到的每一帧的运动前景的骨骼进行相似性匹配，找出视频前景运动目标的运动周期性；4)利用运动周期性对整个视频的前景运动目标的运动情况进行预测，根据预测来修复视频。上述的基于运动周期性分析的视频修复方法中，所述步骤；3)包括以下步骤a)使用第一帧前景目标的骨骼作为参照；
b)将其后每一帧的骨骼与其进行相似度匹配，第一帧到最相似帧之间的所有运动前景目标被定义为前景运动周期。上述的基于运动周期性分析的视频修复方法中，所述步骤4)包括以下步骤a)找到与受损视频帧向邻的前后两个完好帧作为参照；b)在运动周期中分别寻找与视频前后两帧向对应的帧；c)将步骤b)中找到的两帧之间的所有帧整体的替换到受损视频帧中。本发明的效果在于与现有方法相比，本发明采用的运动周期性分析技术能够极大地减少复杂图像背景的干扰，更加准确的提取视频中的运动信息。本发明充分考虑了视频运动目标的连贯性，注重修复结果的视觉完整性，从而取得更好的视频修复效果。本发明的基于前景运动目标周期性分析的视频修复方法能够充分提高图像修复的性能，对于视频的后续制作有重要的意义和实用价值。下面结合附图和具体实施例对本发明作进一步的说明。
图1为本发明的流程图。图2为本发明的修复示例。
具体实施例方式参见图1，图1为本发明采用基于前景运动目标周期性分析的视频修复的流程图。 其具体修复步骤如下(1)对输入视频进行前景背景分离输入的待修复视频由两部分组成静止的背景和运动的前景。Ft为视频的第t帧 t e 1,2,…，K，计算所有帧的平均值得到视频背景Fb。计算方式如下
K然后将每一帧视频对视频背景相减，得到视频的运动目标Ot t e 1,2,…，K。(2)使用骨骼提取算法对Ot中的每个运动目标提取骨骼，(骨骼提取算法的实现细节参考 Bai Xiang 在 IEEE Transatcion on Pattern Analysis and Machine Intelligence 2007 上发表的"Skeleton pruning by contour partitioning with discrete curve evolution”)每个前景运动目标对应的骨骼为Skeletons S = 1,2,…， k0(3)使用骨骼匹配方法取得视频的运动周期。a)选择运动周期性分析的对象中第一帧的骨骼Skeleton^以Skeleton1作为参照，比较它与Skeletoni i = 2,3,…，k的骨骼相似度。在骨骼的相似度比较上我们选用了 Bai的骨骼路径比较相似度的算法。在此算法中，两个骨骼的相似度〔(Skeleton， Skeleton')可以用公式(2)-(3)来进行描述
权利要求
1.一种基于运动周期性分析的视频修复方法，包括以下步骤1)使用帧间差的方法将视频每一帧中的运动物体与视频的背景分离；2)提取步骤1中每一帧中的运动前景的骨骼；3)对步骤2)中得到的每一帧的运动前景的骨骼进行相似性匹配，找出视频前景运动目标的运动周期性；4)利用运动周期性对整个视频的前景运动目标的运动情况进行预测，根据预测来修复视频。
2.根据权利要求1所述的基于运动周期性分析的视频修复方法，所述步骤3)包括以下步骤a)使用第一帧前景目标的骨骼作为参照；b)将其后每一帧的骨骼与其进行相似度匹配，第一帧到最相似帧之间的所有运动前景目标被定义为前景运动周期。
3.根据权利要求1所述的基于运动周期性分析的视频修复方法，所述步骤4)包括以下步骤a)找到与受损视频帧向邻的前后两个完好帧作为参照；b)在运动周期中分别寻找与视频前后两帧向对应的帧；c)将步骤b)中找到的两帧之间的所有帧整体的替换到受损视频帧中。
全文摘要
本发明提供了一种基于运动周期性分析的视频修复方法。它包括以下步骤(1)将视频分解为前景和背景两个部分；(2)提取前景运动目标的骨骼；(3)使用骨骼匹配方提取断前景运动物体的运动性。(4)根据前景运动目标的运动周期对视频前景进行修复。本发明采用的运动周期性分析技术能够极大地减少复杂图像背景的干扰，更加准确的提取视频中的运动信息，达到较为理想的修复效果。
文档编号G06T5/00GK102496145SQ201110363830
公开日2012年6月13日 申请日期2011年11月16日 优先权日2011年11月16日
发明者李树涛, 赵明 申请人:湖南大学