基于超像素分割的交互式视频前景对象提取方法
【专利摘要】本发明公开了一种基于超像素分割的交互式视频前景对象提取方法，包括：S1：对视频序列的每一帧进行下采样，然后进行基于超像素的预分割；S2：基于超像素的视频对象交互式提取的计算；S3：将交互计算出的分割结果上采样到原视频分辨率，并对分割结果的边缘进行细化。本发明能够帮助用户快速有效地交互式地提取出视频中的对象。
【专利说明】基于超像素分割的交互式视频前景对象提取方法
【技术领域】
[0001]本发明涉及视频编辑【技术领域】，特别涉及一种基于超像素分割的交互式视频前景对象提取方法。
【背景技术】
[0002]图像与视频的高效编辑是计算机图形学里重要的研究课题。与图像相比，视频的数据量更大且结构内容复杂，因而视频编辑比图像编辑更具挑战性。视频编辑是影视后期制作、广告合成中重要的技术手段。目前已有的著名的视频编辑工具有专业级的AdobePremiere、Ulead MediaStudio 以及免费的 VirtualDub。
[0003]视频前景对象的分割是视频编辑中一个重要且基础的问题，近些年来得到了广泛的研究。由于视频中背景的复杂程度和前景的运动具有任意性，因此没有一种方法可以自动地分割出所有类型的视频中的前景对象。交互式的视频前景对象分割，即用户给定少量的交互信息，算法通过这些信息自动地分割出前景对象，并且给用户及时的反馈，用户根据反馈信息再进行优化。交互式的视频前景对象分割方法中，用户交互的复杂性、算法响应快慢以及分割效果是评价一个交互式方法的准则。
[0004]目前已有的较为著名的交互式视频分割方法有BaiXue等人在2009年提出的“Video Snapcut，，以及 Zhong Fan 等人在 2012 年提出的 “Discontinuity-Aware VideoObject Cutout”等。“Video Snapcut”方法采用了基于多种特征的局部分类器,用户首先对关键帧进行交互式分割，该方法可以根据关键帧在前景边界上的特征自动地将分割结果传播到后续帧。但是该方法一般只能在较短的时间间隔内有比较好的效果，当场景的前景和背景颜色比较相似，前景对象的边界发生拓扑变化以及前景对象发生快速运动时，基于传播的方法很难得到较好的结果，因此需要较多的用户交互对每帧的结果进行修正。
[0005]该领域目前国内相关专利有:一种用于视频对象快速提取的交互方法(申请号201110219610.7)。
【发明内容】
[0006](一)要解决的技术问题
[0007]本发明要解决的技术问题是:如何快速地通过用户的交互信息准确地提取出视频序列中的前景对象。
[0008](二)技术方案
[0009]为解决上述技术问题，本发明提供了一种基于超像素分割的交互式视频前景对象提取方法，包括以下步骤:
[0010]S1:对视频序列的每一帧进行下采样，然后进行基于超像素的预分割；
[0011]S2:对预分割的结果进行基于超像素的视频对象交互式提取的计算；
[0012]S3:将交互式提取计算出的分割结果上采样到原视频分辨率，并对分割结果的边缘进行细化。[0013]进一步，所述基于超像素的预分割包括以下步骤:使用均值漂移算法对每一帧进行预分割，颜色相近的像素聚成一类，形成一个超像素。
[0014]进一步，所述基于超像素的视频对象交互式提取的计算包括如下步骤:根据用户输入的表征前景对象的笔画构建一个三维的图模型，然后使用图割方法计算前景对象区域。
[0015]进一步，当所述用户输入的表征前景对象的笔画长度超过一个设定阈值后才对所述三维的图模型进行更新，并使用图割方法重新计算前景对象区域。
[0016]进一步，对所述分割结果的边缘采用抠图方法进行细化。
[0017](三)有益效果
[0018]本发明对每一帧图像进行预分割，使颜色相近的像素聚成一类，形成一个超像素，同时为了加快计算速度，使用户能够实时看到分割结果，本发明采用了两个策略来加速:一方面通过先对视频序列进行下采样，然后在低分辨率下计算分割结果，然后再上采样到高分辨率下对分割结果进行边缘细化，从而极大地减少计算量。
【专利附图】
【附图说明】
[0019]图1是本发明实施例的一种基于超像素分割的交互式视频前景对象提取方法流程图；
[0020]图2是步骤SI中基于超像素进行预分割后的结果；
[0021]图3是步骤S2中根据用户输入的交互信息计算出的前景结果，其中左图用线框内表示前景对象，右图用白色区域表示前景对象；
[0022]图4是步骤S3对分割边缘进行细化后的分割结果，其中左图用线框内表示前景对象，右图用白色区域表示前景对象。
【具体实施方式】
[0023]下面结合附图和实施例，对本发明的【具体实施方式】作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
[0024]如图1所示，为基于超像素分割的交互式视频前景对象提取方法的一个实施例的处理流程图，包括:
[0025]步骤SI，对视频序列的每一帧进行下采样。每一次下采样即用高斯核对每一帧进行平滑后隔行隔列地取像素，下采样后的图像长和宽均为源图像的二分之一。进行η次下采样后(η=1或2，依据视频的分辨率而定，分辨率越高进行下采样次数越多)，用均值漂移(MeanShift)算法对每一帧进行预分割，图2为预分割出来四帧图像。
[0026]步骤S2，对预分割的图像进行基于超像素的视频对象交互式提取的计算。用户在前景对象区域输入笔画进行前景标记，根据用户输入的表征前景对象的笔画构建一个视频数据的三维图模型，然后使用图割(graphcut)方法计算前景对象区域。本发明的方法能够将求解的结果实时提供给用户，用户如果对分割结果不满意，可以通过简单的笔画标记正确和错误的前景区域。为了提高计算效率，当笔画长度超过一定阈值后才对三维图模型进行更新，并使用图割方法重新计算重构建三维图模型的前景区域，将分割结果返回给用户。图3即为一个视频序列的第I帧和第20帧的交互式提取计算的结果。左边的图使用线框表示前景对象，右边的图用白色的区域表示前景对象。
[0027]步骤S3，将交互计算出的分割结果上采样到原视频分辨率，并对分割结果的边缘进行细化。对于分割结果的边缘采用更精确的抠图(matting)的方法进行细化，使最终的分割结果更加准确。图4选取了与图3相同的两帧的分割结果。从右边的白色区域可以看出，进行边缘细化后的分割结果明显优于图3中的结果，头发等边缘的细节都很好地分割了出来。
[0028]以上实施方式仅用于说明本发明，而并非对本发明的限制，有关【技术领域】的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。
【权利要求】
1.基于超像素分割的交互式视频前景对象提取方法，其特征在于，包括以下步骤: S1:对视频序列的每一帧进行下采样，然后进行基于超像素的预分割； 52:对预分割的结果进行基于超像素的视频对象交互式提取的计算； 53:将交互式提取计算出的分割结果上采样到原视频分辨率，并对分割结果的边缘进行细化。
2.如权利要求1所述的基于超像素分割的交互式视频前景对象提取方法，其特征在于，所述基于超像素的预分割包括以下步骤:使用均值漂移算法对每一帧进行预分割，颜色相近的像素聚成一类，形成一个超像素。
3.如权利要求1所述的基于超像素分割的交互式视频前景对象提取方法，其特征在于，所述基于超像素的视频对象交互式提取的计算包括如下步骤:根据用户输入的表征前景对象的笔画构建一个三维的图模型，然后使用图割方法计算前景对象区域。
4.如权利要求3所述的基于超像素分割的交互式视频前景对象提取方法，其特征在于，当所述用户输入的表征前景对象的笔画长度超过一个设定阈值后才对所述三维的图模型进行更新，并使用图割方法重新计算前景对象区域。
5.如权利要求1所述的基于超像素分割的交互式视频前景对象提取方法，其特征在于，对所述分割结果的边缘采用抠图方法进行细化。
【文档编号】G06T7/00GK103914822SQ201210592951
【公开日】2014年7月9日 申请日期:2012年12月31日 优先权日:2012年12月31日
【发明者】胡事民, 陈韬, 朱哲, 丁蒙, 熊君君 申请人:清华大学, 北京三星通信技术研究有限公司