专利名称：一种交互式立体视频关键帧的制作方法及制作装置的制作方法
技术领域：
本发明涉及计算机图像处理技术领域，特别涉及一种交互式立体视频关键帧的制作方法及一种交互式立体视频关键帧的制作装置。
背景技术：
立体视频作为当前影视作品的一种重要表现形式，被广泛认为是影视行业的未来主要发展方向。立体视频的显示效果层次分明、色彩鲜艳，具有很强的视觉冲击力，给观众留下深刻的印象。此外，立体视频的显示效果更具真实感，场景与人物栩栩如生，给观众强烈的身临其境的感觉，具有很高的艺术欣赏价值。正因为立体视频具有这些平面视频所不具备的特点，所以在诸如终端显示、机器人导航、航空航天、军事训练、医疗教育、游戏传媒等领域具有广阔的市场前景和商业价值。立体视频作为视觉信息的一种重要的表示方式，特别涉及计算机视觉、图像视频处理、模式识别等领域。长期以来，立体视频的制作方式可以分为三种第一种方式是直接使用立体摄像机进行拍摄。这种方式需要采用专业的立体视频拍摄设备及完整的后期处理流水线，成本高昂。与此同时，立体摄像机拍摄时需要在不同视角间进行匹配校准，对拍摄环境及摄像机运动都有着一定的限制，这些都在很大程度上制约了采用立体摄像机直接拍摄这种方式的普及。第二种方式是利用三维建模软件制作立体视频，这种方式可以生成基于任意场景的立体视频，但是需要专业人员花费大量精力对场景、对象进行建模，其经济成本和时间成本令人望而却步。第三种方式是利用平面视频立体化技术，直接将平面视频转换为立体视频。这种方式的成本比前两种方式低很多，而且可以将任何一组现有的平面视频转换为对应的立体视频。考虑到现有平面视频的大量资源，如能将其转换为立体视频，不仅可以获得更好的观赏体验，还可以推进以立体电视、立体影院为代表的立体显示技术的推广普及。当前基于人机交 互的平面视频立体化技术可分为关键帧制作、非关键帧扩散和基于深度图的渲染三个阶段。在关键帧制作阶段中，通过引入人工操作生成高精度的关键帧深度图。在非关键帧制作阶段中，利用深度传播算法将关键帧的深度图扩散到非关键帧，得到整个平面视频序列的深度图。在基于深度图的渲染阶段中，根据平面视频序列及其对应的深度图，采用基于深度图的渲染算法(DIBR算法)，生成对应的立体视频。在平面视频立体化技术的三个阶段中，关键帧制作是第一个也是最重要的一个阶段，只有在关键帧深度图精度较高的情况下，才能够扩散生成高精度的非关键帧深度图，进而得到高质量的立体视频。关键帧制作可以分为图像分割和深度赋值两个阶段。传统的图像分割方法将图像进行0-1 二值分割，即图像中的像素点只能属于前景或属于背景。然而，这类方法得到的分割结果边缘较为生硬，特别是当图像中存在物体前后遮挡或存在较细小的毛发边缘等情况时，分割边缘出现错误的现象更为明显。分割结果的不准确直接导致深度赋值的不准确，影响了关键帧深度图的质量，并最终导致生成的立体视频中存在物体边缘抖动等明显瑕疵。这些瑕疵会引起立体视频观看者的不适感，在一定程度上限制了平面视频立体化技术的推
广普及。
发明内容
本发明的目的旨在至少解决上述的技术缺陷之一。为此，本发明的一个目的在于提出一种交互式立体视频关键帧的制作方法，该制作方法降低了立体视频的制作成本，提高了立体视频关键帧制作的速度和精度，消除了传统制作方式引起的边缘抖动现象及观看者的不适感，提高了平面视频立体化转换的效率。本发明的另一个目的在于提出一种交互式立体视频关键帧的制作装置。为达到上述目的，本发明的一方面实施例提出了一种交互式立体视频关键帧的制作方法，包括如下步骤Si，获取图片序列并选定所述图片序列中的关键帧，以及对所述关键帧进行图像去噪后调用κ-means聚类算法将图像去噪后的关键帧中相似的像素点合并成区域，记录区域信息；S2，计算每个区域分配权值，并根据所述区域分配权值调用GrpahCut算法对关键帧进行区域分割以获得区域分割结果；S3，根据所述区域分割结果进行图像膨胀操作和图像腐蚀操作以构造关键帧的三分图，并调用贝叶斯抠图算法以获得精
细化分割的结果；S4，根据所述精细化分割的结果构造图像前景区域和图像背景区域并分别进行深度赋值，以及将前景深度图和背景深度图进行融合以获得关键帧深度图进行输出。根据本发明实施例的交互式立体视频关键帧的制作方法，能够逐步求精的进行图像分割操作，快速生成高精度的分割结果，还能够方便的进行前景与背景的深度赋值，得到高质量的关键帧深度图，从而降低了立体视频的制作成本，提高了立体视频关键帧制作的速度和精度，提高了平面视频立体化转换的效率。在本发明的一个实施例中，在所述步骤SI中，还包括采用高斯滤波算法对所述关键帧进行图像去噪。在本发明的一个实施例中，所述区域分配权值包括区域连接权值和区域标记权值，所述区域标记权值包括前景标记权值和背景标记权值。在本发明的一个实施例中，所述步骤S3进一步包括如下步骤读入所述区域分割结果并将其转换为单通道八位标记图像，以及保存至少两份标记图像的副本；在所述至少两份标记图像的副本中的一个副本上进行图像膨胀操作，并在所述至少两份标记图像的副本中的另一个副本上进行图像腐蚀操作；根据图像膨胀操作结果和图像腐蚀操作结果构造关键帧的三分图；将关键帧图像和所述三分图作为输入参数，调用贝叶斯抠图算法以获得精细化分割的结果，其中，所述精细化分割的结果以alpha通道的形式进行保存。在本发明的一个实施例中，在所述步骤S4中，还包括通过绘制的方式或模型的方式进行所述深度赋值，其中，深度赋值模型包括单一深度模型、线性渐变深度模型、球形渐变深度模型。本发明进一步实施例提出的交互式立体视频关键帧的制作装置包括预处理模块，用于获取图片序列并对选定的所述图片序列中的关键帧进行图像去噪，以及通过调用K-means聚类算法将图像去噪后的关键帧中相似的像素点合并成区域，并记录区域信息；区域分割模块，用于计算每个区域分配权值，并根据所述区域分配权值调用GrpahCut算法对关键帧进行区域分割以获得区域分割结果；精细化分割模块，用于根据所述区域分割结果进行图像膨胀操作和图像腐蚀操作以构造关键帧的三分图，并调用贝叶斯抠图算法以获得精细化分割的结果；深度赋值模块，用于根据所述精细化分割的结果构造图像前景区域和图像背景区域并分别进行深度赋值，以及将前景深度图和背景深度图进行融合以获得关键帧深度图进行输出。根据本发明实施例的交互式立体视频关键帧的制作装置，通过区域分割模块和精细化分割模块逐步求精的进行图像分割操作，快速生成高精度的分割结果，还能够方便的进行前景与背景的深度赋值，得到高质量的关键帧深度图，从而降低了立体视频的制作成本，提闻了立体视频关键巾贞制作的速度和精度，进而提闻了平面视频立体化转换的效率。在本发明的一个实施例中，所述预处理模块采用高斯滤波算法对所述关键帧进行图像去噪。在本发明的一个实施例中，所述区域分配权值包括区域连接权值和区域标记权值，所述区域标记权值包括前景标记权值和背景标记权值。在本发明的一个实施例中，所述精细化分割的结果以alpha通道的形式进行保存。在本发明的一个实施例中，所述深度赋值模块通过绘制的方式或模型的方式进行所述深度赋值，其中，深度赋值模型包括单一深度模型、线性渐变深度模型、球形渐变深度模型。本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中图1为根据本发明一个实施例的交互式立体视频关键帧的制作方法的流程图；图2为根据本发明的交互式立体视频关键帧的预处理过程的流程图；图3为根据本发明的交互式立体视频关键帧的区域分割过程的步骤图；图4为根据本发明的交互式立体视频关键帧的精细化分割的步骤图；图5为根据本发明的交互式立体视频关键帧的深度赋值过程的步骤图；图6为根据本发明一个实施例的交互式立体视频关键帧的制作装置的方框图；以及图7为根据本发明的交互式立体视频关键帧的制作装置的技术方案流程框图。
具体实施例方式下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本发明。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。此夕卜，本发明提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的可应用于性和/或其他材料的使用。另外，以下描述的第一特征在第二特征之“上”的结构可以包括第一和第二特征形成为直接接触的实施例，也可以包括另外的特征形成在第一和第二特征之间的实施例，这样第一和第二特征可能不是直接接触。在本发明的描述中，需要说明的是，除非另有规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。参照下面的描述和附图，将清楚本发明的实施例的这些和其他方面。在这些描述和附图中，具体公开了本发明的实施例中的一些特定实施方式，来表示实施本发明的实施例的原理的一些方式，但是应当理解，本发明的实施例的范围不受此限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。下面参照附图对本发明实施例提出的交互式立体视频关键真的制作方法及制作装置进行描述。如图1所示，本发明实施例提出的交互式立体视频关键真的制作方法包括如下步骤 步骤SI，获取图片序列并选定图片序列中的关键帧，以及对关键帧进行图像去噪后调用K-means聚类算法将图像去噪后的关键帧中相似的像素点合并成区域，记录区域信
肩、O在本发明的一个实施例中，在步骤SI中，还包括采用高斯滤波算法对关键帧进行图像去噪。由此，减弱图像噪声对K-means聚类算法的影响。具体地，步骤SI为交互式立体视频关键帧的制作方法中的预处理过程，进一步包括如图2所示步骤步骤S201，获取图片序列。人工选定关键帧，可以选择图像序列中那些存在镜头切换或是物体运动变化中关键动作所处的那一帧作为关键帧。步骤S202，图像去噪。对选定的图片序列的关键帧进行图像去噪以减弱图像噪声对后续算法的影响。在本发明的一个实施例中，采用高斯滤波算法进行图像去噪操作。步骤S203至步骤S205是K-means聚类算法，其作用是把图像中的像素点按照(X，y, r, g, b)五维空间坐标(像素位置坐标和颜色空间坐标)进行聚类，为后续步骤S206的区域生成做铺垫。步骤S203，设置初始聚类中心。在本发明的一个示例中，按照固定的长度和宽度将图像分成若干个矩形方块，计算每个矩形方块中所有像素点的五维空间坐标平均值作为初始聚类中心。若图像的长度/宽度无法被矩形方块的长度/宽度整除，则把相除后的余数作为最后一个矩形方块的长度/宽度。步骤S204，将像素点按照五维空间坐标聚类。对于图像中的任意像素点，计算该点与其搜索范围内的各个聚类中心的五维空间距离，并将其归类于距离最近的聚类中心所属的类别。
五维空间距离的计算公式如下distc-. = ^(Rp-Rsf+(Gp-Gs)+(Bp-Bs)distpos = ^(Xp-XsJ+ (Yp-YsJdistps = ^distlolor+(JiSl2posmin— distP = min (Jislps其中，(Xp, Yp, Rp, Gp, Bp)和(Xs，Ys, Rs, Gs, Bs)分别为像素点p和聚类中心s的五维空间坐标；distMlOT为像素点P与聚类中心s的颜色空间距离；distp()S为像素点P与聚类中心S的位置距离；distps为像素点P与聚类中心S的五维空间距离；min_distp为像素点p与聚类中心s的最小五维空间距离。更新聚类中心的信息，统计每一类别所包括的像素点，计算该类别中五维空间坐标的平均值作为新的聚类中心坐标。步骤S205，判断是否达到聚类结束的条件。首先计算图像中像素点距离聚类中心的最小五维空间距离之和
权利要求
1.一种交互式立体视频关键帧的制作方法，其特征在于，包括如下步骤 Si，获取图片序列并选定所述图片序列中的关键帧，以及对所述关键帧进行图像去噪后调用K-means聚类算法将图像去噪后的关键帧中相似的像素点合并成区域，记录区域信息； S2，计算每个区域分配权值，并根据所述区域分配权值调用GrpahCut算法对关键帧进行区域分割以获得区域分割结果； S3，根据所述区域分割结果进行图像膨胀操作和图像腐蚀操作以构造关键帧的三分图，并调用贝叶斯抠图算法以获得精细化分割的结果； S4，根据所述精细化分割的结果构造图像前景区域和图像背景区域并分别进行深度赋值，以及将前景深度图和背景深度图进行融合以获得关键帧深度图进行输出。
2.如权利要求1所述的交互式立体视频关键帧的制作方法，其特征在于，在所述步骤SI中，还包括 采用高斯滤波算法对所述关键帧进行图像去噪。
3.如权利要求1所述的交互式立体视频关键帧的制作方法，其特征在于，所述区域分配权值包括区域连接权值和区域标记权值，所述区域标记权值包括前景标记权值和背景标记权值。
4.如权利要求1所述的交互式立体视频关键帧的制作方法，其特征在于，所述步骤S3进一步包括如下步骤 读入所述区域分割结果并将其转换为单通道八位标记图像，以及保存至少两份标记图像的副本； 在所述至少两份标记图像的副本中的一个副本上进行图像膨胀操作，并在所述至少两份标记图像的副本中的另一个副本上进行图像腐蚀操作； 根据图像膨胀操作结果和图像腐蚀操作结果构造关键帧的三分图； 将关键帧图像和所述三分图作为输入参数，调用贝叶斯抠图算法以获得精细化分割的结果，其中，所述精细化分割的结果以alpha通道的形式进行保存。
5.如权利要求1所述的交互式立体视频关键帧的制作方法，其特征在于，在所述步骤S4中,还包括 通过绘制的方式或模型的方式进行所述深度赋值，其中，深度赋值模型包括单一深度模型、线性渐变深度模型、球形渐变深度模型。
6.一种交互式立体视频关键帧的制作装置，其特征在于，包括 预处理模块，用于获取图片序列并对选定的所述图片序列中的关键帧进行图像去噪，以及通过调用K-means聚类算法将图像去噪后的关键帧中相似的像素点合并成区域，并记录区域信息； 区域分割模块，用于计算每个区域分配权值，并根据所述区域分配权值调用GrpahCut算法对关键帧进行区域分割以获得区域分割结果； 精细化分割模块，用于根据所述区域分割结果进行图像膨胀操作和图像腐蚀操作以构造关键帧的三分图，并调用贝叶斯抠图算法以获得精细化分割的结果； 深度赋值模块，用于根据所述精细化分割的结果构造图像前景区域和图像背景区域并分别进行深度赋值，以及将前景深度图和背景深度图进行融合以获得关键帧深度图进行输出。
7.如权利要求6所述的交互式立体视频关键帧的制作装置，其特征在于，所述预处理模块采用高斯滤波算法对所述关键帧进行图像去噪。
8.如权利要求6所述的交互式立体视频关键帧的制作装置，其特征在于，所述区域分配权值包括区域连接权值和区域标记权值，所述区域标记权值包括前景标记权值和背景标记权值。
9.如权利要求6所述的交互式立体视频关键帧的制作装置，其特征在于，所述精细化分割的结果以alpha通道的形式进行保存。
10.如权利要求6所述的交互式立体视频关键帧的制作装置，其特征在于，所述深度赋值模块通过绘制的方式或模型的方式进行所述深度赋值，其中，深度赋值模型包括单一深度模型、线性渐变深度模型、球形渐变深度模型。
全文摘要
本发明公开了一种交互式立体视频关键帧的制作方法及制作装置，其制作方法包括如下步骤获取图片序列并选定图片序列中的关键帧，以及对关键帧进行图像去噪后调用K-means聚类算法将关键帧中相似的像素点合并成区域，记录区域信息；计算每个区域分配权值，并根据区域分配权值调用GrpahCut算法对关键帧进行区域分割以获得区域分割结果；根据区域分割结果进行图像膨胀和腐蚀操作以构造关键帧的三分图，并调用贝叶斯抠图算法以获得精细化分割结果；根据精细化分割结果构造图像前景和背景区域并分别进行深度赋值，以及将前景和背景深度图进行融合以获得关键帧深度图进行输出。该制作方法降低了关键帧的制作成本，且制作速度和精度高。
文档编号H04N13/00GK103051915SQ201310013059
公开日2013年4月17日 申请日期2013年1月14日 优先权日2013年1月14日
发明者戴琼海, 李振尧 申请人:清华大学