一种基于四面体网格的视频矢量化方法
【技术领域】
[0001] 本发明属于计算机图形学、多媒体信息技术、视频处理等领域，涉及一种基于四面 体网格的视频矢量化方法。
【背景技术】
[0002] 基于矢量的图形内容越来越多的呈现于智能手机、电脑与网络上。而在人们随时 随地获取信息的推动下，各种各样的电子设备层出不穷，例如手机、平板电脑、笔记本电脑 等。这些设备的显示分辨率大小不一，传统视频有着既定的分辨率，在这些设备上显示往往 需要进行有损的缩放操作。而矢量图形则有着分辨率无关的特性，无论如何缩放都是无损 的，很好的解决了这样的问题。
[0003] 另一方面，随着科学技术的高速发展以及信息量的急速膨胀，个人电子设备的存 储越发不能满足人们的需求，人们需要通过不断从网络上获取信息的方式来满足自身的需 求，而矢量图形所具有的数据紧凑性能够很好的满足高效网络通信这一需求。
[0004] 网络素材的广泛需求推动着网络素材的制作，传统的美工制作过程会消耗大量的 人力成本与时间成本，而矢量图形的可编辑性更高，可以节省许多人力成本。
[0005] 在矢量图形的众多优点基础下，其发展趋势不言而喻，网络上已经有大量的由手 工创作的矢量图形，同时图像矢量化方法也得到了一定的发展，出现了基于三角形网格的 图像矢量化方法、基于梯度网格的图像矢量化方法、基于扩散曲线的图像矢量化方法等一 系列方法。
[0006] 然而对于传统的视频来说，单纯依靠手工设计将它们转化为矢量图形并不现实， 并且视频对时空一致性的需求使得图像矢量化的方法并不能很好的应用于视频。因此需要 一种能够自动将视频转化为矢量图形的方法，专利200810102127. 9,彩色光栅图像或视频 的矢量化方法可以对卡通视频进行矢量化，也是一种视频矢量化的方法，但是不能应用于 一般的自然视频。
【发明内容】
[0007] 发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种视频矢 量化方法，从而能够将传统的点阵视频转化为矢量视频。
[0008] 技术方案：本发明公开了一种基于四面体网格的视频矢量化方法，其核心在于计 算出原始输入视频的四面体网格模型并进行简化与优化，包括以下步骤：
[0009] 步骤1，视频过分割：使用视频过分割方法将原始输入视频过分割成为超像素，并 为每一个超像素标记标号，并将此标号赋予所有属于该超像素的像素；
[0010] 步骤2,建立初始四面体网格：将视频的每一个像素作为顶点，建立一个初始四面 体网格，将每个像素的对应颜色以及标号赋予其对应的顶点；
[0011] 步骤3,分割初始四面体网格：对初始四面体网格中四面体进行分割，使得每一个 四面体的四个顶点都具有同样的标号；
[0012] 步骤4,简化初始四面体网格：使用基于边坍缩的四面体简化方法，对初始四面体 网格进行简化细分，得到细分后的控制网格；
[0013] 步骤5,对控制网格进行颜色优化：对原始输入视频进行采样，用采样得到的结果 对控制网格进行颜色优化；
[0014] 步骤6,渲染控制网格：把颜色优化后的控制网格细分至1至3次以适合目标分辨 率，然后进行渲染。
[0015] 其中，步骤1包括以下步骤：
[0016] 步骤1-1，使用视频过分割方法，将原始输入视频分割为若干块（任意自然数）超 像素，原始输入视频的每个超像素都得到一个唯一的标号，将此标号赋予所有属于该超像 素的像素，分割后的超像素包含的每一个像素都拥有原始输入视频的红、绿、蓝颜色属性 (r，g，b)以及新的标号属性L。
[0017] 步骤2包括以下步骤：
[0018] 步骤2-1，根据原始输入视频每一个像素建立一个顶点，顶点属性包括像素的位置 信息（x，y，z)，颜色属性（r，g，b)以及标号属性L;
[0019] 步骤2-2,对于每8个直接相邻的顶点，使用Delaunay(德劳内）四面体化方法（参 考文章DeWall:AfastdivideandconquerDelaunaytriangulationalgorithminEd) 在8个顶点组成的正方体之间建立6个四面体，得到一个初始四面体网格。
[0020] 步骤3包括以下步骤：
[0021] 步骤3-1，检查初始四面体网格中的所有边，如果一条边的两个顶点标号不同，则 在该边中心新增一个顶点，该顶点的标号为该边两个顶点标号的并集；
[0022] 步骤3-2，检查初始四面体网格中的所有三角形，如果一个三角形的三个顶点标 号均不相同，则在三角形中心新增一个顶点，该顶点的标号为该三角形三个顶点标号的并 集；
[0023] 步骤3-3,检查初始四面体网格中的所有四面体，如果一个四面体的四个顶点标号 均不相同，则在该四面体的体中心新增一个顶点，该顶点标号为该四面体四个顶点标号的 并集；
[0024] 步骤3-4，使用LatticeCleaving(晶格切割）算法（参考文章Lattice Cleaving:ConformingTetrahedralMeshesofMultimaterialDomainswithBounded Quality)，根据新增的顶点对四面体网格进行切割产生四面体内部网格边界，得到一个新 的四面体网格。
[0025] 步骤4包括以下步骤：
[0026] 步骤4-1，对于四面体网格中的每一个四面体T，计算其超平面方程系数向量h，具 体过程如下：
[0027] 对于四面体网格中的每一个顶点点V，其坐标表示为四维向量[x，y，z，c]T，其中X、 y、z为该顶点v在原始输入视频中的坐标，c为其颜色值。令四面体的四个顶点分别为四维 向里Vi、V。、V3、V4，四会隹向里V^2V2Vi'VigV3Vi、Vi4V^ ?nCiTOSS(V12，V13，V14) '
[0028] 其中Cross(v12,v13,v14)表示四维向量v12、v13、v14的叉积，其结果n是一个垂直于 V12、V13、V14的四维向量，令n1、n2、n3、n4表示n的四个元素，即n=[n1，n2,n3,nJ。
[0029] 令d=-Dot(n,Vi)，其中Dot(n,v)表示n与乂丨的点积。
[0030] 则四面体T的超平面方程系数向量h= [ni，n2,n3,n4,d]，即四面体T所在超平面 n1x+n2y+n3z+n4c+d=0〇
[0031] 步骤4-2,对于四面体网格中的每一个顶点v，将其表示为齐次坐标形式v= [X，y,z,c, 1]T，计算其Q矩阵及其二次误差A(v):
[0032] Q=heH(v)hh，
[0033] A(v) =EhGH(v) (hTv)2=vtQv,
[0034] 其中H(v)为顶点v所连接的所有四面体的集合；
[0035] 步骤4-3，计算四面体网格中每一条边eij的坍缩最优位置v#与坍缩代价 Cost(\)，坍缩最优位置/通过求解以下优化方程得出：
[0037] 其中％与Q」分别为边eu两个顶点v占v」的Q矩阵，令：
[0039] 其中qn~q55均为Qu的元素，令：
[0042] 则坍缩最优位置/=A^
[0043] i丹缩代价Cost(ey计算如下：
[0044] Cost(eiJ) =v*T (Qj+Qj)v*；
[0045] 步骤4-4,为保持因步骤3-4中对四面体进行切割而产生的内部网格边界，将一端 在内部网格边界另一端不在内部网格边界上的边排除在外，对剩余所有的边依照其坍缩代 价Cost进行排序，对坍缩代价Cost最小的边进行坍缩操作，将坍缩成的顶点设置到其最 优位置上/，合并的两个顶点的拓扑连接，重复进行本步骤，直至剩余顶点数达到预先 设定数量（任意自然数）或者没有符合条件的边可供坍缩为止，从而得到坍缩后的控制网 格；
[0046] 步骤4-5,对i丹缩后的控制网格进行细分（参考文章Anewsolidsubdivision schemebasedonboxsplines)，然后通过求解以下优化方程，对控制网格进行优化：
[0047]minvE(v) =EF (v) + 入EL (v)，
[0050] 其中EF(v)与分别为误差能量项与拉普拉斯能量项，参数A(任意实数）用 以调节它们之间的权重，在EF (v)的定义中，vk为控制网格细分后的顶点，4为vk在初始网 格上的投影，4在初始网格上，vk在细分后的控制网格上4是vk的优化目标。这里是使用 控制网格的细分网格把控制网格优化得更相似于初始网格，被优化的是控制网格。Ns为控 制网格细分后的顶点数目，k取值1~Ns，ak表示控制网格中的顶点与细分网格中的顶点 的线性组合关系，在Ejv)的定义中，Vi为控制网格的顶点，巧为Vi的拉普拉斯坐标，N。为 控制网格的顶点数目，
表示求解使得E(v)最小的V，该优化问题可以通过最小二 乘法求解。。
[0051] 步骤5包括：使用细分后的控制网格对原始输入视频进行采样，求解以下优化方 程以优化控制网格的顶点颜色：
[0052] 其中，
：表示求解使得E(c)最小的颜色值c，ck为控制网格细分后的顶点 颜色，|| * ||i:表示2范数的平方，即欧氏距离的平方，为Ck在原始输入视频上采样的颜 色，该优化问题可以通过最小二乘法求解。
[0053] 步骤6包括：将颜色优化后的控制