专利名称：基于视频分层的绘画渲染方法
技术领域：
本发明是涉及一种基于视频分层的绘画渲染方法，具体涉及一种基于勾画的视频 分层以及风格化绘画渲染方法。
背景技术：
随着计算机技术的发展，多媒体以及数字娱乐受到大众越来越多的青睐，而计算 机风格化渲染技术也逐渐成为研究热点。视频作为一种常见的多媒体形式，具有信息量大、 表现力强等优点，因此视频的风格化渲染受到广泛的重视。单幅图像的风格化绘画渲染已 经有了成熟的方法，但如果简单的采用单幅图像的渲染方法去绘制视频的每一帧，会造成 严重的视觉闪烁。因此，如何减少视频闪烁，提高帧间连续性是视频风格化绘制的关键。基 于视频分层的风格化绘制方法有效的解决了视频闪烁的问题，它通过在视频不同的分层上 布置笔刷进行绘制，从而取得一致的渲染效果，有效的增加了帧间连续性。传统的计算机视觉中的分层技术对于视频场景中的运动模型有严格的约束限制， 通常处理简单的如仿射、投影等运动，而对于日常生活中的复杂的运动缺乏有效的处理，而 基于勾画的分层方法不受具体运动的影响，能够处理更多类型的视频。传统的视频风格化绘制通常直接在每一帧上布置笔刷，缺少笔刷的连续过度，从 而产生严重的视觉闪烁。基于视频分层的绘制方法，则是将笔刷在分层上根据其相应的运 动进行布置，使得笔刷参数能够适应于视频场景内物体的运动变换，生成一致的绘制效果， 减少视频闪烁。传统的计算机视觉领域的视频分层对于运动模型有严格的约束，因此不太适合一 般的风格化绘制处理的视频。为了处理更多的视频，需要对运动约束进行必要的放宽，而这 通常需要添加额外的一些用户交互指导分层。传统的视频风格化绘制往往直接在每一帧上布置笔刷，使得相邻帧之间缺乏必要 的过渡。这样在不同帧绘制视频场景中的同一物体时可能使用不同的笔刷参数，造成视觉 上的强烈变化，引起视频闪烁。另外，传统的视频绘制在同一帧上使用统一的笔刷模型参 数，缺乏针对内容的笔刷变化。为了艺术性的绘制视频场景，应该根据视频场景包含的具体 内容进行笔刷布置，进行多风格的绘制渲染。
发明内容
本发明的目的在于提供一种适合于风格化绘制的基于视频分层的绘画渲染方法， 并且在获取准确的分层后，能够在不同的分层上传播笔刷参数、布置相应的笔刷进行绘制， 生成帧间连续性更优的风格化绘画渲染视频。为达到上述目的，本发明采用的技术方案是1)根据输入的视频选取关键帧，用户交互的在关键帧的不同区域进行勾画，并指 定视频场景的层数以及各个分层上的种子区域；2)利用基于勾画的分层方法，借助光流将关键帧上的种子区域依次传播到其余各帧，采用高斯混合模型对传播的种子区域进行可靠性分析，保留可靠性高的区域作为该帧 用来视频分层的种子区域；3)根据各帧上获得的种子区域，利用图割优化方法对每一帧进行分层，进而在各 帧之间得到一致的分层区域及位于前景层的笔刷布置；4)在获得关键帧上位于前景层的笔刷布置后，根据相邻帧对应层的薄板样条变换 进行传递，生成所有视频序列的前景的渲染结果；5)将背景层通过变换拼接为全景图，在全景图上进行笔刷布置并绘制全景图，然 后利用逆变换反求每一帧背景层的渲染结果；6)在每一帧上依次将绘制的背景层和前景层进行融合，得到整个视频的风格化绘 画渲染结果。其具体步骤如下步骤1 根据给定输入的视频，选取视频序列中包含视频场景中的颜色以及出现 的物体最多的做为关键帧，如果视频序列太长，则将视频序列分解为几个片段，每一个片段 选取各自的关键帧；步骤2 在关键帧上采用勾画方式指定分层的种子区域根据关键帧包含物体的 颜色、运动信息，在关键帧相对应的区域进行勾画，通过勾画的不同的灰度值指定分层索
引，从而获得关键帧上分层的种子区域 《1.
9对于灰度值为c的勾画，其覆盖区域作为c/40分层的种子区域，对于每一个勾画， 利用高斯混合模型分别计算各个区域的颜色分布
MPr(c|/) = ^^|7W)
；=1其中P(j)是对应于每个分枝的权因子，取为1/3，p(c|j)是高斯混合模型中每个 分枝的概率
,丨.、1J-(i-Mj)T^l(i-Mj)P(C\J) = ^-T^P2
2水I2ξ是RGB三个通道的颜色值，μ是每个勾画的颜色均值，Σ是协方差矩阵，π是
圆周率常值；步骤3 采用对偶基方法计算相邻两帧之间的光流场对于每一帧上的每个像素 Pi，对应一个光流向量Vi.对于带有噪音的视频，在得到光流场后，采用高斯滤波对光流场 进行光顺处理，获得更加稳定的光流场；步骤4 在视频序列之间传播勾画对于每一个勾画，计算一组窗口 {WJ将勾画的 边界覆盖，同时使得相邻的窗口彼此相互覆盖，对每个窗口 Wi计算其内部的平均光流向量 Vx，做为该点处勾画位移向量，那么在下一帧，勾画将传播至X +巧处；步骤5 计算传播过程中种子区域的可信度对于每个勾画&中每个像素i，其可 信度定义为RGB颜色相对于前一阵对应勾画的分布概率，即Pr (i)，如果Pr (i)小于0. 2，认 为该像素可信度比较低，不再适合做该层的种子，利用可信度对勾画进行修正，通过优化下 面的能量函数进行操作[式1]
6
E(I) = YjRi(Ii)^ Σ V-(IpJq)
i<p,q>GN其中λ是权因子，控制可信区域的大小，取值为0. 3 ；Ri (Ii)是高斯混合模型定义 的颜色概率，具体定义为Ri(Ii) = -In(Pr(Ci)Ii))prC I =卢巧)h ξ Mj)
吨I2V<p,q>高斯是定义相邻像素的光滑性，使得勾画仍然能够保持相对的紧凑完整性V<P,q>Qp Jq)= 1 + |c _c J \lp ~lqI其中C是像素的颜色，Ip是像素所在的层数，式[1]采用图割算法进行有效优化求 解，将可信度低于30%的区域的勾画一分为二，保留可信度高的部分区域做为该分层上的 种子区域，进而得到满足分层要求的种子区域；步骤6 对每一帧上根据勾画的种子区域进行分层分层的结果是将每一帧分割 为互不相交的平面区域，每一块平面区域具有和种子区域相近的颜色、运动，这里颜色的相 近性采用式[1]中高斯混合模型定义的颜色概率描述，运动的相似性则采用位移后对应像 素的颜色差异来描述，具体的运动差异定义为
M!(/!) = arctan(|/i(/)-/i+1(/')|2
其中τ是常值取值60，了增加相邻两帧分层的一致性，定义如下的时间一致性能
1,2 \ π -r + — ‘2
量
fl, I1 ^ /, 警0，其它
综合考虑以上因素，在每一帧上计算分层通过优化如下能量函数得到 [式2]
i<p,q>GN
其中权因子λ取值0.3，数衡量了将每个像素赋予某一层时的能量，通过极小化 该能量函数可以得到分层的视频，将视频的每一帧依次表示为不同分层区域的组合；步骤7 对于视频的前景层，首先在关键帧的每一个前景层上采用各向异性的模 型布置笔刷，进而生成风格化绘制的前景层；步骤8 为了使得绘制视频各帧的每个分层时尽可能一致的布置笔刷，将关键帧 上的笔刷逐帧的传播到其余各帧。为了尽可能光滑的传递笔刷，采用薄板样条函数定义的 如下变换来进行笔刷的传递[式3]T(x, y) = (f^x, y), f2(x, y))f(x,y) = c0+clx + c2y + Yjwi'￥{\\(x,y)-(xt ,只)11)
!=1
其中Ψ(1·) =r2logr2是核函数，薄板样条系数可以通过求解下面的线性方程组得
其中Kij = Ψ ( Il (xi; Yi)-(Xj, Yj) Il )，Pt 的第 i 列为(1，Xi, Yi)T, pk+1 是该帧上对 应特征点。通过前景层的笔刷传播，可以生成视频序列所有前景的风格化绘制；步骤9 将视频序列所有的背景层在同一个坐标系下拼接成一个全景图为了得 到精确的全景图重构，需要计算视频序列各帧之间位于每个分层上的对应特征点，假设位 于第k帧1层上的特征点为{乂}，与之对应的第k+Ι帧上的特征点为{乂+1}，那么寻找最优的 变换Hk使得变换后的特征点误差最小，从而得到精确的全景图重构，变换Hk通过下面优化 函数求解 在对于每一帧的背景层求解得变换后，可以将所有的背景层在同一个坐标系下拼 接生成全景图；步骤10 对于拼接得到的背景层的全景图，采用各向异性的模型布置笔刷，进而 生成风格化绘制的背景层，然后，利用拼接变换的逆变换^^—1，将风格化绘制后的全景图中 相应的部分映射回每一帧，从而得到每一帧上具有绘画风格的背景；步骤11 对于视频序列中的每一帧，按照从后往前的顺序将绘制后的各个分层融 合起来，生成最终的风格化绘制的视频序列，即
这里P对应第i帧第r分层，< 是融合系数，根据各个分层相应的面积比例计算。本发明针对现有技术中所存在的问题首先从视频的运动模型出发提出一种基于 勾画的视频分层方法；然后提出了针对不同分层的笔刷布置方法；最后在绘制时，本发明 提出一种不同分层之间的融合方法，从而能够生成更加连续的绘画风格化视频序列。该方 法首先根据频场景中包含的运动模型，将关键帧采用勾画指定的一些种子区域在各帧之间 进行传播。然后根据前一帧的种子区域颜色分布计算下一帧上勾画种子区域的可靠性，获 得更加准确的种子区域。利用图割优化算法(Boykov Y，Veksler 0，Zabih R(2001)Fast approximate energy minimization via graph cuts. IEEE Transactions on Pattern Analysis and Machine Intelligence 2001, pp 509-522.)对每一帧进行分层，获得视频 序列的分层表示，将视频表示成一个背景层的全景图以及若干前景层。最后分别在背景层 的全景图以及前景层上布置笔刷进行绘制渲染，通过图像融合将渲染后的各个分层混合生 成最终的具有绘画风格的视频。
图1是本发明基于视频分层的绘画渲染算法的流程图；图2是显示勾画在每一帧的传播方式；图3是每一帧上勾画可信度的计算以及采用可信度高的区域做为种子区域的分
层结果；图4显示基于勾画的视频分层结果。图5显示采用本发明创作出的风格化绘制视频的若干帧。C
具体实施例方式
下面将根据附图对本发明进行详细说明。图1是本发明的流程图。如图一所示，本发明主要分为12个步骤步骤1 给定输入的视频，选取视频序列中某一帧做为关键帧。该帧需要尽可能多 的包含视频场景中的颜色以及出现的物体。如果视频序列太长，需要将视频序列分解为几 个片段，每一个片段选取各自的关键帧。步骤2 在关键帧上采用勾画方式指定分层的种子区域。根据关键帧包含物体的 颜色、运动等信息，在相应的区域进行勾画，通过勾画的不同的灰度值指定分层索引，从而
获得关键帧上分层的种子区域；对于灰度值为c的勾画，其覆盖区域作为c/40分层的种子区域，对于每一个勾画， 利用高斯混合模型分别计算各个区域的颜色分布
M 其中P(j)是对应于每个分枝的权因子，取为1/3，p(c|j)是高斯混合模型中每个 分枝的概率
,丨.、1-Ui-Mjf Σ (ξ-Mj) ξ是RGB三个通道的颜色值，μ是每个勾画的颜色均值，Σ是协方差矩阵，π是
圆周率常值；步骤3 采用对偶基方法(Zach C, Pock T, Bischof H(2007)A dual based approach for realtime TV-Ll optical flow. Proceedings of the 29th DAGMSymposium on Pattern Recognition 2007.)计算相邻两帧之间的光流场。对于每一帧上的每个像素 Pi，对应一个光流向量Vi.对于带有噪音的视频，在得到光流场后，采用高斯滤波对光流场 进行光顺处理，获得更加稳定的光流场。步骤4 在视频序列之间传播勾画。对于每一个勾画，计算一组窗口 {WJ将勾画的 边界覆盖，同时使得相邻的窗口彼此相互覆盖(如图2所示)。对每个窗口 Wi计算其内部 的平均光流向量巧，做为该点处勾画位移向量，那么在下一帧，勾画将传播至x + l处。步骤5 计算传播过程中种子区域的可信度。由于光流计算有时候不稳定，简单的 将传播过来的勾画做为种子区域会产生错误的分层结果，如图3所示。因此，在对勾画传播 后，应该对其在该帧上的可信度进行评估，保留可信度高的区域做为种子区域分层。对于每个勾画《中每个像素i，其可信度定义为RGB颜色相对于前一阵对应勾画 的分布概率，即Pr(i)。如果Pr(i)小于0.2，认为该像素可信度比较低，不再适合做该层的 种子。利用可信度对勾画进行修正，可以通过优化下面的能量函数进行操作[式1] 其中λ是权因子，控制可信区域的大小，取值为0. 3 ；Ri (Ii)是高斯混合模型定义的颜色概率，具体定义为Ri(Ii) = -In(Pr(Ci)Ii))prC I=卢巧)、μ >
吨I2V<p,q>高斯是定义相邻像素的光滑性，使得勾画仍然能够保持相对的紧凑完整性V<P,q>(lp Jq) = 1 + |c _c J \lp ~hI其中C是像素的颜色，15是像素所在的层数，式[1]可以采用图割算法GBoykov Y， Veksler 0， Zabih R(2001)Fast approximate energy minimization via graph cuts. IEEE Transactions on Pattern Analysis and Machine Intelligence 2001，pp 509-522.)进行有效优化求解，将可信度低于30%的区域的勾画一分为二，保留可信度高 (大于70% )的部分区域做为该分层上的种子区域，进而得到满足分层要求的种子区域 (如图3所示)。步骤6 对每一帧上根据勾画的种子区域进行分层。分层的结果是将每一帧分割 为互不相交的平面区域，每一块平面区域具有和种子区域相近的颜色、运动等。这里颜色的 相近性采用式[1]中高斯混合模型定义的颜色概率描述，运动的相似性则采用位移后对应 像素的颜色差异来描述，具体的运动差异可以定义为
M!(/!) = arctan(|/i(/)-/i+1(/')|2-
\ π r + — ‘2
其中τ是常值，在本方法中取值60。为了增加相邻两帧分层的一致性，定义如下 項文性能量
的时间-综合考虑以上因素，在每一帧上计算分层可以通过优化如下能量函数得到[式2]E{1) = YXR从)+Μ从)+ T1(I1)) + λ Σ V<M>{lp,lq)
i<p,q>GN其中权因子λ取值0.3。该函数衡量了将每个像素赋予某一层时的能量，通过极 小化该能量函数可以得到分层的视频，将视频的每一帧依次表示为不同分层区域的组合。 通常这些分层包含一个背景层和若干前景物体层背景层上包含的运动主要是摄像机的平 移、选择等产生的，其运动模型相对简单；前景物体层的运动则比较复杂。图4显示了对于 某一视频序列分层的结果，其中不同灰度值区域代表不同的分层。步骤7 对于视频的前景层，首先在关键帧的每一个前景层上采用各向异性的模 型(Huang H, Fu T N, Li C F(2010)Anisotropic brush for painterly rendering. In Computer Graphics International 2010.)布置笔刷，进而生成风格化绘制的前景层。步骤8 为了使得绘制视频各帧的每个分层时尽可能一致的布置笔刷，将关键帧 上的笔刷逐帧的传播到其余各帧。为了尽可能光滑的传递笔刷，采用薄板样条函数定义的 如下变换来进行笔刷的传递
10
T(x, y) = (f^x, y), f2(x, y))
ηf (x, y) = C0+c}x + c2y+ YjWix^ (\\(x,y)~ (Xi^yi)W)
i=l
其中Ψ(1·) =r2logr2是核函数，薄板样条系数可以通过求解下面的线性方程组得
_—_ _—_
5 6 9 9
δ到
(K PVw^
M | = | P
)Γ“ 1」
P1 0
vcy
0其中Kij= Ψ (II (xi yi)-(xJ, Yj) 11)，^的第土列为(1，Xi，yi)T，，χ，y 是像素的 几何坐标，pk+1是该帧上对应特征点。通过前景层的笔刷传播，可以生成视频序列所有前景 的风格化绘制。步骤9 将视频序列所有的背景层在同一个坐标系下拼接成一个全景图。为了得 到精确的全景图重构，需要计算视频序列各帧之间位于每个分层上的对应特征点。假设位 于第k帧1层上的特征点为{乂}，与之对应的第k+Ι帧上的特征点为{乂+1}，那么寻找最优的 变换Hk使得变换后的特征点误差最小，从而得到精确的全景图重构。变换Hk通过下面优化 函数求解Hk = arg min ^ \p" _ T. ρ\+λ『
τ 1在对于每一帧的背景层求解得变换后，可以将所有的背景层在同一个坐标系下拼 接生成全景图。步骤10 对于拼接得到的背景层的全景图，采用各向异性的模型(Huang H，Fu T N，Li C F(2010)Anisotropic brush for painterly rendering. In :Computer Graphics International 2010.)布置笔刷，进而生成风格化绘制的背景层。然后，利用拼接变换的逆 变换Ht1，将风格化绘制后的全景图中相应的部分映射回每一帧，从而得到每一帧上具有绘 画风格的背景。步骤11 对于视频序列中的每一帧，按照从后往前的顺序将绘制后的各个分层融 合起来，生成最终的风格化绘制的视频序列，即，这里V对应第i帧第r分层，< 是融合系数，根据各个分层相应的面积比例计算。图5是风格化绘制的视频中的几帧，显示了采用视频分层的风格化绘制效果。可 以看出，本发明可以生成具有特定艺术效果的绘画风格的视频。如上所述，本发明提出了一种基于视频分层的绘画渲染方法，它借助于计算机视 觉中的视频分层，获得视频序列的层次表示，然后通过在各个分层上布置笔刷绘制，有效减 少视觉闪烁，提高帧间连续性，生成更具艺术效果的风格化绘制视频。尽管已经参考附图对本发明进行了解释和描述，专业技术人员应该理解，在不脱 离本发明精神和范围的情况下，可以在其中或对其进行各种其他改变，增删。
权利要求
一种基于视频分层的绘画渲染方法，其特征在于包含以下步骤1)根据输入的视频选取关键帧，用户交互的在关键帧的不同区域进行勾画，并指定视频场景的层数以及各个分层上的种子区域；2)利用基于勾画的分层方法，借助光流将关键帧上的种子区域依次传播到其余各帧，采用高斯混合模型对传播的种子区域进行可靠性分析，保留可靠性高的区域作为该帧用来视频分层的种子区域；3)根据各帧上获得的种子区域，利用图割优化方法对每一帧进行分层，进而在各帧之间得到一致的分层区域及位于前景层的笔刷布置；4)在获得关键帧上位于前景层的笔刷布置后，根据相邻帧对应层的薄板样条变换进行传递，生成所有视频序列的前景的渲染结果；5)将背景层通过变换拼接为全景图，在全景图上进行笔刷布置并绘制全景图，然后利用逆变换反求每一帧背景层的渲染结果；6)在每一帧上依次将绘制的背景层和前景层进行融合，得到整个视频的风格化绘画渲染结果。
2.如权利要求1所述的基于视频分层的绘画渲染方法，其具体步骤如下步骤1 根据给定输入的视频，选取视频序列中包含视频场景中的颜色以及出现的物 体最多的做为关键帧，如果视频序列太长，则将视频序列分解为几个片段，每一个片段选取 各自的关键帧；步骤2 在关键帧上采用勾画方式指定分层的种子区域根据关键帧包含物体的颜色、 运动信息，在关键帧相对应的区域进行勾画，通过勾画的不同的灰度值指定分层索引，从而获得关键帧上分层的种子区域 《1.9对于灰度值为c的勾画，其覆盖区域作为c/40分层的种子区域，对于每一个勾画，利用 高斯混合模型分别计算各个区域的颜色分布MPr(c I/) = I 力户⑴；=1其中p(j)是对应于每个分枝的权因子，取为1/3，p(c|j)是高斯混合模型中每个分枝 的概率p(p I J) =-FexP2 疋ξ是RGB三个通道的颜色值，μ是每个勾画的颜色均值，Σ是协方差矩阵，π是圆周率常值；步骤3 采用对偶基方法计算相邻两帧之间的光流场对于每一帧上的每个像素Pi，对 应一个光流向量Vi.对于带有噪音的视频，在得到光流场后，采用高斯滤波对光流场进行光 顺处理，获得更加稳定的光流场；步骤4:在视频序列之间传播勾画对于每一个勾画，计算一组窗口 {WJ将勾画的边界 覆盖，同时使得相邻的窗口彼此相互覆盖，对每个窗口 Wi计算其内部的平均光流向量巧，做 为该点处勾画位移向量，那么在下一帧，勾画将传播至x + l处；步骤5 计算传播过程中种子区域的可信度对于每个勾画《中每个像素i，其可信度定义为RGB颜色相对于前一阵对应勾画的分布概率，即Pr (i)，如果Pr (i)小于0. 2，认为该 像素可信度比较低，不再适合做该层的种子，利用可信度对勾画进行修正，通过优化下面的 能量函数进行操作 [式1]E(I) = YjRXI1^X Σ KmMMi<p,q>GN其中λ是权因子，控制可信区域的大小，取值为0.3 Ai(Ii)是高斯混合模型定义的颜 色概率，具体定义为Ri(Ii) = -In (Pr (Gi I Ii))Pr(CJZi)= 1 iexp—^^啡喝)2HWv<p,q>高斯是定义相邻像素的光滑性，使得勾画仍然能够保持相对的紧凑完整性其中c是像素的颜色，Ip是像素所在的层数，式[ι]采用图割算法进行有效优化求解， 将可信度低于30%的区域的勾画一分为二，保留可信度高的部分区域做为该分层上的种子 区域，进而得到满足分层要求的种子区域；步骤6 对每一帧上根据勾画的种子区域进行分层分层的结果是将每一帧分割为互 不相交的平面区域，每一块平面区域具有和种子区域相近的颜色、运动，这里颜色的相近性 采用式[1]中高斯混合模型定义的颜色概率描述，运动的相似性则采用位移后对应像素的 颜色差异来描述，具体的运动差异定义为 M!(/!) = arctan(||/i(/)-/i+1(/')||2-r) + |其中τ是常值取值60，了增加相邻两帧分层的一致性，定义如下的时间一致性能量fl, I1 ^ Iv 其它综合考虑以上因素，在每一帧上计算分层通过优化如下能量函数得到 [式2]Ei^YXRXiyrMX^T从))+ λ ^ V<M>(lpJq)i<p,q>GN其中权因子λ取值0.3，数衡量了将每个像素赋予某一层时的能量，通过极小化该能 量函数可以得到分层的视频，将视频的每一帧依次表示为不同分层区域的组合；步骤7 对于视频的前景层，首先在关键帧的每一个前景层上采用各向异性的模型布 置笔刷，进而生成风格化绘制的前景层；步骤8 为了使得绘制视频各帧的每个分层时尽可能一致的布置笔刷，将关键帧上的 笔刷逐帧的传播到其余各帧。为了尽可能光滑的传递笔刷，采用薄板样条函数定义的如下 变换来进行笔刷的传递 [式3]T(x,y) = (fi (x,y), f2(x,y))3f(x,y) = c0+clx + c2y + Y4Wix￥(\\(x,y)-(X1 ,只)11)i=l其中ψ (r) = r2logr2是核函数，薄板样条系数可以通过求解下面的线性方程组得到(Kpk+l^,ojm O y其中 Kij = Ψ ( Il (xi; Yi) "(Xj, Yj) Il )，Pt 的第 i 列为(1，Xi, Yi)T, pk+1 是该帧上对应特 征点。通过前景层的笔刷传播，可以生成视频序列所有前景的风格化绘制；步骤9 将视频序列所有的背景层在同一个坐标系下拼接成一个全景图为了得到精 确的全景图重构，需要计算视频序列各帧之间位于每个分层上的对应特征点，假设位于第k 帧1层上的特征点为{乂}，与之对应的第k+Ι帧上的特征点为{尸广}，那么寻找最优的变换Hk 使得变换后的特征点误差最小，从而得到精确的全景图重构，变换Hk通过下面优化函数求 解A=argminz||w-r./r『τ ι在对于每一帧的背景层求解得变换后，可以将所有的背景层在同一个坐标系下拼接生 成全景图；步骤10 对于拼接得到的背景层的全景图，采用各向异性的模型布置笔刷，进而生成 风格化绘制的背景层，然后，利用拼接变换的逆变换Ht1，将风格化绘制后的全景图中相应 的部分映射回每一帧，从而得到每一帧上具有绘画风格的背景；步骤11 对于视频序列中的每一帧，按照从后往前的顺序将绘制后的各个分层融合起 来，生成最终的风格化绘制的视频序列，即，这里斤对应第i帧第r分层，<是融 合系数，根据各个分层相应的面积比例计算。
全文摘要
本发明提供了一种基于视频分层的绘画渲染方法。该方法借助计算机视觉领域的视频分层方法，将输入的视频序列根据颜色、运动等参数分解为相应的分层表示，然后在对每一分层上进行风格化绘画渲染。与传统的直接在视频每一帧上布置绘画笔刷不同，本发明提出一种新的在分层上布置相应的绘制笔刷的方法，能够根据每个分层对应的颜色、运动等参数在整个视频序列进行笔刷的优化传播布置，从而可以大大降低视频闪烁，生成帧间连续性更优的风格化的绘画视频。同时，通过在不同分层上布置预设风格的笔刷，本发明可以方便的生成具有多种绘画风格的视频，创作出更具艺术效果的风格化渲染结果。
文档编号G06T11/00GK101930614SQ20101025006
公开日2010年12月29日 申请日期2010年8月10日 优先权日2010年8月10日
发明者付田楠, 张磊, 黄华 申请人:西安交通大学