专利名称：基于异构特征降维的二维角色卡通生成方法
技术领域：
本发明涉及一种基于非负风格分解的风格化二维卡通生成方法，具体涉及一种二维骨骼特征表达式的非负风格分解及其解法以及二维卡通动画的风格化生成方法，属于计算机动画和计算机机器学习的综合领域。
背景技术：
随着关于计算机二维卡通动画和机器学习的研究在工业、娱乐领域内的大量投入应用，基于已有二维卡通角色视频数据重用的二维卡通生成方法逐渐成为了一个重要的、 综合的研究热点。尽管目前关于这个领域的研究还是处于探索未成形的阶段，但是已经产生了一些非常具有参考价值的方法。研究者已经开发了一些二维卡通数据重用的合成方法。比如，发表在2004年会议 SIGGRAPH上的论文《Cartoon textures》所提出的方法是，使用者必须首先提供所需要合成的新的卡通序列中的首帧和尾帧，整个合成的过程通过对已有卡通帧的计算重排获得，用户无法按照自己的需求控制合成的结果。发表在2002年会议SIGGRAPH上的论文《Motion texture :a two-level statistical modelfor character motion synthesis》，石if究者成功地通过重用三维运动数据来获得新的三维卡通运动。以上的方法激发了我们开发一种基于二维角色卡通数据重用的生成方法。目前已经有一些比较成熟的二维和三维动作风格化分解以及迁移的方法，这些方法代表了目前比较流行的风格化生成技术。比如，发表在2000年会议SIGGRAPH上的论文 ((Style machines》，利用隐马尔科夫模型(HMM)来生成高度非线性的某些常规动作，比如该方法以舞蹈动作作为例子，通过生成一系列具有各种差异性风格的舞蹈动作展现了方法的有效性。发表在期刊ACM ToG上的论文《Style translation for human motion》，作者建立了线性时间可变(LTI)模型来描述所输入的各种动作以及输出的动作风格，并提出了迭代式运动扭曲(IMW)算法来对齐不同的动作。前面所述的这些方法，主要是用来针对真实环境下利用三维运动捕获技术所获得的真实三维动作的，不适用于本方法所针对的具有夸张特性的二维卡通动作数据。发表在2002 年会议 SIGGRAPH 上的论文《Turning to the masters motioncapturing cartoons》，提出了一种构建三维真实动作和夸张的卡通风格之间联系的方法；作者通过将关键帧插值技术与仿射变换技术进行结合，将具有非刚性特性的形体变化进行捕获，同时重定向到目标形体上；但是，该项技术依然需要用户自己手工定义若干帧变化形体的关键帧。类似地，发表在2003年会议SCA上的论文《Stylizing motion with drawings》提出了一种将三维捕获数据赋以夸张化的风格生成机制，这种生成机制中包括了骨骼和几何的变换，从而形成三维的动画效果。在最近这些年，利用非负矩阵分解方法结合L-I范式来获得特征表达式的有效分解也得到了研究者的重视，形成了一些比较有代表性的方法。在期刊NeuralComputation
Wifei((Separating style and content with bilinear models〉〉，了一禾中过面部表情数据捕获技术所获取的面部运动，通过双线性模型(BM)分解成动作本体以及动作风格的方法。发表在2009年会议SCA上的论文《Style learning and transferring for facial animation editing》，作者提出了基于限制的高斯过程模型(CBGPM)来学习面部运动的编辑风格。以上针对面部运动风格矩阵分解的方法，都是通过深入研究如光照、 朝向、肤色等变换因素对于风格的影响来进行学习的。发表在2007年会议ICML上的论文 ((Multifactorgaussian process models for style-content separation)) i^iiS 于多模态高斯过程模型(MGPM)来学习三维真实人物模型的周期性运动及其风格；实际上， 这种多模态高斯过程模型，本质上是高斯过程隐变量模型的一种变化形式。发表在2009年会议 SIGGRAPH 上的论文《Face poser !Interactive modeling of 3dfacial expressions using facial priors》，作者提出并详述了基于核函数的非线性分解方法，并将人脸的表情化运动的分解成为动作实体以及表情表征两个互相影响的因素。
发明内容
本发明的目的是为了克服目前风格化生成中基于本体和风格分离的二维卡通合成方法的局限性，提供了一种基于非负风格分解的风格化二维卡通生成方法。基于非负风格分解的风格化二维卡通生成方法的步骤如下1)从某个二维卡通动画人物的二维卡通视频中提取包含卡通人物完整动作的视频段，对视频段经过视频图像技术处理后，利用自定义的关键帧提取方法提取卡通人物的二维卡通关键帧序列，并对二维卡通关键帧序列进行归一化与中心化处理；对经过处理的二维卡通关键帧序列利用自定义的特征提取方法，获得对应的二维骨骼特征表达式；获得几个二维卡通动画人物对应的二维骨骼特征表达式，并对这些二维骨骼特征表达式按照自定义的动作类别进行分类，建立二维卡通人物的动作数据库；2)针对某个二维卡通动画人物的二维骨骼特征表达式，利用自定义的非负风格分解的目标函数及其解法，通过迭代的求取方法来获得该二维骨骼特征表达式对应的风格基向量和隐组件；利用已获得的隐组件，通过二次函数求导的方式，获得对应的保持基于语义理解的降维矩阵；3)按照用户指定需要进行生成二维卡通动作的二维卡通动画人物，从二维卡通动画人物的动作数据库中提取对应的二维骨骼特征表达式，用非负风格分解方法获得对应的隐组件，并与别的二维骨骼特征表达式用非负风格分解方法获得的风格基向量进行重合成，形成异构的二维骨骼特征表达式；用异构的二维骨骼特征表达式按照自定义的特征点驱动方法，通过关键点形变技术来获得某二维卡通动画人物风格化的二维卡通关键帧进而获得基于非负风格分解的风格化二维卡通。所述步骤1)包括从某个二维卡通动画人物的二维卡通视频中，提取包含卡通人物完整动作的视频段v。art，对^^进行傅里叶变化降噪处理，消除背景以及视频噪声对于后面处理的影响；从 Vcart中渲染出来的视频帧，利用Hausdorff距离算法获得卡通视频序列中帧与帧之间的距
离矩阵M。 t = Rnxn，其中η为V。art所渲染出来的帧数量，Mirt表示卡通视频帧中第i帧和第j帧之间的Hausdorff距离，矩阵M。 t中的每一项分别乘以系数1 一 McW来完
f ^cart_max
成Hausdorff距离的归一化处理，其中的d。art _为矩阵M。 t中的最大值，在获得经过归一化的M—之后，按照设定的阈值deart来过滤矩阵中的对角值，分别将得到的MHt > dcart 所对应的第i帧作为关键帧，由此得到二维卡通关键帧序列D^rt, I art ..., GrJ，其中m为关键帧的数量；针对已经获得的二维卡通关键帧序列0iart,Ifart, ...,i^rtl·定义Ai为每一帧关
键帧Ikrt对应的包含有二维卡通动画人物完整轮廓的区域面积，定义常量&，对于二维卡通关键帧序列中的每一帧关键帧gart，经过如下的公式来获得归一化大小至Ca的关键帧Icart = Icart X ~1通过公式1获得经过归一化的关键帧序列Giart,^art,...,I岛rtl·针对序列中的
每一帧关键帧gart，利用Sobel轮廓提取方法获得其对应的Ai中的二维卡通动画人物完整的轮廓边缘，在轮廓边缘随机取样t个点，计算该t个点的几何坐标中心以及该几何坐标中心与图像中心点之间的坐标位移Ay^1JdfAi按照坐标位移进行平移，从而完成Gart的中心化处理，对关键帧依次经过处理，获得经过中心化的关键帧序列Gc1artJLt,…JSrt};针对完成归一化和中心化的二维卡通关键帧序列Phrti^art,...d^rtl·针对
每一帧关键帧I^rt,按照二维卡通动画人物的肢体体征，在二维卡通动画人物的头部、 四肢、躯干各部分取关键点总计17个，获得该关键帧对应的二维骨骼特征表达向量 Xi = [Xi1,YiVi2Ji2,…,Xi17,y 7]，其中X丨和y丨是关键帧4rt第]·个关键点的χ与y坐标;
针对二维卡通关键帧序列il^rt,lirt,...,i^rt)，获得其对应的二维骨骼特征表达式X = [XijX2,…Xm] e RmXd，其中每一帧关键帧I^rt由对应的二维骨骼特征表达向量&来表示， d为特征的维度；获得属于不同二维卡通动画人物的二维骨骼特征表达式X，形成二维骨骼表达式集合O^hmKhai^i，其中变量char表示二维卡通动画人物的种类，t表示二维卡通动画人物的数量；将二维骨骼表达式集合0(ehai"}ihaf=l按照二维卡通人物动作的不同分为r类，从而建立二维卡通人物的动作数据库。所述的步骤2)包括对于某个二维卡通动画人物的二维骨骼特征表达式X，按照如下的目标函数来进行非负风格分解以及求取保持基于语义理解的降维矩阵W
C(U,V,W) = Hiinu兄w臺 IIX - UVIIl + 0 Vij + p||WV - Y||p2 其中权值α彡0和β彡0为复杂平衡度系数；矩阵U = [U1, U2,…，ud] e Rmxd 以它的每个列向量作为风格基向量，矩阵V= [V1, V2,…，vm]T e Rdxd包含每个风格基向量
7所对应的隐组件，在该目标函数中所要遵循的约束条件是Uij彡0且Vij彡0，并且IIuiII = 1;矩阵Y= [yi，y2，…，ym]Te {0，1}丨为分类信息真实值矩阵，r为分类的数量，其中当 &属于第1类的时候，那么Yil的值为1，否则为0;矩阵交为矩阵V= [vi; V2,…，vm]T的重
构矩阵，重构过程如下定义矩阵M =^Elij-IViVjr，集合Pili为矩阵M的前r个的特征
向量，则矩阵▽为集合{3#=1按照如下定义方式的线性组合
权利要求
1.一种基于非负风格分解的风格化二维卡通生成方法，其特征在于它的步骤如下1)从某个二维卡通动画人物的二维卡通视频中提取包含卡通人物完整动作的视频段， 对视频段经过视频图像技术处理后，利用自定义的关键帧提取方法提取卡通人物的二维卡通关键帧序列，并对二维卡通关键帧序列进行归一化与中心化处理；对经过处理的二维卡通关键帧序列利用自定义的特征提取方法，获得对应的二维骨骼特征表达式；获得几个二维卡通动画人物对应的二维骨骼特征表达式，并对这些二维骨骼特征表达式按照自定义的动作类别进行分类，建立二维卡通人物的动作数据库；2)针对某个二维卡通动画人物的二维骨骼特征表达式，利用自定义的非负风格分解的目标函数及其解法，通过迭代的求取方法来获得该二维骨骼特征表达式对应的风格基向量和隐组件；利用已获得的隐组件，通过二次函数求导的方式，获得对应的保持基于语义理解的降维矩阵；3)按照用户指定需要进行生成二维卡通动作的二维卡通动画人物，从二维卡通动画人物的动作数据库中提取对应的二维骨骼特征表达式，用非负风格分解方法获得对应的隐组件，并与别的二维骨骼特征表达式用非负风格分解方法获得的风格基向量进行重合成，形成异构的二维骨骼特征表达式；用异构的二维骨骼特征表达式按照自定义的特征点驱动方法，通过关键点形变技术来获得某二维卡通动画人物风格化的二维卡通关键帧进而获得基于非负风格分解的风格化二维卡通。
2.根据权利要求1所述的一种基于非负风格分解的风格化二维卡通生成方法，其特征在于所述步骤1)包括从某个二维卡通动画人物的二维卡通视频中，提取包含卡通人物完整动作的视频段 V。art，对V。 t 行傅里叶变化降噪处理，消除背景以及视频噪声对于后面处理的影响；从 Vcart中渲染出来的视频帧，利用Hausdorff距离算法获得卡通视频序列中帧与帧之间的距离矩阵M。 t = Rnxn，其中η为V。art所渲染出来的帧数量，M^rt表示卡通视频帧中第1帧和第 j帧之间的Hausdorff距离，矩阵M。art中的每一项分别乘以系数1 一 Mcart/来完* ^cart.max成Hausdorff距离的归一化处理，其中的d。art _为矩阵M。 t中的最大值，在获得经过归一化的轧㈣之后，按照设定的阈值3eart来过滤矩阵中的对角值，分别将得到的> 5cart所对应的第i帧作为关键帧，由此得到二维卡通关键帧序列·[L1art, iLrt ..., Igrti，其中m为关键帧的数量；针对已经获得的二维卡通关键帧序列il^rt,^art, ...,I^rt),定义Ai为每一帧关键帧 ^art对应的包含有二维卡通动画人物完整轮廓的区域面积，定义常量Ca，对于二维卡通关键帧序列中的每一帧关键帧I^rt，经过如下的公式来获得归一化大小至Ca的关键帧 >A.Γ ^ = Γ ^ X —11Cart 1Cart 八 rA。a通过公式1获得经过归一化的关键_序歹丨…d^riJ, 针对序列中的每一帧关键帧^art,利用Sobel轮廓提取方法获得其对应的Ai中的二维卡通动画人物完整的轮廓边缘，在轮廓边缘随机取样t个点，计算该t个点的几何坐标中心04en,y“n) 以及该几何坐标中心与图像中心点之间的坐标位移AyierJdf Ai按照坐标位移 Aj^en)进行平移，从而完成I^rt的中心化处理，对关键帧依次经过处理，获得经过中心化的关键帧序列P^ti 〗Lt,…，I^rt)；针对完成归一化和中心化的二维卡通关键帧序列PJartiI^rt,...,igrJ，针对每一帧关键帧^art,按照二维卡通动画人物的肢体体征，在二维卡通动画人物的头部、 四肢、躯干各部分取关键点总计17个，获得该关键帧对应的二维骨骼特征表达向量
3.根据权利要求1所述的一种基于非负风格分解的风格化二维卡通生成方法，其特征在于所述步骤2)包括对于某个二维卡通动画人物的二维骨骼特征表达式X，按照如下的目标函数来进行非负风格分解以及求取保持基于语义理解的降维矩阵W
4.根据权利要求1所述的一种基于非负风格分解的风格化二维卡通生成方法，其特征在于所述步骤3)包括按照用户指定需要进行生成二维卡通动作的二维卡通动画人物char = 1，首先按照步骤1)所述的二维卡通动画人物的动作数据库中提取对应的二维骨骼特征表达式Χ。- = :，按照步骤幻所述非负风格分解方法获得对应的隐组件V-pi ；将该隐组件，与别的二维骨骼特征表达式Xcto = 2按照步骤2~)所述非负风格分解方法获得的风格基向量Ucto = 2进行重合成，形成异构的二维骨骼特征表达式
全文摘要
本发明公开了一种基于非负风格分解的风格化二维卡通生成方法。本发明利用了机器学习的知识，实现了基于非负风格分解的风格化二维卡通生成的功能。首先输入二维卡通动画人物的二维卡通关键帧序列，系统提取对应的二维骨骼特征表达式，并分解成二维卡通动作的风格基向量和隐组件；将得到的风格基向量与异构的隐组件结合来重新生成具有特定卡通动画人物风格的二维骨骼特征表达式，并驱动二维卡通动画人物的形体形成风格化的二维卡通关键帧。本发明通过分解二维卡通动作至风格基向量与隐组件，减少了传统方法分离动作本体与风格带来的实施困难；同时解决了传统非负矩阵分解方法不能保持卡通数据基于语义连贯性的问题，提高了准确性、扩大了应用范围。
文档编号G06T13/80GK102231209SQ201110107099
公开日2011年11月2日 申请日期2011年4月19日 优先权日2011年4月19日
发明者庄越挺, 梁璋, 肖俊 申请人:浙江大学