基于体感相机Kinect的真实感动画生成方法
【技术领域】
[0001] 本发明属于计算机视觉和计算机图形学领域，特别涉及一种采用一台Kinect体 感相机生成真实感强的新动作视频方法。
【背景技术】
[0002] 长期以来，对于新动画生成方法的研宄一直都未停止过，它的解决方案方法也层 出不穷。这些方法大体上分为三类，第一种方法最早利用骨架和模型渲染，对简单场景进 行模型重建运用计算机渲染得到新动画视频序列。但这种方法对于刚性的物体效果较好， 但对于非刚性的物体无法形成真实感强的视频序列。第二种方法利用物理建模的方法离 线地合成少量高精度、高真实感的三维模型，之后以这些三维模型为样本，合成各种人体 运动下的，具有逼真几何细节的三维模型。但这类方法对服装结构的设定和材质参数的 控制都非常有限，其生成运动对应的服装结构和材质都无法与现实中某一特定服装完全 相符。第三种方法是基于Video Textures的方法，通过对现有的视频序列集中的一些帧 进行抽取和重组，最后生成新的视频序列，这种方法对于简单的场景可以形成效果较为真 实的新动画结果，但不能处理较为复杂的场景。马克斯?普朗克计算机科学研宄所（Feng Xu，Yebin Liu，Carsten Stoll, James TompkinjGaurav BharajjQionghai Dai，Hans-Peter Seidel,Jan Kautzj Christian Theobalt. Video-based characters : creating new human performances from a multi-view video database. ACM Transactions on Graphics (TOG)，2011，30 (4) : 32.)通过采用多视角相机阵列进行数据采集，利用模型与视 频纹理生成真实感很强的新动画视频序列。但这种方案造价高，对实验条件要求高，不利于 产业化推广。
[0003] 体感相机 Kinect (Zhengyou Zhang. Microsoft kinect sensor and its effect. MultiMedia，IEEE，2012, 19(2) :4-10.)的出现，使基于廉价设备实现真实感动画成为可能。 2010年11月Kinect由微软上市，很快就成为了全世界电子消费的热点。它能实时捕捉彩 色信息、深度信息、骨架运动信息、语音信息等。而基于它的研宄应用迅猛勃发。Tong等 人（Tong J, Zhou J, Liu L,et al. Scanning 3D full human bodies using kinects. IEEE Transactions onVisualization and Computer Graphics, 2012, 18(4) :643-650.)利用 Kinect 实现了对于人体的三维重建。Zollhiifcr 等人（ZollhiM'crM, Martinek M, Greiner G, et al. . Automatic reconstruction of personalized avatars from 3D face scans. Computer Animation and Virtual Worlds, 2011, 22 (2 -3) :195-202.)实现了基于 Kinect 的真实的人物面部模型重建。2014年，Kinect二代发布，比之前精度有了很大的提高。基于 Kinect v2. 0可以进行更精确的模型重建，同时可以实时保存比较真实的1080p的彩色图， 及精度为1mm的深度图，为基于Kinect v2. 0的真实感动画生成提供了良好的数据基础。
【发明内容】
[0004] 为克服现有技术的不足，实现既能保证生成新视频序列的逼真可信，又能解决实 验设备要求高的难点的方法。为此，本发明采取的技术方案是，基于体感相机Kinect的真 实感动画生成方法，利用单个Kinect v2. O对人物进行静态三维模型和彩色深度骨架信息 的采集。利用无标记运动捕捉方法，得到每帧的骨架运动信息和变形后的三维模型。用户 指定一个新动作后，基于所建立的数据集，通过所提出的基于稀疏表示的低秩矩阵填充的 纹理合成方法生成该人物做新动作的视频；具体包括以下步骤：
[0005] 1)基于Kinect Fusion的方法对人物进行静态的三维模型的重建，并在这个模型 即参考姿态模型的基础上，手动嵌入骨架；
[0006] 2)数据库建立：采用单个Kinect v2. 0相机捕捉该人物进行各种基本动作时的彩 色视频、深度视频和对应的骨架序列；利用IKQnverse kinematics)算法计算各帧骨架节 点的运动参数；采用线性混合蒙皮方法（linear blend skinning)计算皮肤权重并变形参 考姿态模型得到每帧对应的三维模型；采用深度信息矫正变形后的模型使之更加准确；数 据集只需要建立一次，基于此数据库可以生成该人物的新动作的视频序列；
[0007] 3)用户指定新的动作的骨架序列，该骨架的拓扑结构与数据集中骨架的拓扑结构 相同；
[0008] 4)为新目标动作的每帧在数据集中寻找相似的候选帧；
[0009] 5)利用移动最小二乘方法把检索到的帧的人体部分进行形变得到最初估计，然后 利用加权低秩矩阵填补插值方法进行优化；
[0010] 6)将步骤5)得到的最终图像放在一起得到要求的新视频序列。
[0011] 数据库搭建方案的设计，具体包括以下步骤：
[0012] 2-1)对于彩色视频、深度视频以及骨架信息的捕捉，利用Kinect v2. 0进行实时 采集保存，设置Kinect v2. 0帧率为30fps，彩色图像分辨率为1920 X 1080,深度图像分辨 率设置为512X424 ;骨架序列的采集包括节点空间三维信息保存及与彩色深度信息的映 射关系的保存；要采集的人物基本动作包括如走路、跑步、正步、挥手、伸展、前踢、侧踢、扩 胸、侧弯和功夫；
[0013] 2-2)利用采集得到的各帧骨架序列的三维信息，输入每个节点空间三维位置信息 进行IK算法求解，得到每个节点的旋转平移矩阵，包括其全局的与局部的运动矩阵；
[0014] 2-3)用线性混合蒙皮方法（linear blend skinning)计算皮肤权重并变形参考姿 态模型得到每帧对应的三维模型；
[0015] 2-4)采用基于稀疏表示的非刚性表面对齐方法，利用深度信息，将步骤2-3)得到 的三维模型进一步变形，使之与深度信息吻合而更为准确。
[0016] 相似帧检索方法的设计，具体包括以下步骤：
[0017] 4-1)首先把目标骨架与数据库中的骨架对齐到同一个世界坐标中，旋转骨架使其 面向同一个方向，然后通过最小化以下能量函数检索得到候选帧：
[0019] 其中F是未知的候选帧，N(F)是候选序列帧数，I(F)是数据库原始序列的帧号，M 是目标序列帧数，^是数据库序列第i帧的骨架节点向量，岛M数据库序列第i-Ι帧的骨架 节点向量，句是目标序列第i帧的骨架节点向量，是目标序列第i-Ι帧的骨架节点向 量，α、β表示两个约束之间的权重分配，骨架相似度定义如下：
[0021] 其中m和η可以分别代表公式（1)中的d或q，是第j个骨架节点的位置，而J 是节点数目，％是在数据库中节点j位置的方差；在公式（1)中，第一项是空间约束，保证 候选帧与目标帧的相似性；后面的两项约束是为了保证时间上的连续性，避免抖动。
[0022] 合成目标帧序列是基于最近出现的较为流行的稀疏表示方法，去除噪声步骤如 下：
[0023] 5-1)假定数据库中及目标序列中每帧的三维表面模型都是通过同一个三维模型 变形得到，他们具有相同的顶点和拓扑连接性；对三维模型进行分割处理，总共分为16个 部分并通过映射将目标帧及检索帧的人物图像也分为16个部分；计算目标帧与检索帧的 对应像素，以对应点为引导，利用移动最小二乘方法将检索帧变形；
[0024] 5-2)步骤5-1)得到的最初结果可能会包含一些缺失信息