[0061] 5-2)步骤5-1)得到的最初结果可能会包含一些缺失信息，因为检索帧不可能包 含目标帧的所有信息。我们采用基于稀疏表示的矩阵填补的方法对这些区域进行插值，最 后得到每帧图像，合成新的视频序列；对于基于稀疏表示的矩阵填补的方法，首先要在当前 不完整图像上的边缘求取优先级，优先级的排序条件考虑了块的纹理和深度信息。然后，按 照每个块的优先级顺序填补。对于某一个待填补块，找到与其相似的K个相似块。设要修 复的像素点P i所处的wXw块B C1，及K个相似块分别标识为B1, B2, B3, ···&，用这些矩阵作为 每一列得到一个矩阵D。基于稀疏表示的矩阵填补的方法表述为以下优化问题：
[0062] minA，E rank (A) + λ I IW。E I I。s. t. ΡΩ (D) = ΡΩ (A+E) (3)
[0063] 其中，A为待求的原矩阵，E为非零元素个数，D为观测矩阵，W为考虑了相似块相 似度的权重矩阵，λ为噪声大小的权重； rank(A)表示矩阵A的秩，I I · I Itl表示矩阵的0 范数，" ° "表示两个矩阵对应元素相乘，Ω为已知元素的索引集合，ΡΩ*投影到Ω域的算 子。以上优化问题为 NP hard (Non-deterministic Polynomial-time hard)问题，因此使 用矩阵的核范数11 · I L代替矩阵的秩最小化，用矩阵1范数11 · 11 i代替0范数，上述的 问题可以转化为：
[0064] minA，E||A||*+A||W。E||1，s.t.P￡3(；D)=P ￡3(A+E) (4)
[0065] 求解出来得到矩阵A后，取出第一列，重整为wXw的像素块大小的，即为基于稀疏 表示的矩阵填补的方法恢复出来的当前块。其他位置的像素块以此类推。
【主权项】
1. 一种基于体感相机Kinect的真实感动画生成方法，其特征是，利用单个Kinect v2. 0对人物进行静态三维模型和彩色深度骨架信息的采集。利用无标记运动捕捉方法，得 到每帧的骨架运动信息和变形后的三维模型，用户指定一个新动作后，基于所建立的数据 集，通过所提出的基于稀疏表示的低秩矩阵填充的纹理合成方法生成该人物做新动作的视 频；具体包括以下步骤： 1) 基于KinectFusion的方法对人物进行静态的三维模型的重建，并在这个模型即参 考姿态模型的基础上，手动嵌入骨架； 2) 数据库建立：采用单个Kinectv2.0相机捕捉该人物进行各种基本动作时的彩色视 频、深度视频和对应的骨架序列；利用IK(inversekinematics)算法计算各帧骨架节点的 运动参数；采用线性混合蒙皮方法（linearblendskinning)计算皮肤权重并变形参考姿 态模型得到每帧对应的三维模型；采用深度信息矫正变形后的模型使之更加准确；数据集 只需要建立一次，基于此数据库可以生成该人物的新动作的视频序列； 3) 用户指定新的动作的骨架序列，该骨架的拓扑结构与数据集中骨架的拓扑结构相 同； 4) 为新目标动作的每帧在数据集中寻找相似的候选帧； 5) 利用移动最小二乘方法把检索到的帧的人体部分进行形变得到最初估计，然后利用 加权低秩矩阵填补插值方法进行优化； 6) 将步骤5)得到的最终图像放在一起得到要求的新视频序列。2. 如权利要求1所述的基于体感相机Kinect的真实感动画生成方法，其特征是，数据 库搭建方案的设计，具体包括以下步骤： 2-1)对于彩色视频、深度视频以及骨架信息的捕捉，利用Kinectv2.0进行实时采集 保存，设置Kinectv2. 0帧率为30fps，彩色图像分辨率为19201080,深度图像分辨率设置 为512424 ;骨架序列的采集包括节点空间三维信息保存及与彩色深度信息的映射关系的 保存；要采集的人物基本动作包括如走路、跑步、正步、挥手、伸展、前踢、侧踢、扩胸、侧弯和 功夫； 2-2)利用采集得到的各帧骨架序列的三维信息，输入每个节点空间三维位置信息进行IK算法求解，得到每个节点的旋转平移矩阵，包括其全局的与局部的运动矩阵； 2-3)用线性混合蒙皮方法（linearblendskinning)计算皮肤权重并变形参考姿态模 型得到每帧对应的三维模型； 2-4)采用基于稀疏表示的非刚性表面对齐方法，利用深度信息，将步骤2-3)得到的三 维模型进一步变形，使之与深度信息吻合而更为准确。3. 如权利要求1所述的基于体感相机Kinect的真实感动画生成方法，其特征是，相似 帧检索方法的设计，具体包括以下步骤： 4-1)首先把目标骨架与数据库中的骨架对齐到同一个世界坐标中，旋转骨架使其面向 同一个方向，然后通过最小化以下能量函数检索得到候选帧：其中F是未知的候选帧，N(F)是候选序列帧数，1(F)是数据库原始序列的帧号，M是目 标序列帧数，4是数据库序列第i帧的骨架节点向量，S〗4数据库序列第i-1帧的骨架节 点向量，与是目标序列第i帧的骨架节点向量，玲^1是目标序列第i-1帧的骨架节点向量，a、0表示两个约束之间的权重分配，骨架相似度定义如下：其中m和n可以分别代表公式（1)中的d或q，S^_是第个骨架节点的位置，而是节点数 目，是在数据库中节点位置的方差；在公式（1)中，第一项是空间约束，保证候选帧与目 标帧的相似性；后面的两项约束是为了保证时间上的连续性，避免抖动。4.如权利要求1所述的基于体感相机Kinect的真实感动画生成方法，其特征是，合成 目标帧序列是基于最近出现的较为流行的稀疏表示方法，去除噪声步骤如下： 5-1)假定数据库中及目标序列中每帧的三维表面模型都是通过同一个三维模型变形 得到，他们具有相同的顶点和拓扑连接性；对三维模型进行分割处理，总共分为16个部分 并通过映射将目标帧及检索帧的人物图像也分为16个部分；计算目标帧与检索帧的对应 像素，以对应点为引导，利用移动最小二乘方法将检索帧变形； 5-2)步骤5-1)得到的最初结果可能会包含一些缺失信息，因为检索帧不可能包含目 标帧的所有信息，采用基于稀疏表示的矩阵填补的方法对这些区域进行插值，最后得到每 帧图像，合成新的视频序列；对于基于稀疏表示的矩阵填补的方法，首先要在当前不完整图 像上的边缘求取优先级，优先级的排序条件考虑了块的纹理和深度信息；然后，按照每个块 的优先级顺序填补，对于某一个待填补块，找到与其相似的K个相似块；设要修复的像素点 Pi所处的wXw块B^，及K个相似块分别标识为&，B2,B3，…Bk，用这些矩阵作为每一列得到 一个矩阵D。基于稀疏表示的矩阵填补的方法表述为以下优化问题：其中，A为待求的原矩阵，E为非零元素个数，D为观测矩阵，W为考虑了相似块相似度 的权重矩阵，A为噪声大小的权重；rank(A)表示矩阵A的秩，| | ? | ^表示矩阵的0范数， "° "表示两个矩阵对应元素相乘，D为已知元素的索引集合，为投影到D域的算子。 以上优化问题为NPhard(Non-deterministicPolynomial-timehard)问题，因此使用矩 阵的核范数11 ?IL代替矩阵的秩最小化，用矩阵1范数11 ? 11i代替〇范数，上述的问题 转化为：求解出来得到矩阵A后，取出第一列，重整为wXw的像素块大小的，即为基于稀疏表示 的矩阵填补的方法恢复出来的当前块，其他位置的像素块以此类推。
【专利摘要】本发明属于计算机视觉和计算机图形学领域。为提供实现既能保证生成新视频序列的逼真可信，又能解决实验设备要求高的难点的方法。为此，本发明采取的技术方案是，基于体感相机Kinect的真实感动画生成方法，利用单个Kinect v2.0对人物进行静态三维模型和彩色深度骨架信息的采集。利用无标记运动捕捉方法，得到每帧的骨架运动信息和变形后的三维模型。用户指定一个新动作后，基于所建立的数据集，通过所提出的基于稀疏表示的低秩矩阵填充的纹理合成方法生成该人物做新动作的视频。本发明主要应用于视频处理。
【IPC分类】G06T13/40
【公开号】CN104915978
【申请号】CN201510341839
【发明人】李坤, 杨敬钰, 刘雷杰, 宋晓林
【申请人】天津大学
【公开日】2015年9月16日
【申请日】2015年6月18日