a Firework，通过更多的手工交互，从视频图像中分割出服装像素区域。
[0022] 从着装人体运动的单个视频中估计无着装人体三维模型序列，可以通过两个步骤 实现：首先根据视频图像内容，估计出骨架图描述的人体姿态变化序列；然后利用人体姿 态变化序列和视频图像中提取的人体轮廓序列，估计出无着装人体三维模型序列。本发明 使用软件MotionBuilder，通过两步估计出无着装人体三维模型序列。首先从输入视频中 选择一帧合适的视频图像，手工标记出对应的人体姿态和人体轮廓，利用人体姿态和人体 轮廓，估计出无着装人体三维模型作为模板；然后根据输入的着装人体运动视频，利用软件 MotionBuilder，在人工交互下变形无着装人体三维模型模板，生成无着装人体三维模型 序列。
[0023] 步骤二、服装三维动画初始生成。普通相机拍摄的着装人体运动视频，其帧率一般 为30FPS，帧时为1/30秒，因此，根据输入视频估计的无着装人体三维模型序列中，连续无 着装人体三维模型之间的时间间隔也为Atft= 1/30秒。若以该时间间隔作为仿真时间步 长，通过物理仿真方式，生成每帧服装三维动画的初始形状，可能会引起碰撞处理失败或者 服装三维动画抖动。为了避免这种情况，在基于视频估计的连续无着装人体三维模型之间， 线性地插入hs-l(本发明中hs取值为66)个三维模型，插值生成的连续无着装人体三维模 型之间的时间间隔变为At=Atft/hs。利用线性插值获得的无着装人体三维模型序列，以 At为仿真时间步长，通过物理仿真，从上一帧服装三维动画开始，连续更新该帧服装三维 动画的初始形状匕次，生成当前帧服装三维动画的初始形状，具体实现如算法1所示。
[0024]
【主权项】
1. 单视频内容驱动的服装三维动画生成方法，其特征在于，所述方法包括以下步骤： (1) 视频服装边界提取与无着装人体三维模型序列生成； (2) 无着装人体三维模型序列驱动的服装三维动画初始形状生成； (3) 视频服装边界指导的服装三维动画形状修正，具体步骤为： (3. 1)面向对应关系的服装三维模型候选顶点选取； (3. 2)面向对应关系的视频服装边界点选取； (3. 3)三维模型候选顶点与视频边界点的对应关系构建； (3.4)对应关系指导的服装三维动画形状修正。
2. 如权利要求1所述的单视频内容驱动的服装三维动画生成方法，其特征在于：步骤 (1)视频服装边界序列提取与无着装人体三维模型序列生成；首先利用成熟的工具从视频 图像中分割出服装像素区域，然后根据服装像素区域，逐帧提取出服装边界序列；再根据视 频图像内容，估计出骨架图描述的人体姿态变化序列；然后利用人体姿态变化序列和视频 图像中提取的人体轮廓序列，估计出无着装人体三维模型序列。
3. 如权利要求1所述的单视频内容驱动的服装三维动画生成方法，其特征在于，在所 述步骤步骤（2)具体包括：相机拍摄的着装人体运动视频，其帧率为30FPS，帧时为1/30 秒，因此，根据输入视频估计的无着装人体三维模型序列中，连续无着装人体三维模型之间 的时间间隔也为Atft= 1/30秒；在基于视频估计的连续无着装人体三维模型之间，线性地 插入hs-l个三维模型，hs取值为66,插值生成的连续无着装人体三维模型之间的时间间隔 变为At=Atft/hs;利用线性插值获得的无着装人体三维模型序列，以At为仿真时间步 长，通过物理仿真，从上一帧服装三维动画开始，连续更新该帧服装三维动画的初始形状hs 次，生成当前帧服装三维动画的初始形状。
4. 如权利要求1所述的单视频内容驱动的服装三维动画生成方法，其特征在于，在所 述步骤（3)需要构建当前帧服装三维动画初始形状与对应视频帧服装边界之间的对应关 系，该对应关系通过服装三维模型顶点与视频服装边界点构成的点对描述；根据构成对应 关系的服装三维模型顶点与视频服装边界点之间的距离，移动服装三维模型顶点，变形当 前帧服装三维动画初始形状，获得与对应视频帧服装边界匹配的服装三维动画修正形状； 步骤（3)主要包括以下步骤： (3. 1)面向对应关系的服装三维模型候选顶点选取，主要包括三个准则：法向量准则、 三维模型边沿准则、模型投影边界准则； 基于法向量准则筛选候选顶点：若服装三维模型顶点在xy_平面上的投影，位于当前 帧服装初始形状的投影边界附近，则该顶点的法向量在Z-轴上的分量为〇,具体而言，候选 顶点的法向量在Z-轴上的分量为0存在这样两种情况：一、邻接一个外法向量在Z-轴上分 量为〇的三角形；二、邻接两个三角形，即其中一个三角形外法向量在Z-轴上的分量为正， 另一个三角形外法线向量在Z-轴上的分量为负； 基于三维模型边沿准则筛选候选顶点：服装的领口、袖口、底边线等部位会有一些开 口，这些开口在服装三维模型中表现为空洞及边沿；位于空洞边沿的部分顶点，可能被法向 量准则判定为非候选顶点，而它们在xy-平面上的投影，可能位于当前帧服装三维动画初 始形状的投影边界附近；因此，在法向量准则的基础上，给出三维模型边沿准则，将位于服 装三维模型空洞边沿的顶点，增补为服装三维模型候选顶点； 基于模型投影边界准则筛选候选顶点：由于布料具有皱纹，根据法向量准则选择的候 选顶点，其投影可能不在当前帧服装三维动画初始形状的投影边界附近；而且三维模型边 沿准则增补的部分候选顶点，其投影也可能不在当前帧服装三维动画初始形状的投影边界 附近；所以，将当前帧服装三维动画初始形状在xy-平面上的投影区域及其周围区域划分 为正方形网格，将法向量准则和三维模型边沿准则选择的候选顶点投影到xy-平面上，检 测这些候选顶点的投影是否位于当前帧服装三维动画初始形状投影边界附近的正方形网 格内，只有投影位于那些正方形网格内的候选顶点保留下来，作为构建对应关系的服装三 维模型候选顶点； (3. 2)面向对应关系的视频服装边界点选取，由于存在人体遮挡服装的现象，从着装人 体运动视频中提取的服装边沿像素点，并不一定都属于真实服装边界；因此将视频服装边 沿像素点分为两类：视频服装边界像素点和视频服装非边界像素点，选取出真实服装边界 的视频服装边沿像素点； (3. 3)候选顶点与边界点的对应关系构建，以服装三维模型候选顶点及其法向量、视频 服装边界点及其法向量为输入，首先计算服装三维模型顶点与视频服装边界点之间的辐射 概率（emissionprobabilities)，根据这些福射概率构成二维矩阵；然后通过动态规划，沿 二维矩阵的视频服装边界点方向，寻找辐射概率总和最大的求解路径，该求解路径即为马 尔可夫链，马尔可夫链节点对应的服装三维模型候选顶点和视频服装边界点构成的点对， 即为所求的对应关系； (3. 4)对应关系指导的服装三维动画形状修正，根据服装三维模型顶点与视频服装边 界点构成的对应关系，移动构成对应关系的服装三维模型顶点及其邻域顶点，修正当前帧 服装三维动画初始形状，获得与对应视频帧服装边界匹配的服装三维动画修正形状，服装 三维动画形状修正步骤产生的服装三维动画形状修正量，不仅对当前帧服装三维动画形变 起作用，还通过服装初始形状生成步骤向后续帧传播。
【专利摘要】本发明公开了单视频内容驱动的服装三维动画生成方法。步骤如下：给定着装人体运动的单个视频、及其对应的服装初始三维模型，根据视频的人体及其服装内容，提取出视频内容的服装边界序列，并估计出对应于视频内容的无着装人体三维模型序列。在此基础上，利用服装边界序列、无着装人体三维模型序列，从视频对应的服装初始三维模型开始，进行逐帧迭代：针对视频对应的服装初始三维模型、或者上一帧的服装三维动画生成结果，利用基于无拉伸形变约束模型的布料动画生成方法，以无着装人体三维模型序列为驱动，生成当前帧的服装三维动画；根据上一步骤生成的当前帧服装三维动画与对应视频帧服装边界之间的差异，对当前帧服装三维动画进行变形处理，生成近似于视频内容的当前帧服装三维动画效果。
【IPC分类】G06T13-20
【公开号】CN104778736
【申请号】CN201510158932
【发明人】陈小武, 周彬, 赵沁平, 郭侃, 李发明, 卢飞翔
【申请人】北京航空航天大学
【公开日】2015年7月15日
【申请日】2015年4月3日