一种基于多目视频的人体动画生成方法
【技术领域】
[0001] 本发明涉及的是一种计算机动画技术领域的方法，特别是一种基于多目视频的人 体动画生成方法。
【背景技术】
[0002] 近年来随着数字娱乐业的蓬勃发展，计算机人体动画技术引起了越来越多的关 注，在电影动画、三维游戏、虚拟现实等领域具有广阔的应用前景。当前，如何生成逼真的人 体动画已成为计算机图形学研究中一个非常活跃的领域。
[0003] 近年来，基于运动捕捉的人体动画技术得到广泛应用，其基本思路是利用运动捕 获设备高精度实时地记录下人体每一个关节在三维空间中的位置，经过后期处理，可以在 计算机上重现这些运动数据，并且利用运动重定向方法驱动不同虚拟人物上产生相类似的 运动，实现动画制作。目前，常用的运动捕获方法包括机械方法、电磁方法、光学方法和视 频的方法。机械方法依靠机械装置来跟踪和测量人体运动的轨迹，由于机械设备的尺寸和 重量问题，使用不便；电磁式方法通过安装在人体关节点的电磁接收器获取人体运动数据， 其优点是速度快、实时性好，但其对表演者的活动限制较大，不适用于剧烈的运动和表演； 光学方法通过对目标上特定光点的监视和跟踪来完成运动捕捉的任务，其优点是表演者活 动范围大，无电缆、机械装置的限制，使用方便，但光学方法后处理时间长，且当运动复杂的 时，不同的光点易混淆而产生错误的结果。
[0004] 概括起来，以上三类方法大多需要昂贵的硬件，需要在人体关键部位粘贴标记，妨 碍了人体的自由运动，且往往只能在特点的工作环境下应用。总的来说，用户更容易接受一 种成本低、非强迫、非接触式运动捕捉技术。视频方法由于只利用普通摄像机、无需标记点、 对运动无限制，近年来得到研究者的重视。按照使用摄像机的数目不同，运动捕获的视频方 法可分为单目视频方法、多目视频方法。
[0005] (1)单目视频方法：基于单目视频的人体运动捕获方法（文献1.苏延超，艾海 舟，劳世竑，图像和视频中基于部件检测器的人体姿态估计，电子与信息学报，2010, 33 (6): 1413-1419)是个病态问题，由于深度信息的丢失导致图像与姿态之间的映射存在多义性， 使得单目视频方法分析结果精度低，实际应用效果差。
[0006] (2)多目视频方法：相对于单目视频，多目视频由于利用了多视角信息，可有效 克服单目视频无法解决的映射多义、遮挡等难题，可有效提高运动分析的精度和鲁棒性。 John利用多目视频实现了人体运动捕获（文献2.VijayJohn,EmanueleTrucco,Spela Ivekovic.Markerlesshumanarticulatedtrackingusinghierarchicalparticle swarmoptimization.ImageandVisionComputing. 2010, 28 (11) : 1530-1547.)，可支持三 维人体动画生成。但该方法在高维人体空间中进行运动分析，计算效率低，难以满足实时应 用需求；Zhao和Liu利用多目视频且在低维空间中进行运动数据捕获（文献3.ZhaoXu，Liu YunCai.Generativetrackingof3Dhumanmotionbyhierarchicalannealedgenetic algorithm.PatternRecognition. 2008, 41 (8) : 2470-2483)，但该方法利用多摄像机视觉 之和建立评价函数，无法保证每个视角的最佳匹配，运动捕获的精度低。
【发明内容】
[0007] 本发明的目的在于提供一种基于多目视频的人体动画生成方法，从而实现基于视 频的快速、逼真的三维人体动画生成。
[0008] 实现本发明的目的的技术解决方案为：一种基于多目视频的人体动画生成方法， 包括以下步骤：
[0009] 步骤1 :运动低维空间学习：利用人体运动捕获数据库，采用高斯过程潜变量模型 运动降维方法，计算得到运动低维空间；
[0010] 步骤2 :运动分析模型建模：建立低维姿态与图像特征的适应度函数，构建低维空 间的姿态约束，建立基于约束多目标优化的人体运动分析模型；
[0011] 步骤3 :人体姿态参数分析：采用多目标粒子群优化人体运动分析方法，求解人体 运动分析模型，计算得到人体姿态参数；
[0012] 步骤4 :三维人体动画生成：利用人体姿态参数，采用运动重定向方法驱动三维人 体模型，生成三维人体动画。
[0013] 本发明步骤1包括：
[0014] 步骤1-1 :采用运动链方法，将高维人体姿态表示为y= {yg,yk}，yGY，Y为高维 人体姿态空间；其中yg= (ax,Py,yz)表示人体根节点的朝向，ax, 0 y,yz分别表示根结 点与三维坐标轴x,y,z的夹角，yk表示人体关节点的欧拉角；
[0015] 步骤1-2 :从人体运动捕获数据库中选择一段人体运动捕获数据作为训练数据， 训练数据表示为{yt 11 = 1，. . .T}，ytSt时刻的人体姿态，t= 1，. . .，T，T为训练数据的 数目，每个时刻对应一个训练数据；
[0016] 步骤1-3 :采用高斯过程潜变量模型方法，对训练数据{yt|t= 1，...T}中姿态的 关节点欧拉角yk进行降维，得到关节点欧拉角yk的低维表示ys={yD...，yD}，ysGYs，Ys 为关节点欧拉角yk的低维状态空间，D为Y3的维度；
[0017] 步骤1-4 :将高维人体姿态y= {yg，yk}降维后得到的低维姿态表示为X= {yg，ys} ={yg,Y1, . . .，yD}，xGX，X为运动低维空间。
[0018] 本发明步骤2包括：
[0019] 步骤2-1 :对于多目视频中的视频v，v= 1，2, ...，V，V为视频总数，采用混合高斯 模型运动检测方法获取视频V中的人体剪影Zv;
[0020] 步骤2-2 :对于视频V，采用双向剪影匹配方法，建立低维姿态X= {yg,Y1, ...，yD} 与人体剪影Zv的适应度函数fv (x，Zv)，为每个视频v建立独立的目标函数，v= 1，2, . ..，V;
[0021] 步骤2-3 :对低维姿态X= {yg,Y1, . . .，yD}，计算低维姿态的第d维最大值 max(yd)和最小值min(yd)，d= 1，2,. . .，D;贝Ij每个低维姿态的每一维yd都满足以下姿态约 束：min(yd) <yd<max(yd)，d= 1，2,? ? ?，D;
[0022] 步骤2-4 :基于适应度函数fv(x,Zv)，v= 1，2,. . .，V，以及姿态约束min(yd) <yd <max(yd)，d= 1，2,. . .，D，构建基于约束多目标优化的人体运动分析模型：
[0024]其中，a@minF(^表示求解使目标函数F(X)最小的x的值。 .X
[0025] 本发明步骤3包括：
[0026] 步骤3-1 :初始化：随机产生N个粒子< ={'4,...,?}!*，i = 1，. . .，N，组成 初始粒子群POP (〇)，N为粒子群规模，初始化粒子<的位置X1 (0)和速度V1 (0);设置粒子Af
[0027] 其中，个体极值表示个体<在整个迭代过程中的最优解；粒子群全局极值 gbest°表示粒子群pop(0)中所有粒子的最优解。
[0028] 步骤3-2 :对于第k次迭代，k = 0, ... K，K为最大迭代次数，对粒子群pop (k)中 每个粒子者进行更新，得到第k+1代的粒子xf+1，xf+1 = jyf+1，构成第k+1代粒子 群pop (k+1);其中：K为最大迭代次数，pop (k)为初始粒子群pop (0)经过k次迭代后得到 的种群；
[0029] 对粒子的更新方法为：根据粒子；vf的速度V1 (k)和位置X1 (k)，计算粒子.Y^的 速度V1 (k+1)和位置X1 (k+1) J1 (k+1)和X1 (k+1)的计算方法为：
[0030] K(k+1) =c〇y.(k) + t\raiu!^()x(phes^ - X;{k)) + c,raiul,〇x(ghest1' - X;{k))；
[0031] Xi (k+1) = Xi (k)+Vi (k+1));
[0032] 其中，w为惯性权重，Cl为个体加速系数，c 2为全局加速系数，rand J)和rand2() 表示[0, 1]间的随机数；为粒子xf的个体极值，gbest1^粒子群pop(k)的全局极值；
[0033] 步骤3-3 :粒子约束：对粒子群pop (k+1)中的每个粒子 I广-1 = ，判断Yd的取值范围，d = 1，2, ? ? ?，D;如果y d> max(yd)，则将 值设置为yd= max (yd);如果yd< min (yd)，则将yjtl值设置为y d= min (y d);其中，max (yd)为yd的最大值，min (y d)为yd的最小值；
[0034]步骤3-4 :个体极值#_^求解：将第