一种基于稀疏关键点的参数化人体模型重建方法
【技术领域】
[0001] 本发明属于计算机视觉技术领域，特别涉及到一种基于稀疏关键点的参数化人体 模型重建方法。
【背景技术】
[0002] 重建人体三维模型是计算机视觉中的重要问题之一，拥有很多潜在的应用。例如， 我们可以在重建得到的网格模型上进行自动的人体身材测量，设计相应的服装。或将重建 的模型作为用户的替身应用在电子游戏，远程会议中。受到强烈的需求推动，近年来学术 界涌现出了很多关于人体重建的工作。这些工作根据是否用参数化模型表示重建出的结 果可以被分为两类。非参数化的重建算法中代表性的如LiHao在2013年提出的"3D Self Portrait"算法，通过将不同视角下扫描得到的三维点云进行注册，进而重建成水密的网 格。这类算法重建的模型能够捕捉人体的几何细节，但是受到生成模型的非参数化形式限 制，非参数化的重建算法不利于某些应用。例如在计算机动画中，即使对非参数化模型使用 最先进的变形算法也不能准确地模拟肌肉产生的变形。再例如电子游戏中经常需要对模型 的身材进行调整，使用非参数化模型很难产生自然的身材变形。相对的，参数化模型不像前 者能够精确重现用户身体上如头发、衣物的几何细节，但其抗噪声能力强，而且可以将模型 的外形与用户的身材、姿态等参数联系起来，从而非常容易满足应用需要。最近，PengGuan 在2013年提出了直接用模型的参数进行高效高质量的衣物仿真的"DRAPE"算法，这使得快 速地自动重建出参数化模型的需求大大提升。
[0003] 现存的参数化模型重建方法中，ShizheZhou在2010年提出了 "Parametric Reshaping of Human Bodies in Images"，一种从单幅图像中重建出参数化模型的算法。该 算法可以为不同的对象重建出参数化模型。但需要比较繁重的人工交互以确定人体的姿态 并给出模型顶点与图像上轮廓的对应关系。此外，虽然人体的图像非常容易获取，但同时也 丢失了人体的尺度信息。这意味着该方法输出的模型不能正确地反映人体的身材。相对的， 深度数据提供了 3D信息，可以真实地反映人体的尺度信息。DragomirAnguelov在2005年 提出的"SCAPE"算法可以从高精度的三维人体扫描数据中恢复参数化模型。用户需要手动 在深度数据上标记与模型之间的对应关系，之后使用一个基于优化的框架计算深度数据与 模型之间的稠密对应关系，并根据稠密对应关系重建参数模型。Alexander Weiss在2012 年提出的"Home 3D Body Scan from Noisy Image and Range data"借助非刚性注册的方 法迭代地优化深度数据和网格之间的稠密对应关系，完成了全自动地从含有噪声的深度数 据中重建参数化模型的目标。由于寻找稠密对应的过程比较耗时，需要计算接近一个小时 的时间得到目标参数化模型。
[0004] 上述领域的一些最新成果为我们开发自动从深度数据重建参数化模型的方法提 供了坚实的技术基础。这些方法也为开发一种高质量、低成本的参数化人体模型获取方法 和系统提供了技术支撑。
【发明内容】
[0005] 本发明所要解决的主要技术问题是针对现存的参数化模型重建算法的需要人工 交互和低效率的问题提出一种自动而且高效的解决方法和系统。该方法可以高效地在输入 的深度数据上自动计算稀疏的关键点，并根据这些关键点的位置快速重建出参数化人体模 型。
[0006] 为了实现本发明的目的，我们依赖以下技术方案，它包括以下步骤：
[0007] (1)深度获取：使用深度扫描设备（Kinect)扫描人体的正面，并剔除属于背景和 地面的区域。得到孤立的人体深度数据。
[0008] (2)自动关键点寻找：使用基于随机蕨（Random fern)的回归算法自动计算深度 数据上的稀疏关键点。
[0009] (3)关键点辅助重建：将稀疏关键点与模型网格之间的对应关系作为约束，使用 优化算法重建出参数化人体模型。
[0010] 采用以上技术方案的基础上，本发明还可以采用以下进一步的方案：
[0011] 在步骤（2)中，对每个输入的深度数据，随机初始P个关键点坐标，使用q个不同 方向光源将深度数据绘制成q个阴影图。对每张阴影图随机采样每个关键点周围的M个像 素灰度，并对每张阴影图计算所有像素之间的灰度差异。将得到的MPq个灰度差异作为随 机蕨回归算法的输入特征。
[0012] 在步骤⑵中，合成N个不同姿态和身材，注册好的人体网格。并提取每个网格上 准确的P个关键点坐标，组成目标关键点位置向量。接着对每个网格，随机生成初始关键点 位置向量S。。将差异向量AS = S-S。作为训练随机蕨回归算法的回归目标。
[0013] 在步骤（2)中，训练随机蕨回归模型，并使用Ensemble Learning方法将多个随机 蕨回归模型的结果进行综合：将训练过程重复T次，每次Random fern训练结束，用训练结 果更新每个训练样本的初始关键点位置向量：St+1= St| ASt。之后用新的初始关键点位置 重新训练。测试时，从输入深度数据提取特征，输入训练好的Random fern回归模型，计算 关键点位置。
[0014] 在步骤（3)中，如图2所示，使用两步优化算法交替迭代求解姿态参数t和身材参 数β。每次迭代过程包括4个模块：(a)计算目标网格顶点Y与姿态参数t的线性关系： Y(t) = ct+d ; (b)使用步骤（2)计算得到的稀疏关键点约束关于姿态参数t的重建误差能 量，优化姿态参数t。（c)计算目标网格顶点Y与身材参数β的线性关系：Y ( β )= f β +g。 (d)使用步骤（2)计算得到的稀疏关键点约束关于身材参数β的重建误差能量，优化姿态 参数β。
[0015] 在步骤（3)中的（a)、（c)两个模块，使用矩阵预分解加速目标网格顶点Y与姿态 参数t的线性关系Y (t) = ct+d以及目标网格顶点Y与身材参数β的线性关系Y ( β )= fP+g的系数求解。
[0016] 本发明的有益效果为：本方法使用基于回归的方法自动地在输入深度数据上寻找 稀疏关键点，与传统的使用基于优化的方法寻找深度图与网格的稠密对应关系相比，我们 的方法不需要任何人工交互进行初始化。更重要的是本发明所述的基于回归的方法不需要 求解大型优化问题，而只需要进行简单的向量加法和查表就可以得到稀疏关键点，大大提 高了算法效率。另一方面，在进行参数化模型重建的过程中，使用了预分解技术解决了迭代 过程中需要重复进行大型矩阵分解的问题，进一步提高了算法效率。总的来说，本发明所述 算法平均消耗3. 5秒进行模型重建，与传统方法接近一小时相比，效率得到了显著的提升， 而重建准确度却能够与传统方法持平。
【附图说明】
[0017] 图1为基于稀疏关键点的参数化人体模型重建方法流程图。
[0018] 图2为关键点辅助重建方法流程图。
[0019] 图3为人体区域划分图。
【具体实施方式】
[0020] 下面结合附图和【具体实施方式】对本发明作进一步详细的说明：
[0021] 参照图1，表示基于稀疏关键点的参数化人体模型重建方法流程图，图中表示的步 骤为：
[0022] 1深度获取：将kinect摆放在用户正面，另kinect电动马达旋转54度，过程中拍 摄10张深度图。使用KinectFusion流程将深度图拼接成光滑网格。对该网格删除属于地 面的顶点，删除距离kinect摄像头距离超过I. 5m的顶点达到剔除背景的目的。
[0023] 2自动关键点寻找：参照图1，这个步骤分为两步：(a)离线构造训练样本数据并训 练Random fern回归模型；(b)在线输入深度数据到训练好的Random fern模型进行测试。
[0024] (a)构造训练样本数据并训练随机蕨回归模型：
[0025] 合成N个不同姿态和身材的人体网格，本发明所述实施例中N = 171，并提取每个 网格上准确的P个关键点坐标，P = 30,组成目标关键点位置向量。接着对每个网格，随机 生成初始关键点位置向量S。。将差异向量AS = S-S。作为训练Random fern回归算法的回 归目标。使用q(q = 5,我们将人体模型重心作为原点，将5个光源设置在坐标为（0, 0, 1)， (1，0, 1)，（0, 1，1)，（-1，0, 1)，（0, -1，1)。并将所有光源的照射方向都指向原点）个不同方 向光源将深度数据绘制成阴影图）个不同方向光源将该网格制成阴影图。对每张阴影图随 机采样每个初始关键