一种动态的人体三维建模方法
【专利摘要】本发明公开了一种动态的人体三维建模方法，其能够自然地显示人体的真实姿态。这种动态的人体三维建模方法，包括步骤：（1）基于标准人体模版的数据预处理和Kinect骨架信息的数据预处理；（2）进行分段人体模型刚性变形，根据变形模型部位不同分为两类方法：腹、胸、头采用基于旋转矩阵继承的刚性变形方法，四肢采用基于旋转矩阵继承与回馈的刚性变形方法；（3）进行分段局部模型ICP变形；（4）对各部分模型的连接部分进行柔性TPS形变。
【专利说明】一种动态的人体三维建模方法
【技术领域】
[0001]本发明属于三维建模的【技术领域】，具体地涉及一种动态的人体三维建模方法，其使用Kinect深度摄像机获取的RGB-D信息及人体骨架信息，以标准人体模板为辅助，建立动态的人体三维模型。
【背景技术】
[0002]三维建模一直是计算机视觉领域的重要研究课题。三维人体建模作为计算机人体仿真的一个组成部分，最早出现于航天工业的人机系统。自交互式计算机图形学诞生之日起，就有学者不断探索计算机人体建模技术，随着计算机技术的不断发展，如今三维人体建模在科研、动画、电脑游戏、服装设计、工业等领域有着非常广泛的应用。
[0003]Kinect是美国微软公司于2010年11月4日推出的XB0X-360游戏机体感周边外设的正式名称，它实际上是一种3D体感摄影机，主要应用于体感游戏的信息获取，可以捕捉到深度信息、视频信息、骨架信息等。使用Kinect摄像机获得的RGB-D数据序列，可以很方便地获取Kinect视野内目标的三维位置，可以反映目标的真实位置。Kinect是目前市场上最为廉价的三维深度摄像设备，除Kinect之外，最低廉的深度摄像机价格也在万元人民币左右。
[0004]迭代最近点ICP (Iterative Closest Point)算法是由 Becl 和 Mckay 于 1992 年提出的一种高层次的基于自由形态曲面点云数据配准方法。从测量点云中确定其对应的最近点点集后，运用Faugera和Hebert提出的方法计算新的最近点点集。用该方法进行迭代计算，直到残差平方和所构成的目标函数值不变，结束迭代过程。ICP算法被广泛的用于解决三维点云配准的问题中。
[0005]TPS(Thin-PlateSpline)作为一种无参数样条，由于其具有丰富的物理含义和闭合形式的解，被广泛应用于柔性坐标变换。
[0006]Kinect设备的出现激发了研究者们的兴趣，对于根据Kinect获取到的深度信息和骨架信息进行识别与跟踪的方法也有了一定进展与成果。人体在一定空间范围内的走动可以根据视频识别和跟踪的方法记录下来，但此类方法并不能建立直观的动态三维人体模型。现有的方法仅依靠Kinect骨架信息的模型变形方法并不能很好的与真实的人体姿态匹配。一些建模方法采用的是将人体视为多个刚体部分的方法，在例如手肘，膝盖等关节处会发成畸形形变或模型嵌套，并不能自然的显示人体真实姿态。
【发明内容】
[0007]本发明的技术解决问题是:克服现有技术的不足，提供一种动态的人体三维建模方法，其能够自然地显示人体的真实姿态。
[0008]本发明的技术解决方案是:这种动态的人体三维建模方法，包括以下步骤:
[0009](I)基于标准人体模版的数据预处理和Kinect骨架信息的数据预处理；
[0010](2)进行分段人体模型刚性变形，根据变形模型部位不同分为两类方法:腹、胸、头采用基于旋转矩阵继承的刚性变形方法，四肢采用基于旋转矩阵继承与回馈的刚性变形方法;
[0011](3)进行分段局部模型ICP变形；
[0012](4)对各部分模型的连接部分进行柔性TPS形变。
[0013]本发明使用Kinect深度摄像机获取的RGB-D信息及人体骨架信息，以标准人体模板为辅助，得到一个在关节处柔性形变的三维人体模型，从而能够自然地显示人体的真实姿态。
【专利附图】
【附图说明】
[0014]图1是本发明整体流程框架示意图。
[0015]图2是各部分人体模型的继承与回馈树形结构示意图。
[0016]图3是使用本发明方法进行实验的实验效果图，因专利法相关规定只能以点云轮廓呈现。左列为Kinect采集到的原始数据的点云轮廓，右列为用本发明方法建立的对应模型的模型轮廓。
【具体实施方式】
[0017]这种动态的人体三维建模方法，包括以下步骤:
[0018](I)基于标 准人体模版的数据预处理和Kinect骨架信息的数据预处理；
[0019](2)进行分段人体模型刚性变形，根据变形模型部位不同分为两类方法:腹、胸、头采用基于旋转矩阵继承的刚性变形方法，四肢采用基于旋转矩阵继承与回馈的刚性变形方法;
[0020](3)进行分段局部模型ICP变形；
[0021](4)对各部分模型的连接部分进行柔性TPS形变。
[0022]本发明使用Kinect深度摄像机获取的RGB-D信息及人体骨架信息，以标准人体模板为辅助，得到一个在关节处柔性形变的三维人体模型，从而能够自然地显示人体的真实姿态。
[0023]优选地，步骤(1)的基于标准人体模版的数据预处理将对应于Kinect获取到的20个人体骨架点的标准人体模板分为腹、胸、头、左臂、右臂、左腿、右腿一共七个大模型部分，其中臂与腿的四肢模型又分别分为三个子模型部分；
[0024]步骤(1)的Kinect骨架信息的数据预处理采用基于RGB信息的深度
[0025]数据恢复算法进行数据恢复，该算法的过程如下:
[0026]Kinect采集到的数据丢失点的深度值均为0，设对于点P，其深度值为D(P)，RGB值为C(P)，若某点Ptl为空洞点，D(P)在以P点为中心的10x10点阵范围内随机选出点集Qi (i=l，2…η)，其中点Qi满足(P。)关O且IC(P)-D(P) I < ε，通过公式(I)得到点P的新深度值:
[0027]D(P0) = Σ?Ιο Wi.D(Qi)ZESLo Wi(I )
[0028]其中Wi = l/(d(P, Qi))2, d(P, Qi)为P点与Qi点的欧式距离，对于跳变的数据，采用相邻多帧去除奇异值求平均的方法进行处理。
[0029]优选地，步骤(2)的腹、胸、头采用基于旋转矩阵继承的刚性变形方法，过程如下:[0030]对于模型中任意一点P(X，Y, Z)，其坐标矩阵VV(X，Y, Z)，通过公式(2)将其刚性变形至点P' (X'，Y'，Z')其坐标矩阵为V' = (X', Y',Z'):
[0031]V' = V.RST = V.Tsrc -S-R- Rfather.Ttar (2)
[0032]其中RST代表整体的变形矩阵，Tsrc与Tto代表变形初始与终止的平移矩阵，S代表缩放矩阵，R代表模型自身的旋转矩阵，Rfather代表由父模型处继承的旋转矩阵；
[0033]四肢模型的旋转矩阵继承与回馈的刚性变形方法，过程如下:
[0034]在四肢模型中，不需要矩阵回馈的部分采用基于旋转矩阵继承的刚性变形方法，需要矩阵回馈的部分，用如下方法:
[0035]对于模型中任意一点P(X，Y, Z)，其坐标矩阵VV(X，Y, Z)通过公式(3)将其刚性变形至点P' (X'，Y'，Z')其坐标矩阵为V' = (X', Y', Z'):
[0036]V' = V.RST = V.Tsrc.S.Rson.R.Rfather.Ttar ⑶
[0037]其中RST代表整体的变形矩阵，Tsrc与Tto代表变形初始与终止的平移矩阵，S代表缩放矩阵，Rsm代表从子模型处回馈的旋转矩阵，R代表模型自身的旋转矩阵，RfathCT代表由父模型处继承的旋转矩阵(2) (3)。
[0038]优选地，步骤(3)的分段局部模型ICP变形方法，过程如下:
[0039]对于模型中任意一点P(X，Y, Z)，其坐标矩阵VV(X，Y, Z)，通过公式(4)将其刚性变形至点P' (X'，Y'，Z')其坐标矩阵为V' = (X',Y',Z'):
[0040]V' = V.RST.RSTicp (4)
[0041]其中RST代表通过步骤(2)的方法得到的变形矩阵，RSTicp代表由ICP方法得到的变形矩阵，RSTicp矩阵的获得是通过优化公式(5)得到:
[0042]
【权利要求】
1.一种动态的人体三维建模方法，其特征在于:包括以下步骤: (1)基于标准人体模版的数据预处理和Kinect骨架信息的数据预处理； (2)进行分段人体模型刚性变形，根据变形模型部位不同分为两类方法:腹、胸、头采用基于旋转矩阵继承的刚性变形方法，四肢采用基于旋转矩阵继承与回馈的刚性变形方法； (3)进行分段局部模型ICP变形； (4)对各部分模型的连接部分进行柔性TPS形变。
2.根据权利要求1所述的动态的人体三维建模方法，其特征在于:步骤(1)的基于标准人体模版的数据预处理将对应于Kinect获取到的20个人体骨架点的标准人体模板分为腹、胸、头、左臂、右臂、左腿、右腿一共七个大模型部分，其中臂与腿的四肢模型又分别分为三个子模型部分； 步骤(1)的Kinect骨架信息的数据预处理采用基于RGB信息的深度数据恢复算法进行数据恢复，该算法的过程如下: Kinect采集到的数据丢失点的深度值均为0，设对于点P，其深度值为D(P)，RGB值为C(P)，若某点Ptl为空洞点，D(P)在以P点为中心的10x10点阵范围内随机选出点集Qi (i=l，2…η)，其中点P。满足D (P。)关O且| C (P)-D (P) | < ε，通过公式(I)得到点P。的新深度值:
3.根据权利要求2所述的动态的人体三维建模方法，其特征在于:步骤(2)的腹、胸、头采用基于旋转矩阵继承的刚性变形方法，过程如下:对于模型中任意一点P(x， ，ζ)，其坐标矩阵VV (X，Y, Ζ)，通过公式(2)将其刚性变形至点P' (X'，Y'，Z')其坐标矩阵为V' =(Χ'， ，ζ'):
V' = V.RST = V.Tsrc-S-R-Rfather.Ttar (2) 其中RST代表整体的变形矩阵，Tsrc与Tto代表变形初始与终止的平移矩阵，S代表缩放矩阵，R代表模型自身的旋转矩阵，Rfather代表由父模型处继承的旋转矩阵； 四肢模型的旋转矩阵继承与回馈的刚性变形方法，过程如下: 在四肢模型中，不需要矩阵回馈的部分采用基于旋转矩阵继承的刚性变形方法，需要矩阵回馈的部分，用如下方法: 对于模型中任意一点Ρ(Χ，Y, Ζ)，其坐标矩阵VV(X，Y, Ζ)，通过公式(3)将其刚性变形至点 P' (X'，Y'，Z')其坐标矩阵为 V' = (X', Y', Z'):
V' = V.RST = V.Tsrc.S.Rson.R.Rfather.Ttar (3) 其中RST代表整体的变形矩阵，Tsrc与Tto代表变形初始与终止的平移矩阵，S代表缩放矩阵，Rsm代表从子模型处回馈的旋转矩阵，R代表模型自身的旋转矩阵，RfathCT代表由父模型处继承的旋转矩阵。
4.根据权利要求3所述的动态的人体三维建模方法，其特征在于:步骤(3)的分段局部模型ICP变形方法，过程如下: 对于模型中任意一点P (X，Y, Z)，其坐标矩阵VV(X，Y, Z)，通过公式(4)将其刚性变形至点 P' (X'，Y'，Z')其坐标矩阵为 V' = (X', Y', Z'):
V' = V.RST.RSTicp (4) 其中RST代表通过步骤(2)的方法得到的变形矩阵，RSTiep代表由ICP方法得到的变形矩阵，RSTicp矩阵通过优化公式(5)得到:
【文档编号】G06T17/00GK103824326SQ201410077380
【公开日】2014年5月28日 申请日期:2014年3月5日 优先权日:2014年3月5日
【发明者】胡永利, 刘洋, 孙艳丰, 尹宝才 申请人:北京工业大学