本发明涉及计算机视觉和计算机图形学技术领域，特别涉及一种基于骨架跟踪的动态实时三维人体重建方法及系统。
背景技术：
人体三维重建是计算机图形学和计算机视觉领域的重点问题。高质量的人体三维模型在影视娱乐、人口数据统计分析等领域有着广泛的应用前景和重要的应用价值。
然而，高质量人体三维模型的获取通常依靠价格昂贵的激光扫描仪或者多相机阵列系统来实现，虽然精度较高，但是也显著存在着一些缺点：如扫描过程中要求被人保持绝对静止，微小的移动就会导致扫描结果存在明显的误差；而且造假昂贵，很难普及到普通民众日常生活中，往往应用于大公司或国家统计部门，并且速度慢，往往重建一个三维人体模型需要至少10分钟到数小时的时间，有待解决。
技术实现要素：
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种基于骨架跟踪的动态实时三维人体重建方法，该方法求解准确鲁棒，速度快，简单易实现。
本发明的另一个目的在于提出一种基于骨架跟踪的动态实时三维人体重建系统。
为达到上述目的，本发明一方面实施例提出了一种基于骨架跟踪的动态实时三维人体重建方法，包括以下步骤：对人体进行深度图拍摄以得到单张深度图像；将所述单张深度图像变换为三维点云，并获取所述三维点云和重建模型顶点之间的匹配点对；根据所述匹配点对建立能量函数，共同求解所述重建模型上每一个顶点的非刚性运动位置变换参数和人体骨架运动参数；对所述能量函数进行求解，以根据求解结果将所述重建模型与所述三维点云进行对齐，并使用深度图更新和补全对齐后的模型，以实现三维人体重建。
本发明实施例的基于骨架跟踪的动态实时三维人体重建方法，可以利用深度相机对人体进行拍摄，从而获得深度图像作为系统输入信息，并基于该深度图像完成对动态人体进行实时三维重建的功能，所需的输入信息非常容易采集，并且可以实时的获得人体的动态三维模型，求解准确鲁棒，速度快，拥有广阔的应用前景，同时还可以在PC机或工作站等硬件系统上快速实现，简单易实现。
另外，根据本发明上述实施例的基于骨架跟踪的动态实时三维人体重建方法还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述能量函数为：
Et＝λnEn+λsEs+λgEg+λbEb，
其中，Et为总能量项，En为非刚性运动约束项，Es为人体骨架运动约束项，Eg为局部刚性运动约束项，Eb为人体骨架运动和非刚性运动一致性约束项，λn、λs、λg和λb分别为对应各个约束项的权重系数。
进一步地，在本发明的一个实施例中，通过深度相机对人体拍摄以得到所述单张深度图像，且所述将所述单张深度图像变换为三维点云，进一步包括：获取所述深度相机内参矩阵，根据所述内参矩阵将所述单张深度图像投影到三维空间中，生成所述三维点云。
进一步地，在本发明的一个实施例中，所述单张深度图像的投影公式为：
其中，u,v为像素坐标，d(u,v)为深度图像上像素(u,v)位置处的深度值，为深度相机内参矩阵。
进一步地，在本发明的一个实施例中，根据非刚性运动和人体骨架运动驱动模型顶点的计算公式为：
其中，为作用于顶点vi的变形矩阵，为变形矩阵的旋转部分，为对顶点vi有驱动作用的骨骼的集合，αi,j为第j个骨骼对第i个模型顶点的驱动作用的权重，Tbj为第j个骨骼自身的运动变形矩阵，rot(Tbj)为该变形矩阵的旋转部分。
为达到上述目的，本发明另一方面实施例提出了一种基于骨架跟踪的动态实时三维人体重建系统，包括：单深度相机，用于对人体进行深度图拍摄以得到单张深度图像；匹配模块，用于将所述单张深度图像变换为三维点云，并获取所述三维点云和重建模型顶点之间的匹配点对；运动结算模块，根据所述匹配点对建立能量函数，共同求解所述重建模型上每一个顶点的非刚性运动位置变换参数和人体骨架运动参数；重建模块，用于对所述能量函数进行求解，以根据求解结果将所述重建模型与所述三维点云进行对齐，并使用深度图更新和补全对齐后的模型，以实现三维人体重建。
本发明实施例的基于骨架跟踪的动态实时三维人体重建系统，可以利用深度相机对人体进行拍摄，从而获得深度图像作为系统输入信息，并基于该深度图像完成对动态人体进行实时三维重建的功能，所需的输入信息非常容易采集，并且可以实时的获得人体的动态三维模型，求解准确鲁棒，速度快，拥有广阔的应用前景，同时还可以在PC机或工作站等硬件系统上快速实现，简单易实现。
另外，根据本发明上述实施例的基于骨架跟踪的动态实时三维人体重建系统还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述能量函数为：
Et＝λnEn+λsEs+λgEg+λbEb，
其中，Et为总能量项，En为非刚性运动约束项，Es为人体骨架运动约束项，Eg为局部刚性运动约束项，Eb为人体骨架运动和非刚性运动一致性约束项，λn、λs、λg和λb分别为对应各个约束项的权重系数。
进一步地，在本发明的一个实施例中，通过深度相机对人体拍摄以得到所述单张深度图像，且所述将所述单张深度图像变换为三维点云，进一步包括：获取所述深度相机内参矩阵，根据所述内参矩阵将所述单张深度图像投影到三维空间中，生成所述三维点云。
进一步地，在本发明的一个实施例中，所述单张深度图像的投影公式为：
其中，u,v为像素坐标，d(u,v)为深度图像上像素(u,v)位置处的深度值，为深度相机内参矩阵。
进一步地，在本发明的一个实施例中，根据非刚性运动和人体骨架运动驱动模型顶点的计算公式为：
其中，为作用于顶点vi的变形矩阵，为变形矩阵的旋转部分，为对顶点vi有驱动作用的骨骼的集合，αi,j为第j个骨骼对第i个模型顶点的驱动作用的权重，Tbj为第j个骨骼自身的运动变形矩阵，rot(Tbj)为该变形矩阵的旋转部分。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明实施例的基于骨架跟踪的动态实时三维人体重建方法的流程图；
图2为根据本发明一个实施例的基于骨架跟踪的动态实时三维人体重建方法的流程图。
图3为根据本发明实施例的基于骨架跟踪的动态实时三维人体重建系统的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的基于骨架跟踪的动态实时三维人体重建方法及系统，首先将参照附图描述根据本发明实施例提出的基于骨架跟踪的动态实时三维人体重建方法。
图1是本发明一个实施例的基于骨架跟踪的动态实时三维人体重建方法的流程图。
如图1所示，该基于骨架跟踪的动态实时三维人体重建方法包括以下步骤：
在步骤S101中，对人体进行深度图拍摄以得到单张深度图像。
可以理解的是，结合图1和图2所示，本发明实施例可以使用深度相机对动态人体进行拍摄，获得连续的单张深度图像序列。
在步骤S102中，将单张深度图像变换为三维点云，并获取三维点云和重建模型顶点之间的匹配点对。
进一步地，在本发明的一个实施例中，通过深度相机对人体拍摄以得到单张深度图像，且将单张深度图像变换为三维点云，进一步包括：获取深度相机内参矩阵，根据内参矩阵将单张深度图像投影到三维空间中，生成三维点云。
进一步地，在本发明的一个实施例中，单张深度图像的投影公式为：
其中，u,v为像素坐标，d(u,v)为深度图像上像素(u,v)位置处的深度值，为深度相机内参矩阵。
可以理解的是，将深度图像投影到三维空间中变换为一组三维点云包括如此按步骤：
(1)获取深度相机的内参矩阵。
(2)根据内参矩阵将深度图投影到三维空间中变换为一组三维点云。其中，变换的公式为：
其中，u,v为像素坐标，d(u,v)为深度图像上像素(u,v)位置处的深度值，所述为深度相机内参矩阵。
(3)在获取匹配点对方面，使用相机投影公式将三维模型的顶点投影到深度图像
上以获得匹配点对。
在步骤S103中，根据匹配点对建立能量函数，共同求解重建模型上每一个顶点的非刚性运动位置变换参数和人体骨架运动参数。
进一步地，在本发明的一个实施例中，能量函数为：
Et＝λnEn+λsEs+λgEg+λbEb，
其中，Et为总能量项，En为非刚性运动约束项，Es为人体骨架运动约束项，Eg为局部刚性运动约束项，Eb为人体骨架运动和非刚性运动一致性约束项，λn、λs、λg和λb分别为对应各个约束项的权重系数。
可以理解的是，结合图1和图2所示，本发明实施例可以根据匹配点对建立能量函数，具体地，所述能量函数为：
Et＝λnEn+λsEs+λgEg+λbEb，
其中，Et为总能量项，En为非刚性运动约束项，Es为人体骨架运动约束项，Eg为局部刚性运动约束项，Eb为人体骨架运动和非刚性运动一致性约束项，λn、λs、λg和λb分别为对应各个约束项的权重系数，其中，
其中，非刚性运动约束En保证经过非刚性运动驱动后的模型与从深度图获得的三维点云尽可能的对齐，人体骨架运动约束项Es保证经过人体骨架运动驱动后的模型与从深度图获得的三维点云尽可能的对齐；局部刚性运动约束项Eg可以在使模型整体受局部刚性约束运动的同时保证较大幅度的合理的非刚性运动也能被很好的解算出来，从而使模型更精确的与三维点云对齐；人体骨架运动和非刚性运动一致性约束项Eb用于保证解算出来的人体骨架运动和非刚性运动尽可能的一致，从而可以保证最终解算出来的非刚性运动即符合人体骨架动力学模型，又充分的与从深度图中获得的三维点云对齐。
在步骤S104中，对能量函数进行求解，以根据求解结果将重建模型与三维点云进行对齐，并使用深度图更新和补全对齐后的模型，以实现三维人体重建。
进一步地，在本发明的一个实施例中，根据非刚性运动和人体骨架运动驱动模型顶点的计算公式为：
其中，为作用于顶点vi的变形矩阵，为变形矩阵的旋转部分，为对顶点vi有驱动作用的骨骼的集合，αi,j为第j个骨骼对第i个模型顶点的驱动作用的权重，Tbj为第j个骨骼自身的运动变形矩阵，rot(Tbj)为该变形矩阵的旋转部分。
可以理解的是，本发明实施例可以对能量函数进行求解，根据求解结果将重建模型与三维点云进行对齐。
具体地，共同求解重建模型上每一个顶点的非刚性运动位置变换参数和人体骨架运动参数；最终求解获得的信息为每一个三维模型顶点的变换矩阵和人体骨架运动参数，即每个骨骼的单独的变换矩阵；为了实现快速线性求解的要求，本发明实施例的方法对利用指数映射方法对变形方程做如下近似：
其中，为截至上一帧的模型顶点vi的累积变换矩阵，为已知量；I为四维单位阵；
其中，
令即上一帧变换后的模型顶点，则经过变换有：
对于每个顶点，要求解的未知参数即为六维变换参数
x＝(v1,v2,v3,wx,wy,wz)T。
其中，骨骼运动的线性化方式与非刚性运动相同。
另外，本发明实施例还使用深度图来更新和补全对齐后的模型。
具体地，使用深度图像对对齐后的三维模型进行更新和补全，将新获得的深度信息融合到三维模型中，更新三维模型表面顶点位置或为三维模型增加新的顶点，使其更符合当前深度图像的表达。
根据本发明实施例提出的基于骨架跟踪的动态实时三维人体重建方法，可以利用深度相机对人体进行拍摄，从而获得深度图像作为系统输入信息，并基于该深度图像完成对动态人体进行实时三维重建的功能，所需的输入信息非常容易采集，并且可以实时的获得人体的动态三维模型，求解准确鲁棒，速度快，且拥有广阔的应用前景，同时还可以在PC机或工作站等硬件系统上快速实现，简单易实现。
其次参照附图描述根据本发明实施例提出的基于骨架跟踪的动态实时三维人体重建系统。
图3是本发明一个实施例的基于骨架跟踪的动态实时三维人体重建系统的结构示意图。
如图3所示，该基于骨架跟踪的动态实时三维人体重建系统10包括：单深度相机100、匹配模块200、运动结算模块300和重建模块400。
其中，单深度相机100用于对人体进行深度图拍摄以得到单张深度图像。匹配模块200用于将单张深度图像变换为三维点云，并获取三维点云和重建模型顶点之间的匹配点对。运动结算模块300根据匹配点对建立能量函数，共同求解重建模型上每一个顶点的非刚性运动位置变换参数和人体骨架运动参数。重建模块400用于对能量函数进行求解，以根据求解结果将重建模型与三维点云进行对齐，并使用深度图更新和补全对齐后的模型，以实现三维人体重建。本发明实施例的系统10可以利用深度相机对人体进行拍摄，从而获得深度图像作为系统输入信息，并基于该深度图像完成对动态人体进行实时三维重建的功能，求解准确鲁棒，简单易实现。
进一步地，在本发明的一个实施例中，所述能量函数为：
Et＝λnEn+λsEs+λgEg+λbEb，
其中，Et为总能量项，En为非刚性运动约束项，Es为人体骨架运动约束项，Eg为局部刚性运动约束项，Eb为人体骨架运动和非刚性运动一致性约束项，λn、λs、λg和λb分别为对应各个约束项的权重系数。
进一步地，在本发明的一个实施例中，通过深度相机对人体拍摄以得到所述单张深度图像，且所述将所述单张深度图像变换为三维点云，进一步包括：获取所述深度相机内参矩阵，根据所述内参矩阵将所述单张深度图像投影到三维空间中，生成所述三维点云。
进一步地，在本发明的一个实施例中，所述单张深度图像的投影公式为：
其中，u,v为像素坐标，d(u,v)为深度图像上像素(u,v)位置处的深度值，为深度相机内参矩阵。
进一步地，在本发明的一个实施例中，根据非刚性运动和人体骨架运动驱动模型顶点的计算公式为：
其中，为作用于顶点vi的变形矩阵，为变形矩阵的旋转部分，为对顶点vi有驱动作用的骨骼的集合，αi,j为第j个骨骼对第i个模型顶点的驱动作用的权重，Tbj为第j个骨骼自身的运动变形矩阵，rot(Tbj)为该变形矩阵的旋转部分。
需要说明的是，前述对基于骨架跟踪的动态实时三维人体重建方法实施例的解释说明也适用于该实施例的基于骨架跟踪的动态实时三维人体重建系统，此处不再赘述。
根据本发明实施例提出的基于骨架跟踪的动态实时三维人体重建系统，可以利用深度相机对人体进行拍摄，从而获得深度图像作为系统输入信息，并基于该深度图像完成对动态人体进行实时三维重建的功能，所需的输入信息非常容易采集，并且可以实时的获得人体的动态三维模型，求解准确鲁棒，速度快，且拥有广阔的应用前景，同时还可以在PC机或工作站等硬件系统上快速实现，简单易实现。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的系统或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。