本发明涉及计算机视觉和计算机图形学技术领域,特别涉及一种联合优化人体体态与外观模型的三维重建方法及系统。
背景技术:
人体动态三维重建是计算机图形学和计算机视觉领域的重点问题。高质量的人体对象动态三维模型,如人体,动物,人脸,人手部等,在影视娱乐、体育游戏、虚拟现实等领域有着广泛的应用前景和重要的应用价值。但是高质量三维模型的获取通常依靠价格昂贵的激光扫描仪或者多相机阵列系统来实现,虽然精度较高,但是也显著存在着一些缺点:第一,扫描过程中要求对象保持绝对静止,微小的移动就会导致扫描结果存在明显的误差;第二,造假昂贵,很难普及到普通民众日常生活中,往往应用于大公司或国家统计部门。第三,速度慢,往往重建一个三维模型需要至少10分钟到数小时的时间,重建动态模型序列的代价更大。
相关技术中,动态人体重建方法集中于三个方面的研究,一是重建对象的动态外观表面,但由于外观表面丰富多样,一般需要采集复杂的设备输入,如通过多摄像机阵列进行采集重建。二是对人体体型和姿态的重建,一般经过体型和姿态进行参数化,重建的变量大大减少,现有技术在单个深度相机下可实时重建,但该类方法无法获得对象表面外观三维模型。三是逐帧动态融合表面的重建方法虽然可实现无模板的动态三维重建,但仅仅使用非刚性表面形变方法,跟踪重建的鲁棒性低。
技术实现要素:
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此,本发明的一个目的在于提出一种联合优化人体体态与外观模型的三维重建方法,该方法有效提高重建的实时性、鲁棒性和准确性,扩展性强,简单易实现。
本发明的另一个目的在于提出一种联合优化人体体态与外观模型的三维重建系统。
为达到上述目的,本发明一方面实施例提出了一种联合优化人体体态与外观模型的三维重建方法,包括以下步骤:对人体进行深度图拍摄,以得到单张深度图像;将所述单张深度图像变换为三维点云,并获取所述三维点云和重建模型顶点及参数化人体模型顶点之间的匹配点对;根据所述匹配点对建立能量函数,并共同求解所述重建模型上每一个顶点的非刚性运动位置变换参数和参数化人体体态模型参数;对所述能量函数进行求解,并根据求解结果将所述重建模型与所述三维点云进行对齐;通过深度图更新和补全对齐后的模型,以进行实时人体动态三维重建。
本发明实施例的联合优化人体体态与外观模型的三维重建方法,通过实时非刚性对齐的方法,逐帧地融合动态对象表面三维信息,为了实现鲁棒地跟踪,实现在无首帧关键帧三维模板条件下的鲁棒性实时人体对象的动态三维重建,从而有效提高重建的实时性、鲁棒性和准确性,扩展性强,简单易实现。
另外,根据本发明上述实施例的联合优化人体体态与外观模型的三维重建方法还可以具有以下附加的技术特征:
进一步地,在本发明的一个实施例中,所述能量函数为:
emot=λdataedata+λbindebind+λregereg+λprioreprior,
其中,emot为运动求解总能量项,edata为数据项,里面包含了非刚性运动跟踪的数据项和参数化人体体态模型的数据项,ebind为参数化人体体态和非刚性运动一致性约束项,ereg为局部刚性运动约束项,作用于非刚性运动数据项,epri为人体体态运动的正则项,用于约束解算出来的人体姿态的合理性,λdata、λreg、λbind和λpri分别为对应各个约束项的权重系数。
进一步地,在本发明的一个实施例中,其中,
其中,
进一步地,在本发明的一个实施例中,深度图投影公式为:
其中,u,v为像素坐标,d(u,v)为深度图像上像素(u,v)位置处的深度值,所述
进一步地,在本发明的一个实施例中,根据非刚性运动和人体体态模型参数驱动模型顶点,其中,计算公式为:
其中,
为达到上述目的,本发明另一方面实施例提出了一种联合优化人体体态与外观模型的三维重建系统,包括:深度相机,用于对人体进行深度图拍摄,以得到单张深度图像;匹配模块,用于将所述单张深度图像变换为三维点云,并获取所述三维点云和重建模型顶点及参数化人体模型顶点之间的匹配点对;运动解算模块,用于根据所述匹配点对建立能量函数,并共同求解所述重建模型上每一个顶点的非刚性运动位置变换参数和参数化人体体态模型参数;求解模块,用于对所述能量函数进行求解,并根据求解结果将所述重建模型与所述三维点云进行对齐;模型更新模块,用于通过深度图更新和补全对齐后的模型,以进行实时人体动态三维重建。
本发明实施例的联合优化人体体态与外观模型的三维重建系统,通过实时非刚性对齐的方法,逐帧地融合动态对象表面三维信息,为了实现鲁棒地跟踪,实现在无首帧关键帧三维模板条件下的鲁棒性实时人体对象的动态三维重建,从而有效提高重建的实时性、鲁棒性和准确性,扩展性强,简单易实现。
另外,根据本发明上述实施例的联合优化人体体态与外观模型的三维重建系统还可以具有以下附加的技术特征:
进一步地,在本发明的一个实施例中,所述能量函数为:
emot=λdataedata+λbindebind+λregereg+λprioreprior,
其中,emot为运动求解总能量项,edata为数据项,里面包含了非刚性运动跟踪的数据项和参数化人体体态模型的数据项,ebind为参数化人体体态和非刚性运动一致性约束项,ereg为局部刚性运动约束项,作用于非刚性运动数据项,epri为人体体态运动的正则项,用于约束解算出来的人体姿态的合理性,λdata、λreg、λbind和λpri分别为对应各个约束项的权重系数。
进一步地,在本发明的一个实施例中,其中,
其中,
进一步地,在本发明的一个实施例中,深度图投影公式为:
其中,u,v为像素坐标,d(u,v)为深度图像上像素(u,v)位置处的深度值,所述
进一步地,在本发明的一个实施例中,根据非刚性运动和人体体态模型参数驱动模型顶点,其中,计算公式为:
其中,
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为根据本发明一个实施例的联合优化人体体态与外观模型的三维重建方法的流程图;
图2为根据本发明一个实施例的联合优化人体体态与外观模型的三维重建系统的结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的联合优化人体体态与外观模型的三维重建方法及系统,首先将参照附图描述根据本发明实施例提出的联合优化人体体态与外观模型的三维重建方法。
图1是本发明一个实施例的联合优化人体体态与外观模型的三维重建方法的流程图。
如图1所示,该联合优化人体体态与外观模型的三维重建方法包括以下步骤:
在步骤s101中,对人体进行深度图拍摄,以得到单张深度图像。
例如,本发明实施例可以采用单个深度相机对目标人物进行拍摄以得到视频帧率的动态深度图像序列。也就是说,使用深度相机对动态人体进行拍摄,获得连续的单张深度图像序列。
在步骤s102中,将单张深度图像变换为三维点云,并获取三维点云和重建模型顶点及参数化人体模型顶点之间的匹配点对。
可以理解的是,获取深度相机内参矩阵,根据内参矩阵将深度图投影到三维空间中生成一组三维点云。
进一步地,在本发明的一个实施例中,深度图投影公式为:
其中,u,v为像素坐标,d(u,v)为深度图像上像素(u,v)位置处的深度值,
具体而言,获取深度相机的内参矩阵,根据内参矩阵将深度图投影到三维空间中变换为一组三维点云。其中,变换的公式为:
在步骤s103中,根据匹配点对建立能量函数,并共同求解重建模型上每一个顶点的非刚性运动位置变换参数和参数化人体体态模型参数。
可以理解的是,根据匹配点对构造并解算能量函数获得非刚性运动和人体参数化体态信息。
进一步地,在本发明的一个实施例中,能量函数为:
emot=λdataedata+λbindebind+λregereg+λprioreprior,
其中,emot为运动求解总能量项,edata为数据项,里面包含了非刚性运动跟踪的数据项和参数化人体体态模型的数据项,ebind为参数化人体体态和非刚性运动一致性约束项,ereg为局部刚性运动约束项,作用于非刚性运动数据项,epri为人体体态运动的正则项,用于约束解算出来的人体姿态的合理性,λdata、λreg、λbind和λpri分别为对应各个约束项的权重系数。
进一步地,在本发明的一个实施例中,其中,
其中,
具体而言,
其中,数据项edata保证经过非刚性运动驱动后的重建模型和经过人体姿态驱动的人体体态模型与从深度图获得的三维点云尽可能的对齐;局部刚性运动约束项ereg可以在使模型整体受局部刚性约束运动的同时保证较大幅度的合理的非刚性运动也能被很好的解算出来,从而使模型更精确的与三维点云对齐;人体体态模型和非刚性运动一致性约束项ebind用于保证解算出来的人体体态模型和非刚性运动尽可能的一致,从而可以保证最终解算出来的非刚性运动即符合人体骨架动力学模型,又充分的与从深度图中获得的三维点云对齐;人体姿态运动正则项eprior使用高斯混合模型来约束人体姿态的正确性,不正常的解算姿态会导致该项能量较大,直至姿态解算正确。
进一步地,(1)在局部刚性运动约束项ereg中,i表示模型上第i个顶点,
(2)在人体体态和非刚性运动一致性约束项ebind中,
(3)体姿态运动正则项eprior使用高斯混合模型来约束人体体态的正确性,不正常的解算姿态会导致该项能量较大,直至姿态解算正确。其中,
在步骤s104中,对能量函数进行求解,并根据求解结果将重建模型与三维点云进行对齐。
进一步地,在本发明的一个实施例中,根据非刚性运动和人体体态模型参数驱动模型顶点,其中,计算公式为:
其中,
具体而言,共同求解重建模型上每一个顶点的非刚性运动位置变换参数和人体体态参数。最终求解获得的信息为每一个三维模型顶点的变换矩阵和人体体态参数,即每个骨骼的单独的变换矩阵。为了实现快速线性求解的要求,本发明实施例的方法对利用指数映射方法对变形方程做如下近似:
其中,
其中,
对于每个顶点,要求解的未知参数即为六维变换参数x=(v1,v2,v3,wx,wy,wz)t。骨骼运动的线性化方式与非刚性运动相同。
在步骤s105中,通过深度图更新和补全对齐后的模型,以进行实时人体动态三维重建。
可以理解的是,使用深度图来更新和补全对齐后的模型并且进一步优化参数化人体模板的人体体形参数。
具体而言,使用深度图像对对齐后的三维模型进行更新和补全,将新获得的深度信息融合到三维模型中,更新三维模型表面顶点位置或为三维模型增加新的顶点,使其更符合当前深度图像的表达。由于更新后的模型融合了新的信息,使用新的模型对参数化人体体形进行更加精确的求解。
综上,本发明实施例使用一个深度相机即可同时重建动态人体外观表面模型(比如人体服饰,衣帽,背包等)以及动态人体内部体态模型,为实时重建方法,并且仅需提供单个深度相机输入,系统具有设备简单,方便部署和可扩展等有点,所需的输入信息非常容易采集,并且可以实时的获得动态三维模型。该方法求解准确鲁棒,简单易行,运行速度为实时,拥有广阔的应用前景,可以在pc机或工作站等硬件系统上快速实现。
根据本发明实施例提出的联合优化人体体态与外观模型的三维重建方法,通过实时非刚性对齐的方法,逐帧地融合动态对象表面三维信息,为了实现鲁棒地跟踪,实现在无首帧关键帧三维模板条件下的鲁棒性实时人体对象的动态三维重建,从而有效提高重建的实时性、鲁棒性和准确性,扩展性强,简单易实现。
其次参照附图描述根据本发明实施例提出的联合优化人体体态与外观模型的三维重建系统。
图2是本发明一个实施例的联合优化人体体态与外观模型的三维重建系统的结构示意图。
如图2所示,该联合优化人体体态与外观模型的三维重建系统10包括:深度相机100、匹配模块200、运动解算模块300、求解模块400和模型更新模块500。
其中,深度相机100用于对人体进行深度图拍摄,以得到单张深度图像。匹配模块200用于将单张深度图像变换为三维点云,并获取三维点云和重建模型顶点及参数化人体模型顶点之间的匹配点对。运动解算模块300用于根据匹配点对建立能量函数,并共同求解重建模型上每一个顶点的非刚性运动位置变换参数和参数化人体体态模型参数。求解模块400用于对能量函数进行求解,并根据求解结果将重建模型与三维点云进行对齐。模型更新模块500用于通过深度图更新和补全对齐后的模型,以进行实时人体动态三维重建。本发明实施例的系统10可以有效提高重建的实时性、鲁棒性和准确性,扩展性强,简单易实现。
进一步地,在本发明的一个实施例中,能量函数为:
emot=λdataedata+λbindebind+λregereg+λprioreprior,
其中,emot为运动求解总能量项,edata为数据项,里面包含了非刚性运动跟踪的数据项和参数化人体体态模型的数据项,ebind为参数化人体体态和非刚性运动一致性约束项,ereg为局部刚性运动约束项,作用于非刚性运动数据项,epri为人体体态运动的正则项,用于约束解算出来的人体姿态的合理性,λdata、λreg、λbind和λpri分别为对应各个约束项的权重系数。
进一步地,在本发明的一个实施例中,其中,
其中,
进一步地,在本发明的一个实施例中,深度图投影公式为:
其中,u,v为像素坐标,d(u,v)为深度图像上像素(u,v)位置处的深度值,
进一步地,在本发明的一个实施例中,根据非刚性运动和人体体态模型参数驱动模型顶点,其中,计算公式为:
其中,
需要说明的是,前述对联合优化人体体态与外观模型的三维重建方法实施例的解释说明也适用于该实施例的联合优化人体体态与外观模型的三维重建系统,此处不再赘述。
根据本发明实施例提出的联合优化人体体态与外观模型的三维重建系统,通过实时非刚性对齐的方法,逐帧地融合动态对象表面三维信息,为了实现鲁棒地跟踪,实现在无首帧关键帧三维模板条件下的鲁棒性实时人体对象的动态三维重建,从而有效提高重建的实时性、鲁棒性和准确性,扩展性强,简单易实现。
在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的系统或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系,除非另有明确的限定。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中,除非另有明确的规定和限定,第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触,或第一和第二特征通过中间媒介间接接触。而且,第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方,或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。