一种人体三维重建方法及设备与流程

本申请涉及计算机视觉和计算机图形学，尤其涉及一种人体三维重建方法及设备。

背景技术：

1、随着虚拟现实(virtual reality，vr)技术和增强现实(augmented reality，ar)技术逐渐从军事和工业领域正逐步扩展到娱乐和生活领域，人们的社交方式发生了改变。形象逼真的虚拟化身在虚拟空间中进行社交，重现了第一代社交方式中面对面的沉浸感，虚拟/增强现实社交方式可能成为继第四代移动互联网时代之后的第五代社交媒体。而人体三维重建作为虚拟社交的关键技术，具有重要的研究意义。

2、通常的，人体三维重建涉及形态、姿态和纹理数据。重建过程中，首先从各类传感器获得采集信息，然后使用三维重建方法对采集信息进行处理，从而重建出人体三维模型。

3、由于网络带宽的限制，目前，3d全息通讯和虚拟直播等社交场景中，大多采用″预建模+人体姿态″的方式实现实时驱动以满足带宽要求，通过运动捕捉技术获取人体姿态以实时驱动一个预先生成的人体三维模型，从而完成人体的动态三维重建。重建过程中，人体姿态与人体三维模型的运动匹配与绑定作为实时驱动的关键技术，直接影响了模型的重建质量。

4、目前，运动匹配和绑定主要有两种方式：一种是动画师手工绑定，这种方式精度高，但是往往需要花费数十个小时，导致模型的重建效率较低；另一种是自动将定义好的人体骨架绑定到人体三维模型，这种方式节约了绑定时间，但精度低，绑定不合理会造成驱动效果差，进而降低了重建模型的保真度。

技术实现思路

1、本申请实施例提供了一种人体三维重建方法即设备，用以提高三维模型的重建效率和重建精度。

2、第一方面，本申请实施例提供一种人体三维重建方法，包括：

3、获取预先构建的参数化人体模型中骨骼节点的运动逻辑数据；

4、根据预先构建的被驱动模型中多个预设关键点的三维坐标，对所述参数化人体模型中相应的关键点进行刚性变换，得到初始参数化人体模型；

5、分别提取所述被驱动模型和所述初始参数化人体模型正面视角下的点云数据，并根据提取的点云数据，确定模型之间的刚性变换关系；

6、根据所述刚性变换关系，将所述被驱动模型和所述初始参数化模型进行对齐并拟合，得到目标参数化人体模型；

7、根据预设的距离策略，将所述被驱动模型的各个顶点与所述目标参数化人体模型的相应节点进行绑定，并根据绑定节点的蒙皮权重和所述骨骼节点的运动逻辑数据，确定相应顶点的运动逻辑数据和蒙皮权重；所述节点的蒙皮权重是基于所述骨骼节点预先确定的；

8、根据所述被驱动模型中各个顶点的运动逻辑数据和蒙皮权重，驱动所述被驱动模型运动，得到人体三维模型。

9、第二方面，本申请实施例提供一种重建终端，包括处理器、存储器、显示器和至少一个外部通信接口，所述至少一个外部通信接口、所述显示器、所述存储器和所述处理器之间通过总线连接，所述存储器存储有计算机程序指令，所述处理器被配置为基于所述计算机程序指令，执行以下操作：

10、通过所述至少一个外部通信接口，获取预先构建的参数化人体模型中骨骼节点的运动逻辑数据；

11、根据预先构建的被驱动模型中多个预设关键点的三维坐标，对所述参数化人体模型中相应的关键点进行刚性变换，得到初始参数化人体模型；

12、分别提取所述被驱动模型和所述初始参数化人体模型正面视角下的点云数据，并根据提取的点云数据，确定模型之间的刚性变换关系；

13、根据所述刚性变换关系，将所述被驱动模型和所述初始参数化模型进行对齐并拟合，得到目标参数化人体模型；

14、根据预设的距离策略，将所述被驱动模型的各个顶点与所述目标参数化人体模型的相应节点进行绑定，并根据绑定节点的蒙皮权重和所述骨骼节点的运动逻辑数据，确定相应顶点的运动逻辑数据和蒙皮权重；所述节点的蒙皮权重是基于所述骨骼节点预先确定的；

15、根据所述被驱动模型中各个顶点的运动逻辑数据和蒙皮权重，驱动所述被驱动模型运动，得到人体三维模型并由所述显示器显示。

16、第三方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行人体三维重建方法。

17、本申请的上述实施例中，基于多个预设关键点，对参数化人体模型进行刚性变换，得到拟合后的初始参数化人体模型，并根据被驱动模型和初始参数化人体模型正面视角下的点云数据，将被驱动模型和初始参数化模型进行对齐并进行非刚性拟合，得到目标参数化人体模型，进一步地，根据预设的距离策略，自动地将被驱动模型的各个顶点与目标参数化人体模型的相应节点进行快速、合理的绑定，减少了绑定时间，提高了重建效率，并且根据绑定节点的蒙皮权重和获取的参数化人体模型的骨骼节点的运动逻辑数据，确定相应顶点的运动逻辑数据和蒙皮权重使得捕捉到的运动逻辑数据更能贴合被驱动模型，避免“穿帮”和“滑步”现象，进而提高了重建模型的精度；根据绑定后确定的各个顶点的运动逻辑数据和蒙皮权重，驱动被驱动模型运动，使得被驱动模型与重建对象的姿态和动作一致，保证模型的真实性。

技术特征：

1.一种人体三维模型重建方法，其特征在于，包括：

2.如权利要求1所述的方法，其特征在于，所述根据预设的距离策略，将所述被驱动模型的各个顶点与所述目标参数化人体模型的相应节点进行绑定，包括：

3.如权利要求1所述的方法，其特征在于，所述根据绑定节点的蒙皮权重和所述骨骼节点的运动逻辑数据，确定相应顶点的运动逻辑数据和蒙皮权重，包括：

4.如权利要求1所述的方法，其特征在于，通过以下方式确定所述多个预设关键点的三维坐标：

5.如权利要求1-4中任一项所述的方法，其特征在于，对所述参数化人体模型中相应的关键点进行刚性变换，得到初始参数化人体模型，包括：

6.如权利要求1-4中任一项所述的方法，其特征在于，所述根据所述刚性变换关系，将所述被驱动模型和所述初始参数化模型进行对齐并拟合，得到目标参数化人体模型，包括：

7.一种重建终端，其特征在于，包括处理器、存储器、显示器和至少一个外部通信接口，所述至少一个外部通信接口、所述显示器、所述存储器和所述处理器之间通过总线连接，所述存储器存储有计算机程序指令，所述处理器被配置为基于所述计算机程序指令，执行以下操作：

8.如权利要求7所述的重建终端，其特征在于，所述处理器根据预设的距离策略，将所述被驱动模型的各个顶点与所述目标参数化人体模型的相应节点进行绑定，具体被配置为：

9.如权利要求7所述的重建终端，其特征在于，所述处理器根据绑定节点的蒙皮权重和所述骨骼节点的运动逻辑数据，确定相应顶点的运动逻辑数据和蒙皮权重，具体被配置为：

10.如权利要求7所述的重建终端，其特征在于，通过以下方式确定所述多个预设关键点的三维坐标：

技术总结
本申请涉及计算机视觉和计算机图形学技术领域，提供一种人体三维重建方法及设备，通过多个预设关键点和正面点云数据，对参数化人体模型和被驱动模型进行了两次拟合，得到目标参数化人体模型，根据预设的距离策略，自动地将被驱动模型的各个顶点与目标参数化人体模型的相应节点进行快速、合理的绑定，减少了绑定时间，提高了重建效率，并且根据绑定节点的蒙皮权重和获取的参数化人体模型的骨骼节点的运动逻辑数据，确定相应顶点的运动逻辑数据和蒙皮权重，使得捕捉到的运动逻辑数据更能贴合被驱动模型，保证被驱动模型与重建对象的姿态和动作一致，避免“穿帮”和“滑步”现象，进而提高了重建模型的精度和真实性。

技术研发人员：许瀚誉,陈春朋,张思栋,刘帅
受保护的技术使用者：聚好看科技股份有限公司
技术研发日：
技术公布日：2024/1/12