一种基于生成对抗网络的人体三维模型的重建配准系统的制作方法

本发明涉及人体三维模型重建与配准领域，具体是一种基于生成对抗网络的人体三维模型的重建配准系统。

背景技术：

1、随着计算机技术的发展，人们对虚拟世界的探索更加深入，虚拟现实，增强现实，虚拟主播，元宇宙等方向得到了越来越多关注。在虚拟世界中构建真实美观的虚拟数字人形象则是行业中的一个重点和难点。

2、传统的软件无法将真实人体的点云转为同拓扑的人体三维模型，无法完成从现实世界到虚拟世界的转换，不能够在现有的深度学习方法的基础上，无法结合生成对抗网络技术，方法中经常出现的伪影和不自然动作，且不能够可以将真实世界的人体扫描点云转为标准的三维表示以及不同点云之间的配准，无法完成点云的颜色转换等需求。

3、因此，本领域技术人员提供了一种基于生成对抗网络的人体三维模型的重建配准系统，以解决上述背景技术中提出的问题。

技术实现思路

1、本发明的目的在于提供一种基于生成对抗网络的人体三维模型的重建配准系统，以解决上述背景技术中提出的传统的软件无法将真实人体的点云转为同拓扑的人体三维模型，无法完成从现实世界到虚拟世界的转换，不能够在现有的深度学习方法的基础上，无法结合生成对抗网络技术，方法中经常出现的伪影和不自然动作，且不能够可以将真实世界的人体扫描点云转为标准的三维表示以及不同点云之间的配准，无法完成点云的颜色转换等需求的问题。

2、为实现上述目的，本发明提供如下技术方案：

3、一种基于生成对抗网络的人体三维模型的重建配准系统，所述一种基于生成对抗网络的人体三维模型的重建配准系统包括数据加载模块、网络训练模块、模型保存模块和测试模型模块；

4、s1:数据加载模块加载步骤。该模块完成对训练数据的预处理工作，首先将数据归一化，然后将数据顺序进行随机打乱构建样例对，最后打包训练数据块；

5、s2:网络训练模块训练步骤。网络训练模块主要是根据数据加载模块中的数据训练构建的深度学习网络，该网络基于pytorch1.4实现，分为几何编码器，几何解码器，几何判别器和拓扑判别器四个组成部分。

6、s3:模型保存模块保存步骤。保存网络模块主要功能是保存训练好的网络权重以及训练过程的记录，通过pytorch的save模块存储网络模型，并通过tensorboard记录训练过程；

7、s4:测试模型模块测试步骤。主要包括加载网络模块、网格重建模块、点云配准模块和保存模型模块。加加载网络模块主要功能是将预训练好的网络加载到程序中，使程序可以输出良好的配准结果。网格重建模块主要功能是根据输入的点云数据和预训练网络，生成对应的网格模型，该模块会根据模板自动调整输入点云的位置和大小，生成与模板同拓扑的网格模型，该网格模型具有与输入点云相同的动作和相似的细节特征。在点云配准模块过程中，该系统根据输入的点云数据和网格数据，利用网格数据的同拓扑的特点，通过最近邻的方法找到两个点云模型之间的对应关系，依据该对应关系，可以实现点云特征颜色转换，动作转换和语义分割功能。在保存模型模块保存过程中，该系统将保存网格重建以及点云配准部分生成的数据，以此可以得到网格模型和点云，以及二者间点对点的对应关系。

8、作为本发明的一种优选实施方式：所述数据加载模块加载步骤中，在归一化过程中，将输入的人体点云的中心归到原点，并将模型的大小限制为模板的大小，可选用1.7m，通过pytorch生成随机数，打乱点云的顺序，防止训练集中的点云顺序对网络造成影响，根据网络需求构建网络需要的数据内容，可选用输入点云，标准网格边长，错误的网格边长，并打包通过dataloader传入到训练网络中。

9、作为本发明的一种优选实施方式：所述网络训练模块训练步骤中，通过生成模型与输入的倒角距离，几何判别器、边判别器的损失和正则化项约束网络，经过一定次数的迭代，将收敛的网络模型传入到保存模块中保存。

10、作为本发明的一种优选实施方式：所述网络训练模块训练步骤中，在训练网络的过程中，用户首先需要指定好数据的存储位置，在make_center

11、_pointcloud部件中划定要训练的数据集的位置和存储位置，然后在dataset部件中设定处理好的数据集的位置和模型保存位置。然后运行train部件训练网络，训练结束后，存储在目标位置。

12、作为本发明的一种优选实施方式：所述测试模型模块测试步骤中，在测试应用的过程中，用户首先需要指定被测点云数据的位置，并设置结果的存储位置，设置完成后，通过inference模块生成重建的网格模型，根据用户的需求，选择是否生成配准文件，生成的配准文件与模型存储在目标位置中。

13、与现有技术相比，本发明的有益效果是：

14、本发明一种基于生成对抗网络的人体三维模型的重建配准系统,本软件在现有的基于深度学习的人体三维模型重建与配准的方法的基础上，融入了生成对抗学习技术，降低了现有方法的不稳定性，减少了伪影的产生并提高了可视化效果，为将现实人体转到虚拟应用中，提供了一个解决方案，实现三维人体模型重建与配准的软件系统，其功能是将扫描的真实人体点云转为参数化的人体三维模型，完成人体由现实世界到虚拟世界的映射，本软件在深度学习方法的基础上，结合生成对抗网络技术，减少了之前的方法中经常出现的伪影和不自然动作，通过本软件，可以将真实世界的人体扫描点云转为标准的三维表示，实现不同点云之间的配准，提高数字人模型的生成效率。

技术特征：

1.一种基于生成对抗网络的人体三维模型的重建配准系统，其特征在于，所述一种基于生成对抗网络的人体三维模型的重建配准系统包括数据加载模块、网络训练模块、模型保存模块和测试模型模块；

2.根据权利要求1所述的一种基于生成对抗网络的人体三维模型的重建配准系统，其特征在于，所述数据加载模块加载步骤的归一化过程中，将输入的人体点云的中心归到原点，并将模型的大小限制为模板的大小，可选用1.7m，通过pytorch生成随机数，打乱点云的顺序，以防止训练集中的点云顺序对人体模型网络造成影响，根据深度学习网络的需求构建网络需要的数据内容，可选用输入点云，标准网格边长，以及错误的网格边长，并打包通过dataloader传入到训练网络中。

3.根据权利要求1所述的一种基于生成对抗网络的人体三维模型的重建配准系统，其特征在于，所述网络训练模块训练步骤中，通过输入点云与生成三维人体模型网格顶点的倒角距离和模型网格边缘分部的拓扑关系，由几何判别器和拓扑判别器对人体三维模型进行正则化约束。经过一定次数的迭代训练，将收敛的网络模型传入到保存模块中保存。

4.根据权利要求1所述的一种基于生成对抗网络的人体三维模型的重建配准系统，其特征在于，所述网络训练模块的训练步骤中，用户首先需要指定好数据的存储位置，在make_center_pointcloud部件中划定要训练的数据集的位置和存储位置，然后在dataset部件中设定处理好的数据集的位置和模型保存位置。然后运行train部件训练网络，训练结束后，存储在目标位置。

5.根据权利要求1所述的一种基于生成对抗网络的人体三维模型的重建配准系统，其特征在于，所述测试模型模块测试步骤中，在测试应用的过程中，用户首先需要指定被测点云数据的位置，并设置结果的存储位置，设置完成后，通过inference模块生成重建的网格模型，根据用户的需求，选择是否生成配准文件，生成的配准文件与模型存储在目标位置中。

技术总结
本发明公开了一种基于生成对抗网络的人体三维模型的重建配准系统，涉及人体三维模型重建与配准领域，所述一种基于生成对抗网络的人体三维模型的重建配准系统包括数据加载模块、网络训练模块、模型保存模块和测试模型模块；S1:数据加载模块加载步骤。该模块完成对训练数据的预处理工作，首先将数据归一化，然后将数据顺序进行随机打乱构建样例对，最后打包训练数据块；本发明在深度学习方法的基础上，结合生成对抗网络技术，减少了之前的方法中经常出现的伪影和不自然动作，通过本软件，可以将真实世界的人体扫描点云转为标准的三维表示，实现不同点云之间的配准，提高数字人模型的生成效率。

技术研发人员：蒋宇涛
受保护的技术使用者：蒋宇涛
技术研发日：
技术公布日：2024/1/15