一种人体三维模型重建与测量的方法及系统与流程

本发明涉及计算机图形学和计算机视觉技术领域，尤其涉及一种人体三维模型重建与测量的方法及系统。

背景技术：

人体三维模型重建与测量是计算机图形学、计算机动画、计算机视觉、科学计算和虚拟现实、数字媒体创作等领域的共性科学问题和核心技术。

目前相关的三维重建技术可分为多相机和单相机两种，经过图像提取、相机标定、特征提取、立体匹配可恢复对象稀疏的点云模型；也可用kinect等深度传感器直接获取物体的深度数据。在三维重建过程中，由于建模对象的微小形变和运动，导致恢复的三维模型精度降低，而目前的三维重建技术恢复的稀疏点云数据无法满足对细节要求较高的场合。

技术实现要素：

本发明旨在至少在一定程度上解决上述相关技术中的技术问题之一。

为此，本发明的目的在于提供一种人体三维模型重建与测量的方法，包括，

数据预处理阶段：

网络训练阶段；

实时运算阶段；

模型重建和测量。

进一步地，所述的数据预处理，包括，预标记阶段和预处理学习阶段。

进一步地，所述的预标记阶段，对人体模型数据库的标准模型，标记要测量的位置信息，并通过三角形重心坐标的方法记录测量圈上面的点。

进一步地，所述的预处理学习阶段，通过人体模型数据库，以设备标定的相机参数，进行虚拟拍照，生成大量人体模型的正侧面深度图，以及基于虚拟人模型数据库的pca分解后获取的特征值向量。

进一步地，所述的网络训练，搭建深度卷积神经网络，以正侧面深度图为输入，特征值向量为输出，进行网络训练。

进一步地，所述的人体模型数据，包括，测量标注位置标注、pca主成分分析、虚拟拍照。

进一步地，所述的pca主成分分析，包括，特征向量矩阵、特征值集。

进一步地，所述的虚拟拍照，包括，设备相机标定、正侧面深度图、特征值数据集。

进一步地，所述的实时运算阶段，包括，设备采集、图片预处理、深度卷积网络。

进一步地，所述的模型重建和测量，包括，

对实时运算阶段中获取的特征值向量，乘以预处理学习阶段中获取的特征向量矩阵，恢复三维模型；

根据预标记阶段中的预标记信息，恢复测量位置；

对新模型进行测量，获取测量值。

本发明的目的是提供一种人体三维模型重建与测量的系统，包括，

数据预处理模块：

网络训练模块；

实时运算模块

模型重建和测量。

本发明的目的是提供一种人体三维模型重建与测量的产品，包括适用于虚拟现实，虚拟试衣，虚拟社交，自动人体数据采集与测量，服装定制等。

有益效果：

(1)占地面积小，只需要不到2平方米的面积。

(2)所需设备成本低，只需要单个深度相机与一台2g以上显存的台式机即可。

(3)计算速度快，基本可以达到交互级别，整个运算过程小于2s。

附图说明

图1是数据预处理流程图

图2是网络训练流程图

图3是实时运算流程图

图4是深度图预处理流程图

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本实施例提供一种人体三维模型重建与测量的方法，包括，

数据预处理阶段：

网络训练阶段；

实时运算阶段；

模型重建和测量。

优选实施例，本实施例中数据预处理，包括，预标记阶段和预处理学习阶段。

优选实施例，本实施例中预标记阶段，对人体模型数据库的标准模型，标记要测量的位置信息，并通过三角形重心坐标的方法记录测量圈上面的点。

优选实施例，本实施例中预处理学习阶段，通过人体模型数据库，以设备标定的相机参数，进行虚拟拍照，生成大量人体模型的正侧面深度图，以及基于虚拟人模型数据库的pca分解后获取的特征值向量。

优选实施例，本实施例中真实人体模型数据库：指通过三维扫描仪，在人的姿态保持a-pose的情况下扫描的三维人体模型，并采用了标准模型进行同构后的数据集(指所有的人体模型都有一样的三维网格拓扑结构)

优选实施例，本实施例中测量标注位置：指在模型表面用一组点描述测量的信息，点组成的形状可以是圆表示维度，也可以是线表示长度。而模型表面的点一定可以用三角形重心坐标表示，这样记录点所在的三角形以及对应的重心坐标后，当模型发生形变后，依然可以恢复点所在的相对位置。

优选实施例，本实施例中在对真实设备进行进行相机标定后获取内外相机参数后，可以采用opengl在虚拟环境中对人体数据库的模型进行拍照，获取和真实拍照类似的深度图数据。

优选实施例，本实施例中网络训练，搭建深度卷积神经网络，以正侧面深度图为输入，特征值向量为输出，进行网络训练。

优选实施例，本实施例中采用caffe来完成网络训练，其中输入x为虚拟拍照获得的正侧面深度图，输出y为对应特征值向量，网络结构采用了5个残差模块堆叠而成(深度图预处理流程图)。

优选实施例，本实施例中人体模型数据，包括，测量标注位置标注、pca主成分分析、虚拟拍照。

优选实施例，本实施例中pca主成分分析，包括，特征向量矩阵、特征值集。

优选实施例，本实施例中pca主成分分析，由于真实人体模型数据库所有模型都为同样的拓扑结构的模型，可以采取直接对顶点数据进行pca分析，将人体模型数据库组成如下的矩阵：

其中表示有m个模型每个模型有n个顶点，为mx3n的矩阵，进行svd分解获取特征值和特征向量。

优实施例，本实施例中虚拟拍照，包括，设备相机标定、正侧面深度图、特征值数据集。

优选实施例，本实施例中实时运算阶段，包括，设备采集、图片预处理、深度卷积网络。

优选实施例，本实施例中图片预处理的目的是从场景中将人从背景中分离出来，由于是深度图，所以可以简单的根据深度的连通性，以及地面是平面的这两个先验信息进行分割，主要包括：

模型重建：当从深度卷积网络中计算出模型的特征值向量后只需要将特征值向量乘以特征向量矩阵就可以恢复模型的顶点信息，由于模型的拓扑是保持不变的，所以恢复的模型的顶点信息加上人体模型库的标准模型的面信息就可以完整恢复人的三维网格模型；

自动测量：根据预处理阶段标注的测量标注位置，以及重建完后的模型，就可以恢复每个测量标注点的在新模型表面的位置，将恢复的标注位置连接起来算长度即为新模型的测量值。

优选实施例，本实施例中模型重建和测量，包括，

对实时运算阶段中获取的特征值向量，乘以预处理学习阶段中获取的特征向量矩阵，恢复三维模型；

根据预标记阶段中的预标记信息，恢复测量位置；

对新模型进行测量，获取测量值。

本实施例提供一种人体三维模型重建与测量的系统，包括，

数据预处理模块：

网络训练模块；

实时运算模块

模型重建和测量。

本实施例提供一种人体三维模型重建与测量的产品，包括适用于虚拟现实，虚拟试衣，虚拟社交，自动人体数据采集与测量，服装定制等。