基于网格形变的单图像人体三维重建方法及系统与流程

本发明涉及计算机视觉三维重建技术领域，特别涉及一种基于网格形变的单图像人体三维重建方法及系统。

背景技术：

随着计算机视觉领域中的三维重建技术的不断发展，人体的三维重建技术成为了计算机室领域中的一个研究热点。现实生活中，网络上拥有大量的包含人物信息的图片，如何利用这些图片直接重建出相应的三维人体模型成为一个新兴的研究方向。

目前流行的基于单图像的人体重建方法主要分为重建参数化人体模型以及重建基于体素(voxel)表示的人体模型。常用的参数化模型为smpl(askinnedmulti-personlinearmodel)，其包含用于描述人体姿态和描述人体体型的两套共72个参数。针对单图片重建问题，先从图片估计二维关节位置，再通过三维关节与二维平面关节投影距离最小来实现优化得到smpl参数，进而得到人体。重建基于体素表示的人体模型，则是通过将空间分割为一个个小立方体，通过立方体是否被物体占用来表示三维模型。

尽管基于单图片重建三维人体模型技术已经有了很大的发展，但目前两种流行方法仍各有其问题：重建参数化模型，导致结果对人体表面几何细节的表现能力有限，无法很好地重建出人体表面衣物的细节纹理。基于体素表示的人体模型，则是由于目前显存的限制，最高精度只能达到128*128*128，整体表现较粗糙。

技术实现要素：

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于网格形变的单图像人体三维重建方法，该方法可以更轻量且更好地表现人体模型细节特征，得到拥有更多三维几何细节特征的人体模型。

本发明的另一个目的在于提出一种基于网格形变的单图像人体三维重建系统。

为达到上述目的，本发明一方面提出了基于网格形变的单图像人体三维重建方法，包括以下步骤：采集单图片和人体模型，以及所述人体模型对应的初始人体三维模型，并利用所述初始人体三维模型构建所述人体模型数据库，以作为卷积神经网络的初始数据；对所述初始数据进行渲染得到卷积神经网络训练时的输入图片；利用数据流编程深度学习平台构建卷积神经网络，以根据所述输入图片提取出人体关节位置概率分布图；对所述单图片进行人体分割标注，得到人体分割标注图；根据所述单图片、所述人体分割标注图和所述人体关节位置概率分布图对所述卷积神经网络进行训练，得到最终人体三维模型。

本发明实施例的基于网格形变的单图像人体三维重建方法，利用了二维的彩色rgb图片和经过估计得到的粗糙人体smpl三维模型，以及设计的二维卷积特征提取网络，对基于tensorflow深度学习平台搭建的图卷积神经网络结构进行训练，最终得到基于网格形变得到的人体三维模型，从而可以更轻量且更好地表现人体模型细节特征，还可以通过训练好的图卷积的神经网络模型驱动网格变形得到拥有更多三维几何细节特征的人体模型。

另外，根据本发明上述实施例的基于网格形变的单图像人体三维重建方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，基于双重融合算法利用深度摄像机采集不同人体不同姿态得到所述人体模型

进一步地，在本发明的一个实施例中，通过对所述初始人体三维模型进行预处理得到所述人体模型数据库。

进一步地，在本发明的一个实施例中，将所述卷积神经网络训练至权重值基本收敛时，得到所述最终人体三维模型。

进一步地，在本发明的一个实施例中，还包括：将所述单图片和对应的最终人体三维模型输入训练好的卷积神经网络中，所述训练好的卷积神经网络输出包含几何细节的人体网格模型。

为达到上述目的，本发明另一方面提出了一种基于网格形变的单图像人体三维重建系统，包括：采集模块，用于采集人体模型和对应的初始人体三维模型，并利用所述初始人体三维模型构建所述人体模型数据库，以作为卷积神经网络的初始数据；渲染模块，用于对所述初始数据进行渲染得到卷积神经网络训练时的输入图片；提取模块，用于利用数据流编程深度学习平台构建卷积神经网络，以根据所述输入图片提取出人体关节位置概率分布图；分割标注模块，用于对所述单图片进行人体分割标注，得到人体分割标注图；训练模块，用于根据所述单图片、所述人体分割标注图和所述人体关节位置概率分布图对所述卷积神经网络进行训练，得到最终人体三维模型。

本发明实施例的基于网格形变的单图像人体三维重建系统，利用了二维的彩色rgb图片和经过估计得到的粗糙人体smpl三维模型，以及设计的二维卷积特征提取网络，对基于tensorflow深度学习平台搭建的图卷积神经网络结构进行训练，最终得到基于网格形变得到的人体三维模型，从而可以更轻量且更好地表现人体模型细节特征，还可以通过训练好的图卷积的神经网络模型驱动网格变形得到拥有更多三维几何细节特征的人体模型。

另外，根据本发明上述实施例的基于网格形变的单图像人体三维重建系统还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，基于双重融合算法利用深度摄像机采集不同人体不同姿态得到所述人体模型。

进一步地，在本发明的一个实施例中，通过对所述初始人体三维模型进行预处理得到所述人体模型数据库。

进一步地，在本发明的一个实施例中，将所述卷积神经网络训练至权重值基本收敛时，得到所述最终人体三维模型。

进一步地，在本发明的一个实施例中，还包括：测试模块，用于将所述单图片和对应的最终人体三维模型输入训练好的卷积神经网络中，所述训练好的卷积神经网络输出包含几何细节的人体网格模型。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明一个实施例的基于网格形变的单图像人体三维重建方法流程图；

图2是本发明一个实施例的基于网格形变的单图像人体三维重建系统结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例提出的基于网格形变的单图像人体三维重建方法及系统，首先将参照附图描述根据本发明实施例提出的基于网格形变的单图像人体三维重建方法。

图1是本发明一个实施例的基于网格形变的单图像人体三维重建方法流程图。

如图1所示，该基于网格形变的单图像人体三维重建方法包括以下步骤：

在步骤s101中，采集单图片和人体模型，以及人体模型对应的初始人体三维模型，并利用初始人体三维模型构建人体模型数据库，以作为卷积神经网络的初始数据。

进一步地，在本发明的一个实施例中，基于双重融合算法利用深度摄像机采集不同人体不同姿态得到人体模型。

进一步地，在本发明的一个实施例中，通过对初始人体三维模型进行预处理得到人体模型数据库。

也就是说，基于双重融合doublefusion算法，利用深度摄像机同时采集一系列不同人不同姿势的人体模型及对应的smpl模型(人体三维模型)，对采集到的smpl模型进行预处理，实现模型的降采样，从而构建人体模型数据库作为卷积神经网络的原始数据。

在步骤s102中，对初始数据进行渲染得到卷积神经网络训练时的输入图片。

可以理解为，对初始数据进行不同视角，不同光照，不同背景下的渲染，得到图片作为网络训练时的输入。

在步骤s103中，利用数据流编程深度学习平台构建卷积神经网络，以根据输入图片提取出人体关节位置概率分布图。

具体而言，基于tensorflow(数据流编程)深度学习平台搭建用于提取二维信息的前端网络，然后构建卷积神经网络实现基于图片生成人体18个关节位置的概率分布图。

在步骤s104中，对单图片进行人体分割标注，得到人体分割标注图。

在步骤s105中，根据单图片、人体分割标注图和人体关节位置概率分布图对卷积神经网络进行训练，得到最终人体三维模型。

进一步地，在本发明的一个实施例中，卷积神经网络进行训练至权重值基本收敛时，得到最终人体三维模型。

具体地，基于单图片、关节位置概率分布图以及人体分割标注图三者的二维信息经过经典卷积网络丰富特征维度，搭建用于三维变形的后端网络，利用二维特征数据，搭建图卷积网络将人体初始smpl模型输出成为最终人体网格模型，利用构建的人体模型数据库和合理的能量函数对卷积神经网络中的权重进行迭代回归优化，直至权重基本收敛。

进一步地，在本发明的一个实施例中，还包括：将单图片和对应的最终人体三维模型输入训练好的卷积神经网络中，训练好的卷积神经网络输出包含几何细节的人体网格模型。

也就是说，将包含人物的单张彩色图片作为训练好的卷积神经网络的输入，网络即可输出包含几何细节的人体网格模型。

进一步地，在本发明实施例中采用了图卷积的神经网络结构，其包括以下步骤：

初始模型为粗糙且低分辨率的smpl人体模型，以经过前端二维卷积神经网络提取到的二维特征作为指导信息；

提取后的二维特征信息和对应的初始模型作为输入，经过图卷积神经网络得到细节优化后的网格表示人体三维模型。

下面结合具体示例对本发明实施例做进一步说明，如下：

步骤一，采集训练部分。利用kinect2深度相机，结合doublefusion算法，采集不同人体不同姿势的人体模型，数目大约有80个不同人体，2000个不同姿势。将高精度人体模型和对应的smpl模型进行配准，作为对卷积神经网络训练时的原始数据。对原始数据利用blender(跨平台全能三维动画制作软件)渲染得到训练用的输入图片，利用openpose(基于深度学习的姿势估计开源框架)提取二维关节点热力图。利用以上数据及人体分割标注图，对基于tensorflow深度学习平台搭建的图卷积神经网络结构进行训练，直至网络中的权重值基本收敛，最终得到基于网格形变得到的人体三维模型。

步骤二，测试和使用部分。利用相机采集的rgb图片，并且搭配一个降采样后的对应姿势的smpl模型，将二者作为训练好的网络模型的输入部分，网络就可以驱动网格变形，进而输出包含几何细节的人体网格模型。

根据本发明实施例提出的基于网格形变的单图像人体三维重建方法，利用了二维的彩色rgb图片和经过估计得到的粗糙人体smpl三维模型，以及设计的二维卷积特征提取网络，对基于tensorflow深度学习平台搭建的图卷积神经网络结构进行训练，最终得到基于网格形变得到的人体三维模型，从而可以更轻量且更好地表现人体模型细节特征，还可以通过训练好的图卷积的神经网络模型驱动网格变形得到拥有更多三维几何细节特征的人体模型。

其次参照附图描述根据本发明实施例提出的基于网格形变的单图像人体三维重建系统。

图2是本发明一个实施例的基于网格形变的单图像人体三维重建系统结构示意图。

如图2所示，该基于网格形变的单图像人体三维重建系统10包括：采集模块100、渲染模块200、提取模块300、分割标注模块400、训练模块500和测试模块600。

其中，采集模块100用于采集人体模型和对应的初始人体三维模型，并利用初始人体三维模型构建人体模型数据库，以作为卷积神经网络的初始数据。渲染模块200用于对初始数据进行渲染得到卷积神经网络训练时的输入图片。提取模块300用于利用数据流编程深度学习平台构建卷积神经网络，以根据输入图片提取出人体关节位置概率分布图。分割标注模块400用于对单图片进行人体分割标注，得到人体分割标注图。训练模块500用于根据单图片、人体分割标注图和人体关节位置概率分布图对卷积神经网络进行训练，得到最终人体三维模型。测试模块600用于将单图片和对应的最终人体三维模型输入训练好的卷积神经网络中，训练好的卷积神经网络输出包含几何细节的人体网格模型。本发明实施例的人体三维重建系统可以更轻量且更好地表现人体模型细节特征，得到拥有更多三维几何细节特征的人体模型。

进一步地，在本发明的一个实施例中，基于双重融合算法利用深度摄像机采集不同人体不同姿态得到人体模型。

进一步地，在本发明的一个实施例中，通过对初始人体三维模型进行预处理得到人体模型数据库

可选地，在本发明的一个实施例中，卷积神经网络进行训练至权重值基本收敛时，得到最终人体三维模型。

需要说明的是，前述对基于网格形变的单图像人体三维重建方法实施例的解释说明也适用于该系统，此处不再赘述。

根据本发明实施例提出的基于网格形变的单图像人体三维重建系统，利用了二维的彩色rgb图片和经过估计得到的粗糙人体smpl三维模型，以及设计的二维卷积特征提取网络，对基于tensorflow深度学习平台搭建的图卷积神经网络结构进行训练，最终得到基于网格形变得到的人体三维模型，从而可以更轻量且更好地表现人体模型细节特征，还可以通过训练好的图卷积的神经网络模型驱动网格变形得到拥有更多三维几何细节特征的人体模型。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。