基于服装建模与仿真的视频人体三维重建方法及装置与流程

本发明涉及计算机视觉技术领域，特别涉及一种基于服装建模与仿真的视频人体三维重建方法及装置。

背景技术：

三维重建在计算机视觉这个领域里，是目前一个科研和工业界都重点关注的技术。经过三维重建得到的模型在影音游戏、建筑学、基础工业等领域都有较高的研究和实用价值。

然而，关于人体三维及服装重建方法，由于人体动作和衣物材质较为丰富，因此是三维重建领域的一个较大的难题。现有的人体重建技术大部分是将人体和衣物作为一个完整模型进行重建，因此无法对衣物进行真实的物理仿真和建模。

技术实现要素：

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于服装建模与仿真的视频人体三维重建方法，该方法通过物理模拟方法，可以使得人体和衣物的联合运动能够得到比较好的重建，并可以适用于单rgb采集人体运动的人体和衣物重建。

本发明的另一个目的在于提出一种基于服装建模与仿真的视频人体三维重建装置。

为达到上述目的，本发明一方面实施例提出了一种基于服装建模与仿真的视频人体三维重建方法，包括：通过单rgb采集人体运动数据，并对所述人体运动数据进行前背景分割，并通过单rgb估计人体模板的方法多帧联合估计人体姿态和人体体型；根据所述人体体型使用人体模板对人体初始姿态进行建模，并将衣物初始二维布料模拟仿真以缝合并穿到初始姿态的人体身上；根据外力下衣物与人体之间的碰撞信息调整衣物参数，并使得三维模拟下的衣物满足合身条件；将人物姿态过渡变换到视频中第1帧的姿态下，同时对三维的衣物进行联合物理模拟；对视频的当前帧进行不同衣物的分割，并基于参数建模的衣物拟合衣物的分割图使得三维模拟下的衣物与所述视频中当前帧衣物的边缘部分达到吻合条件，并且对于所述视频中k帧关键，通过多帧信息优化求解衣物参数；根据所述衣物参数和所述人体姿态对所述视频里各帧进行人体姿态和衣物联合模拟建模；通过相机投影关系和原视频中的rgb信息，对建模的衣物进行纹理计算和贴图，并通过重光照重新渲染整个运动序列，得到体三维重建结果。

本发明实施例的基于服装建模与仿真的视频人体三维重建方法，可以利用服装的二维布料参数信息，对衣物进行人物穿戴和运动模拟，并拟合视频里采集的真实图像，从而可以对单rgb视频中的人物和衣物同时进行建模和仿真，进而通过物理模拟方法，可以使得人体和衣物的联合运动能够得到比较好的重建，并可以适用于单rgb采集人体运动的人体和衣物重建。

另外，根据本发明上述实施例的基于服装建模与仿真的视频人体三维重建方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，其中，每件衣物的分割图为和原始视频分辨率相同大小的二值图像。

进一步地，在本发明的一个实施例中，参数调整和优化过程中，衣物始终和人体进行联合模拟。

进一步地，在本发明的一个实施例中，所述通过多帧信息优化求解衣物参数，包括：对二值图像做距离变换操作，求出每个像素点到所述二值图像边界的二范数距离，并构成图像；对构成的所述图像作阈值处理。

进一步地，在本发明的一个实施例中，优化项为渲染图像和分割图像的偏差：

其中，为在参数xⁱ下、第i件衣物的渲染图像，为分割图像；

优化参数的计算公式为：

其中，δxⁱ为每个参数的单独变化量。

为达到上述目的，本发明另一方面实施例提出了一种基于服装建模与仿真的视频人体三维重建装置，包括：采集模块，用于通过单rgb采集人体运动数据，并对所述人体运动数据进行前背景分割，并通过单rgb估计人体模板的方法多帧联合估计人体姿态和人体体型；第一建模模块，用于根据所述人体体型使用人体模板对人体初始姿态进行建模，并将衣物初始二维布料模拟仿真以缝合并穿到初始姿态的人体身上；调整模块，用于根据外力下衣物与人体之间的碰撞信息调整衣物参数，并使得三维模拟下的衣物满足合身条件；变换模块，用于将人物姿态过渡变换到视频中第1帧的姿态下，同时对三维的衣物进行联合物理模拟；求解模块，用于对视频的当前帧进行不同衣物的分割，并基于参数建模的衣物拟合衣物的分割图使得三维模拟下的衣物与所述视频中当前帧衣物的边缘部分达到吻合条件，并且对于所述视频中k帧关键，通过多帧信息优化求解衣物参数；第二建模模块，用于根据所述衣物参数和所述人体姿态对所述视频里各帧进行人体姿态和衣物联合模拟建模；重建模块，用于通过相机投影关系和原视频中的rgb信息，对建模的衣物进行纹理计算和贴图，并通过重光照重新渲染整个运动序列，得到体三维重建结果。

本发明实施例的基于服装建模与仿真的视频人体三维重建装置，可以利用服装的二维布料参数信息，对衣物进行人物穿戴和运动模拟，并拟合视频里采集的真实图像，从而可以对单rgb视频中的人物和衣物同时进行建模和仿真，进而通过物理模拟方法，可以使得人体和衣物的联合运动能够得到比较好的重建，并可以适用于单rgb采集人体运动的人体和衣物重建。

另外，根据本发明上述实施例的基于服装建模与仿真的视频人体三维重建装置还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，其中，每件衣物的分割图为和原始视频分辨率相同大小的二值图像。

进一步地，在本发明的一个实施例中，参数调整和优化过程中，衣物始终和人体进行联合模拟。

进一步地，在本发明的一个实施例中，所述求解模块进一步用于对二值图像做距离变换操作，求出每个像素点到所述二值图像边界的二范数距离，并构成图像，并对构成的所述图像作阈值处理。

进一步地，在本发明的一个实施例中，优化项为渲染图像和分割图像的偏差：

其中，为在参数xⁱ下、第i件衣物的渲染图像，为分割图像；

优化参数的计算公式为：

其中，δxⁱ为每个参数的单独变化量。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的基于服装建模与仿真的视频人体三维重建方法的流程图；

图2为根据本发明实施例的基于服装建模与仿真的视频人体三维重建装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例提出的基于服装建模与仿真的视频人体三维重建方法及装置，首先将参照附图描述根据本发明实施例提出的基于服装建模与仿真的视频人体三维重建方法。

图1是本发明一个实施例的基于服装建模与仿真的视频人体三维重建方法的流程图。

如图1所示，该基于服装建模与仿真的视频人体三维重建方法包括以下步骤：

在步骤s101中，通过单rgb采集人体运动数据，并对人体运动数据进行前背景分割，并通过单rgb估计人体模板的方法多帧联合估计人体姿态和人体体型。

可以理解的是，本发明实施例可以通过单rgb采集人体运动数据，并对采集数据进行前背景分割，并通过现有的单rgb估计人体模板的方法多帧联合估计人体的姿态和体型。

在步骤s102中，根据人体体型使用人体模板对人体初始姿态进行建模，并将衣物初始二维布料模拟仿真以缝合并穿到初始姿态的人体身上。

可以理解的是，本发明实施例可以根据估计好的人体体型，使用人体模板对人体初始姿态进行建模，并将衣物初始二维布料模拟仿真以缝合并穿到初始姿态的人体身上。

在步骤s103中，根据外力下衣物与人体之间的碰撞信息调整衣物参数，并使得三维模拟下的衣物满足合身条件。

可以理解的是，本发明实施例可以根据外力下衣物与人体之间的碰撞信息，合理调整衣物参数，并使得三维模拟下的衣物更加合身。

在步骤s104中，将人物姿态过渡变换到视频中第1帧的姿态下，同时对三维的衣物进行联合物理模拟。

可以理解的是，本发明实施例可以将人物姿态过渡变换到视频中第1帧的姿态下，从而可以在此过程中对三维的衣物进行联合物理模拟。

在步骤s105中，对视频的当前帧进行不同衣物的分割，并基于参数建模的衣物拟合衣物的分割图使得三维模拟下的衣物与视频中当前帧衣物的边缘部分达到吻合条件，并且对于视频中k帧关键，通过多帧信息优化求解衣物参数。

其中，吻合条件可以理解的为三维模拟下的衣物与视频中当前帧衣物的边缘部分尽可能吻合，当然，本领域技术人员可以根据实际情况设置具体的吻合条件，在此不做具体限定。

进一步地，在本发明的一个实施例中，其中，每件衣物的分割图为和原始视频分辨率相同大小的二值图像。

具体而言，(1)对视频该帧，通过现有方法(比如lookintoperson等)进行不同衣物的分割，每件衣物的分割图为和原始视频分辨率相同大小的二值图像。

(2)用基于参数建模的衣物拟合该衣物的分割图，从而使得三维模拟下的衣物与视频中该帧衣物的边缘部分尽可能吻合。参数调整和优化过程中，衣物始终和人体进行联合模拟。

(3)对于视频中k帧关键，重复(1)和(2)，通过多帧信息优化求解衣物参数。

在步骤s106中，根据衣物参数和人体姿态对视频里各帧进行人体姿态和衣物联合模拟建模。

可以理解的是，本发明实施例通过求解的衣物参数，以及步骤s101里各个视频帧中提取出的人物姿态，对视频里各帧进行人体姿态和衣物联合模拟建模。

在步骤s107中，通过相机投影关系和原视频中的rgb信息，对建模的衣物进行纹理计算和贴图，并通过重光照重新渲染整个运动序列，得到体三维重建结果。

综上，本发明实施例基于服装建模与仿真的视频人体三维重建，并利用了rgb及图像分割信息对人物和衣物进行匹配，然后用计算出的模型参数对人体和衣物进行三维重建。

下面将通过具体实施例对基于服装建模与仿真的视频人体三维重建方法进行进一步阐述，具体步骤如下：

步骤s1，使用一台rgb相机，采集单个人体的运动序列，确保人物每个部分(如背部)在视频中都被采集到。

步骤s2，将该rgb序列中的每一帧图片利用基于深度学习语义分割的方法进行前背景分割，从而得到人物的分割图mi。

步骤s3，将人物分割图mi和原始图片作为输入，使用现有的基于深度学习的单rgb图像估计人体姿态和体型的方法得到基于骨架蒙皮的人体模板的姿态pi和体型s的信息。

步骤s4，对人物所穿服装进行大致分类(比如长裤/短裤/裙子)，并使用相应的参数化布料信息，对衣物进行建模。

步骤s5，用人物体型s和模型初始姿态，对人物进行建模和渲染。固定人体姿态，将建模后的衣物分成前后两个部分，在物理仿真系统下，通过给前后部分缝合处施加吸引力，使建模后的衣物能够完整地穿到人体身上。

步骤s6，给衣物施加重力、和人体的碰撞，以及内部约束力，使得仿真后的衣物能够更接近现实。

步骤s7，检测仿真后衣物与人体之间的碰撞信息，对于人体不同部分，如果检测到该部分衣物收得过紧，与人物碰撞模拟过强，则放宽对应的布料参数。

步骤s8，将人物姿态过渡到视频中第一帧估计的人物姿态p1上，在此过程及接下来的过程中，衣物仿真会持续进行。

步骤s9，对视频中的该帧f1，通过基于深度学习的人物部位分割方法进行不同衣物的分割，每件衣物的分割图为和原始视频分辨率相同大小的二值图像。假设分割后的图像为n为人物所穿衣物的数量。

步骤s10，进行布料参数求解：假设在参数xⁱ下，第i件衣物的渲染图像(二值化为前背景)为而分割图像为目标是拟合两者的图像边界。具体形式如下：具体形式如下：首先对二值图像c定义如下操作为该操作首先对二值图像c做距离变换操作，求出每个像素点到二值图像边界的二范数距离，并构成图像d，之后对图像d做阈值处理：

因此，所需要的优化项即是渲染图像和分割图像在操作下的偏差：

由于没有显式表达式，因此做梯度估计时，令xⁱ←xⁱ+δxⁱ，通过模拟方法得到：

通过设定δxⁱ为每个参数的单独变化量，再利用高斯-牛顿迭代方法，即可迭代求解优化参数xⁱ。

步骤s11，对视频中各关键帧fj，重复步骤s9和步骤s10操作，根据视频中各帧的衣物分割信息逐步优化衣物参数。

步骤s12，通过求解优化的参数，以及每一帧中通过步骤s1估计出的人物姿态，模拟重建出每帧人物及衣服。

步骤s13，通过相机投影关系和原视频中的rgb信息，计算每件衣物上顶点对应的投影位置，并通过rgb信息来求得该顶点和面片的纹理信息，并根据各帧信息逐步更新优化纹理。

步骤s14，对衣物进行纹理贴图，通过渲染方式进行重光照，重新渲染整个序列，完成人物和衣服的重建。

综上，本发明实施例的方法可以利用摄像机采集人体运动，通过图像提取人体的姿态和体态信息，并提取出人物不同衣物的分割信息，从而对人体和表面衣物进行建模，并根据人体的运动姿态对于表面衣物进行物理模拟和纹理仿真。人体模型重建方法基于人体模板匹配的方法，根据已有的基于单rgb图像估计人体模型的方法进行人体姿态和体型求解；衣物模拟主要利用粒子模拟方法，通过加入外力和内力约束来进行物理模拟并建模。

根据本发明实施例提出的基于服装建模与仿真的视频人体三维重建方法，可以利用服装的二维布料参数信息，对衣物进行人物穿戴和运动模拟，并拟合视频里采集的真实图像，从而可以对单rgb视频中的人物和衣物同时进行建模和仿真，进而通过物理模拟方法，可以使得人体和衣物的联合运动能够得到比较好的重建，并可以适用于单rgb采集人体运动的人体和衣物重建。

其次参照附图描述根据本发明实施例提出的基于服装建模与仿真的视频人体三维重建装置。

图2是本发明一个实施例的基于服装建模与仿真的视频人体三维重建装置的结构示意图。

如图2所示，该基于服装建模与仿真的视频人体三维重建装置10包括：采集模块100、第一建模模块200、调整模块300、变换模块400、求解模块500、第二建模模块600和重建模块700。

其中，采集模块100用于通过单rgb采集人体运动数据，并对人体运动数据进行前背景分割，并通过单rgb估计人体模板的方法多帧联合估计人体姿态和人体体型。第一建模模块200用于根据人体体型使用人体模板对人体初始姿态进行建模，并将衣物初始二维布料模拟仿真以缝合并穿到初始姿态的人体身上。调整模块300用于根据外力下衣物与人体之间的碰撞信息调整衣物参数，并使得三维模拟下的衣物满足合身条件。变换模块400用于将人物姿态过渡变换到视频中第1帧的姿态下，同时对三维的衣物进行联合物理模拟。求解模块500用于对视频的当前帧进行不同衣物的分割，并基于参数建模的衣物拟合衣物的分割图使得三维模拟下的衣物与视频中当前帧衣物的边缘部分达到吻合条件，并且对于视频中k帧关键，通过多帧信息优化求解衣物参数。第二建模模块600用于根据衣物参数和人体姿态对视频里各帧进行人体姿态和衣物联合模拟建模。重建模块700用于通过相机投影关系和原视频中的rgb信息，对建模的衣物进行纹理计算和贴图，并通过重光照重新渲染整个运动序列，得到体三维重建结果。本发明实施例的装置10通过物理模拟方法，可以使得人体和衣物的联合运动能够得到比较好的重建，并可以适用于单rgb采集人体运动的人体和衣物重建。

进一步地，在本发明的一个实施例中，其中，每件衣物的分割图为和原始视频分辨率相同大小的二值图像。

进一步地，在本发明的一个实施例中，参数调整和优化过程中，衣物始终和人体进行联合模拟。

进一步地，在本发明的一个实施例中，求解模块进一步用于对二值图像做距离变换操作，求出每个像素点到二值图像边界的二范数距离，并构成图像，并对构成的图像作阈值处理。

进一步地，在本发明的一个实施例中，优化项为渲染图像和分割图像的偏差：

其中，为在参数xⁱ下、第i件衣物的渲染图像，为分割图像；

优化参数的计算公式为：

其中，δxⁱ为每个参数的单独变化量。

需要说明的是，前述对基于服装建模与仿真的视频人体三维重建方法实施例的解释说明也适用于该实施例的基于服装建模与仿真的视频人体三维重建装置，此处不再赘述。

根据本发明实施例提出的基于服装建模与仿真的视频人体三维重建装置，可以利用服装的二维布料参数信息，对衣物进行人物穿戴和运动模拟，并拟合视频里采集的真实图像，从而可以对单rgb视频中的人物和衣物同时进行建模和仿真，进而通过物理模拟方法，可以使得人体和衣物的联合运动能够得到比较好的重建，并可以适用于单rgb采集人体运动的人体和衣物重建。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。