一种从手绘草图生成三维服装模型的方法

本发明涉及三维模型领域，具体涉及的是一种从手绘草图生成三维服装模型的方法。

背景技术：

1、基于草图的模型重建一直都是计算机视觉和计算机图形学领域内研究的热点，近些年由于深度学习的快速发展，也催生了很多基于草图的模型重建工作。sketch2model提出了一种直接从草图生成网格模型的方法。然而，他们的重点主要是解决生成的几何体的不确定性，例如处理输入草图的观察方向的模糊性。因此，他们的方法没有解决与复杂几何体生成或实时模型生成和编辑相关的难题.sketch2mesh提出了一种使用符号距离函数(sdf)生成和编辑高质量网格模型的方法。但是由于sdf本身的特点，它仅仅能够生成水密型的三维模型，无法处理非水密型的三维模型的生成。

2、由于三维服装模型本身的复杂性和非水密型的壳形结构的原因，因此上述基于草图的重建方法并不能够很好的应用于基于草图的三维模型重建中。

3、bcnet接收一个单张rgb图像作为输入，通过结合smpl参数和上下装的服装参数，使用两个网络分别预测展示和蒙皮参数，最后能够分别得到，可以重建很多上装和下装的服装类别。但是bcnet将服装分为上装和下装，并不能够支持连衣裙和长款服装。

4、anchorudf通过在三维服装模型上进行表面采样点并通过聚类操作让采样点能够更好的表示表面信息，然后通过结合对于输入的单张rgb图像得到的特征编码，最后预测采样点的udf值，得到生成的三维服装模型。

5、但是这些方法都是基于服装rgb图像来进行三维模型重建的，并不能很好的适用于基于手绘草图的三维服装模型重建。

6、目前基于草图的三维模型重建大多基于sdf。尽管sdf在三维模型重建任务中表现出了很好的效果，但是由于sdf其本身的局限性，它并不能够表示开放表面，而服装模型就是一个典型的开放表面的壳形结构，因此传统的基于sdf的三维模型重建方法并不能很好的适用于三维服装模型重建。

7、不同于三维人体模型数据，三维桌椅模型数据等相对容易获得的数据集，三维服装数据集数量不多，并且服装的类别也并不多，而且大都没有直接提供其对应的二维渲染图。这大大的限制的三维服装模型重建的工作进展。

技术实现思路

1、本发明要解决的技术问题是针对以上问题和要求，提供一种从手绘草图生成三维服装模型的方法。

2、为解决以上技术问题，本发明采用以下技术方案：

3、一种从手绘草图生成三维服装模型的方法，包括以下步骤：

4、步骤1、收集多种人体扫描模型，进行转换和模拟得到多个服装模型组成sgm数据集，sgm数据集还为每一个三维服装模型提供了多个类别的渲染图，具体包括草图、轮廓图、法线图、深度图和剪影图五个类别；

5、步骤2、对输入草图进行标准化处理，得到标准草图；在三维空间中进行均匀采样，并对初步采样点进行预处理后得到空间采样点，根据空间采样点得到空间位置编码；

6、将目标服装的颜色文理文字描述转换为文字位置编码；

7、步骤3、对步骤2得到的标准草图、空间位置编码和文字位置编码进行特征提取和特征融合；

8、步骤4、将经过融合的特征向量输入到解码器中，预测得到每一个三维空间采样点的udf值；

9、步骤5、从udf值中提取网格表面，得到三维服装模型；

10、步骤6、利用步骤1中的sgm数据集对上一步得到的三维服装模型进行对比和细化，得到最终的三维服装模型。

11、进一步的，步骤2中的标准化处理具体包括以下步骤：

12、步骤1.1、对输入的手绘服装草图进行形态学膨胀；

13、步骤1.2、使用pix2pix模型去学习步骤1中sgm数据集中的草图渲染图的特征，得到学习后的pix2pix模型，将膨胀后的手绘服装草图输入学习后的pix2pix模型，pix2pix模型输出标准草图。

14、进一步的，所述步骤5中，采用marching cubes算法从udf值中提取网格表面。

15、进一步的，所述步骤6中具体包括以下步骤:

16、步骤6.1、从sgm数据集中选择与步骤5生成的三维服装模型最接近的服装模型，并与生成的三维服装模型进行比对，计算两个模型之间的相似度，并对上一步得到的三维服装模型进行细化调整；

17、步骤6.2、对步骤5生成模型进行渲染，得到草图，轮廓图，法线图，深度图，剪影图五类渲染图，分别和sgm数据集中最接近的服装模型渲染得到的真实渲染图一一进行比对，并上一步细化后的三维服装模型再次进行细化调整，得到最终的三维服装模型。

18、本发明采用以上技术方案后，与现有技术相比，具有以下优点：

19、传统方法大多使用sdf作为重建的基准，这是由于传统方法重建的多为桌椅，飞机等封闭表面的模型，但是服装作为一个典型的开放表面的壳形结果，使用sdf作为重建的基准显然并不合适。本发明采用了udf作为重建的基准，udf可以很好的表示开放表面的内容。

20、本发明提出了一个基于草图的服装模型重建模型sketch2garment，能够从自由手绘服装草图生成三维服装模型。以颜色纹理文字描述作为输入的纹理生成模块能够生成符合文字描述的纹理信息，进而使得生成的三维服装模型具有颜色纹理，使其更加真实。

21、本发明提供了一个大规模的草图-三维服装模型数据集sgm:数据集，一共包含2500个从800个体态各不相同的三维人体模型上模拟生成的共15个类别的三维服装模型。其中针对每个服装模型还每旋转10度都渲染了5类不同的图(草图，轮廓图，法线图，深度图，剪影图)；并利用sgm:数据集对手绘草图进行标准化处理，利用其它渲染图对生成的三维服装模型进行细化处理，使得生成的三维服装模型更加细腻逼真。

22、下面结合附图和实施例对本发明进行详细说明。

技术特征：

1.一种从手绘草图生成三维服装模型的方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的从手绘草图生成三维服装模型的方法，其特征在于，步骤2中的标准化处理具体包括以下步骤：

3.根据权利要求2所述的从手绘草图生成三维服装模型的方法，其特征在于，所述步骤5中，采用marching cubes算法从udf值中提取网格表面。

4.根据权利要求2所述的从手绘草图生成三维服装模型的方法，其特征在于，所述步骤6中具体包括以下步骤:

技术总结
本发明涉及一种从手绘草图生成三维服装模型的方法，通过结合二维服装手绘草图的图像编码、颜色纹理描述内容的文字编码和空间三维点坐标的位置编码，经过结合后，一同送到解码器中去预测每一个空间三维坐标点的UDF值。最后通过Marching Cubes算法来从UDF值中提取三维网格表面，并将生成的服装模型颜色纹理增加到提取的三维服装模型中，以获得包含颜色纹理的三维服装模型。本发明通过文字控制的颜色或纹理描述，能够预测出带有颜色纹理的三维服装模型，增强了生成的服装模型的真实性，使其更加贴近真实的服装模型。

技术研发人员：陈佳,秦金龙,胡新荣,彭涛,张彤
受保护的技术使用者：武汉纺织大学
技术研发日：
技术公布日：2024/2/29