基于单张手绘草图的三维模型生成方法、装置和电子设备

1.本发明涉及三维模型生成技术领域，尤其涉及一种基于单张手绘草图的三维模型生成方法、装置和电子设备。


背景技术：

2.三维模型的构建是几何绘制的基础，基于草图的三维建模可以协助相关工作人员完成费时费力的建模操作。现有的基于草图的三维建模方法主要可以分为检索式和构建式两类。其中，检索式方法将预定义好的模板元模型组成三维模型，或直接从模型集合中进行检索抽取；构建式方法则直接将输入的笔画映射至三维模型，相比检索式方法可以提供自由度更高的建模能力。这两种方法都有着明显的弊端：检索式方法只能生成特定的三维模型，或只能由某些基本形状组成的三维模型；而构建式方法由于缺少先验知识，通常需要较大的工作量才能得到令用户满意的结果。此外，随着触摸屏的普及，以及vr/ar技术的发展，非专业用户对于三维内容创作的需求愈发增长，而以上两种方法都不能满足普通用户对于易用性和可定制性的需求。
3.为了满足普通用户的三维内容创作需求，一些工作借助深度学习技术尝试从单张手绘草图生成三维模型。wang等人提出“unsupervised learning of 3d model reconstruction from hand
‑
drawn sketches”，通过检索的方式从手绘草图生成体素表示的三维模型。wang等人提出“3d shape reconstruction from free
‑
hand sketches”，可以从单张手绘草图生成点云表示的三维模型。上述两个方法一方面没有直接生成三角网格表示的三维模型，无法直接用于后续的编辑和绘制；另一方面忽视了手绘草图中普遍存在的歧义性，所生成的三维模型不能很好地表示用户的意图。
4.因此，如何避免现有的基于手绘草图生成的三维模型由于无法估计用户的视角意图造成三维模型歧义严重的情况，仍然是本领域技术人员亟待解决的问题。


技术实现要素：

5.本发明提供一种基于单张手绘草图的三维模型生成方法、装置和电子设备，用以解决现有的基于手绘草图生成的三维模型由于无法估计用户的视角意图造成三维模型歧义严重的问题，通过在进行三维构建模型训练时引入视角标签使得训练出来的三维构建模型可以预测用户草图的准确视角，该准确视角在三维构建模型中可以提供视角信息使得构建好的三维模型的视角与草图视角一致，避免三维模型相对于草图的存在歧义。
6.本发明提供一种基于单张手绘草图的三维模型生成方法，该方法包括：
7.获取单张手绘草图；
8.将所述单张手绘草图输入三维构建模型，输出所述单张手绘草图对应的三维模型；
9.其中，所述三维构建模型是基于单张手绘草图样本和对应的视角标签进行训练得到的，所述三维构建模型中包括视角预测网络，用于提取输入单张手绘草图的预测视角。
10.根据本发明提供的一种基于单张手绘草图的三维模型生成方法，
11.所述三维构建模型的网络结构包括依次连接的图像编码器、所述视角预测网络、视角编码器和三维生成网络，所述图像编码器与所述三维生成网络连接。
12.根据本发明提供的一种基于单张手绘草图的三维模型生成方法，所述三维构建模型的网络结构包括依次连接的图像编码器、所述视角预测网络、视角编码器和三维生成网络，所述图像编码器与所述三维生成网络连接，具体包括：
13.所述三维构建模型的训练过程中，
14.图像编码器用于将输入的单张手绘草图样本进行编码得到形状特征向量和视角特征向量并分别输出至三维生成网络和视角预测网络；
15.所述视角预测网络用于对所述视角特征向量进行预测解码得到预测视角，基于所述预测视角与对应的视角标签确定预测视角误差；
16.视角编码器用于将输入所述对应的视角标签进行编码得到新的视角特征向量输出至三维生成网络；
17.所述三维生成网络基于所述新的视角特征向量和所述形状特征向量生成预测三维模型；
18.在所述三维构建模型的输出端连接可微渲染模块，所述可微渲染模块基于预测三维模型生成预测掩模，基于所述预测掩模和标准掩模确定预测三维模型误差；
19.训练过程中的损失函数是基于所述预测三维模型误差和所述预测视角误差构建的。
20.根据本发明提供的一种基于单张手绘草图的三维模型生成方法，
21.所述训练过程中的损失函数是基于所述预测三维模型误差和所述预测视角误差构建的，具体包括：
22.所述预测三维模型误差基于所述预测掩模和所述标准掩模之间的误差表征，所述标准掩模为所述单张手绘草图样本的掩模。
23.根据本发明提供的一种基于单张手绘草图的三维模型生成方法，
24.所述预测掩模包括所述预测三维模型在所述对应的视角标签下的掩模和基于随机视角构建的随机预测三维模型在所述随机视角下的掩模。
25.根据本发明提供的一种基于单张手绘草图的三维模型生成方法，所述损失函数，具体包括：
26.所述预测三维模型在所述对应的视角标签下的掩模与所述单张手绘草图样本和所述标准掩模之间的交并比，基于随机视角构建的随机预测三维模型在所述随机视角下的掩模与所述标准掩模之间的交并比，以及，
27.所述对应的视角标签和所述随机视角在经过形状判别器之后的交叉熵。
28.根据本发明提供的一种基于单张手绘草图的三维模型生成方法，该方法还包括：
29.获取所述单张手绘草图对应的指定视角；
30.相应地，所述将所述单张手绘草图输入三维构建模型，输出所述单张手绘草图对应的三维模型，包括：
31.将所述单张手绘草图输入所述三维构建模型的图像编码器输出形状特征向量至所述三维构建模型；
32.将所述指定视角输入所述视角编码器输出指定视角向量特征至所述三维构建模型；
33.所述三维构建模型基于所述形状特征向量和所述指定视角向量特征生成三维模型。
34.本发明还提供一种基于单张手绘草图的三维模型生成装置，包括：
35.获取单元，用于获取单张手绘草图；
36.构建单元，用于将所述单张手绘草图输入三维构建模型，输出所述单张手绘草图对应的三维模型；
37.其中，所述三维构建模型是基于单张手绘草图样本和对应的视角标签进行训练得到的，所述三维构建模型中包括视角预测网络，用于提取输入单张手绘草图的预测视角。
38.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述的基于单张手绘草图的三维模型生成方法的步骤。
39.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述的基于单张手绘草图的三维模型生成方法的步骤。
40.本发明提供的基于单张手绘草图的三维模型生成方法、装置和电子设备，通过获取单张手绘草图；将所述单张手绘草图输入三维构建模型，输出所述单张手绘草图对应的三维模型；其中，所述三维构建模型是基于单张手绘草图样本和对应的视角标签进行训练得到的，所述三维构建模型中包括视角预测网络，用于提取输入单张手绘草图的预测视角。由于在进行三维构建模型训练时引入视角标签使得训练出来的三维构建模型可以预测用户草图的准确视角，该准确视角在三维构建模型中可以提供视角信息使得构建好的三维模型的视角与草图视角一致，避免三维模型相对于草图的存在歧义。因此，本发明实施例提供的方法、装置和电子设备，可以预测用户提供的手绘草图的视角，使得后续生成的三维模型在预测视角的基础上避免歧义。
附图说明
41.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
42.图1为本发明提供的基于单张手绘草图的三维模型生成方法的流程示意图；
43.图2为本发明提供的单张手绘草图的示例图；
44.图3为本发明提供的三维构建模型的神经网络结构示意图；
45.图4为本发明提供的基于单张手绘草图的三维模型生成方法的流程图；
46.图5为本发明提供的基于单张手绘草图的三维模型生成装置的结构示意图；
47.图6为本发明提供的一种电子设备的实体结构示意图。
具体实施方式
48.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
49.由于现有的基于手绘草图生成的三维模型普遍存在由于无法估计用户的视角意图造成三维模型歧义严重的问题。下面结合图1
‑
图4描述本发明的一种基于单张手绘草图的三维模型生成方法。图1为本发明提供的基于单张手绘草图的三维模型生成方法的流程示意图，如图1所示，该方法包括：
50.步骤110，获取单张手绘草图。
51.具体地，本发明提供的基于单张手绘草图的三维模型生成方法是在基于机器学习训练好的三维构建模型上实现的，本发明提供的基于单张手绘草图的三维模型生成方法的执行主体为基于单张手绘草图的三维模型生成装置。在使用完成训练的三维构建模型时，需要输入待三维建模的用户草图，而该草图只需要单张即可，因为三维构建模型训练过程中生成三维模型时也只使用单张手绘草图样本，并不需要像现有技术中的三维模型重建方法那样需要多张来自不同视角的图像进行训练。图2为本发明提供的单张手绘草图的示例图，如图2所述，依次展示的是单张“飞机”手绘草图、单张“桌子”手绘草图、单张“汽车”手绘草图、单张“椅子”手绘草图和单张“显示屏”手绘草图。
52.步骤120，将所述单张手绘草图输入三维构建模型，输出所述单张手绘草图对应的三维模型；
53.其中，所述三维构建模型是基于单张手绘草图样本和对应的视角标签进行训练得到的，所述三维构建模型中包括视角预测网络，用于提取输入单张手绘草图的预测视角。
54.具体地，将获取的待构建三维模型的单张手绘草图输入训练好的三维构建模型，输出所述单张手绘草图的三维建模结果，其中，所述三维构建模型是基于大量单张手绘草图和对应的视角标签进行训练得到的，所述三维构建模型中包括视角预测网络，用于预测输入单张手绘草图的视角，而该预测视角用于在三维生成网络中用于提供视角信息使得构建的三维模型更为准确。此处需要说明的是，三维构建模型中默认包括三维生成网络，因此，三维构建模型训练过程输入的视角标签主要用于校正视角预测网络输出的预测视角，调节视角预测网络中的待优化参数，还用于为后续的三维生成网络的训练提供准确的视角信息，使得三维生成网络的输出三维模型相对于标准模型的误差仅与三维生成网络的待优化参数的调节有关，不受到预测视角误差的影响。用于三维构建模型训练的样本单张手绘草图和对应的视角标签中，所述样本单张手绘草图即是视角预测网络的输入样本，也是最后端三维生成网络的输入样本，而所述对应的视角标签既用作视角预测网络的标准参考值(ground truth)，又作为三维生成网络的输入样本。
55.本发明提供的方法，通过获取单张手绘草图；将所述单张手绘草图输入三维构建模型，输出所述单张手绘草图对应的三维模型；其中，所述三维构建模型是基于单张手绘草图样本和对应的视角标签进行训练得到的，所述三维构建模型中包括视角预测网络，用于提取输入单张手绘草图的预测视角。由于在进行三维构建模型训练时引入视角标签使得训练出来的三维构建模型可以预测用户草图的准确视角，该准确视角在三维构建模型中可以
提供视角信息使得构建好的三维模型的视角与草图视角一致，避免三维模型相对于草图的存在歧义。因此，本发明实施例提供的方法，可以预测用户提供的手绘草图的视角，使得后续生成的三维模型在预测视角的基础上避免歧义。
56.基于上述实施例，该方法中，所述三维构建模型的网络结构包括依次连接的图像编码器、所述视角预测网络、视角编码器和三维生成网络，所述图像编码器与所述三维生成网络连接。
57.具体地，所述三维构建模型的神经网络结构中包括依次连接的图像编码器、所述视角预测网络、视角编码器和三维生成网络，所述图像编码器与所述三维生成网络连接。图3为本发明提供的三维构建模型的神经网络结构示意图，如图3所示，所述三维构建模型的整体神经网络结构由图像编码器、视角预测网络、视角编码器和三维生成网络组成，其中，图像编码器、施加预测网络、视角编码器和三维生成网络依次连接，图像编码器还直接输出至三维生成网络。三维构建模型的上述网络结构是为了形成三维构建的算法：使用三维构建模型对单张手绘草图进行三维重建处理时，首先由图像编码器将输入的单张手绘草图进行图像编码，即将输入的单张手绘草图i映射至形状特征向量空间和视角特征向量空间得到的形状特征向量z
s
和视角特征向量z
v
，然后形状特征向量z
s
直接输出至整体网络最后端的三维生成网络，视角特征向量z
v
输出至视角预测网络，视角预测网络进行预测后输出预测视角至视角编码器，该预测视角为以欧拉角表示的视角预测值，然后视角编码器对预测视角进行编码后得到新的视角特征向量，最后端的三维生成网络基于输入的形状特征向量z
s
和新的视角特征向量生成三维模型，作为整个三维构建模型最后的输出值。
58.基于上述实施例，该方法中，所述三维构建模型的网络结构包括依次连接的图像编码器、所述视角预测网络、视角编码器和三维生成网络，所述图像编码器与所述三维生成网络连接，具体包括：
59.所述三维构建模型的训练过程中，
60.图像编码器用于将输入的单张手绘草图样本进行编码得到形状特征向量和视角特征向量并分别输出至三维生成网络和视角预测网络；
61.所述视角预测网络用于对所述视角特征向量进行预测解码得到预测视角，基于所述预测视角与对应的视角标签确定预测视角误差；
62.视角编码器用于将输入所述对应的视角标签进行编码得到新的视角特征向量输出至三维生成网络；
63.所述三维生成网络基于所述新的视角特征向量和所述形状特征向量生成预测三维模型；
64.在所述三维构建模型的输出端连接可微渲染模块，所述可微渲染模块基于预测三维模型生成预测掩模，基于所述预测掩模和标准掩模确定预测三维模型误差；
65.训练过程中的损失函数是基于所述预测三维模型误差和所述预测视角误差构建的。
66.具体地，如图2所示，所述三维构建模型的使用过程包括如下a、b、c和d四个步骤：
67.步骤a，用户输入单张手绘草图，经过图像编码器得到视角特征向量和形状特征向量；
68.步骤b，视角特征向量经过视角预测网络得到以欧拉角表示的视角预测值；
69.步骤c，步骤b中视角预测值输入视角编码器，输出新的视角特征向量；
70.步骤d，步骤c中生成的新的视角特征向量与步骤a中生成的形状特征向量共同输入三维生成网络，得到输入单张手绘草图对应的三维模型。
71.而所述三维构建模型的训练过程包括：
72.图像编码器将输入的单张手绘草图样本进行编码得到形状特征向量和视角特征向量并分别输出至三维生成网络和视角预测网络；
73.所述视角预测网络对所述视角特征向量进行预测解码得到预测视角；
74.视角编码器将输入所述对应的视角标签进行编码得到新的视角特征向量输出至三维生成网络；
75.所述三维生成网络基于所述新的视角特征向量和所述形状特征向量生成预测三维模型。
76.上述训练过程中，视角预测网络与三维生成网络的训练仅有小部分重合，大部分独立，重合部分在于视角预测网络和三维生成网络都共用同一数据源，即输入的单张手绘草图，独立体现在视角预测网络的评价有视角标签作为标准参考值(ground truth)与输出的预测视角角度值求误差，而三维生成网络输入的是视角标签而不是视角预测网络输出的视角预测值，避免视角预测的误差进一步叠加上三维生成网络自身的误差，将视角预测功能和三维重建功能尽量分开训练，得到更准确的模型。
77.可选地，图像编码模块是由多个卷积层、非线性激活层、池化层和归一化层组成的卷积神经网络结构。该结构输入一张rgb空间三通道手绘草图图像，输出一张多通道特征图。该特征图随后分别经过两个全连接层分别生成视角相关特征向量和形状相关特征向量。
78.可选地，视角预测网络是由多个全连接层和非线性激活层组成的全连接神经网络结构。该结构输入图像编码器输出的视角特征向量，输出由横滚、俯仰和偏航三个角度表示的视角预测。
79.可选地，视角编码器是由多个全连接层和非线性激活层组成的全连接神经网络结构。该结构输入由横滚、俯仰、偏航三个角度表示的预测视角，输出为与图像编码器输出的视角特征向量所属空间一致的对应的新的视角特征向量。
80.可选地，三维生成网络是由多个全连接层、非线性激活层组成的全连接神经网络结构。该结构假定一个固定拓扑的球形三角网格，输入为图像编码器输出的形状相关特征向量和视角编码器输出的新的视角特征向量，输出球形三角网格每个顶点相对原始位置的偏移量。
81.可选地，在训练过程中，为了计算预测出的三维模型与标准模型之间的误差，在三维构建模型的输出端连接了一个可微渲染模块，通过减小三维模型渲染图掩膜与输入草图掩膜的差异，提高所生成的三维模型与输入草图的契合度。其中的可微渲染模块，其特征在于对于传统光栅化管线中不可微分的过程进行近似，使其可以计算光栅化得到图像的像素值相对三维模型顶点位置的微分。
82.基于上述实施例，该方法中，
83.所述训练过程中的损失函数是基于所述预测三维模型误差和所述预测视角误差构建的，具体包括：
84.所述预测三维模型误差基于所述预测掩模和所述标准掩模之间的误差表征，所述标准掩模为所述单张手绘草图样本的掩模。
85.具体地，由于三维构建模型实现的功能是在提取输入单张手绘草图的视角的基础上再进行三维模型构建的，那么三维构建模型的功能应该包括提取准确的草图视角和构建准确的草图三维模型，因此，当整个三维构建模型一起训练时，整体的损失函数应该包含两个部分，一部分用于衡量视角预测的准确性，一部分用于衡量输出的三维模型的准确性。因此，整体的损失函数包括预测视角相对于视角标签的误差项，以及预测三维模型相对于真实三维模型的误差项，而预测三维模型相对于真实三维模型的误差又通过它们对应的掩模进行表征，因为构建训练数据集时，为每一个单张手绘草图样本构建对应的三维模型工作量大，且计算三维模型之间的误差计算量更大，因此，将三维模型之间的误差转换成它们投影到同一视角平面上形成的掩模之间的误差，即可以利用已有的训练数据集中的单张手绘草图样本作为计算标准掩模的数据源，减少训练数据集中需要的标签数量，而且掩模之间误差的计算量也远远低于三维模型之间误差的计算量。
86.基于上述实施例，该方法中，所述预测掩模包括所述预测三维模型在所述对应的视角标签下的掩模和基于随机视角构建的随机预测三维模型在所述随机视角下的掩模。具体地，三维构建模型训练过程中对于输出的预测三维模型的评价需要有真实三维模型作为标准参考值(ground truth)，本发明为了计算三维构建误差的简便性，将模型误差转换成掩模的误差，即在三维构建模型训练中使用可微渲染模块，通过减小三维模型渲染图掩膜与输入草图掩膜的差异，提高所生成的三维模型与输入草图的契合度。其中的可微渲染模块，其特征在于对于传统光栅化管线中不可微分的过程进行近似，使其可以计算光栅化得到图像的像素值相对三维模型顶点位置的微分。具体通过如下数学公式进行说明：
87.记输入手绘草图为i，输出的三维模型为m，额外限制为该手绘草图中所表示对象的视角为v。步骤a的过程表示为函数e，则e将输入图像i映射至形状特征向量空间和视角特征向量空间得到的形状特征向量和视角特征向量分别为z
s
和z
v
。记图像空间为则函数e功能表示如下：
[0088][0089]
步骤b的过程表示为函数d
v
，得到的视角预测为则d
v
功能表示如下：
[0090][0091]
步骤c的过程表示为e
v
，则该过程具有如下性质：
[0092]
d
v
(e
v
(v))＝v
[0093][0094]
步骤d的过程表示为函数d，记输出三维模型的空间为则该过程功能表示如下：
[0095][0096]
为了实现步骤a
‑
d每个模块的效果，本发明采用基于可微渲染的随机视角强化方法进行训练，并通过形状判别器确保生成模型的质量。可微渲染模块输入一个三维模型m和一个视角v，输出该视角下该三维模型渲染图的掩膜s。训练过程中将该生成模型渲染图掩
膜和真实模型渲染图掩膜二者的交并比作为损失函数进行优化。该交并比损失表述如下：
[0097][0098]
为了实现视角相关的生成，本发明采用基于可微渲染的随机视角强化方法进行训练，即同时优化真实视角v和某随机视角v
r
下的交并比损失：
[0099][0100]
其中，λ
r
为预设加权系数。
[0101]
由于三维构建模型使用过程中最后生成三维模型是基于模型中视角预测网络生成的预测视角进行构建的，因此，在评估最后端的三维生成网络的性能时，也不能仅使用视角标签进行训练，还要考虑视角预测与真实视角标签有一定差距的情况下，能否还输出相对准确的三维模型，因此，预测三维模型误差中既包括预测三维模型在所述对应的视角标签下的掩模与标准掩模之间的误差，还包括基于随机视角构建的随机预测三维模型在所述随机视角下的掩模与标准掩模之间的误差。在计算的公式中，d表示三维生成网络对应的三维生成功能函数，p表示为三维模型在对应角度上的投影确定的掩模函数。
[0102]
基于上述实施例，该方法中，
[0103]
所述损失函数，具体包括：
[0104]
所述预测三维模型在所述对应的视角标签下的掩模与所述单张手绘草图样本和所述标准掩模之间的交并比，基于随机视角构建的随机预测三维模型在所述随机视角下的掩模与所述标准掩模之间的交并比，以及，
[0105]
所述对应的视角标签和所述随机视角在经过形状判别器之后的交叉熵。
[0106]
具体地，仅采用随机视角强化方法进行训练会导致生成的三维模型发生预期外的形变，形状判别器可以在保持视角相关性质的同时保证所生成模型的质量。记形状判别器为d
s
，采用生成对抗的方式训练该判别器，所述对应的视角标签和所述随机视角在经过形状判别器之后的交叉熵采用公式表示如下：
[0107][0108]
除上述优化目标之外，步骤b中的视角预测模块和步骤c中的视角编码模块应当互为逆过程，且视角预测模块预测结果应当与真实值相近。本发明引入如下公式用于描述视角预测误差项：
[0109][0110]
因此，总的损失函数其中，β1、β2和β3均为预设权值系数。
[0111]
所述步骤a
‑
d中的算法模型通过随机视角强化过程进行训练，并通过形状判别器
来保证所生成模型的质量。随机视角强化过程通过将视角的真实值和一个随机视角分别输入步骤c的视角编码模块，得到真实视角特征向量和随机视角特征向量，并要求步骤d中的模型生成模块在输入上述两个视角特征向量的情况下均能输出对应视角下符合输入草图的三维模型。形状判别器是由多个全连接层、非线性激活层组成的全连接神经网络结构，该结构输入步骤d中得到的顶点偏移量，输出一个数值，表示该顶点偏移量表示的模型是否真实。该结构通过梯度反转层进行对抗训练。
[0112]
上述方法可以直接由单张手绘草图生成三角网格表示的三维模型，并接受视角信息作为额外输入，以解决手绘草图在不确定视角下的歧义问题。该方法将输入草图的图像特征映射至形状空间和视角空间，并通过基于可微渲染的随机视角强化训练过程和形状判别器来保证输出的三维模型同时符合输入手绘草图与视角约束。该方法在三维模型生成的精度与可控性上均优于现有方法，可以作为非专业人士的三维内容创作工具。
[0113]
基于上述实施例，该方法中，还包括：
[0114]
获取所述单张手绘草图对应的指定视角；
[0115]
相应地，所述将所述单张手绘草图输入三维构建模型，输出所述单张手绘草图对应的三维模型，包括：
[0116]
将所述单张手绘草图输入所述三维构建模型的图像编码器输出形状特征向量至所述三维构建模型；
[0117]
将所述指定视角输入所述视角编码器输出指定视角向量特征至所述三维构建模型；
[0118]
所述三维构建模型基于所述形状特征向量和所述指定视角向量特征生成三维模型。
[0119]
具体地，用户在使用过程中，如果只提供单张手绘草图，则方法通过预测的视角生成三维模型若用户额外提供了视角则生成三维模型图4为本发明提供的基于单张手绘草图的三维模型生成方法的流程图，如图4所示，该方法包括以下步骤：
[0120]
a)用户输入单张手绘草图，经过图像编码模块得到视角相关特征和形状相关特征；
[0121]
b)视角相关特征经过视角预测模块得到以欧拉角表示的视角预测；
[0122]
c)步骤b中预测的视角或用户给定的视角，经过视角编码模块，得到新的视角相关特征；
[0123]
d)步骤c中生成的视角相关特征与步骤a中生成的形状相关特征共同输入模型生成模块，得到输入草图对应的三维模型。
[0124]
其中，步骤c可以是预测视角进行编码也可以是用户给定的视角进行编码得到输出的新的视角相关特征。此处进行优先级的规定，在没有用户输入指定视角的情况下，需要使用步骤b中的视角预测模块进行视角预测，并使用视角预测值进行后续的三维模型构建，但是有用户输入指定视角的时候，用户输入的指定视角优先级更高，优先使用用户输入的指定视角进行后续的三维模型构建。
[0125]
下面对本发明提供的基于单张手绘草图的三维模型生成装置进行描述，下文描述
的基于单张手绘草图的三维模型生成装置与上文描述的一种基于单张手绘草图的三维模型生成方法可相互对应参照。
[0126]
图5为本发明提供的基于单张手绘草图的三维模型生成装置的结构示意图，如图5所示，包括获取单元510和构建单元520，其中，
[0127]
所述获取单元510，用于获取单张手绘草图；
[0128]
所述构建单元520，用于将所述单张手绘草图输入三维构建模型，输出所述单张手绘草图对应的三维模型；
[0129]
其中，所述三维构建模型是基于单张手绘草图样本和对应的视角标签进行训练得到的，所述三维构建模型中包括视角预测网络，用于提取输入单张手绘草图的预测视角。
[0130]
本发明提供的基于单张手绘草图的三维模型生成装置，通过获取单张手绘草图；将所述单张手绘草图输入三维构建模型，输出所述单张手绘草图对应的三维模型；其中，所述三维构建模型是基于单张手绘草图样本和对应的视角标签进行训练得到的，所述三维构建模型中包括视角预测网络，用于提取输入单张手绘草图的预测视角。由于在进行三维构建模型训练时引入视角标签使得训练出来的三维构建模型可以预测用户草图的准确视角，该准确视角在三维构建模型中可以提供视角信息使得构建好的三维模型的视角与草图视角一致，避免三维模型相对于草图的存在歧义。因此，本发明实施例提供的装置，可以预测用户提供的手绘草图的视角，使得后续生成的三维模型在预测视角的基础上避免歧义。
[0131]
在上述实施例的基础上，该装置中，
[0132]
所述三维构建模型的网络结构包括依次连接的图像编码器、所述视角预测网络、视角编码器和三维生成网络，所述图像编码器与所述三维生成网络连接。
[0133]
在上述实施例的基础上，该装置中，
[0134]
所述三维构建模型的网络结构包括依次连接的图像编码器、所述视角预测网络、视角编码器和三维生成网络，所述图像编码器与所述三维生成网络连接，具体包括：
[0135]
所述三维构建模型的训练过程中，
[0136]
图像编码器用于将输入的单张手绘草图样本进行编码得到形状特征向量和视角特征向量并分别输出至三维生成网络和视角预测网络；
[0137]
所述视角预测网络用于对所述视角特征向量进行预测解码得到预测视角，基于所述预测视角与对应的视角标签确定预测视角误差；
[0138]
视角编码器用于将输入所述对应的视角标签进行编码得到新的视角特征向量输出至三维生成网络；
[0139]
所述三维生成网络基于所述新的视角特征向量和所述形状特征向量生成预测三维模型；
[0140]
在所述三维构建模型的输出端连接可微渲染模块，所述可微渲染模块基于预测三维模型生成预测掩模，基于所述预测掩模和标准掩模确定预测三维模型误差；
[0141]
训练过程中的损失函数是基于所述预测三维模型误差和所述预测视角误差构建的。在上述实施例的基础上，该装置中，
[0142]
所述训练过程中的损失函数是基于所述预测三维模型误差和所述预测视角误差构建的，具体包括：
[0143]
所述预测三维模型误差基于所述预测掩模和所述标准掩模之间的误差表征，所述
标准掩模为所述单张手绘草图样本的掩模。
[0144]
在上述实施例的基础上，该装置中，
[0145]
所述预测掩模包括所述预测三维模型在所述对应的视角标签下的掩模和基于随机视角构建的随机预测三维模型在所述随机视角下的掩模。
[0146]
在上述实施例的基础上，该装置中，
[0147]
所述损失函数，具体包括：
[0148]
所述预测三维模型在所述对应的视角标签下的掩模与所述单张手绘草图样本和所述标准掩模之间的交并比，基于随机视角构建的随机预测三维模型在所述随机视角下的掩模与所述标准掩模之间的交并比，以及，
[0149]
所述对应的视角标签和所述随机视角在经过形状判别器之后的交叉熵。
[0150]
在上述实施例的基础上，该装置中，还包括指定视角单元，用于：
[0151]
获取所述单张手绘草图对应的指定视角；
[0152]
相应地，所述构建单元，具体用于：
[0153]
将所述单张手绘草图输入所述三维构建模型的图像编码器输出形状特征向量至所述三维构建模型；
[0154]
将所述指定视角输入所述视角编码器输出指定视角向量特征至所述三维构建模型；
[0155]
所述三维构建模型基于所述形状特征向量和所述指定视角向量特征生成三维模型。
[0156]
图6为本发明提供的一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(communications interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行基于单张手绘草图的三维模型生成方法，该方法包括：获取单张手绘草图；将所述单张手绘草图输入三维构建模型，输出所述单张手绘草图对应的三维模型；其中，所述三维构建模型是基于单张手绘草图样本和对应的视角标签进行训练得到的，所述三维构建模型中包括视角预测网络，用于提取输入单张手绘草图的预测视角。
[0157]
此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0158]
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的基于单张手绘草图的三维模型生成方法，该方法包括：获取单张手绘草图；将所述单张手绘草图输入三维构建模型，输出
所述单张手绘草图对应的三维模型；其中，所述三维构建模型是基于单张手绘草图样本和对应的视角标签进行训练得到的，所述三维构建模型中包括视角预测网络，用于提取输入单张手绘草图的预测视角。
[0159]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的基于单张手绘草图的三维模型生成方法，该方法包括：获取单张手绘草图；将所述单张手绘草图输入三维构建模型，输出所述单张手绘草图对应的三维模型；其中，所述三维构建模型是基于单张手绘草图样本和对应的视角标签进行训练得到的，所述三维构建模型中包括视角预测网络，用于提取输入单张手绘草图的预测视角。
[0160]
以上所描述的服务器实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0161]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0162]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。