基于隐式函数的三维重建方法和系统与流程

所属的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器（ram）、内存、只读存储器（rom）、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

背景技术：

1、传统3d建模需要职业设计师用专业的设计软件花费大量时间和精力来建模，流程复杂、门槛高、效率低、速度慢。为了得到高精度的建模，需要设计师针对每个像素进行精确的标记、测量，对操作员专业水平要求过高且容易出错。

2、为了简化3d建模流程，提高创作速度和效率，让普通人也能轻松创建高品质的3d模型，我们提出了基于隐函数的三维重建方法。

3、本专利主要解决了三维重建精度的问题，主要通过单视图进行三维重建，重建对象不限于人体、物体等。另外，本发明是解决了三维重建没有将颜色也同步重建的问题，通过两个神经网络模型，可以将3d形状和颜色重建出来。

技术实现思路

1、为了解决现有技术中的上述问题，即现有技术重建三维模型流程复杂、门槛高、效率低、速度慢的问题，本发明提供了一种基于隐式函数的三维重建方法，所述方法包括：

2、步骤s100，获取待建模图像；

3、步骤s200，基于所述待建模图像，通过训练好的基于隐式函数的三维重建网络，构建3d重建模型；

4、所述基于隐式函数的三维重建网络，包括粗粒度-细粒度并行特征提取子网络、多层感知机和输出层。

5、在一些优选的实施方式中，所述粗粒度-细粒度并行特征提取子网络，包括粗粒度特征提取单元和细粒度特征提取单元；

6、所述粗粒度特征提取单元，包括依次连接的残差网络、挤压激励模块和第一深度增强模块；

7、所述细粒度特征提取单元，包括依次连接的2d目标检测模块、二维位置编码模块、编码器、解码器和第二深度增强模块。

8、本发明中采用的编码器和解码器，采用transformer实现。

9、在一些优选的实施方式中，所述基于隐式函数的三维重建网络，其训练方法包括：

10、步骤c100，获取训练数据集；所述训练数据集包括多组标准3d模型-2d图片数据对；

11、步骤c200，逐一输入训练数据集；

12、步骤c300，将当前训练数据集的2d图片同时传递至所述残差网络进入步骤c400a和2d目标检测模块进入步骤c400b；

13、步骤c400a，通过所述残差网络提取当前训练数据集的图片特征；

14、步骤c500a，基于所述图片特征通过挤压激励模块获取第二图片特征，计算第二图片特征的注意力损失，通过随机梯度算法回到步骤c400a，直至注意力损失低于设定的注意力损失阈值，进入步骤c600a；

15、步骤c600a，基于所述第二图片特征，通过第一深度增强模块添加深度信息，获得粗粒度特征，进入步骤c1000；

16、步骤c400b，基于所述当前训练数据集的2d图片，通过所述2d目标检测模块获取2d包围框图片；

17、步骤c500b，将所述2d包围框图片切割为设定数量的初始特征向量；

18、步骤c600b，基于初始特征向量在2d图片中的对应位置，通过二维位置编码模块进行二维位置编码，获得多个带有位置标签的初始特征向量；

19、步骤c700b，为所述带有位置标签的初始特征向量设置掩码，基于设置掩码的带有位置标签的初始特征向量通过编码器和解码器进行编码解码，获得增强特征向量；

20、步骤c800b，计算增强特征向量与带有位置标签的初始特征向量的编解码损失，通过随机梯度算法回到步骤c400b直至编解码损失低于设定编解码损失阈值且每个像素的权重矩阵满足预设的阈值，进入步骤c900b；

21、步骤c900b，基于所述增强特征向量，通过第二深度增强模块调节增强特征向量的参数，获得深度增强特征向量，将深度增强特征向量作为细粒度特征；

22、步骤c1000，基于所述粗粒度特征和细粒度特征，通过多层感知机进行特征拼接和预测，从输出层输出3d重建模型；

23、步骤c1100，基于所述3d重建模型和训练数据集计算mlp损失函数；

24、步骤c1200，通过随机梯度下降算法调整多层感知机的参数，回到步骤c1000直至mlp损失函数低于预设的阈值，获得训练好的基于隐式函数的三维重建网络。

25、在一些优选的实施方式中，所述步骤c900b，具体包括：

26、通过相机参数获得各位置对应的特征的深度；

27、基于所述增强特征向量和各位置对应的特征的深度，通过第二深度增强模块调节增强特征的参数，获得深度增强特征向量。

28、在一些优选的实施方式中，所述mlp损失函数，具体为：

29、

30、其中， n表示采样次数，表示3d模型的隐式函数，表示3d重建模型位置为i的值，表示标准3d模型中位置为i的值，表示损失值，表示标准3d模型中位置为i的值，表示2d图片中的投影点的像素的值，表示的初始特征向量，表示位置为i的特征的深度。

31、在一些优选的实施方式中，所述编码器和解码器，采用transformer实现。

32、在一些优选的实施方式中，所述编解码损失为：

33、

34、其中，为交叉熵损失函数，为位置为i的真实编码标签，表示位置为i的模型预测的概率分布，为l2正则化损失函数，为正则化系数，是模型的权重。

35、在一些优选的实施方式中，所述步骤s200，具体包括：

36、步骤s210a，基于所述待建模图像，通过残差网络提取待建模图像的图片特征；

37、步骤s220a，基于所述待建模图像的图片特征，通过挤压激励模块获取待建模图像的第二图片特征；

38、步骤s230a，基于所述待建模图像的第二图片特征，通过第一深度增强模块添加深度信息，获得待建模图像的粗粒度特征，进入步骤s250；

39、步骤s210b，基于所述待建模图像通过2d目标检测模块获取待建模图像的2d包围框图片；

40、步骤s220b，通过二维位置编码模块对待建模图像的2d包围框图片进行二维位置编码，获得多个待建模图像初始特征向量；

41、步骤s230b，基于所述待建模图像初始特征向量，通过编码器和解码器进行编码解码，获得待建模图像增强特征向量；

42、步骤s240b，基于所述待建模图像增强特征向量，通过第二深度增强模块调节待建模图像增强特征向量的参数，获得待建模图像的细粒度特征；

43、步骤s250，基于所述待建模图像的粗粒度特征和待建模图像的细粒度特征，通过多层感知机进行特征拼接和预测，获得每个三维空间点在3d重建模型表面内的概率，进而确定3d重建模型。

44、在一些优选的实施方式中，所述粗粒度-细粒度并行特征提取子网络，还包括基于第二粗粒度特征提取单元和第二细粒度特征提取单元构建的结构，具体为：

45、所述第二粗粒度特征提取单元，包括依次连接的2d目标检测模块、残差网络、挤压激励模块和第一深度增强模块；

46、所述第二细粒度特征提取单元，包括依次连接的二维位置编码模块、编码器、解码器和第二深度增强模块。

47、本发明的另一方面，提出了一种基于隐式函数的三维重建系统，所述系统包括：图像获取模块和模型重建模块；

48、所述图像获取模块，配置为获取待建模图像；

49、所述模型重建模块，配置为基于所述待建模图像，通过训练好的基于隐式函数的三维重建网络，构建3d重建模型；

50、所述基于隐式函数的三维重建网络，包括粗粒度-细粒度并行特征提取子网络、多层感知机和输出层。本发明的有益效果：

51、（1）本发明通过采用transformer进行编码和解码，使每个像素都包括整张图像的像素信息，实现了单视图的三维重建，并且简化了流程和降低了技术门槛，同时还提高了重建效率和速度。

52、（2）本发明实现了像素级三维重建，提高了三维重建模型的精度，并且支持多种数据源。