基于网格形变的单目三维重建方法及装置

本发明涉及基于机器学习的三维重建，具体而言，涉及一种基于网格形变的单目三维重建方法及装置。

背景技术：

1、随着机器学习技术的快速发展，基于机器学习的三维重建领域得到了越来越多的关注。其中，面向网格形变的单目三维重建任务将单个彩色图像作为模型的输入，将模型输出的形变向量作用在当前三维形状上，迭代着进行多轮形变，就可以得到一个目标物体的三维网格数据。而如何优化初始网格的形变过程，提高形变过程的可解释性和形变结果的可用性成为了亟待解决的技术问题。

2、目前，基于网格形变的单目三维重建任务通常采用倒角距离来度量输出的三维网格与目标三维物体之间的距离，并直接将该倒角距离用于机器学习模型的反向传播和迭代学习。然而，这种方式是将一个点集中的所有点平等看待，在迭代训练过程中，并不关心两个点集之间的关系，也不考虑形变顶点之间的相对位置关系，由此会导致最终输出的三维网格存在大量自相交情况，进而导致三维网格的拓扑结构不合理，可用性较差。

技术实现思路

1、本发明提供一种基于网格形变的单目三维重建方法及装置，主要在于能够优化形变点集的形变方向，从而能够减少三维网格的自相交情况，保证三维网格拓扑结构的合理性。

2、根据本发明实施例的第一方面，提供一种基于网格形变的单目三维重建方法，包括：

3、获取彩色图像中目标物体的第一点集和所述目标物体对应的初始三维网格的第二点集；

4、根据所述第一点集中各点的数据和所述第二点集中各点的数据，计算所述第一点集与所述第二点集之间的最近距离关系；

5、根据所述第一点集与所述第二点集之间的最近距离关系，确定所述第二点集中各点对应的查询频率；

6、基于所述第二点集中各点对应的查询频率，分别对所述第二点集和所述第一点集进行更新，得到更新后的第二点集和更新后的第一点集；

7、计算所述更新后的第一点集与所述更新后的第二点集之间的倒角距离，并基于计算的所述倒角距离，对所述初始三维网格进行形变；

8、继续对所述第一点集和形变后的初始三维网格对应的点集进行更新，并重复对所述初始三维网格的形变迭代过程，直至达到预设迭代次数时，输出最终的三维网格数据。

9、根据本发明实施例的第二方面，提供一种基于网格形变的单目三维重建装置，包括：

10、获取单元，用于获取彩色图像中目标物体的第一点集和所述目标物体对应的初始三维网格的第二点集；

11、计算单元，用于根据所述第一点集中各点的数据和所述第二点集中各点的数据，计算所述第一点集与所述第二点集之间的最近距离关系；

12、确定单元，用于根据所述第一点集与所述第二点集之间的最近距离关系，确定所述第二点集中各点对应的查询频率；

13、更新单元，用于基于所述第二点集中各点对应的查询频率，分别对所述第二点集和所述第一点集进行更新，得到更新后的第二点集和更新后的第一点集；

14、所述计算单元，还用于计算所述更新后的第一点集与所述更新后的第二点集之间的倒角距离，并基于计算的所述倒角距离，对所述初始三维网格进行形变；

15、迭代单元，用于继续对所述第一点集和形变后的初始三维网格对应的点集进行更新，并重复对所述初始三维网格的形变迭代过程，直至达到预设迭代次数时，输出最终的三维网格数据。

16、根据本发明实施例的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以下步骤：

17、获取彩色图像中目标物体的第一点集和所述目标物体对应的初始三维网格的第二点集；

18、根据所述第一点集中各点的数据和所述第二点集中各点的数据，计算所述第一点集与所述第二点集之间的最近距离关系；

19、根据所述第一点集与所述第二点集之间的最近距离关系，确定所述第二点集中各点对应的查询频率；

20、基于所述第二点集中各点对应的查询频率，分别对所述第二点集和所述第一点集进行更新，得到更新后的第二点集和更新后的第一点集；

21、计算所述更新后的第一点集与所述更新后的第二点集之间的倒角距离，并基于计算的所述倒角距离，对所述初始三维网格进行形变；

22、继续对所述第一点集和形变后的初始三维网格对应的点集进行更新，并重复对所述初始三维网格的形变迭代过程，直至达到预设迭代次数时，输出最终的三维网格数据。

23、根据本发明实施例的第四方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：

24、获取彩色图像中目标物体的第一点集和所述目标物体对应的初始三维网格的第二点集；

25、根据所述第一点集中各点的数据和所述第二点集中各点的数据，计算所述第一点集与所述第二点集之间的最近距离关系；

26、根据所述第一点集与所述第二点集之间的最近距离关系，确定所述第二点集中各点对应的查询频率；

27、基于所述第二点集中各点对应的查询频率，分别对所述第二点集和所述第一点集进行更新，得到更新后的第二点集和更新后的第一点集；

28、计算所述更新后的第一点集与所述更新后的第二点集之间的倒角距离，并基于计算的所述倒角距离，对所述初始三维网格进行形变；

29、继续对所述第一点集和形变后的初始三维网格对应的点集进行更新，并重复对所述初始三维网格的形变迭代过程，直至达到预设迭代次数时，输出最终的三维网格数据。

30、本发明实施例的创新点包括：

31、1、在三维点集的倒角距离计算过程中引入了两个点集之间的映射关系，以及单个点在其所属点集中的相对关系，充分利用了所有的计算信息，提高了计算的可靠性是本发明实施例的创新点之一。

32、2、引入查询频率，并依据其进行排除操作，使得每一轮迭代参与到倒角距离计算的顶点对象和数量都在动态变化，为倒角距离的计算引入了更多的自适应空间是本发明实施例的创新点之一。

33、3、从点集中排除掉查询频率较高的点，对三维网格的形变过程进行动态控制，从而使整个三维网格的形变过程更加自适应和均衡，减少自相交问题是本发明实施例的创新点之一。

34、本发明提供的一种基于网格形变的单目三维重建方法及装置，与现有技术将点集中的所有点平等看待的方式相比，能够获取彩色图像中目标物体的第一点集和所述目标物体对应的初始三维网格的第二点集，并根据所述第一点集中各点的数据和所述第二点集中各点的数据，计算所述第一点集与所述第二点集之间的最近距离关系，之后根据所述第一点集与所述第二点集之间的最近距离关系，确定所述第二点集中各点对应的查询频率，接着基于所述第二点集中各点对应的查询频率，分别对所述第二点集和所述第一点集进行更新，得到更新后的第二点集和更新后的第一点集，与此同时，计算所述更新后的第一点集与所述更新后的第二点集之间的倒角距离，并基于计算的所述倒角距离，对所述初始三维网格进行形变，继续对所述第一点集和形变后的初始三维网格对应的点集进行更新，并重复对所述初始三维网格的形变迭代过程，直至达到预设迭代次数时，输出最终的三维网格数据。由此可知，本发明通过确定第一点集和第二点集之间的最近距离关系，以及第二点集中各点对应的查询频率，能够在倒角距离计算的过程中引入两个点集之间的映射关系，以及单个点集内部的相对关系，从而能够将点集中的点不平等地处理，使得两个点集之间的倒角距离计算更加动态，同时由于查询频率的计算提供了更加合理和均衡的梯度，因此能够优化形变点集的形变方向，进而能够减少三维网格的自相交情况，保证三维网格拓扑结构的合理性。

35、上述说明仅是本技术技术方案的概述，为了能够更清楚了解本技术的技术手段，而可依照说明书的内容予以实施，并且为了让本技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本技术的具体实施方式。