针对无约束图像数据的三维重建方法、系统、装置及介质

本发明涉及三维重建，尤其涉及一种针对无约束图像数据的三维重建方法、系统、装置及介质。

背景技术：

1、新视角合成是计算机视觉中一个长期存在的问题，为虚拟现实和数字人类等应用提供了基础。近期，神经辐射场的出现推动了该领域的发展，因为它在重建三维几何形状和从多视角图像集中恢复外观方面表现出了出色的性能。然而，神经辐射场假设图像没有可变的外观和移动的物体(即静态场景假设)，这导致在大规模互联网图像集上的性能下降。为了扩展神经辐射场的应用范围，我们的目标是利用这些图像集，提供一个3d的沉浸式体验，通过该体验可以从不同角度和时间参观国际地标，例如勃兰登堡门和特雷维喷泉。

2、为了实现这一目标，我们解决了从无约束图像集中恢复外观可控且抗排斥的神经辐射场的问题。换句话说，通过重构神经辐射场表示，我们可以根据不同光度条件下的照片控制场景的外观，并消除图像造成的遮挡。然而，使用这些图像重建神经辐射场面临以下两个挑战：1)不同的外观：在同一地点拍摄的两张照片可能在拍摄时间、天气(如晴天、雨天和雾天)以及相机设置(如光圈、快门和iso)等条件下有很大差异，这导致它们看起来截然不同。2)瞬时遮挡：即使外观是恒定的，瞬时出现的物体(如汽车和行人)可能会遮挡场景。由于这些物体通常只被一个摄影师拍到，因此实现高质量的物体重建通常是不现实的。这些挑战与神经辐射场的静态场景假设相冲突，导致重建结果不准确，出现过度平滑和重影伪影的问题。

3、最近，研究者们提出nerf-w和ha-nerf来解决上述挑战。nerf-w和ha-nerf利用单射线方式，其中单个相机射线(即从相机延伸的光束通过图像平面上的像素进入3d场景)作为输入。这种方式涉及考虑外观和遮挡因素，然后独立合成新视图的每种颜色的像素。这种方式的一个潜在问题是它依赖于每条光线的局部信息(例如，单个图像像素的信息)来识别外观和瞬态物体。相比之下，人类倾向于利用全局信息(例如，跨多个图像像素的信息)，这种方式可以更全面地了解对象以观察其外观并处理遮挡。

技术实现思路

1、为至少一定程度上解决现有技术中存在的技术问题之一，本发明的目的在于提供一种针对无约束图像数据的三维重建方法、系统、装置及介质。

2、本发明所采用的技术方案是：

3、一种针对无约束图像数据的三维重建方法，包括以下步骤：

4、获取无约束的图片ia，根据神经辐射场原理及网格采样算法，提取m条相机光线其中，m条相机光线对应m个图片像素

5、使用多层感知机从相机光线中提取出多光线特征

6、提取无约束的图片ia的风格特征

7、根据多光线特征和风格特征获取风格转换后的跨光线特征

8、将跨光线特征输入渲染器，重建相机光线对应的图片像素的颜色，实现图像的三维重建。

9、进一步地，所述使用多层感知机从相机光线中提取出多光线特征包括：

10、使用多层感知机模型mlp和体渲染算法vr提取多光线特征表达式如下：

11、

12、

13、其中，m*n是光线的个数，xij是光线中点的坐标，dij是光线的方向向量；σij是光线中点的密度，θ1是mlp的参数，δij是相邻点的距离。

14、进一步地，所述提取无约束的图片ia的风格特征包括：

15、使用编码器提取输入图像ia的风格特征表达式如下：

16、

17、进一步地，所述根据多光线特征和风格特征获取风格转换后的跨光线特征包括：

18、对多光线特征和风格特征的协方差矩阵相乘，获得风格转换后的跨光线特征表达式如下：

19、

20、

21、其中φ1，φ2，φ3均表示非线性矩阵映射操作。

22、进一步地，所述三维重建方法还包括以下步骤：

23、利用外观损失约束重建的像素颜色的风格特征和原图的像素风格特征一致；

24、外观损失的表达式为：

25、

26、其中，表示编码器，为，为l2范数。

27、进一步地，所述三维重建方法还包括以下步骤：

28、利用掩码预测器，对无约束的图片ia进行提取，获得可见图掩码ma；

29、利用网格采样算法对可见图掩码ma进行采样，使可见图掩码ma与相机光线配对，得到瞬时物体可见图m，表达式如下：

30、

31、其中，gs为网格采样操作，为分割网络。

32、进一步地，所述三维重建方法还包括以下步骤：

33、利用损失函数将瞬时物体可见图m与相机光线重建的颜色相乘，约束重建的像素颜色和原图的像素颜色一致，表达式如下：

34、

35、其中，为，⊙为，||||1为l1范数。

36、本发明所采用的另一技术方案是：

37、一种针对无约束图像数据的三维重建系统，包括：

38、光线提取模块，用于获取无约束的图片ia，提取m条相机光线其中，m条相机光线对应m个图片像素

39、第一特征提取模块，用于使用多层感知机从相机光线中提取出多光线特征

40、第二特征提取模块，用于提取无约束的图片ia的风格特征

41、特征融合模块，用于根据多光线特征和风格特征获取风格转换后的跨光线特征

42、图像重建模块，用于将跨光线特征输入渲染器，重建相机光线对应的图片像素的颜色，实现图像的三维重建。

43、本发明所采用的另一技术方案是：

44、一种针对无约束图像数据的三维重建装置，包括：

45、至少一个处理器；

46、至少一个存储器，用于存储至少一个程序；

47、当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如上所述方法。

48、本发明所采用的另一技术方案是：

49、一种计算机可读存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行如上所述方法。

50、本发明的有益效果是：本发明提出用一个新的交叉射线特征来表示多条射线，然后通过融合全局统计数据，即射线的特征协方差和图像外观来恢复外观。

技术特征：

1.一种针对无约束图像数据的三维重建方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种针对无约束图像数据的三维重建方法，其特征在于，所述使用多层感知机从相机光线中提取出多光线特征包括：

3.根据权利要求1所述的一种针对无约束图像数据的三维重建方法，其特征在于，所述提取无约束的图片ia的风格特征包括：

4.根据权利要求1所述的一种针对无约束图像数据的三维重建方法，其特征在于，所述根据多光线特征和风格特征获取风格转换后的跨光线特征包括：

5.根据权利要求1所述的一种针对无约束图像数据的三维重建方法，其特征在于，所述三维重建方法还包括以下步骤：

6.根据权利要求1所述的一种针对无约束图像数据的三维重建方法，其特征在于，所述三维重建方法还包括以下步骤：

7.根据权利要求6所述的一种针对无约束图像数据的三维重建方法，其特征在于，所述三维重建方法还包括以下步骤：

8.一种针对无约束图像数据的三维重建系统，其特征在于，包括：

9.一种针对无约束图像数据的三维重建装置，其特征在于，包括：

10.一种计算机可读存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由处理器执行时用于执行如权利要求1-7任一项所述方法。

技术总结
本发明公开了一种针对无约束图像数据的三维重建方法、系统、装置及介质，属于三维重建技术领域。其中方法包括：获取无约束的图片I<subgt;a</subgt;，提取m条相机光线使用多层感知机从相机光线中提取出多光线特征提取无约束的图片I<subgt;a</subgt;的风格特征根据多光线特征和风格特征获取风格转换后的跨光线特征将跨光线特征输入渲染器，重建相机光线对应的图片像素的颜色，实现图像的三维重建。本发明提出用一个新的交叉射线特征来表示多条射线，然后通过融合全局统计数据，即射线的特征协方差和图像外观来恢复外观。

技术研发人员：谭明奎,杨逸凡,张书海,黄子雄
受保护的技术使用者：华南理工大学
技术研发日：
技术公布日：2024/1/15