一种基于计算光场的单目三维重建系统及方法

本发明属于三维成像，具体涉及一种基于计算光场的单目三维重建系统及方法。

背景技术：

1、随着三维成像技术扮演着至关重要的角色。与传统的二维图像处理相比，三维成像能够提供更丰富、更完整的信息，有助于计算机更好地理解和解析环境。三维成像通过一个视觉传感器获取环境的三维信息。这个视觉传感器通常是一个摄像头，使用复杂的算法和模型从二维图像中提取出深度信息，从而构建三维模型。这项技术由于其对设备的要求相对较低，成本较低，而且易于部署，因此在众多领域都有广泛的应用。

2、自动驾驶是单目三维成像技术的一个重要应用领域。自动驾驶系统需要对周围的环境有准确的认知，以实现安全的导航。通过单目三维成像技术，自动驾驶系统可以从摄像头获取的图像中提取出路面、车辆、行人等物体的位置和距离信息，从而实现对环境的理解。此外，通过对大量图像数据的学习，自动驾驶系统还可以不断优化其成像和识别算法，提高其对环境的识别精度和反应速度。另一个应用领域是机器人技术。无论是家庭机器人还是工业机器人，都需要对环境有准确的认知，以完成各种任务。通过单目三维成像技术，机器人可以从摄像头获取的图像中提取出物体的形状、位置和距离信息，从而实现对环境的理解。此外，通过深度学习等技术，机器人还可以不断优化其成像和识别算法，提高其对环境的识别精度和反应速度。此外，单目三维成像技术还在医学领域找到了应用。在手术、治疗等过程中，医生需要对患者体内的结构有准确的认知。通过单目三维成像技术，医生可以非侵入性地获取患者体内的三维结构信息，从而提高手术的准确性和安全性。此外，通过对大量医学图像数据的学习，医生还可以预测病情的发展，为患者制定更精确的治疗方案。

3、单目三维成像技术具有广泛的应用前景，但仍有一些技术挑战。例如，由于单目摄像头无法直接获取深度信息，需要根据视觉差异进行图像匹配及融合算法没有物理模型基础，导致成像结果分辨能力不稳定。此外，由于深度信息的获取依赖于图像的纹理信息，因此在纹理信息缺乏的情况下，单目三维成像的性能可能会受到影响。然而，计算能力的增强，计算成像的出现为光场传输模型提供了基础，利用深度学习技术有望实现高质量的光场复原，进而提升深度推理的精度，根据光场传输的物理模型可以提高三维成像的鲁棒性。

4、现有单目三维成像技术包括基于结构光法、时间飞行法、双目视觉、深度学习方法、偏振信息的三维成像技术。基于结构光法的单目三维成像，通过投射特殊编码的光纹或光条到被拍摄物体上，根据观察光纹的形变或变化来计算物体的深度信息；但是对于高亮度或反射性物体，结构光法易受到干扰，导致深度测量不准确；此外，结构光法对于长距离的深度测量存在精度降低的问题。基于时间飞行法的三维成像技术，利用光传感器测量光线从相机发射到物体上并反射回相机所需的时间来计算距离；但是时间飞行法的深度分辨率较低，分辨率受到光线传播路径介质干扰，分辨率随距离增加而降低；此外，时间飞行法传感器的成本相对较高。基于双目视觉的三维成像技术，使用两个相机或传感器，模拟人类的双眼视觉，通过比较两个视点的图像差异来计算深度信息；但是，该技术需要两个相机进行图像捕捉和计算，增加了系统的复杂性和成本；此外，双目视觉难以测量纹理较少或透明物体的深度。基于变焦方法的单目三维成像技术，利用相机的变焦功能来获取物体的深度信息的方法，这种技术通过对同一物体进行不同焦距的成像，并分析不同焦距下的图像信息来推断物体的深度；但是，该技术基于传统几何光学，根据图像中的视差信息求解深度；同时变焦相机的焦距范围有限，引起深度测量范围限制。基于深度学习方法的三维成像技术，利用深度学习技术对单目图像进行分析和处理，从而获取物体的三维信息；这些方法通常使用卷积神经网络(cnn)或其他深度学习模型进行物体检测、姿态估计和深度估计等任务；但是深度学习方法需要大量的标注数据和计算资源进行训练和推理；此外，它对于在训练数据范围之外的物体或场景存在泛化能力的限制，并且需要考虑模型的准确性和鲁棒性。基于偏振信息的三维成像技术，利用物体表面反射或透射的偏振光来获取物体的深度信息的方法，通过分析偏振光在不同角度和方向上的变化，可以推断出物体的形状和深度；但是该技术为得到目标的偏振信息，需要额外加入偏振片，增加了系统的复杂性和成本，同时由于偏振片过滤了部分能量，引起原始光场信息进一步丢失。

5、因此，现有三维成像存在深度测量不准确、相位信息丢失引起成像精度较低、成像系统复杂、成本较高的问题。

技术实现思路

1、为了解决现有技术中存在的上述问题，本发明提供了一种基于计算光场的单目三维重建系统及方法。本发明要解决的技术问题通过以下技术方案实现：

2、本发明实施例提供了一种基于计算光场的单目三维重建系统，包括：成像镜头、至少一个分光元件、准焦图像采集设备和至少一个离焦图像采集设备，其中，

3、所述成像镜头用于为光学系统成像提供光学聚焦并控制成像视角，以对理想物面进行成像；

4、所述至少一个分光元件依次设置在所述成像镜头后的光路中，所述至少一个分光元件用于将所述成像镜头视场内的光场信息分为至少两束光，每个分光元件用于将进入所述分光元件的光场信息分为两束相同的光；

5、所述准焦图像采集设备设置在所述至少两束光中的一束光路中，用于接收目标准焦信息，得到准焦图像；

6、所述至少一个离焦图像采集设备与所述至少一个分光元件一一对应，每个离焦图像采集设备接收对应分光元件的目标离焦信息，得到至少一个离焦图像。

7、在本发明的一个实施例中，所述分光元件的数量为1个，所述离焦图像采集设备的数量为1个。

8、在本发明的一个实施例中，所述分光元件包括分光棱镜，所述准焦图像采集设备包括准焦相机，所述离焦图像采集设备包括离焦相机。

9、本发明的另一个实施例提供了一种基于计算光场的单目三维重建方法，包括步骤：

10、获取理想物面的准焦图像和离焦图像；

11、利用多尺度融合网络从所述准焦图像和所述离焦图像中提取原始图片的高维信息，并加强特征提取阶段的特征复用，以非线性拟合光学系统的复场传输，得到重建目标光场的振幅谱和相位谱；

12、根据标量衍射理论，利用所述相位谱估计目标深度谱；

13、利用所述振幅谱和所述目标深度谱实现基于光场信息的三维重建结果。

14、在本发明的一个实施例中，所述多尺度融合网络包括第一卷积块、第二卷积块、第三卷积块、第一最大池化层、第四卷积块、第五卷积块、第二最大池化层、第六卷积块、第七卷积块、第一连接层、第一残差模块、第一上采样模块、第八卷积块、第二连接层、第二残差模块、第二上采样模块和第九卷积块，其中，

15、所述第一卷积块和所述第二卷积块中的一个输入所述准焦图像，另一个输入所述离焦图像；所述第一卷积块的输出和所述第二卷积块的输出均连接所述第二卷积块；

16、所述第三卷积块、所述第一最大池化层、所述第四卷积块、所述第五卷积块、所述第二最大池化层、所述第六卷积块、所述第七卷积块依次连接；

17、所述第一连接层的输入连接所述第五卷积块的输出、所述第六卷积块的输出和所述第七卷积块的输出；所述第一连接层、所述第一残差模块、所述第一上采样模块、所述第八卷积块依次连接；

18、所述第二连接层的输入连接所述第五卷积块的输出、所述第六卷积块的输出和所述第七卷积块的输出；所述第二连接层、所述第二残差模块、所述第二上采样模块和所述第九卷积块依次连接。

19、在本发明的一个实施例中，所述第一残差模块包括依次连接的第一残差块、第二残差块、第三残差块和第四残差块；

20、所述第二残差模块包括依次连接的第五残差块、第六残差块、第七残差块和第八残差块。

21、在本发明的一个实施例中，所述第一上采样模块包括依次连接的第一上采样层、第二上采样层和第三上采样层；

22、所述第二上采样模块包括依次连接的第四上采样层、第五上采样层和第六上采样层。

23、在本发明的一个实施例中，根据标量衍射理论，利用所述相位谱估计目标深度谱，包括：

24、根据标量标量衍射理论可知相位谱代表光轴方向的深度信息，因此，利用所述振幅谱和所述相位谱估计目标深度谱：

25、

26、其中，k为波数，满足λ为波长，为相位对于z轴方向的偏导，为拉普拉斯算子，i为强度谱，为相位谱。

27、与现有技术相比，本发明的有益效果：

28、1、本发明的单目三维重建系统通过分光元件获取准焦图像和离焦图像，无需引入参考光，且无需偏振滤波元件及光场调制元件，光路设定简单、操作方便、成本低、效率高，具有很高的鲁棒性，灵活性和精度。

29、2、本发明的单目三维重建方法基于光场信息进行三维重建，利用多尺度融合网络从所述准焦图像和所述离焦图像中提取振幅谱和相位谱，进一步利用相位估计目标深度谱，进而根据光场信息传输的物理模型计算得到三维形貌，因此，该方法不仅依靠目标的振幅信息，同时根据相位信息能够更加准确估算目标深度，考虑了光波的波动性，分辨率高，鲁棒性高，能够高效重构原始光场，且目标成像清晰效果好，三维重建准确度高、计算高效快速。