一种多视光场图像角度超分辨方法及系统

本发明涉及图像处理领域，具体涉及一种多视光场图像角度超分辨方法及系统。

背景技术：

1、光场成像在重聚焦、虚拟现实等领域应用广泛。然而，由于硬件条件限制，获取密集采样的光场图像成本高昂，制约着光场成像技术的发展。因此，将稀疏采样的光场图像重建为密集采样的图像具备重要的理论和实际应用价值。这一转换有助于克服光场成像中的制约因素，提供更高质量的图像数据，为相关领域的研究和应用带来更多可能性。

技术实现思路

1、为解决上述背景中的技术问题，本发明提出了一种多视角光场成像超分辨率方法，旨在生成高质量的高密度采样光场视角图像，以满足重聚焦、深度估计等多样化应用的即时性需求。

2、为实现上述目的，本发明提供了一种多视光场图像角度超分辨方法，步骤包括：

3、基于光场图像，提取左视角、中视角和右视角的稀疏采样光场子孔径阵列图像；

4、基于左视角和右视角的稀疏采样光场子孔径阵列图像，获取最终视角的密集采样光场子孔径阵列图像的y通道信息；

5、基于中视角的稀疏采样光场子孔径阵列图像，获取最终视角的密集采样光场子孔径阵列图像的u通道信息和v通道信息；

6、基于最终视角的y通道信息、所述u通道信息和所述v通道信息，获取最终视角的密集采样光场子孔径阵列图像，完成多视光场图像角度超分辨。

7、优选的，获取最终视角的密集采样光场子孔径阵列图像的y通道信息的方法包括：提取左视角和右视角的稀疏采样光场子孔径阵列图像的y通道信息并进行预处理，得到左视角和右视角的密集采样光场子孔径阵列图像的y通道信息，将左视角和右视角的密集采样光场子孔径阵列图像的y通道信息进行合并，得到最终视角的密集采样光场子孔径阵列图像的y通道信息。

8、优选的，提取的稀疏采样光场子孔径阵列图像的维度皆为3×x×y×h×w，y通道信息的维度为1×x×y×h×w；其中，x×y为稀疏采样光场子孔径阵列图像中视点图像的角度分辨率，h×w为稀疏采样光场子孔径阵列图像中单个视点图像的空间分辨率，3为rgb三个通道，1为y通道信息。

9、优选的，进行所述预处理的方法包括：

10、将左视角和右视角的稀疏采样光场子孔径阵列图像的y通道信息分别输入至超分网络，得到左视角和右视角的浅层密集采样光场子孔径阵列图像的y通道信息；

11、再将左视角和右视角的浅层密集采样光场子孔径阵列图像的y通道信息分别输入至中间视角增强网络，获得左视角和右视角的深层密集采样光场子孔径阵列图像的y通道信息。

12、优选的，利用中间视角细化网络，对左视角和右视角的密集采样光场子孔径阵列图像的y通道信息进行合并，得到最终视角的密集采样光场子孔径阵列图像的y通道信息。

13、优选的，所述超分网络共有16层，包括：8个卷积层以及8个sigmoid激励层；所述中间视角增强网络共有15层，包括：6个卷积层，2个连接层，1个lbp层以及6个sigmoid激励层。

14、优选的，所述中间视角细化网络共有8层，包含：4个卷积层以及4个sigmoid激励层。

15、优选的，获取最终视角的密集采样光场子孔径阵列图像的u通道信息和v通道信息的方法包括：

16、基于中视角的稀疏采样光场子孔径阵列图像，提取稀疏采样光场子孔径阵列图像的u通道信息和v通道信息；

17、对稀疏采样光场子孔径阵列图像的u通道信息和v通道信息进行双线性上采样处理，获得最终视角的密集采样光场子孔径阵列图像的u通道信息和v通道信息。

18、本发明还提供了一种多视光场图像角度超分辨系统，所述系统用于实现上述方法，包括：提取模块、第一获取模块、第二获取模块和融合模块；

19、所述提取模块用于基于光场图像，提取左视角、中视角和右视角的稀疏采样光场子孔径阵列图像；

20、所述第一获取模块用于基于左视角和右视角的稀疏采样光场子孔径阵列图像，获取最终视角的密集采样光场子孔径阵列图像的y通道信息；

21、所述第二获取模块用于基于中视角的稀疏采样光场子孔径阵列图像，获取最终视角的密集采样光场子孔径阵列图像的u通道信息和v通道信息；

22、所述融合模块用于基于最终视角的y通道信息、所述u通道信息和所述v通道信息，获取最终视角的密集采样光场子孔径阵列图像，完成多视光场图像角度超分辨。

23、与现有技术相比，本发明的有益效果如下：

24、光场图像的角度分辨能力主要由每个微透镜下的传感器像素数量所限定。尽管在图像传感器上实施了角度与空间的复合利用，但角度分辨率依旧未能达到预期标准，导致空间分辨率的显著降低。这一限制极大地制约了光场成像技术在众多领域中的应用潜力。本发明提出的技术能够通过稀疏采样的高空间分辨率光场视点图像，重构出高空间分辨率且采样密集的光场图像。因此，该方法生成的光场视点图像不仅具备高角度分辨率，也拥有高空间分辨率，从而为光场成像技术在其他领域的应用提供了新的动力。

技术特征：

1.一种多视光场图像角度超分辨方法，其特征在于，步骤包括：

2.根据权利要求1所述的多视光场图像角度超分辨方法，其特征在于，获取最终视角的密集采样光场子孔径阵列图像的y通道信息的方法包括：提取左视角和右视角的稀疏采样光场子孔径阵列图像的y通道信息并进行预处理，得到左视角和右视角的密集采样光场子孔径阵列图像的y通道信息，将左视角和右视角的密集采样光场子孔径阵列图像的y通道信息进行合并，得到最终视角的密集采样光场子孔径阵列图像的y通道信息。

3.根据权利要求2所述的多视光场图像角度超分辨方法，其特征在于，提取的稀疏采样光场子孔径阵列图像的维度皆为3×x×y×h×w，y通道信息的维度为1×x×y×h×w；其中，x×y为稀疏采样光场子孔径阵列图像中视点图像的角度分辨率，h×w为稀疏采样光场子孔径阵列图像中单个视点图像的空间分辨率，3为rgb三个通道，1为y通道信息。

4.根据权利要求2所述的多视光场图像角度超分辨方法，其特征在于，进行所述预处理的方法包括：

5.根据权利要求2所述的多视光场图像角度超分辨方法，其特征在于，利用中间视角细化网络，对左视角和右视角的密集采样光场子孔径阵列图像的y通道信息进行合并，得到最终视角的密集采样光场子孔径阵列图像的y通道信息。

6.根据权利要求4所述的多视光场图像角度超分辨方法，其特征在于，所述超分网络共有16层，包括：8个卷积层以及8个sigmoid激励层；所述中间视角增强网络共有15层，包括：6个卷积层，2个连接层，1个lbp层以及6个sigmoid激励层。

7.根据权利要求5所述的多视光场图像角度超分辨方法，其特征在于，所述中间视角细化网络共有8层，包含：4个卷积层以及4个sigmoid激励层。

8.根据权利要求1所述的多视光场图像角度超分辨方法，其特征在于，获取最终视角的密集采样光场子孔径阵列图像的u通道信息和v通道信息的方法包括：

9.一种多视光场图像角度超分辨系统，所述系统用于实现权利要求1-8任一项所述的方法，其特征在于，包括：提取模块、第一获取模块、第二获取模块和融合模块；

技术总结
本发明公开了一种多视光场图像角度超分辨方法及系统，其中方法步骤包括：基于光场图像，提取左视角、中视角和右视角的稀疏采样光场子孔径阵列图像；基于左视角和右视角的稀疏采样光场子孔径阵列图像，获取最终视角的密集采样光场子孔径阵列图像的Y通道信息；基于中视角的稀疏采样光场子孔径阵列图像，获取最终视角的密集采样光场子孔径阵列图像的U通道信息和V通道信息；基于最终视角的Y通道信息、U通道信息和V通道信息，获取最终视角的密集采样光场子孔径阵列图像，完成多视光场图像角度超分辨。本发明生成的光场视点图像不仅具备高角度分辨率，也拥有高空间分辨率，从而为光场成像技术在其他领域的应用提供了新的动力。

技术研发人员：刘德阳,査海涅,毛逸凡
受保护的技术使用者：安庆师范大学
技术研发日：
技术公布日：2024/4/29