一种基于遮挡几何互补模型的光场相机深度估计方法与流程

本技术所属技术领域为计算机视觉领域，是一种基于遮挡几何互补模型的光场相机深度估计方法。

背景技术：

光场相机可以捕获四维光场的空间-角度信息。与传统相机相比，它可从单帧光场图像中获取多视点或子光圈图像，为视觉分析和理解提供更有用的线索和信息。从光场图像中恢复出精确深度信息已成为当前计算机视觉和计算摄影学领域中的研究热点之一。

目前已提出了许多光场相机的深度恢复方法。早期深度恢复方法可追溯到有关焦点栈和景深提取的研究[1]。Georgiev和Lumsdaine通过计算微透镜图像间归一化互相关来估计视差图[2]。Bishop和Favaro提出一种可变贝叶斯框架重建场景深度[3]。Perwass和Wietzke提出一种基于对应性的深度估计方法[4]。Yu等人分析光场图像中线段的三维几何，并通过子光圈图像间线段匹配来计算视差图[5]。Tao等人讨论了不同深度线索在遮挡、重复纹理和噪声下的优缺点，并在此基础上，提出了基于多线索融合的深度估计方法[6]。Jeon等人提出光场相移理论实现亚像素精度的深度估计[7]。Lin等人提出基于焦点栈和数据一致性测度的深度图恢复方法[8]。然而受制于光场图像的有限空间和角度分辨率，光场相机深度恢复依然面临着精度和鲁棒性的挑战，特别是在深度不连续和遮挡区域。Neus Sabater等人给出了一种基于Lytro光场相机原始数据的精确视差估计方法[9]。近期Wang等人提出了一种光场遮挡模型[10,11]，虽然表现出了较好的性能，但对颜色和纹理边缘敏感，因此对于具有丰富纹理变化的物体表面难以获得令人满意的结果。

参考文献

[1]F.Nava,J.Marichal-Hernndez,and J.Rodrguez-Ramos.The discrete focal stack transform.In 16th European Signal Processing Conference(EUSIPCO 2008),2008.

[2]T.Georgiev,and A.Lumsdaine.Depth of field in plenoptic cameras.In 30th Annual Conference of the European Association for Computer Graphics(EuroGraphics 2009),2009.

[3]T.E.Bishop,and P.Favaro.The light field camera:Extended depth of field,aliasing,and superresolution.In IEEE Transactions on Pattern Analysis and Machine Intelligence(PAMI),vol.34,no.5,pp.972–986,2012.

[4]C.Perwass and P.Wietzke.Single lens 3d-camera with extended depth-of-field.In SPIE Elect.Imaging,2012.

[5]Z.Yu,X.Guo,H.Ling,A.Lumsdaine,and J.Yu.Line assisted light field triangulation and stereo matching.In Proceedings of International Conference on Computer Vision(ICCV),2013.

[6]M.Tao,S.Hadap,J.Malik,and R.Ramamoorthi.Depth from combining defocus and correspondence using light-field cameras.In Proceedings of the IEEE International Conference on Computer Vision(ICCV),2013.

[7]H.-G.Jeon,J.Park,G.Choe,J.Park,Y.Bok,Y.-W.Tai,and I.S.Kweon.Accurate depth map estimation from a lenslet light fieldcamera.In Proceedings of International Conference on ComputerVision and Pattern Recognition(CVPR),2015.

[8]H.Lin,C.Chen,S.B.Kang,and J.Yu.Depth recovery fromlight field using focal stack symmetry.In Proceedings of the IEEEInternational Conference on Computer Vision(ICCV),2015.

[9]Neus Sabater,Valter Drazic,Mozhdeh Sei,et al.Light-Field Demultiplexing and Disparity Estimation.HAL-00925652,2014.

[10]T.-C.Wang,A.Efros,and R.Ramamoorthi.Depth estimation with occlusion modeling using light-field cameras.In IEEE Transactions on Pattern Analysis and Machine Intelligence(TPAMI),2016.

[11]T.-C.Wang,A.Efros,and R.Ramamoorthi.Occlusion-aware depth estimation using light-field cameras.In Proceedings of the IEEE International Conference on Computer Vision(ICCV),2015.

[12]Ziyang Ma,Kaiming He,Yichen Wei,Jian Sun,and Enhua Wu.Constant Time Weighted Median Filtering for Stereo Matching and Beyond.In Proceedings of the IEEE International Conferenceon Computer Vision(ICCV),2013.

[13]Qifeng Chen,Vladlen Koltun.Full Flow:Optical Flow Estimation By Global Optimization over Regular Grids.In Proceedings of International Conference on ComputerVision and Pattern Recognition(CVPR),2016.

技术实现要素：

本发明针对现有技术的不足，受相机阵列的遮挡几何互补模型的启发，提供了一种基于遮挡几何互补模型的光场相机深度估计方法。

本发明方法的具体步骤如下：

步骤(1)：将原始光场数据重组为一组子光圈图像阵列，具体如下：

原始光场数据的双平面表示方式为LF(x,y,u,v,c)，表现为经过微透镜阵列平面和主透镜平面坐标的光线集合；(x,y)为微透镜阵列平面坐标，取值范围为x∈[1,N_x],y∈[1,N_y]中的整数值，N_x和N_y分别为微透镜阵列的行数和列数；(u,v)为主透镜平面坐标，取值范围为u∈[-N_u/2,N_u/2],v∈[-N_v/2,N_v/2]中的整数值，N_u和N_v分别微透镜图像水平和垂直方向的像素个数；c为颜色通道，取值范围为c∈[1,N_c]中的整数值，通常N_c取值为3，表示红、绿、蓝三色通道；对于主透镜平面上的某个具体坐标位置(u,v)，从原始光场数据LF(x,y,u,v,c)中提取主透镜平面坐标为(u,v)的数据，合为一幅子光圈图像LF_(u,v)(x,y,c)；主透镜平面坐标中心(0,0)位置的子光圈图像为中心子光圈图像LF_(0,0)(x,y,c)；主透镜平面上所有坐标位置的子光圈图像共有N_u×N_v幅，组成子光圈图像阵列。

步骤(2)：计算中心子光圈图像LF_(0,0)(x,y,c)的水平梯度图GxLF_(0,0)(x,y,c)和垂直梯度图像GyLF_(0,0)(x,y,c)；计算子光圈图像LF_(u,v)(x,y,c)的水平梯度图GxLF_(u,v)(x,y,c)和垂直梯度图像GyLF_(u,v)(x,y,c)。

所述的水平梯度图和垂直梯度图像计算方法为：

对于图像I(x,y,c)，根据图像梯度计算公式，可得图像I(x,y,c)在水平和垂直方向的梯度分别为GxI(x,y,c)、GyI(x,y,c)。所述梯度计算公式具体描述为：

步骤(3)：设定偏移量k的有效范围[k_min,k_max]，偏移量步进Δk和偏移标号n；偏移量k的个数INT(·)为截取小数部分的取整函数；偏移标号n取值[0,N_k]间的整数，有偏移标号n所对应的偏移量为k_min+nΔk；偏移量k的有效范围[k_min,k_max]通常为[-4.0,0.5]，偏移量步进Δk＝0.05。

步骤(4)：将中心子光圈图像LF_(0,0)(x,y,c)及其水平梯度图GxLF_(0,0)(x,y,c)和垂直梯度图像GyLF_(0,0)(x,y,c)分别作为基准图像I_r(x,y,c)及其水平梯度图GxI_r(x,y,c)和垂直梯度图像GyI_r(x,y,c)；将子光圈图像LF_(u,v)(x,y,c)及其水平梯度图GxLF_(u,v)(x,y,c)和垂直梯度图像GyLF_(u,v)(x,y,c)分别作为对准图像I_g(x,y,c)及其水平梯度图GxI_g(x,y,c)和垂直梯度图像GyI_g(x,y,c)；则对准图像I_g(x,y,c)与基准图像I_r(x,y,c)在主透镜平面坐标(u,v)上的偏差为：Δu＝-u,Δv＝-v。

步骤(5)：采用频率域相移计算方法，计算对准图像I_g(x,y,c)及其水平梯度图像GxI_g(x,y,c)和垂直梯度图像GyI_g(x,y,c)经偏移标号n所对应的偏移后图像I′_g(x,y,c|n)、GxI′_g(x,y,c|n)和GyI′_g(x,y,c|n)，具体为：

对于偏移标号n，根据光场重对焦公式，计算对准图像I_g(x,y,c)相对于基准图像I_r(x,y,c)的相移量θ＝{θ_x,θ_y}，其中水平方向相移量θ_x＝Δu×(k_min+nΔk)，垂直方向相移量θ_y＝Δv×(k_min+nΔk)；采用频率域相移计算方法，有：

其中和分别为二维傅里叶变换和二维傅里叶逆变换，为成熟技术。

步骤(6)：根据步骤(5)得到的结果，计算对准图像I_g(x,y,c)经偏移标号n所对应的偏移后，与基准图像I_r(x,y,c)的对应性差异值C(x,y|n)，具体为：

C(x,y|n)＝(1-β)·C_SAD(x,y|n)+β·C_GxySAD(x,y|n)

其中C_SAD(x,y|n)和C_GxySAD(x,y|n)分别为像素点(x,y)在偏移标号n下的色彩差异和梯度差异，β为色彩差异和梯度差异的融合参数，通常取值为0.11；C_SAD(x,y|n)和C_GxySAD(x,y|n)具体计算公式为：

其中MIN(·)为求最小值函数；τ为对应性差异的最大阈值，通常取值为0.5。

步骤(7)：根据步骤(6)结果，提取每个像素点的初始深度标号，生成初始深度标号图d_label(x,y)，具体为：

对于像素点(x,y)，在偏移标号n下的对应性差异值为C(x,y|n)，它的初始深度标号为使其对应性差异值最小的偏移标号，并记录最小对应性差异值C_min(x,y)，表示为：

C_min(x,y)＝min C(x,y|n)

步骤(8)：采用基于导向滤波的加权中值滤波方法，将基准图像I_r(x,y,c)作为导向图，对步骤(7)中得到的初始深度标号图d_label(x,y)进行加权中值滤波，滤波后的深度标号图为d′_label(x,y)；导向滤波的正则参数通常为0.0001，窗口半径通常为9。

步骤(9)：根据步骤(8)结果，计算对准图像相对于基准图像的光流，具体为：

对于像素点(x,y)，其光流flow(x,y)表示为：

步骤(10)：根据步骤(9)所得到的光流flow(x,y)，将其定义为中心子光圈图像LF_(0,0)(x,y,c)到子光圈图像LF_(u,v)(x,y,c)的前向光流flow_forward(x,y|u,v)；并将步骤(6)中各偏移标号n下的对应性差异值C(x,y|n)记录为子光圈图像LF_(u,v)(x,y,c)在各偏移标号n下的对应性差异值C_(u,v)(x,y|n)。

步骤(11)：将子光圈图像LF_(u,v)(x,y,c)及其水平梯度图GxLF_(u,v)(x,y,c)和垂直梯度图像GyLF_(u,v)(x,y,c)分别作为基准图像I_r(x,y,c)及其水平梯度图GxI_r(x,y,c)和垂直梯度图像GyI_r(x,y,c)；将中心子光圈图像LF_(0,0)(x,y,c)及其水平梯度图GxLF_(0,0)(x,y,c)和垂直梯度图像GyLF_(0,0)(x,y,c)分别作为对准图像I_g(x,y,c)及其水平梯度图GxI_g(x,y,c)和垂直梯度图像GyI_g(x,y,c)；对准图像I_g(x,y,c)与基准图像I_r(x,y,c)在主透镜平面坐标(u,v)上的偏差为：Δu＝u,Δv＝v。重复步骤(5)到步骤(9)；将步骤(9)所得到的光流flow(x,y)定义为中心子光圈图像LF_(0,0)(x,y,c)到子光圈图像LF_(u,v)(x,y,c)的后向光流flow_backward(x,y|u,v)。

步骤(12)：根据步骤(10)和步骤(11)结果，采用基于前向光流和后向光流的遮挡检测方法，估计子光圈图像LF_(u,v)(x,y,c)与中心子光圈图像LF_(0,0)(x,y,c)之间的遮挡Occ_(u,v)(x,y)，表示为：

步骤(13)：根据步骤(12)和步骤(10)结果，可得每个子光圈图像与中心子光圈图像之间的遮挡估计和最小对应性差异值；根据遮挡几何互补模型，滤除遮挡光线，并将所有子光圈图像在偏移标号n下的对应性差异值进行累加，获得最终对应性代价cost(x,y|n)，具体为：

步骤(14)：根据步骤(13)中得到的最终对应性代价cost(x,y|n)，提取深度标号图具体为：

对于像素点(x,y)，在偏移标号n下的最终对应性差异值为cost(x,y|n)，其深度标号为使其最终对应性差异值最小的偏移标号，表示为：

步骤(15)：采用基于导向滤波的加权中值滤波方法，将中心子光圈图像LF_(0,0)(x,y,c)作为导向图，对步骤(14)中得到的深度标号图进行加权中值滤波，得到滤波后深度标号图为导向滤波的正则参数通常为0.0001，窗口半径通常为9。

步骤(16)：根据步骤(15)中得到的滤波后深度标号图计算最终深度图depth(x,y)，具体为：

对于像素点(x,y)，其滤波后深度标号为其最终深度为：

本发明有益效果如下：

本发明提供了一种基于遮挡互补的光场相机深度估计方法。该方法利用了相对的两个视角中，所看到遮挡区域具有互补关系的性质，通过求两个视角的遮挡信息，对两部分信息进行融合，从而实现精确的光场图像深度估计。该方法较其他方法可以对具有丰富纹理变化的区域实现很好的遮挡结果，并且得到精确的深度图。

附图说明

图1为本发明中的方法流程图；

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

如图1所示，一种基于遮挡几何互补模型的光场相机深度估计方法，具体步骤如下：

步骤(1)：将原始光场数据重组为一组子光圈图像阵列，具体如下：

原始光场数据的双平面表示方式为LF(x,y,u,v,c)，表现为经过微透镜阵列平面和主透镜平面坐标的光线集合；(x,y)为微透镜阵列平面坐标，取值范围为x∈[1,N_x],y∈[1,N_y]中的整数值，N_x和N_y分别为微透镜阵列的行数和列数；(u,v)为主透镜平面坐标，取值范围为u∈[-N_u/2,N_u/2],v∈[-N_v/2,N_v/2]中的整数值，N_u和N_v分别微透镜图像水平和垂直方向的像素个数；c为颜色通道，取值范围为c∈[1,N_c]中的整数值，通常N_c取值为3，表示红、绿、蓝三色通道；对于主透镜平面上的某个具体坐标位置(u,v)，从原始光场数据LF(x,y,u,v,c)中提取主透镜平面坐标为(u,v)的数据，合为一幅子光圈图像LF_(u,v)(x,y,c)；主透镜平面坐标中心(0,0)位置的子光圈图像为中心子光圈图像LF_(0,0)(x,y,c)；主透镜平面上所有坐标位置的子光圈图像共有N_u×N_v幅，组成子光圈图像阵列。

步骤(2)：计算中心子光圈图像LF_(0,0)(x,y,c)的水平梯度图GxLF_(0,0)(x,y,c)和垂直梯度图像GyLF_(0,0)(x,y,c)；计算子光圈图像LF_(u,v)(x,y,c)的水平梯度图GxLF_(u,v)(x,y,c)和垂直梯度图像GyLF_(u,v)(x,y,c)。

所述的水平梯度图和垂直梯度图像计算方法为：

对于图像I(x,y,c)，根据图像梯度计算公式，可得图像I(x,y,c)在水平和垂直方向的梯度分别为GxI(x,y,c)、GyI(x,y,c)。所述梯度计算公式具体描述为：

步骤(3)：设定偏移量k的有效范围[k_min,k_max]，偏移量步进Δk和偏移标号n；偏移量k的个数INT(·)为截取小数部分的取整函数；偏移标号n取值[0,N_k]间的整数，有偏移标号n所对应的偏移量为k_min+nΔk；偏移量k的有效范围[k_min,k_max]通常为[-4.0,0.5]，偏移量步进Δk＝0.05。

步骤(4)：将中心子光圈图像LF_(0,0)(x,y,c)及其水平梯度图GxLF_(0,0)(x,y,c)和垂直梯度图像GyLF_(0,0)(x,y,c)分别作为基准图像I_r(x,y,c)及其水平梯度图GxI_r(x,y,c)和垂直梯度图像GyI_r(x,y,c)；将子光圈图像LF_(u,v)(x,y,c)及其水平梯度图GxLF_(u,v)(x,y,c)和垂直梯度图像GyLF_(u,v)(x,y,c)分别作为对准图像I_g(x,y,c)及其水平梯度图GxI_g(x,y,c)和垂直梯度图像GyI_g(x,y,c)；则对准图像I_g(x,y,c)与基准图像I_r(x,y,c)在主透镜平面坐标(u,v)上的偏差为：Δu＝-u,Δv＝-v。

步骤(5)：采用频率域相移计算方法，计算对准图像I_g(x,y,c)及其水平梯度图像GxI_g(x,y,c)和垂直梯度图像GyI_g(x,y,c)经偏移标号n所对应的偏移后图像I′_g(x,y,c|n)、GxI′_g(x,y,c|n)和GyI′_g(x,y,c|n)，具体为：

对于偏移标号n，根据光场重对焦公式，计算对准图像I_g(x,y,c)相对于基准图像I_r(x,y,c)的相移量θ＝{θ_x,θ_y}，其中水平方向相移量θ_x＝Δu×(k_min+nΔk)，垂直方向相移量θ_y＝Δv×(k_min+nΔk)；采用频率域相移计算方法，有：

其中和分别为二维傅里叶变换和二维傅里叶逆变换，为成熟技术。

步骤(6)：根据步骤(5)得到的结果，计算对准图像I_g(x,y,c)经偏移标号n所对应的偏移后，与基准图像I_r(x,y,c)的对应性差异值C(x,y|n)，具体为：

C(x,y|n)＝(1-β)·C_SAD(x,y|n)+β·C_GxySAD(x,y|n)

其中C_SAD(x,y|n)和C_GxySAD(x,y|n)分别为像素点(x,y)在偏移标号n下的色彩差异和梯度差异，β为色彩差异和梯度差异的融合参数，通常取值为0.11；C_SAD(x,y|n)和C_GxySAD(x,y|n)具体计算公式为：

其中MIN(·)为求最小值函数；τ为对应性差异的最大阈值，通常取值为0.5。

步骤(7)：根据步骤(6)结果，提取每个像素点的初始深度标号，生成初始深度标号图d_label(x,y)，具体为：

对于像素点(x,y)，在偏移标号n下的对应性差异值为C(x,y|n)，它的初始深度标号为使其对应性差异值最小的偏移标号，并记录最小对应性差异值C_min(x,y)，表示为：

C_min(x,y)＝min C(x,y|n)

步骤(8)：采用基于导向滤波的加权中值滤波方法，将基准图像I_r(x,y,c)作为导向图，对步骤(7)中得到的初始深度标号图d_label(x,y)进行加权中值滤波，滤波后的深度标号图为d′_label(x,y)；导向滤波的正则参数通常为0.0001，窗口半径通常为9。

步骤(9)：根据步骤(8)结果，计算对准图像相对于基准图像的光流，具体为：

对于像素点(x,y)，其光流flow(x,y)表示为：

步骤(10)：根据步骤(9)所得到的光流flow(x,y)，将其定义为中心子光圈图像LF_(0,0)(x,y,c)到子光圈图像LF_(u,v)(x,y,c)的前向光流flow_forward(x,y|u,v)；并将步骤(6)中各偏移标号n下的对应性差异值C(x,y|n)记录为子光圈图像LF_(u,v)(x,y,c)在各偏移标号n下的对应性差异值C_(u,v)(x,y|n)。

步骤(11)：将子光圈图像LF_(u,v)(x,y,c)及其水平梯度图GxLF_(u,v)(x,y,c)和垂直梯度图像GyLF_(u,v)(x,y,c)分别作为基准图像I_r(x,y,c)及其水平梯度图GxI_r(x,y,c)和垂直梯度图像GyI_r(x,y,c)；将中心子光圈图像LF_(0,0)(x,y,c)及其水平梯度图GxLF_(0,0)(x,y,c)和垂直梯度图像GyLF_(0,0)(x,y,c)分别作为对准图像I_g(x,y,c)及其水平梯度图GxI_g(x,y,c)和垂直梯度图像GyI_g(x,y,c)；对准图像I_g(x,y,c)与基准图像I_r(x,y,c)在主透镜平面坐标(u,v)上的偏差为：Δu＝u,Δv＝v。重复步骤(5)到步骤(9)；将步骤(9)所得到的光流flow(x,y)定义为中心子光圈图像LF_(0,0)(x,y,c)到子光圈图像LF_(u,v)(x,y,c)的后向光流flow_backward(x,y|u,v)。

步骤(12)：根据步骤(10)和步骤(11)结果，采用基于前向光流和后向光流的遮挡检测方法，估计子光圈图像LF_(u,v)(x,y,c)与中心子光圈图像LF_(0,0)(x,y,c)之间的遮挡Occ_(u,v)(x,y)，表示为：

步骤(13)：根据步骤(12)和步骤(10)结果，可得每个子光圈图像与中心子光圈图像之间的遮挡估计和最小对应性差异值；根据遮挡几何互补模型，滤除遮挡光线，并将所有子光圈图像在偏移标号n下的对应性差异值进行累加，获得最终对应性代价cost(x,y|n)，具体为：

步骤(14)：根据步骤(13)中得到的最终对应性代价cost(x,y|n)，提取深度标号图具体为：

对于像素点(x,y)，在偏移标号n下的最终对应性差异值为cost(x,y|n)，其深度标号为使其最终对应性差异值最小的偏移标号，表示为：

步骤(15)：采用基于导向滤波的加权中值滤波方法，将中心子光圈图像LF_(0,0)(x,y,c)作为导向图，对步骤(14)中得到的深度标号图进行加权中值滤波，得到滤波后深度标号图为导向滤波的正则参数通常为0.0001，窗口半径通常为9。

步骤(16)：根据步骤(15)中得到的滤波后深度标号图计算最终深度图depth(x,y)，具体为：

对于像素点(x,y)，其滤波后深度标号为其最终深度为：