基于纹理信息引导的光场深度图优化算法的制作方法

本发明属于光场深度估计领域，特别是涉及一种基于纹理信息引导的光场深度图优化算法。

背景技术：

深度信息在智能医疗、无人驾驶、人脸识别、目标检测跟踪、3d视频制作等领域有着广泛的应用价值，基于光场相机的深度估计是近年来国内外诸多学者研究的热点。光场相机由光场成像理论发展而来，基于光场双平面表示模型，光场相机可实现空间光线位置信息与角度信息的同步记录，将这些信息进行变换处理，可实现场景深度估计。

目前，主流的光场深度估计技术主要包括散焦法、立体匹配法、epi(epipolar-planeimage)斜率法以及基于深度学习的方法。散焦法以光场相机数字重聚焦得到的多张重聚焦图像为输入，通过图像间清晰度比较获得深度图，受清晰度评价函数敏感度的限制，该算法获得的深度图存在边缘不准确的问题。立体匹配法通过计算多幅子孔径图像的视差来确定深度图，子孔径图像间基线距离较短限制了该算法的精度。epi斜率法利用极线图的特殊结构计算每个像素点对应的视差信息，将视差信息转化得到深度图，该算法在平滑区域鲁棒性较差。相比较于以上方法，基于深度学习的方法获取的深度图精度较高，但需要大量的训练数据，并且存在输出的深度图与光场空间分辨率不匹配的问题。

技术实现要素：

为解决上述技术问题，提高传统光场深度估计算法获得的深度图的精度，本发明利用引导滤波器可实现引导图像边缘保持及被引导图像局部平滑特性，采用光场边缘特性明显的纹理图像来实现光场深度图的引导滤波优化，以获得噪声更低和边缘更为准确的深度图。

本发明保护的技术方案为：基于纹理信息引导的光场深度图优化算法，采用光场边缘特性明显的纹理图像来实现光场深度图的引导滤波优化，引导滤波的过程可简单用式(1)描述：

其中，o是输出图像，即优化后的光场深度图；i是引导图像，即携带纹理信息的光场中心孔径图像，其特征为边缘信息明显；i和k是像素索引；ak和bk是以像素k为中心的引导滤波器窗口ωk中恒定的线性系数，ωk的窗口大小为(2r+1)(2r+1)；

对式(1)两边求导，有该局部线性模型保证了只有当中心孔径图像i有边缘时优化后的深度图o才有边缘，ak和bk的表达式分别为：

其中，|ω|表示ωk中所有像素的个数；p为输入图像，即边缘模糊的原始光场深度图；为p在窗口ωk中的均值；μk和分别为中心孔径图像i在窗口ωk中的均值和方差；ε表示滤波器的一个正则化参数，它的取值大于等于0，当中心孔径图像在滤波窗口ωk中的方差远大于ε时，优化后的深度图在该区域保留中心孔径图像的丰富边缘信息；当中心孔径图像在滤波窗口ωk中的方差远小于ε时，优化后的深度图在该区域相当于对原始深度图做均值滤波；因此，寻找合适的滤波窗口r以及正则化参数ε，可使得引导滤波器在平滑原始深度图像噪声的同时保持中心孔径图像的边缘；

为了寻找合适的滤波窗口r以及正则化参数ε，建立了基于多评价函数的混合引导滤波参数寻优模型，该模型可表示为：

其中，eⁿ表示归一化的评价指标值；代表随着r或ε的增大，反映图像质量逐步变好的指标，其个数为m；为随着r或ε的增大，反映图像质量逐步变差的指标，其个数为n；λα、λβ表示各评价指标的权值，λα、λβ的正负由各指标的特性决定，若评价值越大图像质量越高，λα、λβ的值为正，若评价值越小图像质量越高，λα、λβ的值为负，寻优的过程即为寻找合适的滤波参数r、ε，使得y值最大。

进一步的，选取峰值信噪比psnr、均方误差mse、坏像素率bp、绝对相对误差are和细化thining5个性能评价函数，对不同的滤波参数r、ε获得的优化深度图进行评价；

固定ε＝10^-4，滤波器的窗口半径r从1变到10，获得的深度图的归一化psnr、mse、bp、are和thining的值随r的变化曲线图如图1(a)所示；固定r＝5，ε从初值10^-7以指数形式递增，获得的深度图的归一化psnr、mse、bp、are和thining的值随ε的变化曲线图如图1(b)所示；随着r的增大，psnr曲线呈上升趋势，反映图像质量变好；mse、bp曲线呈下降趋势，反映图像质量变好；are、thining曲线呈上升趋势；反映图像质量变差；结合公式(4)给出的混合引导滤波参数寻优模型可得m＝3、n＝2，由于psnr的值越大，代表深度图质量越高，其权重取正值，mse、bp、are和thining的值越小，代表深度图的质量越高，其权重取负值，因此参数r的寻优模型可具体表示为：

同理，参数ε的寻优模型可具体表示为：

固定ε＝10^-4，绘制yr随r的变化曲线图如图1(c)所示，固定r＝5，绘制yε随ε的变化曲线图如图1(d)所示，从曲线图中可以看出，r＝5时，yr取最大值，ε＝10^-4时，yε取最大值，因此，本发明最终确定引导滤波的参数r＝5、ε＝10^-4。

本发明算法以纹理信息丰富的光场中心孔径图像作为引导图像，建立了基于多评价函数的混合引导滤波参数寻优模型，以获得合理滤波器参数实现深度图引导滤波优化。实验结果表明，优化后的深度图边缘的视觉效果有明显改善，与散焦结合相关性评价算法获得的原始深度图相比，优化后深度图的均方误差平均降低1.13％。

附图说明

下面结合附图对本发明做进一步详细的说明。

图1为引导滤波参数优化，其中(a)为ε＝10^-4时，各指标随r的变化曲线图，(b)为r＝5时，各指标随ε的变化曲线图，(c)为yr随r的变化曲线图，(d)为yε随ε的变化曲线图。

图2为“cotton”场景实验效果对比图，其中(a)为光场原图，(b)为标准深度图，(c)为dcdc算法深度图，(d)为优化后的深度图。

图3为“dino”场景实验效果对比图，其中(a)为光场原图，(b)为标准深度图，(c)为dcdc算法深度图，(d)为优化后的深度图。

具体实施方式

为使本发明的目的、特征和优点能够明显易懂，下面结合附图对本发明的具体实施方式做详细说明。

为了提高传统光场深度估计算法获得的深度图的精度，本发明利用引导滤波器可实现引导图像边缘保持及被引导图像局部平滑特性，采用光场边缘特性明显的纹理图像来实现光场深度图的引导滤波优化，以获得噪声更低和边缘更为准确的深度图。引导滤波的过程可简单用式(1)描述：

其中，o是输出图像，即优化后的光场深度图；i是引导图像，即携带纹理信息的光场中心孔径图像，其特征为边缘信息明显；i和k是像素索引；ak和bk是以像素k为中心的引导滤波器窗口ωk中恒定的线性系数，ωk的窗口大小为(2r+1)(2r+1)；

对式(1)两边求导，有因此该局部线性模型保证了只有当中心孔径图像i有边缘时优化后的深度图o才有边缘，ak和bk的表达式分别为：

其中，|ω|表示ωk中所有像素的个数；p为输入图像，即边缘模糊的原始光场深度图；为p在窗口ωk中的均值；μk和分别为中心孔径图像i在窗口ωk中的均值和方差；ε表示滤波器的一个正则化参数，它的取值大于等于0，当中心孔径图像在滤波窗口ωk中的方差远大于ε时，优化后的深度图在该区域保留中心孔径图像的丰富边缘信息；当中心孔径图像在滤波窗口ωk中的方差远小于ε时，优化后的深度图在该区域相当于对原始深度图做均值滤波；因此，寻找合适的滤波窗口r以及正则化参数ε，可使得引导滤波器在平滑原始深度图像噪声的同时保持中心孔径图像的边缘；

评价指标客观反映了深度图获取的精度，由于不同评价函数侧重的深度图细节不同，因此评价结果也存在差异。为了提高引导滤波参数寻优模型的鲁棒性，使最终优化后的深度图能够在各评价指标下达到均衡的质量，本发明建立了基于多评价函数的混合引导滤波参数寻优模型，该模型可表示为：

其中，eⁿ表示归一化的评价指标值；代表随着r或ε的增大，反映图像质量逐步变好的指标，其个数为m；为随着r或ε的增大，反映图像质量逐步变差的指标，其个数为n；λα、λβ表示各评价指标的权值，λα、λβ的正负由各指标的特性决定，若评价值越大图像质量越高，λα、λβ的值为正，若评价值越小图像质量越高，λα、λβ的值为负，寻优的过程即为寻找合适的滤波参数r、ε，使得y值最大。

本发明选取峰值信噪比(peaksignaltonoiseratio,psnr)、均方误差(meansquareerror,mse)、坏像素率(badpixels,bp)、绝对相对误差(absoluteandrelativeerror,are)和细化(thining)5个性能评价函数，对不同的滤波参数r、ε获得的优化深度图进行评价。

固定ε＝10^-4，滤波器的窗口半径r从1变到10，获得的深度图的归一化psnr、mse、bp、are和thining的值随r的变化曲线图如图1(a)所示；固定r＝5，ε从初值10^-7以指数形式递增，获得的深度图的归一化psnr、mse、bp、are和thining的值随ε的变化曲线图如图1(b)所示。从图1(a)可以看出，随着r的增大，psnr曲线呈上升趋势，反映图像质量变好；mse、bp曲线呈下降趋势，反映图像质量变好；are、thining曲线呈上升趋势；反映图像质量变差。结合公式(4)给出的混合引导滤波参数寻优模型可得m＝3、n＝2。由于psnr的值越大，代表深度图质量越高，其权重取正值，mse、bp、are和thining的值越小，代表深度图的质量越高，其权重取负值，因此参数r的寻优模型可具体表示为：

同理，参数ε的寻优模型可具体表示为：

固定ε＝10^-4，yr随r的变化曲线如图1(c)所示，固定r＝5，yε随ε的变化曲线图如图1(d)所示。从图1(c)、(d)中可以看出，r＝5时，yr取最大值，ε＝10^-4时，yε取最大值。因此，本发明最终确定引导滤波的参数r＝5、ε＝10^-4。

为了证明本发明基于纹理信息引导的光场深度图优化算法的有效性，采用具有标准深度图的hci光场数据集中的“cotton”和“dino”场景作为测试对象，将散焦结合相关性深度获取(depthfromcombiningdefocusandcorrespondence，dcdc)算法获取的深度图作为待优化深度图，采用本发明所提算法对其进行优化，优化效果对比图如图2、图3所示：其中图2(a)、图3(a)分别为“cotton”和“dino”光场原图，图2(b)、图3(b)为对应的标准深度图，图2(c)、图3(c)为dcdc算法获得的深度图，图2(d)、图3(d)为采用本发明算法优化后的深度图。

截取图2的一个局部区域进行放大，如图中的矩形虚线框所框位置，该区域位于石像头部右侧，是前景与背景的交界处，且头发与额头存在深度差，采用dcdc算法得到的深度图在该区域边缘模糊，且丢失了头发与额头的深度层次。本发明提取携带4d光场纹理信息的子孔径图像作为引导图像，设置r＝5、ε＝10^-4，对dcdc算法得到的深度图进行引导滤波优化，优化后的深度图边缘信息更加清晰，且头发与额头间的深度层次感更强，视觉效果与真实深度图更加接近。同理，截取图3小熊上方的锯齿形模型区域放大，通过对比视觉效果发现，dcdc算法得到的深度图在该区域边缘模糊且无法反应模型实际深度层次，用本发明算法对该深度图进行引导滤波优化，优化后的深度图层次感明显增强，且模型边缘信息更加清晰，与真实深度图更加接近，进一步证明了本发明所提算法的有效性。

鉴于主观视觉评价具有局限性，为了进一步客观论证本发明所提算法的性能，以标准深度图为基准，选取psnr、mse、bp作为评价指标，对原始深度图和本发明算法优化后的深度图进行了定量评价，评价结果如表1所示。对比表中数据可得，与原始深度图相比，优化后的深度图psnr值更高，且mse和bp值更低，验证了本发明所提算法的有效性。

表1.深度图精度的定量评价

针对现有光场图像深度估计算法普遍存在获取的深度图精度有限，边缘模糊等问题，提出了利用边缘清晰的光场纹理图像对边缘模糊的深度图进行引导滤波优化的方法。引导滤波过程中建立了混合引导滤波参数优化模型，获取了合理的引导滤波参数r＝5、ε＝10^-4。选取纹理信息丰富的光场中心子孔径图作为引导图像，通过设置引导滤波器参数对dcdc算法获取的深度图进行了优化，有效提高了深度图的获取精度。实验结果表明，优化后的深度图在视觉效果上与标准深度图更加接近，定量评价显示优化后深度图较原始深度图psnr值更高，mse、bp值更低。

上面结合附图对本发明方案的实施例作了详细说明，但是本发明并不限于上述实施例，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。