一种多景深场景离焦序列图的质量评价方法与流程

本发明涉及图像质量评价方法，尤其涉及一种多景深场景离焦序列图的质量评价方法。

背景技术：

随着数字图像和多媒体技术的快速发展，各种类型的光学成像系统也越来越多，各种成像设备逐渐走向自动化、智能化，自动对焦技术在光学成像系统的应用越来越广泛。在基于数字图像处理的自动对焦方法中，比较典型的有主动式对焦和被动式对焦。主动对焦需要在系统中加入额外的测距系统，增加了系统的成本和系统的复杂度，同时对于有玻璃或者有遮挡物的场景，测距会出现问题，因此，主动式对焦技术慢慢地被自动式对焦技术所取代。被动对焦是通过分析对焦过程中所获得图像的模糊程度来判断离焦程度，从而指导对焦过程的。因此，选择良好性能的自动对焦评价函数来判断图像的模糊程度从而指引自动对焦系统准确地对焦是问题的关键。由于对焦评价函数的重要性，图像清晰度的评价已成为一个热门的研究领域。理想的对焦评价函数应该具有无偏性、单峰性、灵敏性、稳定性，在某些特殊情况下还应该对场景明暗变化以及噪声有较好的鲁棒性。

对于实际拍摄的场景而言，经常会存在多景深的情况，此时自动对焦评价函数会出现双峰或多峰的现象，从而影响自动对焦的准确性。因此，需要对图像前后景分离，即将图像中的前景部分从原始图像中分离出来。由于一般情况下人们的兴趣区域为前景图像区域，聚焦区域应选取前景图像区域为对焦窗口区域，减少自动对焦数据计算量的同时解决双峰或多峰现象。深度估计是指从景物图像中估计各个像素的深度信息，进而获得相应的全局深度图。深度估计主要分为双目视觉和单目视觉两种，双目视觉利用二位投影图像对来恢复三维景物世界，根据立体视差获得景物的三维坐标。单目视觉又分为聚焦法和散焦法，均是利用两幅或多幅图像进行深度估计，而对于自动对焦系统的深度估计而言，无法获取景物目标的视差信息，只能单幅图像中存在的特征进行深度估计。Tang等人发现离焦会很大程度地影响物体边缘位置的频谱幅度，建立了空间变化的离焦模糊量与边缘处频谱对比度的关系，从而得到全局散焦深度图。

技术实现要素：

本发明的目的在于对于存在多景深现象的场景，提出一种多景深场景离焦序列图的质量评价方法。

本发明的目的是通过以下技术方案实现的：一种多景深场景离焦序列图的质量评价方法，该方法包括以下步骤：

(1)从离焦序列图中任意获取一张大小为m×n的散焦图像f；

(2)利用高斯卷积将散焦图像进行再模糊，得到图像d：

d＝f*g(i,j；σ+σ₁) (1)

此过程中，高斯滤波器为：

其中，i,j表示散焦图像f中的像素；σ为原始图像的模糊核，σ₁为所加高斯模糊的模糊核；

(3)对图像d进行傅里叶变换，获得D：

(4)采用频谱对比度的方法对D进行处理，进一步获得稀疏深度图然后通过插值的方法得到全局离焦图

(5)利用基于熵率的超像素分割方法将全局离焦图进行前后景分割，得到作为对焦主体的前景图像a；

(6)对前景图像a进行形态学二值化处理，选取灰度值大于阈值Ta的部分得到前景二值图b：

a_i,j表示像素i,j处的灰度值。

再对前景二值图b进行膨胀操作，得到前景模板c：

其中，Rid是R×R的结构元素；是膨胀操作；

(7)将前景模板c作用于离焦序列图，利用评价函数计算离焦序列的评价函数曲线。

本发明的有益效果在于：通过单幅图像深度估计的方法解决了由于多景深拍摄场景而引起的评价函数曲线出现双峰甚至多峰的问题，进一步结合基于熵率的超像素分割方法克服了全局深度图中纹理信息的影响，从而更加准确地区分出前景与背景。利用形态学的二值化与膨胀手段避免由于对焦过程中镜头移动而引起的景物子在图像中的漂移，最终利用前景模板作用于离焦序列图得到的评价函数曲线具有良好的无偏性、单峰性、灵敏性以及稳定性，避免了评价函数曲线出现双峰和多峰的现象，实用价值较高。

附图说明

图1为发明方法的流程框图。

图2为一组仿真离焦序列图中任选6幅的示意图。

图3为获得的前景准焦图像f。

图4为通过深度估计得到的全局离焦图

图5为利用基于熵率的超像素分割方法得到的前景图像a。

图6为对前景图像进行二值化操作得到的前景二值图b。

图7为对前景二值图进行膨胀操作得到的前景模板c。

图8为利用前景模板作用于离焦序列图得到的评价函数曲线。

图9为利用现有方法得到的评价函数曲线。

具体实施方式

本发明一种针对拍摄场景中存在多景深现象的准焦质量评价方法，通过单幅图像深度估计的方法并结合超像素分割得到前景图像，并通过形态学的二值化和膨胀手段得到前景模板，解决了由于多景深拍摄场景而引起的评价函数曲线出现双峰甚至多峰的问题。最终利用前景模板作用于离焦序列图得到的评价函数曲线具有良好的无偏性、单峰性、灵敏性以及稳定性，应用范围广，实用价值较高。

下面结合附图和实例进行详细说明：

图1为本发明方法的简易流程框图。下面结合实施例对本发明作进一步说明。

本实施例以一组仿真离焦序列图(40幅)为例，图2为在一组离焦序列图中随意选取6幅图像示意图，其中从左至右分别为第1幅、第8幅、第18幅、第28幅、第38幅、第40幅离焦序列仿真图，其中第38幅为前景准焦图。

本实施例首先采用现有的方法对40幅图进行离焦量评价，由于存在明显的多景深现象，现有的几种评价方法并不能真实反映各个图的离焦量，如图9所示。

本实施例采用第38幅图像(如图3)制备前景模板，对上述40幅图像进行评价：

(1)获取第38幅图像f，其图像大小为m×n，如图3所示；

(2)利用已知的高斯卷积将散焦图像进行再模糊，得到图像d：

d＝f*g(i,j；σ+σ₁) (1)

此过程中，高斯滤波器为：

其中，i,j表示散焦图像f中的像素；σ为原始图像的模糊核，σ₁为所加高斯模糊的模糊核，这里另σ₁＝0.5；

(3)对图像d进行傅里叶变换，获得D：

D＝FG (3)

其中，{d,D},{f,F},{g,G}是傅里叶变换对；

(4)采用频谱对比度的方法对D进行处理，进一步获得稀疏深度图然后通过插值的方法得到全局离焦图如图4所示；

其中，频谱对比度为一个像素与相邻像素的绝对值对数差：

其中，B为当前像素N×N邻域的区域，通常邻域的大小取N＝3的区域，通过非线性回归分析建立边缘处频谱对比度与空间变化的离焦模糊量的关系：

c(i)是C(i)的傅里叶变换；

(5)利用基于熵率的超像素分割方法将全局离焦图进行前后景分割，得到作为对焦主体的前景图像a，如图5所示；

(6)对前景图像a进行形态学二值化处理，选取灰度值大于阈值Ta的部分得到前景二值图b，如图6所示：

再进行膨胀操作分别得到前景模板c，如图7：

其中，Rid是R×R的结构元素，这里R＝10，是膨胀操作；

(7)将前景模板c作用于离焦序列图，分别利用现有的Tenengrad、Egradient、Brenner以及Entropy函数计算离焦序列的评价函数曲线，如图8所示。

较好地解决了如图9所示由于场景中存在多景深问题而引起评价曲线多峰的现象。

本发明提出了一种针对拍摄场景中存在多景深情况的准焦质量评价方法，将离焦深度估计和超像素分割的方法用于提取自动对焦场景的前景中并结合形态学二值化和膨胀避免了对焦过程中由于镜头移动而引起的在景物在图像中漂移的现象，进一步将得到的前景模板作用于离焦序列。该方法解决了由于场景中存在多景深问题而引起评价曲线多峰的问题。实用价值较高，应用范围较广，具有良好的无偏性、单峰性、灵敏性、稳定性。