基于深度信息的图像显著性度量方法与流程

本发明涉及图像显著性度量方法，具体是一种基于深度信息的图像显著性度量方法。

背景技术：

图像的显著性度量是图像处理中的一个问题，其解决的核心问题是在图像处理过程中应该多关注或者少关注哪些区域、哪些像素点。显著性度量是与人类的视觉注意力机制高度匹配的。视觉注意力机制是其中一种重要的视觉感知特性，在上个世纪便引起了许多图像研究学者的研究和关注。即使面对一张复杂紊乱甚至毫无规律的图像，人类也总是能够通过主动选择的心理活动快速定位图像中的重要部分，而对其他不重要的区域通常只进行非常粗略的估计甚至完全忽略。这样的机制能够减少人脑接收的视觉信息的数量，进而提高人脑的处理效率。图像显著性度量正是利用了人眼的视觉注意力机制。通过图像的显著性评估，可以将图像中一些关键信息区域标记为显著性区域或者感兴趣区域，对这些区域进行着重的处理。图像显著性度量在图像压缩、图像编码、图像增强等领域都施展拳脚，发挥着不可替代的作用。

目前，显著性度量模型可以主要分成三类：自下而上的显著性度量，如ltti算法等；自上而下的显著性度量，如ac算法、sr算法等；结合自下而上和自上而下的算法，如gbvs算法。这些方法虽然能够在较为复杂的背景中捕捉物体的轮廓，但是对图像的前后景信息不敏感，会将离焦区域中对比度较高的部分错误地判断为显著的区域。因此，图像中的实际重要信息可能会被掩盖，无法得到充分的关注。

技术实现要素：

本方法的目的在于克服上述显著性度量方法的不足，提出一种稳定性更强的基于深度信息的图像显著性度量方法。

本发明原理如下：

(1)gbvs显著性评估

joonathanharel提出了一种基于图谱计算的自下而上的显著性评估算法：graph-basedvisualsaliency，gbvs。这个算法包括特征向量提取、激活图生成、激活图标准化三个主要步骤。

在特征向量提取中，gbvs采用了类似ltti算法的生物启发的滤波器来模拟生物体的视觉系统。

激活图生成是通过在不同的维度减去特征向量图实现的，并引入马尔科夫链，对不同的图分别计算不相似度和显著性来定义图的边的权重作为马尔科夫链，将在图上各个位置的均衡分布视为激活图的数值。gbvs并不关心特征向量之间的联系和相似。

传统的激活图标准化主要包括如下的几类方法：基于局部最大值的标准化；采用高斯差分滤波器的卷积迭代；通过附近的激活数值的加权平均来分割局部特征值的非线性过程。gbvs另辟蹊径，关注激活图中的混乱数值，混乱的程度可以通过马尔科夫链进行定义，并实现混乱的流动和传导。

(2)聚焦深度估计

对于图像的聚焦深度，本发明方法采用一种基于高斯梯度的模糊估计方法进行估算。这种方法对强噪声、边缘模糊、边缘交叉等复杂场景均具有一定的鲁棒性。图1给出了薄透镜的聚焦和离焦示例。用d(r)表示焦平面到图像像素点r对应的物体的距离。当物体放置在焦平面处(距离为df)时，从物体出发的所有辐射都会汇集到单个传感点上，图像像素观感强烈突出。从距离为d(r)＝d+df的物体发出的辐射会对用图像上的多个像素点从而造成模糊的区域。模糊的圆区直径s(r)可以如下的表达式计算：

其中f0和n分别对应焦距和光圈数。

在本方法中，估算聚焦深度的主要流程如图2所示。首先，通过高斯核得到再模糊边缘梯度，再计算输入图像与再模糊图像的阶跃边缘的梯度幅值比，从而利用边缘位置的最大梯度幅值比估计边缘位置的像素点r的深度d(r)，最后将估算的边缘位置的深度通过插值推广至整幅图像。

本发明的技术解决方案如下：

一种基于深度信息的图像显著性度量方法，其特点在于，所述方法包括以下步骤：

步骤s1，计算图像的gbvs显著数值，将像素位置(i,j)的显著数值表示为sm(i,j)。

步骤s2，利用基于高斯梯度的模糊估计方法计算图像的聚焦深度，将像素位置(i,j)的深度表示为d(i,j)。

步骤s3，将图像的像素位置(i,j)的显著性度量求取为：

sdm(i,j)＝sm(i,j)·d(i,j)^-2(2)

步骤s1利用gbvs法计算图像各个像素点的gbvs显著数值sm(i,j)，包括特征向量提取、激活图生成、激活图标准化三个阶段；在特征向量提取阶段，gbvs采用了生物启发的滤波器来模拟生物体的视觉系统，激活图生成阶段通过在不同的维度减去特征向量图实现的，并引入马尔科夫链，对不同的图分别计算不相似度和显著性来定义图的边的权重作为马尔科夫链，将在图上各个位置的均衡分布视为激活图的数值。在激活图标准化阶段，gbvs关注激活图中的混乱数值，混乱的程度通过马尔科夫链进行定义，并实现混乱的流动和传导。

步骤s2利用基于高斯梯度的模糊估计法计算各个像素点的深度估计数值，具体包括：对输入图像进行高斯再模糊；采用canny算子分别提取输入图像和再模糊图像的边缘位置梯度，计算边缘位置的梯度幅值比，进而估算边缘位置的深度值；通过插值法，得到整幅图像的深度值。

本发明中，假设所求取的显著性度量与深度值的平方成反比。这个假设是基于经验的假设。

与现有技术相比，本发明的有益效果是：在gbvs显著性评估的基础上，进一步考虑图像的深度信息，一方面能够保持gbvs图显著性分割的优势，一方面通过估计各个像素点的深度，充分考虑像素点的清晰度。一般而言，深度越小，聚焦状态越好，像素点越清晰，越显著。总的来说，基于深度信息的显著性度量方法能够克服gbvs将一些离焦高亮的像素点误识别为显著点的问题。深度信息的引入也使得显著性度量更为均衡和全面。图像的显著性度量意义重大，应用广泛，本发明的显著性度量技术可以应用于图像压缩、图像编码、图像边缘或区域增强、目标分割及提取、图像融合等领域上，引入深度信息的概念也值得推广到其他图像特征和细节处理上来。

附图说明

图1是薄透镜的聚焦和离焦示意图

图2是深度信息估计的流程图

图3是右聚焦的原始图像

图4是图3的原始图像的显著性度量结果图

具体实施方式

本发明所要解决的技术问题是要提供一种能够准确度量图像像素显著性的方法。

本发明所公开的基于深度信息的图像显著性方法，包括以下步骤：

步骤s1，计算图像的gbvs显著数值，将像素位置(i,j)的显著数值表示为sm(i,j)，包括特征向量提取、激活图生成、激活图标准化三个阶段；在特征向量提取阶段，gbvs采用了生物启发的滤波器来模拟生物体的视觉系统，激活图生成阶段通过在不同的维度减去特征向量图实现的，并引入马尔科夫链，对不同的图分别计算不相似度和显著性来定义图的边的权重作为马尔科夫链，将在图上各个位置的均衡分布视为激活图的数值。在激活图标准化阶段，gbvs关注激活图中的混乱数值，混乱的程度通过马尔科夫链进行定义，并实现混乱的流动和传导。

步骤s2，利用基于高斯梯度的模糊估计方法计算图像的聚焦深度，将像素位置(i,j)的深度表示为d(i,j)，具体包括：对输入图像进行高斯再模糊；采用canny算子分别提取输入图像和再模糊图像的边缘位置梯度，计算边缘位置的梯度幅值比，进而估算边缘位置的深度值；通过插值法，得到整幅图像的深度值。；

步骤s3，根据式(2)构建图像各个像素点的显著性度量值。

sdm(i,j)＝sm(i,j)·d(i,j)^-2(2)

以图3所示的右聚焦图像为例，本发明方法得到的显著性度量分布如图4所示。gbvs关注对比高的像素点，而深度信息使得深度更浅的前景信息受到更高的重视，两者复合，可以提高显著性度量方法对聚焦情况的敏感性。从图4看来，本发明方法对模糊的边缘和不够显著的区域更为敏感，而只关注深度小、对比度高的关键信息区域。这对于后续有针对性的图像处理是有重大帮助的。