一种基于低秩多尺度融合的图像显著性检测方法与流程

本发明属于计算机视觉检测技术领域，尤其是一种基于低秩多尺度融合的图像显著性检测方法。

背景技术：

在计算机视觉领域，显著性物体检测方法被分为自底向上的场景驱动模型和自顶向下的期望驱动模型两大类。自底向上的方法主要基于图片景色的场景信息，而自顶向下的方法则是由知识、期望和目的决定的。现在已经提出了很多显著性检测方法，例如RC、CA等。这些显著性检测方法大部分都是针对单尺度图片的显著性检测并且已经取得了不错的效果。但是这些方法具有一个共同的问题就是当物体处在小尺度大对比度的自然场景下时，一般不能很好地检测到图片中的显著性物体。针对这种情况，一般有两种解决方法，一种是继续寻找更好的显著性物体，另一种就是利用其它的也包含相同显著性物体的图片辅助监测显著性物体，这种方法被称为协同显著性检测。

基于低秩矩阵恢复的显著性检测方法是基于如下先验假设：显著性目标在整幅图上是稀疏的，这样一幅图像就可以看成是背景加上在背景上稀疏分布的一些显著性目标，而图像背景具有低秩特性，进而将一副自然图像分解为一个低秩矩阵和一个稀疏矩阵，因此显著性检测转化为一个低秩矩阵的恢复问题。

技术实现要素：

本发明的目的在于克服现有技术的不足，提供一种基于低秩多尺度融合的图像显著性检测方法，解决了现有检测方法存在尺度选择困难的问题以及可靠性的问题。

本发明解决其技术问题是采取以下技术方案实现的：

一种基于低秩多尺度融合的图像显著性检测方法，包括以下步骤：

步骤1、对输入的图像进行单尺度显著性检测；

步骤2、对单尺度显著性检测后的图像进行多尺度显著性融合处理，得到融合显著性图；

步骤3、对多尺度显著性融合处理后的融合显著性图进行显著性细化处理，得到最终的协同显著性图像。

进一步，所述步骤1的具体处理方法包括以下步骤：

⑴将图像过分割成多尺度分割图并进行特征提取；

⑵采用背景先验方法进行显著性先验处理；

⑶进行显著性计算。

进一步，所述步骤⑴的方法为：将对于输入的图像，使用SLIC方法将输入的图像分割成超像素，并提取出122维的位置特征、颜色特征和纹理特征。

进一步，所述步骤⑶的显著性计算方法采用如下显著性模型进行：

SP(i)为第i个超像素的显著性值，是第i个超像素第j个特征的显著性值。是第i个超像素所有特征的显著性值向量。

进一步，所述步骤2的具体方法为：首先，将一幅图像分割成不同的尺度；然后，计算每个尺度上的显著性图；最后，通过将所有尺度的显著性值乘以对应的自适应权重来计算融合显著性图。

进一步，所述自适应权重表示如下：

其中，Z是一个配分函数；

所述融合显著性图采用如下公式计算：

ωi代表了第i个尺度的显著性图的自适应权重，代表了第i个尺度的特征值，代表了多个尺度融合后的显著性图。

进一步，所述步骤3的处理方法包括：

⑴对当前图像进行平滑性处理，使得图像达到空间平滑；

⑵对图像进行协同显著性检测。

进一步，所述步骤⑴对当前图像进行平滑性处理的方法为：采用如下能量函数实现：

其中，S_I表示每个超像素i的显著性值，表示背景的概率，表示前景的概率，Nei(i)：表示第i个超像素的邻域，权重ω_ij：定义为：

其中，表示在CIE-LAB颜色空间中颜色均值的L2距离，

进一步，所述步骤⑵对图像进行协同显著性检测包括以下步骤：

①单一显著点检测：对于给定的一系列的图像I_set＝{I₁，I₂，...，I_n}，计算每幅图像的单一显著性图，用S_i表示第i个图像的单一显著性图；

②二值分割：使用自适应阈值T_i：把单一显著性图划分成二元掩膜M_i，T_i定义为：

T_i＝α·mean(S_i)

其中，α＝2；

③协同显著性先验估计：GMM算法使用5个高斯模型来为第i个图片中的前景像素构建颜色模型G_i，然后用估计第j个图片中的模M_j的前景概率；对于每个图片得到n个前景概率的估计值，然后对每张图片计算协同显著性先验来获得这些估计值的平均值；

④协同显著性计算：将协同显著性先验合并到单一显著性检测模型中得到最后的协同显著性图像。

本发明的优点和积极效果是：

本发明将基于低秩矩阵恢复的显著性检测方法和多尺度显著性融合的方法应用到了显著性检测中，并通过运用基于GMM的协同显著性先验，将多尺度低秩显著性检测推广到多幅图像协同显著性检测中，以检测多幅图像中出现的相同或相似的区域，本发明所提出的低秩多尺度超像素融合算法解决了尺度选择困难的问题，取得了更可靠的显著性检测结果，有助于进一步提高显著性检测的处理能力。

附图说明

图1为本发明的基于低秩多尺度融合的图像显著性检测方法流程图；

图2为本发明提取的显著性特征维数和描述示意图；

图3为本发明在MSRA数据集上性能的比较效果图；

图4为本发明在ESCCD数据集上性能的比较效果图；

图5为本发明在image pair数据集上的协同显著性方法性能的比较图。

具体实施方式

以下结合附图对本发明实施例做进一步详述：

一种基于低秩多尺度融合的图像显著性检测方法，如图1所示，包括以下步骤：

步骤1、对输入的图像进行单尺度的显著性检测。具体方法为：

⑴将图像过分割成多尺度分割图并进行特征提取

对于输入的图像，我们使用SLIC将它分割成超像素，并提取出122维的特征，包括位置、颜色、纹理，如图2所示。具体做法是：我们提取40维的颜色特征，3尺度下4个方向共12个steerable pyramids特征，3尺度12方向共36个Gabor特征，用HOG提取出31维的特征。

⑵显著性先验处理

目前，一些自顶向下的方法已经被用来进一步提高显著性检测的性能。代表性的方法有各种不同的显著性先验，如中心先验、物体先验、背景先验、这些方法都是为了提高一幅图像中显著性物体可能存在的位置。在本方法中，我们采用背景先验方法进行显著性先验处理。

⑶显著性计算

由于低秩分析对显著性检测很有帮助，我们可以把一幅图像分成冗余部分和显著性部分。冗余部分表示具有高度的规则性，显著性部分表示新颖性。我们可以把这种分解表示成低秩矩阵的恢复问题：

s.t.F＝B+S

其中，F＝[f₁,f₂,...,f_n]是N个特征向量组成的特征矩阵，B是通过对背景建模得到的低秩矩阵，S是通过对显著性建模得到的稀疏矩阵。

由于以上的问题是一个NP问题，因此我们转换成下面的方式来解决：

s.t.F＝B+S

但是，在最初的特征空间分解F总是会获得较差的物体显著性检测结果。为了得到一个好的结果，我们先学习一个变换矩阵T,通过将特征矩阵F左乘T，我们获得一个变换特征矩阵TF。在变换后的空间中，图像背景的特征存在于一个低维度子空间中。因此，它们可以被表示成一个低秩矩阵。先验P可以用P左乘TF来更新，因此，最终的显著性模型为：

s.t.TFP＝B+S

假设S是方程的最优解。那么第i个超像素的显著性值SP(i)为：

步骤2、对单尺度显著性检测后的图像进行多尺度显著性融合处理，得到融合显著性图。

由于在单一尺度图像上的显著性检测效果可能会不理想，为了获得一个可靠的显著性检测结果，本专利多尺度融合方法：首先，我们把一幅图像分割成不同的尺度；然后，用以上方法计算每个尺度上的显著性图；最后，我们通过把所有尺度的显著性值乘以对应的自适应权重来计算融合显著性图。

一个超像素的显著性值就是包含在这个超像素区域中的所有显著性值的平均值，我们把每个尺度上的所有超像素的显著性值表示成一个行向量，所有尺度上的每个超像素的显著性值组成一个显著性指示矩阵SI。理想的情况是显著性检测结果在所有尺度上都是一致的，因此，指示矩阵的秩应该为1。我们可以把这个问题转化为低秩矩阵的恢复问题：

s.t.SI＝L+E

其中，最优解E表示多尺度显著性检测结果的不同。我们把E中的每行元素的绝对值求和，就会得到一个向量其中，n表示尺度。E_i越大，表示第i个显著性图与其他显著性图的不一致性越高。因此，对应的显著性图应该赋一个很小的权重。适应性权重表示为：

其中，Z是一个配分函数。最后，融合显著性图可以用如下公式计算：

步骤3、对多尺度显著性融合处理后的融合显著性图进行显著性细化处理，得到最终的显著性图像。具体包括：

(1)对当前图像进行平滑性处理，使得图像达到空间平滑

在完成了后，我们开始考虑相邻超像素之间的平滑性。我们用一个能量函数来优化融合后的显著性图：

其中，S_I表示每个超像素i的显著性值，表示背景的概率，表示前景的概率。(该方法中)，Nei(i)：表示第i个超像素的邻域。权重ω_ij：定义为：

其中，表示在CIE-LAB颜色空间中颜色均值的L2距离，

⑵对图像进行协同显著性检测，包括单一显著点检测、二值分割、协同显著性先验估计、协同显著性计算处理步骤，说明如下：

①单一显著点检测

对于给定的一系列的图像I_set＝{I₁，I₂，...，I_n}，用上面所提到的方法计算每幅图像的单一显著性图，用S_i表示第i个图像的单一显著性图。

②二值分割

我们用自适应阈值T_i：把单一显著性图划分成二元掩膜M_i，T_i定义为：

T_i＝α·mean(S_i)

其中，在我们的实验中α＝2。显著性值比我们给定的自适应阈值大的像素或超像素就是前景，否则就是背景。

③协同显著性先验估计

我们使用GMM来获得协同显著性先验，具体方法为：GMM算法使用5个高斯模型来为第i个图片中的前景像素构建颜色模型G_i，然后用估计第j个图片中的模M_j的前景概率。对于每个图片都将得到n个前景概率的估计值，然后对每张图片计算协同显著性先验来获得这些估计值的平均值。

④协同显著性计算

最后，我们把协同显著性先验合并到单一显著性检测模型中得到最后的协同显著性的图像。

通过以上步骤可以实现低秩分析多尺度超像素来检测显著物体功能。

图3为本发明在MSRA数据集上性能的比较效果图，从图中可以看出，在该数据集上与现有技术相比，我们方法的PR曲线和ROC曲线均为最优，MAE为最小，AUC最高；图4为本发明在ESCCD数据集上性能的比较效果图，从图中可以看出，在该数据集上与现有技术相比，我们方法的PR曲线和ROC曲线均为最优，MAE为最小，AUC最高；图5为本发明在image pair数据集上的协同显著性方法性能的比较图，从图中可以看出，在该数据集上与现有技术相比，我们方法的fmeasure,precision和recall均为最高，MAE为最小；因此本发明在不同的数据集上与现有技术相比，其检测效果有显著提高。

需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。