基于深度图挖掘的后向传播图像视觉显著性检测方法与流程

本发明涉及图像处理技术领域，尤其涉及一种对深度图进行深度挖掘的多阶段后向传播视觉显著性检测算法。

背景技术：

在面对一个复杂场景时，人眼的注意力会迅速集中在少数几个显著的视觉对象上，并对这些对象进行优先处理，该过程被称为视觉显著性。显著性检测正是利用人眼的这种视觉生物学机制，用数学的计算方法模拟人眼对图像进行适当的处理，从而获得一张图片的显著性物体。由于我们可以通过显著性区域来优先分配图像分析与合成所需要的计算资源，所以，通过计算来检测图像的显著性区域意义重大。提取出的显著性图像可以广泛应用于许多计算机视觉领域的应用，包括对兴趣目标物体的图像分割，目标物体的检测与识别，图像压缩与编码，图像检索，内容感知图像编辑等方面。

通常来说，现有的显著性检测框架主要分为：自底向上的显著性检测方法和自顶向下的显著性检测方法。目前大多采用自底向上的显著性检测方法，它是基于数据驱动的，且独立于具体的任务；而自顶向下的显著性检测方法是受意识支配的，与具体任务相关。

现有方法中，自底向上的显著性检测方法大多使用低水平的特征信息，例如颜色特征、距离特征和一些启发式的显著性特征等。尽管这些方法有各自的优点，但是在一些特定场景下的具有挑战性的数据集上，这些方法表现的不够精确，不够健壮。为了解决这一问题，随着3d图像采集技术的出现，目前已有方法通过采用深度信息来增强显著性物体检测的精准度。尽管深度信息可以增加显著性物体检测的精准度，但是，当一个显著性物体与其背景有着低对比的深度时，还是会影响显著性检测的精准度。

综合来看，现有的图像显著性物体检测方法在检测显著性物体时精准度不高，方法健壮性不够强，容易造成误检、漏检等情况，很难得到一个精确的图像显著性检测结果，不仅造成显著性物体本身的错检，同时也会对利用显著性检测结果的应用造成一定的误差。

技术实现要素：

本发明的目的在于针对上述已有技术的不足，提出了一种对深度图进行深度挖掘的后向传播显著性检测算法，能够解决现有的显著性检测不够精确，不够健壮性的问题，使图像中的显著性区域更精准地显现出来，为后期的目标识别和分类等应用提供精准且有用的信息。

本发明提供的技术方案是：

一种基于深度图挖掘的后向传播显著性检测方法，在预处理阶段获取图像的深度图以及四角背景去除的图像，在第一处理阶段利用颜色、深度、距离信息对图像的显著性区域进行定位检测，得到图像中显著性物体的初步检测结果，再对深度图从多个层面(处理阶段)进行深度的挖掘，得到相应的显著性检测结果，再利用后向传播机制，对每层挖掘的结果进行优化，得到最终的显著性检测结果图，其实现包括如下步骤：

1)预处理阶段：对于一个输入图像io，首先利用kinect设备获取深度图像，定义为id；其次利用bsca算法去掉图像的四角背景边缘，将得到的去四角背景图像定义为cb。其中，bsca算法在文献(qiny,luh,xuy,etal.saliencydetectionviacellularautomata[c]//ieeeconferenceoncomputervisionandpatternrecognition.ieee,2015:110-119.)中记载。

2)第一处理阶段：利用得到的去四角背景图像cb和深度图像id，对输入图像io进行初步的显著性检测，得到初步的显著性监测结果，定义为：s1；

具体包括步骤11-步骤15：

步骤11、利用k-means算法将图像分成k个区域，并通过式(1)计算得到每个子区域的颜色显著值sc(rk)：

其中，rk和ri分别代表区域k和i，dc(rk,ri)表示区域k和区域i在l*a*b颜色空间上的欧氏距离，pi代表区域i所占图像区域的比例，ws(rk)定义如下：

其中，do(rk,ri)表示区域k和区域i的坐标位置距离，σ是一个参数控制着ws(rk)的范围。

步骤12、同颜色显著性值计算方式一样，通过式(3)计算深度图的深度显著性值sd(rk)：

其中，dd(rk,ri)是区域k和区域i在深度空间的欧氏距离。

步骤13、通常来说，显著性物体都位于中心位置，通过式(4)计算区域k的中心和深度权重ss(rk)：

其中，g(·)表示高斯归一化，||·||表示欧氏距离操作，pk是区域k的位置坐标，po是该图像的坐标中心，nk是区域k的像素数量。wd(dk)是深度权重，定义如下：

wd(dk)＝(max{d}-dk)^μ(5)

其中，max{d}表示深度图的最大深度，dk表示区域k的深度值，μ是一个与计算的深度图有关的参数，定义如下：

其中，min{d}表示深度图的最小深度。

步骤14、利用式(7)得到粗糙的显著性检测结果sfc(rk)，为第一处理阶段未优化的初步的显著性检测结果；

sfc(rk)＝g(sc(rk)ss(rk)+sd(rk)ss(rk))(7)

步骤15、为了优化初步的显著性检测结果，利用预处理阶段的深度图id(dk)和去四角背景的图像cb对式(7)的结果进行加强，如式8：

s1(rk)指的是式7的sfc(rk)的优化结果，即第一处理阶段优化后的检测结果；

3)第二处理阶段：将深度图转化为彩色图，利用第一处理阶段计算过程和后向传播机制的优化，得到中级显著性检测结果，定义为s2。

3)第三处理阶段：对深度图进行背景过滤，再将过滤后的深度图转化为彩色图，利用第二处理阶段计算过程和后向传播机制的优化，得到最后的显著性检测结果s。

与现有技术相比，本发明的有益效果是：

本发明提供了一种基于深度图挖掘的多层后向传播显著性检测算法，首先在预处理层获取图像的深度图和去四角背景图，再利用第一层的显著性检测算法基于图像颜色、空间、深度等信息计算出初步的显著性结果，然后通过第二层和第三层对深度图进行深度挖掘并用第一层的计算方式进行显著性检测，最后对二、三层的显著性检测结果应用后向传播机制的优化，得到二次显著性检测结果图和最终显著性检测结果图。

本发明能够更加精准，更加鲁棒地检测出显著性物体。与现有技术相比，本发明具有以下技术优势：

(一)由于对深度图进行多层的挖掘，本发明能够提高显著性物体检测的精准性。

(二)本发明提供了一种后向传播机制来优化各层的显著性检测结果。

附图说明

图1为本发明提供的流程框图。

图2为本发明实施例中对输入图像分别采用现有方法、采用本发明方法检测图像得到的检测结果图像，以及人工标定期望得到图像的对比图；

其中，第一列为输入图像，第二列为人工标定期望得到的图像，第三列为本发明的检测结果图像，第四列至第十列为现有其他方法得到的检测结果图像。

具体实施方式

下面结合图例，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。

本发明提供了一种基于深度图挖掘的多层后向传播显著性检测算法，能够更加精准，更加鲁棒地检测出显著性物体。本发明首先在预处理层/阶段获取图像的深度图以及四角背景去除的图像，其次在第一层、第二层以及第三层，分别对深度图进行挖掘，得到相应的显著性检测结果，最后利用后向传播机制去优化各层/处理阶段的显著性检测结果，得到最后的显著性检测结果图。图1为本发明提供的显著性物体检测方法的流程框图，包括以下步骤：

步骤一、输入一张待检测的图像io，得到去除四角背景的图像cb和该图像的深度图id；其中，利用文献(qiny,luh,xuy,etal.saliencydetectionviacellularautomata[c]//ieeeconferenceoncomputervisionandpatternrecognition.ieee,2015:110-119.)记载的bsca算法得到去除四角背景的图像cb，利用kinect设备得到的该图像的深度图id；

算法第一层操作：(步骤二-步骤六)

步骤二、利用k-means算法将图像分成k个区域，并通过式(1)计算得到每个子区域的颜色显著值sc(rk)：

其中，rk和ri分别代表区域k和i，dc(rk,ri)表示区域k和区域i在l*a*b颜色空间上的欧氏距离，pi代表区域i所占图像区域的比例，ws(rk)定义如下：

其中，do(rk,ri)表示区域k和区域i的坐标位置距离，σ是一个参数控制着ws(rk)的范围。

步骤三、同颜色显著性值计算方式一样，通过式(3)计算深度图的深度显著性值sd(rk)：

其中，dd(rk,ri)是区域k和区域i在深度空间的欧氏距离。

步骤四、通常来说，显著性物体都位于中心位置，通过式(4)计算区域k的中心和深度权重ss(rk)：

其中，g(·)表示高斯归一化，||·||表示欧氏距离操作，pk是区域k的位置坐标，po是该图像的坐标中心，nk是区域k的像素数量。wd(dk)是深度权重，定义如下：

wd(dk)＝(max{d}-dk)^μ(5)

其中，max{d}表示深度图的最大深度，dk表示区域k的深度值，μ是一个与计算的深度图有关的参数，定义如下：

其中，min{d}表示深度图的最小深度。

步骤五、利用式(7)得到粗糙的显著性检测结果sfc(rk)，为第一处理阶段未优化的初步的显著性检测结果；

sfc(rk)＝g(sc(rk)ss(rk)+sd(rk)ss(rk))(7)

步骤六、为了优化初步的显著性检测结果，利用预处理阶段的深度图id(dk)和去四角背景的图像cb对式(7)的结果进行加强，如式8：

s1(rk)指的是式7的sfc(rk)的优化结果，即第一处理阶段优化后的检测结果；

算法第二层操作：(步骤七-步骤九)

步骤七、进一步挖掘深度图，首先把深度图通过式(9)扩展成基于深度的彩色图：

ie<r|g|b>＝io<r|g|b>×id(9)

其中，ie是扩展之后的基于深度的彩色图。

步骤八、将扩展后的基于深度的彩色图通过第一层的步骤二至步骤五操作，得到第二层的粗糙显著性检测结果ssc(rk)：

ssc(rk)＝g(sc(rk)ss(rk)+sd(rk)ss(rk)),(10)

步骤九、为了优化粗糙显著性检测结果，利用后向传播机制，用第一层的初步检测结果(式(7)计算得到的结果)对第二层的粗糙检测结果进行优化，通过式(11)实现，得到我们的中级显著性检测结果s2(rk)：

算法第三层操作：(步骤十-步骤十三)

步骤十、再进一步挖掘深度图，首先利用公式(12)将深度图进行背景过滤处理，得到过滤后的深度图idf：

其中，idf是背景过滤后的深度图。

步骤十一、将过滤后的深度图通过第二层第七步的公式(9)的操作扩展成彩色图，定义为ief。

步骤十二、将过滤深度图的彩色图ief通过第一层的步骤二至步骤五操作，得到第三层的粗糙显著性检测结果stc(rk)：

stc(rk)＝g(sc(rk)ss(rk)+sd(rk)ss(rk))(13)

步骤十三、为了优化粗糙显著性检测结果，利用后向传播机制，用第一层和第二层的初步检测结果对第三层的粗糙检测结果进行优化，通过式(14)实现，得到我们最后的显著性检测结果s(rk)：

图2为对输入图像分别采用现有方法、本发明方法检测图像得到的检测结果图像，以及人工标定期望得到的图像，其中，第一列为输入图像，第二列为人工标定期望得到的图像，第三列为本发明的检测结果图像，第四列至第十列为采用现有其他方法得到的检测结果图像。通过图2的图像对比，可以看出，相对其他方法，我们的方法可以检测出的显著性物体，误差率最低，精准度最高，具有很好的鲁棒性。

需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。