一种基于FLIC超像素分割的图像显著性检测方法与流程

本发明属于图像分析技术领域，尤其涉及一种基于flic超像素分割的图像显著性检测方法。

背景技术：

目前，业内常用的现有技术是这样的：显著性检测是近年来图像处理的研究热点，在图像分割、自适应压缩、图像检索等实际应用方面都起到了重要作用。随着计算模型的发展，越来越多的显著性检测算法被提出，检测的速度、精确度、鲁棒性等指标都有了较大的提升。虽然图像显著性检测技术取得了较大的发展，但是在实际应用过程中，复杂的背景纹理、目标区域的对比度较低和亮度的不均匀等都会对图像的显著性检测结果产生较大影响。现有的方法主要分为两种模型：自底向上模型和自顶向下模型。自底向上模型是快速的、无任务驱使的、下意识的、完全由图像数据驱使完成。主要选择图像底层特征，如颜色、亮度、纹理等。而自顶向下模型是慢速的、有任务驱使的、有目标的、根据需要完成，检测结果一般比自底向上模型更精确，但由于需要预检测的目标经过前期训练测试，检测效率相对较低。因此自底向上的模型仍是当前的研究热点。现有技术一一种基于局部对比度的方法获取显著图。现有技术二一种多尺度对比分析的显著性区域提取方法。其实在纯计算方法中，基于局部对比度的方法生成的显著图，在目标区域边缘具有较高的显著性而不是均匀的突出整个物体。现有技术三一种频率调谐的显著性方法。但这种方法不适用于显著性区域占据太多像素的图像。现有技术四提出了最大对称周边的显著性检测方法。尽管该方法解决了此前方法的问题，但没有考虑空间信息对显著性的影响。现有技术五提出了基于全局对比度的显著性检测方法，该方法在计算对比度过程中考虑了空间信息的影响，取得了较为准确的显著性检测效果。现有技术六提出了基于背景强健的显著性检测方法，通过引入不同区域的边界连接程度，提高了显著性区域的对比度，显著地提高了显著性检测效果。但是现有技术一-现有技术六没有考虑图像的纹理信息。纹理是反映图像内在性质的一个重要特征。纹理是图像中一块区域像素灰度级的空间分布属性，这种空间结构的固有属性可通过邻域像素间的相关性来衡量，同时也是一种不依赖于颜色或亮度变化来反映图像中同质现象的视觉特征，体现了物体表面的内在属性。所以把纹理信息添加到图像显著性检测的过程中具有重要意义。而且，利用超像素分割进行预处理的显著性检测方法，但是处理速度普遍较低，在某些对实时性要求较高的应用中无法满足需求，提高超像素分割预处理速度也是十分必须的。

综上所述，现有技术存在的问题是：

(1)现有技术一至现有技术六没有考虑图像的纹理信息，因此不能获得准确的显著图，本方案分别提取出图像的颜色特征和纹理特征图，进一步分别获得基于颜色特征和基于纹理特征的显著图，最终采取线性融合策略将二者融合，得到更为完整的显著图。

(2)现有的利用超像素分割进行预处理的显著性检测方法，处理速度普遍较低，在某些对实时性要求较高的应用中无法满足需求，原因在于这些方法采用的slic超像素方法本身计算效率比较低，本发明采用当前效果最好的超像素分割方法flic。

解决上述技术问题的难度和意义：纹理特征作为图像的基本特征对于显著性检测有较大的影响，本发明作者在研究了当前已经有的方法之后提出这一点。使用flic超像素分割方法，不仅使得图像的实时分割成为可能，而且使得图像的显著性检测的任务能够达到实时效果。

技术实现要素：

针对现有技术存在的问题，本发明提供了一种基于flic超像素分割的图像显著性检测方法。

本发明是这样实现的，一种基于flic超像素分割的图像显著性检测方法，所述基于flic超像素分割的图像显著性检测方法输入图像利用基于总变差模型的滤波方法去除纹理，得到包含颜色特征的图像；利用gabor滤波器矩阵提进行滤波，得到包含图像纹理信息的图像；对包含颜色特征的图像利用flic进行超像素分割并且计算对比度值；对包含纹理特征的图像利用flic进行超像素分割计算对比度值；利用线性融合技术，通过权重对得到的两个对比度进行线性融合，得到新的对比度，最终得到基于颜色特征和纹理特征的显著图。

进一步，所述基于flic超像素分割的图像显著性检测方法包括以下步骤：

步骤一，对输入的图像i，利用基于总变差模型的滤波器滤除图像的主结构，得到包含图像颜色信息的图像s，利用flic方法对图像s进行超像素分割，得到超像素图像fp1，图像包含图像i的颜色信息；

步骤二，对输入图像i，利用gabor滤波器矩阵提取其纹理特征图t，利用flic方法对纹理特征图进行超像素分割，得到超像素图像fp2，图像表示图像i的纹理特征；

步骤三，分别把超像素图像fp1和fp2转化到cie-lab颜色空间，得到对应的超像素图像fp1.1和fp2.1，fp1.1和fp2.1中的任意两个超像素(p,q)颜色距离表示为dapp(p,q)，一幅超像素图像中任意两个超像素(p,q)空间距离表示为dspa(p,pi)；

步骤四，计算超像素图像fp1.1中任意一个超像素p的对比度ctr(p)1，利用对比度得到基于颜色特征的显著图fm1；

步骤五，计算超像素图像fp2.1中任意一个超像素p的对比度ctr(p)2，利用对比度得到基于纹理特征的显著图fm2；

步骤六，通过ctr(p)1，ctr(p)2的线性融合得到新对比度ctr(p)，利用对比度得到同时包含颜色特征和纹理特征的显著图fm。

进一步，所述基于flic超像素分割的图像显著性检测方法图像中的每一个像素在往返的搜索过程中主动选择自己所属的类具体包括：

(1)将原始输入图像划分成网格相邻网格中心距为每个网格的中心作为初始种子点，根据种子点所处位置初始化类标签将每个种子点在3*3邻域内移动到梯度最小的位置，初始化种子点其中，n为图像总像素个数，k为预设超像素个数；

(2)采用往返扫描的方式遍历每一个超像素块获得每一个超像素块的像素序列，对序列中的每个像素点ii和其四邻域内的像素点ij计算距离度量：

其中，ds表示像素点之间的距离，x和y表示像素点的坐标；dc表示像素点之间在lab颜色空间的距离，l，a，b为三个颜色分量，m为空间距离的权重；

(3)根据距离度量，如果标签li变为lj，则分别根据以下公式更新和的标签：

其中，和分别表示超像素块和中的像素数；

(4)迭代执行(1)-(3)，将不连续的尺寸较小的超像素重新分配给邻近超像素。

进一步，所述步骤一利用基于总变差模型的滤波器滤除图像的主结构，得到包含图像颜色信息的图像s；基于总变差模型的滤波器模型表示为：

其中，i代表输入图像，p代表2d图像像素的索引，s代表输出的去纹理后的图像，(sp-ip)²是确保输出的结构图像与输入尽可能相似；是总变差的正规化。

进一步，所述步骤三的颜色距离dapp(p,q)具体包括：

(1)对超像素图像fp2.1中的任意超像素p,q，用其中所有像素的颜色平均值代表超像素的颜色值，得超像素p的颜色值为cp，超像素q的颜色值为cq；

(2)任意两个超像素(p,q)的颜色距离dapp(p,q)利用颜色值的欧式距离计算：

进一步，所述步骤三的空间距离dspa(p,q)计算：

其中d(p,q)表示两个超像素p和q中心的距离，σspa为0.25。

进一步，所述步骤四的超像素p的对比度ctr(p)1计算：

其中dapp(p,pi)表示超像素p,pi的颜色距离，dspa(p,pi)表示超像素p,pi的空间距离。

进一步，所述步骤五的超像素p的对比度ctr(p)2计算：

其中dapp(p,pi)表示超像素p,pi的颜色距离，dspa(p,pi)表示超像素p,pi的空间距离；

所述步骤六得到新对比度ctr(p)计算：

ctr(p)＝αctr(p)1+(1-α)ctr(p)2；

其中α为阻尼因子，α∈[0,1]。

本发明的另一目的在于提供一种应用所述基于flic超像素分割的图像显著性检测方法的计算机视觉系统。

本发明的另一目的在于提供一种应用所述基于flic超像素分割的图像显著性检测方法的图像目标分割系统。

综上所述，本发明的优点及积极效果为：本发明利用flic对图像进行超像素分割，并利用图像的超像素信息计算对比度，大大提高计算效率的同时很好地保持了显著性区域的边缘，提高了检测准确度。本发明在图像的颜色特征和纹理特征两个通道上分别进行处理，充分利用了图像的基本特征；提高了对图像基本信息的利用率，得到的显著图更符合人类的视觉注意模型。本发明采用自底向上的图像显著性检测理论，不需要任何先验知识就能快速获取图像的显著图；显著性检测的准确率和召回率可以达到84.6％、62％，处理速度基本达到10fps。本发明的算法简易、高效并且产出满分辨率的显著图。

附图说明

图1是本发明实施例提供的基于flic超像素分割的图像显著性检测方法流程图。

图2是本发明实施例提供的基于flic超像素分割的图像显著性检测方法的实现流程图。

图3是本发明实施例提供的对显著性目标为人的图像原图及处理后得到的显著图。

图4是本发明实施例提供的对显著性目标为动物的图像原图及处理后得到的显著图。

图5是本发明实施例提供的对显著性目标为车辆的图像原图及处理后得到的显著图。

图6和图7是本发明实施例提供的对msra-10000数据库中的图像显著性检测的准确率和召回率与多种方法的比较示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明针对现有的经典显著性检测算法对纹理信息利用的缺失导致的高纹理图像显著性检测质量下降以及处理速度较慢的问题，在现有方法的基础上，提出了基于flic超像素分割的图像显著性检测方法。

下面结合附图对本发明的应用原理作详细的描述。

如图1所示，本发明实施例提供的基于flic超像素分割的图像显著性检测方法包括以下步骤：

s101：对输入图像，利用基于总变差模型的滤波方法去除纹理，得到主要包含颜色特征的图像；

s102：对输入图像，利用gabor滤波器矩阵提进行滤波，得到包含图像纹理信息的图像；

s103：对包含颜色特征的图像利用flic进行超像素分割并且计算对比度值；

s104：对包含纹理特征的图像利用flic进行超像素分割计算对比度值；

s105：利用线性融合技术，设计合理的权重，对以上得到的两个对比度进行线性融合，得到新的对比度，进而得到基于颜色特征和纹理特征的显著图。

下面结合附图对本发明的应用原理作进一步的描述。

如图2所示，本发明实施例提供的基于flic超像素分割的图像显著性检测方法具体包括以下步骤：

步骤一：根据输入图像i，获取包含图像颜色信息的图像s。

用基于总变差模型的滤波器对图像i进行滤波，滤波后得到图像s。基于总变差模型的滤波器可以有效的去除图像中的纹理，并且无需特别指定纹理是否规则或者对称。该方法具有较好的鲁棒性，能够提高本发明的适用范围。基于总变差模型的滤波器模型表示为：

其中，i代表输入图像，p代表2d图像像素的索引，s代表输出的去纹理后的图像，(sp-ip)²是确保输出的结构图像与输入尽可能相似。是总变差的正规化，可以写成如下各向相异的2维形式：

改进的模型如下：

步骤二：根据输入图像i，获取包含图像纹理信息的图像s。

gabor滤波器公式化定义：

实数部分为：

虚数部分为：

这里x'＝xcosθ+ysinθ，y'＝-xsinθ+ycosθ；

公式中：λ为正弦函数波长，θ为gabor核函数的方向，ψ为相位偏移，σ是高斯函数的标准差，γ为空间宽高比。

步骤三：计算基于颜色特征的对比度。

对比度的计算是显著性检测过程中的关键步骤，对于任意一个超像素p的对比度可以通过以下公式计算：

其中，d(p,q)表示两个超像素p和q中心的距离，σspa设为0.25。

其中，dapp(p,pi)表示超像素p,pi的颜色距离，dspa(p,pi)表示超像素p,pi的空间距离。

步骤四：计算基于纹理特征的对比度：

其中，dapp(p,pi)表示超像素p,pi的颜色距离，dspa(p,pi)表示超像素p,pi的空间距离。

步骤五：对比度融合；

首先按照以上对比度的计算方法得到基于颜色特征的对比度计算结果，表示为以下形式：

利用对原图进行flic超像素分割得到的超像素信息对基于纹理特征得到的显著图进行超像素分割，就会得到一个新的超像素图i。该超像素图像与基于颜色特征对比度计算过程中利用到的超像素信息具有一一对应关系。所以对超像素图像i中的任意两个超像素p和pi,其在cie-lab颜色空间平均颜色的欧式距离可以表示为dapp(p,pi)2。令dapp(p,pi)＝αdapp(p,pi)1+(1-α)dapp(p,pi)2，α为阻尼因子，α∈[0,1]。得到新的对比度计算公式：

ctr(p)＝αctr(p)1+(1-α)ctr(p)2；

新的对比度通过引入纹理特征信息，增强了显著性区域的对比度，抑制了背景区域的对比度，得到新的对比度值更加准确，显著图的质量也能得到显著提高。

下面结合仿真实验对本发明的应用效果做详细的描述。

1、仿真实验条件

本发明的仿真在windows7旗舰版，cpuinteri5，基本频率6.0ghz，软件平台为matlab2017a上实现。仿真实验选用标准数据集msra-10000进行测试。该数据集中的图像，具有背景复杂且目标区域对比度低的特点，对其中的图像显著性检测是一个很有挑战性的工作，很多具有代表性的方法都选择在该数据集上进行测试。

2、仿真内容与结果

用本发明对msra-10000数据库中的图像显著性检测的准确率率与多种方法的比较，结果如图6。从图6可以看出，本发明的显著性图和真实值更为相似，它可以直接反应显著图与真值之间的相似程度，对于以后的实际应用，如目标提取或图像修剪具有重要意义。该方法在多种有代表性的显著性检测算法中被广泛使用，

本发明的方法具有较好的显著性检测效果，证明该方法的有效性。通过把基于纹理特征得到的显著性信息，添加到基于颜色的对比度计算过程中去，提高了对图像基本信息的利用率，使显著性检测的过程更接近人类的视觉注意模型，提高了显著性检测的质量。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。