基于超像素聚类的协同显著性检测方法与流程

本发明涉及一种图像的检测处理方法，具体涉及一种图像的协同显著性检测方法，用于检测多幅图像中的共同显著区域。
背景技术：
：显著性检测是通过模拟人眼的视觉注意机制来快速检测出图像或视频种的感兴趣目标，而协同显著性检测的目的是检测多张图像或视频中相同或相似的显著性的区域。它在许多领域具有广泛的应用价值，如协同分割、视频前景检测、图像检索和目标跟踪等。近几年，伴随互联网与多媒体等技术的飞速发展，从多幅图像或多视频中，寻找相同或相似的显著性目标的协同显著性检测技术已逐渐成为一种新的需求，有效利用多幅图像的优势可以更好地对各个图像中的背景或干扰的显著性进行抑制。与单张图像相比，图像组内的多张相关图像包含更多丰富且有用的信息。但是，对多幅图像协同显著性检测的处理效率也提出了比单幅图像显著性检测处理效率更高的要求，迫切需要一种既准确又快捷的多幅图像协同显著性检测方法。现有技术中，进行协同显著性检测的方法主要有两类，一类是首先对单幅图像进行显著性检测，在此基础上再计算协同显著性。这类方法对显著性检测的要求比较高，如果显著区域定位错误，那么协同显著性区域肯定会错误。而如果针对原始图像的每个像素点进行聚类判断，则随着图像数量的增加，聚类而带来的耗时也会不断增加。另一类方法是基于学习的协同显著性检测方法，将协同显著性检测问题看作每个像素点或区域的分类问题。这些方法首先采用任何现成的无监督显著性检测方法来提供初始估计，然后设计一个迭代自学习方案来学习协同显著对象的外观并逐渐调整协同显著图。但是深度学习框架巨大的计算量背离了协同显著性的研究目的，因此需要在时间复杂度上进一步优化。超像素分割方法是指利用像素之间特征的相似程度将像素分组，可以获取图像的冗余信息，在很大程度上降低后续图像处理任务的复杂图。将超像素分割方法应用于协同显著性检测，有可以减少计算时间。但是，目前将超像素分割方法结合到协同显著性检测中时，不具有内容感知，并且没有在多个尺度上进行超像素分割，所以显著目标的边界轮廓很难准确定位。因此，如何既能保持高准确率又能保证计算代价小是目前协同显著性检测急需解决的一个问题。技术实现要素：本发明的发明目的是提供一种基于超像素聚类的协同显著性检测方法，在保证显著性检测的准确性的同时，减少计算时间，以适应协同显著性检测的需求。为达到上述发明目的，本发明提出了一种基于超像素聚类的协同显著性检测方法，通过构建超像素金字塔，使用超像素块来代替普通像素点，加速协同显著性计算，同时构建超像素金字塔可以获得不同尺度上的特征信息，保证协同显著目标的边界的准确性，另外，使用聚类的方法进一步将超像素块分类，进一步加速了协同显著性的计算时间，最后使用协同显著图与显著图融合的方法得到最终的协同显著图，保证了协同显著目标的准确性。具体采用的技术方案是：一种基于超像素聚类的协同显著性检测方法，包括以下步骤：(1)构建超像素金字塔图像：(1a)输入原始图像组数据，构建三层的高斯金字塔，其中，第一层图像由原始图像进行高斯平滑得到，第二层图像由第一层图像降采样后进行高斯平滑得到，第三层图像由第二层图像降采样后进行高斯平滑得到；(1b)利用基于内容感知的超像素分割方法对每层图像进行超像素分割，对长宽分别为width和height像素的图像，根据图像的大小动态设定超像素块的数目，超像素块数得到超像素的金字塔图像；所述基于内容感知的超像素分割方法(mslic，manifoldslic)可参见文献：liuyj,yucc,yumj,etal.manifoldslic:afastmethodtocomputecontent-sensitivesuperpixels[a].ruzenabajcsy.proceedingsofthe2016ieeeconferenceoncomputervisionandpatternrecognition[c].piscataway:ieee,2016。(2)计算单一显著图：(2a)计算弱显著图将超像素分割得到的n个超像素块表示为：{ci},i＝1,2,...,n，将处于边缘区域的超像素假设为背景，表示为：{nj},j＝1,2,...,nb，其中nb是位于该图像边缘区域的超像素个数，然后分别计算每个超像素块的特征：暗通道值、中心先验权重和颜色特征；暗通道计算公式如下：其中表示区域ci覆盖的像素个数，sd(p)是暗通道值的计算函数，如下所示：其中ich(q)表示q在对应通道内的颜色值；弱显著性检测模型通过如下公式实现：其中dk(ci,nj)表示区域ci与nj在k所对应的特征之间的欧氏距离，三种特征分别是rgb(f1)、cielab(f2)和lbp(f3)特征，g(ci)为中心先验权重，通过超像素ci的中心与图像中心的归一化空间距离计算得到；由公式(3)得到每个区域的显著值，将每个区域的显著值赋给该区域内的所有像素，得到弱显著图；(2b)训练强显著性检测模型将多个单核单特征的支持向量机分类器作为弱分类器，采用adaboost增强学习方法通过多次迭代学习得到一个强分类器；多个单核单特征的支持向量机核函数的线性加和表示为：其中，r表示训练样本，ri为第i个样本，训练集样本集由上一步的弱显著图得到，βm表示对应核函数的权重，m表示弱分类器的数量，经过多次迭代得到一个强分类器，应用于当前图像的所有测试样本，最后预测得到单一显著图；(3)超像素块聚类选用rgb、cielab和gabor特征作为聚类特征，对组内的所有图像的所有超像素块进行聚类，聚类方法为k-means聚类方法；(4)计算协同显著性m张图像经过聚类后得到k个类，记为聚类中心记为通过计算对比度测度、重复率测度以及位置测度来描述协同显著性，根据3个测度的乘积得到弱协同显著图；(5)融合：进行多尺度融合；将弱显著图与弱协同显著图相乘，获得融合后的显著图。上述技术方案中，步骤(1a)中，所述降采样时，将图像的x和y方向像素分别调整为原尺寸的一半。步骤(3)中，聚类数k＝min(max(2×nimg,10),30)。步骤(3)中，gabor特征的获取方法是：先获取8个方向的gabor特征，bandwidth为1，然后组合这8个方向特征作为使用的gabor特征，组合方法为线性相加组合。步骤(4)中，对比度测度计算一个类别与其他所有类的特征距离，类ck的对比度测度计算公式为：其中n为所有图像的超像素块之和，ni为聚类ci的像素个数；位置测度计算每一类所有超像素块的到中心点的距离的归一化，公式如下：其中nk表示类k的超像素块数，nj是第j张图上的超像素块数目，是类内第i个超像素块的中心点在第j张图像上的位置，oj是第j张图像的中心位置，是指超像素的类索引，δ(·)是克罗内克函数，如果两数相等返回1，否则返回0；重复率测度计算一个类别内的超像素块在所有图像上的分布情况，采用m个bin的直方图来描述聚类ck在m张图像中的重复率测度：步骤(5)中，所述多尺度融合采用加权融合法，以5∶3∶2的权重融合第1、2和3层的结果。由于上述技术方案运用，本发明与现有技术相比具有下列优点：1、本发明提供了一种基于内容感知的多尺度显著性检测方法，将得到的显著图与弱协同显著图进行融合，得到最终的协同显著区域，由于使用具有内容感知的超像素金字塔，获得的显著目标的边界轮廓定位更加准确。2、本发明利用基于内容感知的超像素分割方法将图像分割，然后构建超像素金字塔，在每个尺度上对所有图像进行聚类，于是每个像素点都获得了全局关联性，再根据对比度测度、未知测度和重复率测度计算协同显著性，得到的弱协同显著图与显著图融合得到最终的协同显著图，实验结果证明了提出的检测方法在时间和准确性上具有一定的优势。附图说明图1是本发明实施例的方法框架构图；图2是实施例中imageparis上显著性检测对比图；图3是实施例中imageparis上协同显著性检测对比图；图4是实施例中4种显著性方法的对比；图5是在3种协同显著性检测方法在icoseg数据集上的pr图；图6是3种协同显著性检测方法在imagepairs数据集上的pr图。具体实施方式下面结合附图及实施例对本发明作进一步描述：实施例一：一种基于超像素聚类的协同显著性检测方法，框架如图1所示。通过构建超像素金字塔，本方法试图使用超像素块来代替普通像素点，加速协同显著性计算，同时构建超像素金字塔可以获得不同尺度上的特征信息，保证协同显著目标的边界的准确性。另外，使用聚类的方法进一步将超像素块分类，进一步加速了协同显著性的计算时间。最后使用协同显著图与显著图融合的方法得到最终的协同显著图，保证了协同显著目标的准确性。具体分为4个步骤：构建超像素金字塔、计算单一显著图、超像素块聚类、计算协同显著性和融合。1、构建超像素金字塔超像素分割会将一张图像分割成很多超像素块，这些超像素块具有相似的特征表达，所以用超像素块替代普通像素点进行显著性计算或者协同显著性计算不仅不会引起计算错误，而且可以加快计算速度。构建超像素金字塔分为2个步骤：(1)构建高斯金字塔在计算sift(scale-invariantfeaturetransform)算法时，构建了一个高斯金字塔来获取不同尺度上的特征信息，这种方法是经过验证的。因此，本方法对每幅图像也构建了一个三层的高斯金字塔。对第一层图像是由原始图像进行高斯平滑得到，这样做消除图像中的一些噪声点，有利于后面的超像素分割阶段能获得更加准确的边界。第二层由第一层降采样后再高斯平滑得到，第二层降采样再高斯平滑作为第三层图像，这里将图像降采样为原来尺寸的一半。(2)超像素分割利用基于内容感知的超像素分割方法(mslic)对每层图像惊醒超像素分割，这种超像素分割方法较普通超像素分割方法的优点是：内容感知和计算速度。该方法是2016年cvpr提出的新的超像素分割方法，会在信息比较多的区域分得更细，同时分割时间较其他方法更快，因此选用mslic作为此发明的超像素方法。这里根据图像的大小动态设定超像素块的数目，超像素块数width和height是图像宽和高，通过多次实验证明这样选取超像素块在时间和精度上效果较好。得到超像素金字塔。2、计算单一显著图使用基于内容感知的多尺度显著性检测方法计算单一显著图，使用具有内容感知的超像素分割方法在内容多的区域获得更多的超像素块，有利于计算内部不同位置的协同显著性，同时该分割方法还加快了分割速度；另外超像素金字塔有利于获得多尺度信息，对计算协同显著性有很大的引导作用，该发明会将每一层单独计算显著性，最后融合多层显著图。计算每层显著图的过程主要分为4个步骤：(1)计算弱显著图将超像素分割得到的n个超像素块表示为：{ci},i＝1,2,...,n。将处于边缘区域的超像素假设为背景，表示为：{nj},j＝1,2,...,nb，其中nb是位于该图像边缘区域的超像素个数。然后分别计算每个超像素块的特征：暗通道值、中心先验权重和颜色特征。暗通道主要是由一些彩色或者深色目标以及阴影产生的，tong等人发现这个特征也是显著目标所具备的。计算公式如下：其中表示区域ci覆盖的像素个数，sd(p)是暗通道值的计算函数，如下所示：其中ich(q)表示q在对应通道内的颜色值。弱显著性检测模型通过如下公式实现：其中dk(ci，nj)表示区域ci与nj在k所对应的特征之间的欧氏距离，三种特征分别是f1(rgb)、f2(cielab)和f3(lbp)特征。此外，g(ci)为中心先验权重，通过超像素ci的中心与图像中心的归一化空间距离计算得到。由公式(3)就可以得到每个区域的显著值，将每个区域的显著值赋给该区域内的所有像素。(2)训练强显著性检测模型本发明将多个单核单特征的svm(supportvectormachine，支持向量机)分类器作为弱分类器，并采用adaboost增强学习方法通过多次迭代学习得到一个强分类器。多个svm核函数的线性加和可以表示为：其中，r表示训练样本，ri为第i个样本，训练集样本集由上一步的弱显著图得到。βm表示对应核函数的权重，m表示弱分类器的数量，经过验证取12(特征数是3，核函数数为4)效果最佳。经过多次迭代得到一个强分类器，该分类器可以直接应用于当前图像的所有测试样本，最后预测得到单一显著图。3、超像素块聚类选用rgb和cielab和gabor特征作为聚类特征，共7维。之所以采用两种颜色特征，是因为发明人发现在进行显著性检测时，这两种颜色空间发挥着互补作用。gabor特征的获取过程是：8个方向的gabor特征，bandwidth为1，然后组合这8个方向特征作为纹理特征，这里使用简单的线性相加组合方法。为了获得全局关联性，本方法对组内的所有图像的所有超像素块进行了聚类，特征接近的超像素块就会被聚到相同的类，这里使用了k-means聚类方法。对于聚类数，为了避免聚类数过多或太少影响聚类结果，于是采用公式k＝min(max(2×ntmb，10)，30)计算。4、计算协同显著性m张图像经过聚类后得到k个类，记为聚类中心记为这些类来自不同的图像，将不同图像中的超像素块聚类到一起，说明这些超像素块具有全局关联性，但是不一定就是协同显著区域，可能是想关联的背景区域或者其他关联区域。接下来就需要计算每一类的协同显著性，本方法通过计算对比度测度、重复率测度以及位置测度来描述协同显著性。对比度测度和位置测度是为了找到图像的前景区域，在显著性检测的研究发现前景区域往往都存在着对比度高的特性，另外由于人眼往往会对图像中心感兴趣，所以超像素块的位置也会影响其是否为前景的可能性。重复率测度描述了一个类别在多张图像上重复出现的频率，是反应协同显著性的一个重要的全局属性。一个类在图像中分布得越均匀，说明其越协同，这是特别容易理解的。根据这3个测度的乘积就到了弱显著图。对比度测度计算一个类别与其他所有类的特征距离，类ck的对比度测度计算公式为：其中n为所有图像的超像素块之和，ni为聚类ci的像素个数。位置测度是通过计算每一类所有超像素块的到中心点的距离的归一化，公式如下：其中nk表示类k的超像素块数，nj是第j张图上的超像素块数目，是类内第i个超像素块的中心点在第j张图像上的位置，oj是第j张图像的中心位置，是指超像素的类索引，δ(·)是克罗内克函数，如果两数相等返回1，否则返回0。本方法计算一个类别内的超像素块在所有图像上的分布情况来表示重复率测度，首先采用m个bin的直方图来描述聚类ck在m张图像中的重复率测度：其中为了避免分母为0导致错误，这里都会加上1。5、融合融合包括多尺度融合和显著图与协同显著图融合，多尺度融合是为了融合多尺度信息，可以获得更加准确显著目标区域和协同显著区域。由于不同尺度上的信息的影响权重不一样，所以这里采用加权融合的方法，本发明中采用5：3：2的比重融合第1、2和3层的结果。为了进一步精确协同显著区域，这里通过显著图与弱协同显著图相乘的方法去除弱显著图的噪声区域。对本实施例的方法进行论证实验，使用数据集是：msra、imagepair和icoseg。msra是目前在显著性检测领域含有像素级别真值的最大图像库，在这个库上验证表明本发明的显著性检测效果具有一定的优越性。后两个数据集是目前协同显著性检测最常用的两个数据集，imagepair数据集中每组只包含两张图像，而icoseg数据集中每组会有5～20张不等，对计算要求较高。实验硬件环境：window7，corei7处理器，主频为3.4g，内存为8g。代码运行环境是：matlab2013a。1、定性分析本发明的算法与ccd(2013年，cluster-basedco-saliencydetection)、bl(2015年，bootstraplearning)和eld(2016年，encodedlowlevel)进行的对比，结果如图2所示。从图中可以发现本实施例的方法能够很好地找到显著目标，并且可以消除噪声区域，最终保留较干净的显著区域，为后面消除弱协同显著图的噪声提供了很大的帮助。由于目前找到的提供源码的协同显著性检测方法只有ccd和cmip(2011年，co-saliencymodelofimagepairs)，而cmip只能检测一对图像的协同显著性，所以这里只使用这两种方法与本发明提出的方法在imagepair作对比，图3中有两组图像，每组两张图像，第1行是输入图像，第2行是真值图，第3、4行分别是ccd和cmip方法，第5行是本发明的方法，可以看出本发明的方法最接近真值图。2、定量评估这里采用准确率-召回率(p-r)曲线评测本发明的方法。计算p-r曲线的过程又称为固定阈值分割。首先，将显著图量化至[0,255]，每隔5个数值设置一个阈值，按照这些阈值分割待测显著图得到52张二值图。参照真值图，计算测试的数据库中所有图片的平均准确率以及召回率值，可以得到52组p-r值，因此可以画出p-r曲线。图4是4种显著性方法的对比，从图中可以看出本方法在这4种方法中效果最好，但对于bl方法只取得了小幅的提高。图5是在3种协同显著性检测方法在icoseg数据集上的pr图，其中ours-slic和ours-mslic是在本发明提出的模型中分别采用slic(simplelineariterativeclustering)和mslc(manifoldslic)作为超像素分割算法的协同显著性检测模型，mslc是具有内容感知的超像素分割算法，从图中可以看出具有内容感知的超像素分割算法提高了协同显著性检测效果。图6是3种协同显著性检测方法在imagepairs数据集上的pr图，从图中可以看出本发明提出的模型相比于其他两种模型具有较大的优势。本发明的另外一个优点是计算协同显著性的速度快，根据下表，发现本发明方法在imagepairs和icoseg上计算协同显著性的速度最快，由于其他方法没提供源码，而在论文中提供的数据是在不同的环境运行得到的，所以不具有对比性。表格计算每张图像协同显著性的平均时间(s)cmipccd本实施例imagepairs0.580.430.32icoseg--1.070.65当前第1页12