基于背景先验和前景节点的感兴趣区域检测方法与流程

本发明涉及一种基于背景先验和前景节点的感兴趣区域检测方法，该方法对与背景对比度不同、背景复杂度不同的感兴趣区域以及不同面积的感兴趣区域的图像都具有很好的检测效果，本发明作为图像预处理过程，可以被广泛的应用到视觉跟踪、图像分类、图像分割和目标重定位等视觉工作领域。

背景技术：

随着信息科技的快速发展与推广，图像数据成为人类重要信息来源之一，人们所接收的信息量呈指数级增长，如何在海量的图像信息中筛选出人类感兴趣的目标区域具有重要研究意义。研究发现，在复杂场景下，人类视觉处理系统会将视觉注意力集中在该场景的少数几个对象，也称为感兴趣区域。感兴趣区域与人类视觉感知关系较为密切，具有一定的主观性。感兴趣区域检测作为图像预处理过程，可以被广泛的应用到视觉跟踪、图像分类、图像分割和目标重定位等视觉工作领域。

感兴趣区域检测方法分为自上而下和自下而上两种。自上而下的检测方法^[1，2，3]是任务驱动型的，需要人工标注真值图进行监督训练，融入更多的人类感知(例如中心先验信息、色彩先验信息和语义先验信息等等)得到显著图。而自下而上的方法^[4-10]是数据驱动型，更注重于利用对比度、位置和纹理等图像特征得到显著图。最早的研究者itti等人[4]提出一种基于局部对比度的空间域视觉模型，使用由中心向四周变化的图像差异性得到显著图。cheng等人^[5]提出了基于直方图计算全局对比度的方法。perazzi等人^[6]引进了一种将显著性检测看作滤波的思想，提出了saliencyfilters方法。achanta等人^[7]提出基于图像频域计算显著度的ft算法。ruhtu等人^[8]提出基于贝叶斯框架的方法。还有一些研究者基于信息论的观点，提出相位谱法和谱残差法。近来，wei等人^[9]提出了利用背景先验知识得到显著图。文献[10]通过流行排序的方法，将图像边界作为背景种子，对其他相关区域进行排序，构造显著图。自下而上的检测方法大部分利用的是对比度原则。此类方法中，有些方法是直接计算目标的显著性，也称为“前景优先”。基于前景优先的方法能够获得感兴趣区域，在部分图像上取得了不错的效果，但同时也存在诸多问题，例如，高显著性值大多集中在对比度较高的边缘部分，物体内部显著性值较低，故感兴趣区域显著度不突出，或者提取的感兴趣区域不完整。与“前景优先”相对应的便是“背景优先”，基于“背景优先”的检测方法主要是利用背景先验知识得到显著图，图像边缘有很大的可能成为背景，这种检测方法对大多数图像还是有效的，可以突出前景目标，得到较好的结果。但是基于背景优先的方法将边界上的所有像素归为背景是不合理的，如果目标物体出现在边缘，则会直接导致结果偏差较大；另外，仅仅利用边界信息也具有一定的局限性。

目前感兴趣区域检测的主要问题是感兴趣区域不突出，背景噪声得不到较好的抑制。本发明提出基于背景先验和前景节点的感兴趣区域检测方法，基于背景的显著图可以突出目标物体，基于前景节点的显著图可以抑制背景噪声，检测到的感兴趣区域准确有效。

参考文献：

[1]marchesottil，cifarellic，csurkag.aframeworkforvisualsaliencydetectionwithapplicationstoimagethumbnailing[c]ieeeinternationalconferenceoncomputervision，2010，30(2)：2232-2239.

[2]yangj，yangmh.top-downvisualsaliencyviajointcrfanddictionarylearning[c]ieeeinternationalconferenceoncomputervision，2012，157(10)：2296-2303.

[3]ngay，jordanmi，weissy.onspectralclustering：analysisandanalgorithm[j].proceedingsofadvancesinneuralinformationprocessingsystems，2002，14：849--856.

[4]ittil，kouchc，niebure.amodelofsaliency-basedvisualattentionforrapidsceneanalysis[j].ieeetransactionsonpatternanalysisandmachineintelligence，1998，20(11)：1254-1259.

[5]chengmm，zhanggx，mitranj，etal.globalcontrastbasedsalientregiondetection[c]ieeeinternationalconferenceoncomputervision，2011，37(3)：409-416.

[6]perazzif，kraahenbauhlp，pritchy，etal.saliencyfilters：contrastbasedfilteringforsalientregiondetection[c]ieeeinternationalconferenceoncomputervision，2012，157(10)：733-740.

[7]achantar，hemamis，estradaf，etal.frequency-tunedsalientregiondetection[c]ieeeinternationalconferenceoncomputervision，2009，22(9-10)：1597-1604.

[8]rahtue，kannalaj，salom，etal.segmentingsalientobjectsfromimagesandvideos[j]springerberlinheidelberg，2010，6315：366-379.

[9]weiy，wenf，zhuw，etal.geodesicsaliencyusingbackgroundpriors[m]computervision-eccv2012.springerberlinheidelberg，2012：29-42.

[10]yangc，zhangl，luh，etal.saliencydetectionviagraph-basedmanifoldranking[c]ieeeinternationalconferenceoncomputervision，2013，9(4)：3166-3173.

技术实现要素：

本发明提出了一种基于背景先验和前景节点的感兴趣区域检测方法，将基于背景与前景相结合，同时分别利用了元胞自动机与偏置的高斯滤波进行优化，并且取到了非常好的效果。实现本发明目的技术方案，包括下列步骤：

步骤1：输入一幅原始图像，利用slic算法将图像分割成n个超像素。

步骤2：每个超像素利用其包含像素点的平均颜色特征和平均坐标来表示自身。将图像四个边界的超像素作为初始化背景种子集合，然后利用k-means聚类算法将图像边界超像素分成k类，根据经验设k＝3。

在得到边缘聚类结果后，利用分类的背景种子点计算全局颜色差异矩阵和全局空间距离差异矩阵，并据此得到初始背景显著图。首先属于第k类的超像素的总数用n^k表示，其中k＝1，2，…，k。根据k类不同的种子点，利用如下公式可以构建k个不同的全局颜色差异图gcd(globalcolordistinctionmaps)。

其中sk，i表示第k个gcd图中第i个超像素的显著值，||ci，cj||表示超像素i与超像素j在cielab颜色空间中的欧氏距离，σ1和β是平衡权重值，本发明设σ1＝0.2，β＝10。

由图2可以看出，每个全局颜色差异图中都有准确度较高的超像素，且k个全局颜色差异图之间有很大的互补性，当一个超像素的显著性是基于离它最近的背景类计算时，它的显著性值越准确。为了利用不同gcd图中准确度高的超像素，因此，利用如下公式构建全局空间距离矩阵gsd(globalspacialdistance)，用来权衡不同gcd图中不同超像素的重要性。

其中，dk，i表示第i个超像素与第k类背景种子点之间的空间距离，ri和rj表示超像素i和j的坐标，σ2表示控制权重的常量，本发明设σ2＝1.3。

在得到gcd和gsd之后，利用如下公式计算得到基于背景得到的显著图

再利用元胞自动机的同步更新原则优化基于背景的显著图。将每个超像素看作是一个元胞，利用如下公式所定义的更新机制同步更新显著图中各个元胞的状态，

s^t+1＝c^*·s^t+(i-c^*)·f^*·s^t

其中，s^t和s^t+1分别表示t时刻和t+1时刻元胞自动机的状态，c^*是置信度矩阵，f^*是影响因子矩阵，i是单位矩阵。f^*的定义如下：

f^*＝d^-1·f

矩阵f中的元素如下式所示，

σ3是控制相似性力度的参数，本发明设置σ3＝0.1，nb(i)是元胞i的二环邻接点的超像素集合。矩阵d＝diag{d1，d2，…，dn}，其中di＝∑jfij。

c^*的定义如下：

其中将参数设置为a＝0.6和b＝0.2。

步骤3：基于前景节点的感兴趣区域检测方法。算法步骤如下：

(1)首先对基于背景先验的显著图进行自适应阈值分割，得到二值图像，根据二值图像可以得到前景目标的近似位置，得到前景节点的集合fg。

(2)利用超像素的颜色信息和位置信息的对比度关系来计算显著度，与前景节点进行对比，颜色越接近、位置距离越近显著性值越高，相反显著性值越低。本发明利用如下公式计算基于前景节点的显著性结果：

其中，l(ci，cj)表示第i个超像素与前景节点集合中第j个超像素在cielab颜色空间中的欧氏距离，l(ii，ij)表示第i个超像素与前景节点集合中第j个超像素的空间距离，λ1和λ2是权重系数。

(3)为了更好地抑制背景噪声，利用目标偏置的高斯滤波优化基于前景节点的显著图，根据前景节点目标的位置构建高斯模型，公式如下：

g(x，y)＝exp(-λ(((x-dx)/w)²+((y-dy)/h)²))

其中，(dx，dy)是图像前景节点的中心坐标，w和h分别是图像的宽度和高度，λ是权重系数。再利用该模型优化基于前景节点的显著图公式如下：

步骤4：将基于背景先验和前景节点的显著图进行融合，得到最终的显著图。计算公式如下：

其中，是优化后的基于背景的显著图，是优化后的基于前景节点的显著图，β是权衡系数。

与现有技术相比，本发明的有益效果是：

1.利用单层细胞自动机优化后的基于背景的显著图可以选择更准确的前景种子，进而可以生成更好的基于前景的显着图。实验结果验证了本发明提出的基于背景先验和前景节点的感兴趣区域检测方法的有效性。

2.为了抑制背景噪声，利用偏置的高斯滤波优化基于前景的显著图，同时考虑元胞自动机和高斯滤波的优点，合并后的显著图表现良好，通过实验证明了本发明的优越性。

附图说明

图1感兴趣区域检测模型，即摘要附图；

图2基于背景先验过程图；

图3(a)真值图；

图3(b)原图；

图3(c)前景节点

图3(d)基于前景节点的显著图；

图3(e)利用偏置高斯滤波后的显著图；

图4(a)真值图；

图4(b)原图；

图4(c)优化后的基于背景的显著图；

图4(d)优化后基于前景的显著图；

图4(e)融合后的结果图；

图5(a)原图；

图5(b)真值图；

图5(c)ft算法结果图；

图5(d)sr算法结果图；

图5(e)sun算法结果图；

图5(f)ca算法结果图；

图5(g)sf算法结果图；

图5(h)bfs算法结果图；

图5(i)gr算法结果图；

图5(j)mr算法结果图；

图5(k)本发明算法结果图；

图6(a)msra-1000数据库中准确率-召回率对比；

图6(b)ecssd数据库中准确率-召回率对比；

图6(c)pascal_s数据库中准确率-召回率对比；

图7(a)msra-1000数据库中f-measure对比；

图7(b)ecssd数据库中f-measure对比；

图7(c)pascal_s数据库中f-measure对比。

具体实施方式

下面结合具体实施方式对本发明作进一步详细地描述。

目前感兴趣区域检测的主要问题是感兴趣区域不突出，背景噪声得不到较好的抑制。本发明提出基于背景先验和前景节点的感兴趣区域检测方法，基于背景的显著图可以突出目标物体，基于前景节点的显著图可以抑制背景噪声，检测到的感兴趣区域准确有效。

本发明通过以下步骤实现了基于背景先验和前景节点的感兴趣区域检测方法，具体步骤如下所示：

步骤1：输入一幅原始图像，利用slic算法将图像分割成n个超像素。

步骤2：每个超像素利用其包含像素点的平均颜色特征和平均坐标来表示自身。将图像四个边界的超像素作为初始化背景种子集合，然后利用k-means聚类算法将图像边界超像素分成k类，根据经验设k＝3。边界种子点的提取过程见图2。

在得到边缘聚类结果后，利用分类的背景种子点计算全局颜色差异矩阵和全局空间距离差异矩阵，并据此得到初始背景显著图。首先属于第k类的超像素的总数用n^k表示，其中k＝1，2，…，k。根据k类不同的种子点，利用如下公式可以构建k个不同的全局颜色差异图gcd(globalcolordistinctionmaps)。

其中sk，i表示第k个gcd图中第i个超像素的显著值，||ci，cj||表示超像素i与超像素j在cielab颜色空间中的欧氏距离，σ1和β是平衡权重值，本发明设σ1＝0.2，β＝10。

由图2可以看出，每个全局颜色差异图中都有准确度较高的超像素，且k个全局颜色差异图之间有很大的互补性，当一个超像素的显著性是基于离它最近的背景类计算时，它的显著性值越准确。为了利用不同gcd图中准确度高的超像素，因此，利用如下公式构建全局空间距离矩阵gsd(globalspacialdistance)，用来权衡不同gcd图中不同超像素的重要性。

其中，dk，i表示第i个超像素与第k类背景种子点之间的空间距离，ri和rj表示超像素i和j的坐标，σ2表示控制权重的常量，本发明设σ2＝1.3。

在得到gcd和gsd之后，利用如下公式计算得到基于背景得到的显著图

再利用元胞自动机的同步更新原则优化基于背景的显著图。将每个超像素看作是一个元胞，利用如下公式所定义的更新机制同步更新显著图中各个元胞的状态，

s^t+1＝c^*·s^t+(i-c^*)·f^*·s^t

其中，s^t和s^t+1分别表示t时刻和t+1时刻元胞自动机的状态，c^*是置信度矩阵，f^*是影响因子矩阵，i是单位矩阵。f^*的定义如下：

f^*＝d^-1·f

矩阵f中的元素如下式所示，

σ3是控制相似性力度的参数，设置σ3＝0.1，nb(i)是元胞i的二环邻接点的超像素集合。矩阵d＝diag{d1，d2，…，dn}，其中di＝∑jfij。

c^*的定义如下：

其中将参数设置为a＝0.6和b＝0.2。

步骤3：基于前景节点的感兴趣区域检测方法。算法步骤如下：

(1)首先对基于背景先验的显著图进行自适应阈值分割，得到二值图像，根据二值图像可以得到前景目标的近似位置，得到前景节点的集合fg。

(2)利用超像素的颜色信息和位置信息的对比度关系来计算显著度，与前景节点进行对比，颜色越接近、位置距离越近显著性值越高，相反显著性值越低。本发明利用如下公式计算基于前景节点的显著性结果：

其中，l(ci，cj)表示第i个超像素与前景节点集合中第j个超像素在cielab颜色空间中的欧氏距离，l(ii，ij)表示第i个超像素与前景节点集合中第j个超像素的空间距离，λ1和λ2是权重系数。

(3)为了更好地抑制背景噪声，利用目标偏置的高斯滤波优化基于前景节点的显著图，根据前景节点目标的位置构建高斯模型，公式如下：

g(x，y)＝exp(-λ(((x-dx)/w)²+((y-dy)/h)²))

其中，(dx，dy)是图像前景节点的中心坐标，w和h分别是图像的宽度和高度，λ是权重系数。再利用该模型优化基于前景节点的显著图公式如下：

步骤4：将基于背景先验和前景节点的显著图进行融合，得到最终的显著图。计算公式如下：

其中，是优化后的基于背景的显著图，是优化后的基于前景节点的显著图，β是权衡系数。

现结合附图对整个过程做详细介绍：

1.基于背景先验的感兴趣区域检测

由于图像的感兴趣区域大部分在图像的中心或者接近中心，大多数图像的边界即为背景区域，因此合理利用边界信息可以为感兴趣区域的提取奠定基础，可以得到基于背景先验的显著图，由于其对背景噪声抑制不足，因此本发明利用元胞自动机的同步更新原则优化基于背景的显著图。图2为基于背景先验过程图。

2.基于前景节点的感兴趣区域检测

基于背景先验得到的显著图有一定的优势，但上述背景种子集合只涵盖图像边界处的超像素，并不能包含所有背景成分，因此突出目标前景的同时并不能很好的抑制背景噪声，为了解决这一问题本发明引入基于前景节点的感兴趣区域检测方法。图3基于前景节点的显著图利用偏置高斯滤波处理前后对比图，由图可以看出该方法可以很好地抑制背景噪声。

3.显著性融合

基于背景先验的显著图可以突出前景目标，但背景噪声较强，即使利用单层元胞自动机初步优化，起到了抑制噪声的作用，但有些背景噪声还是无法得到抑制。而基于前景节点的显著图虽然突出前景目标方面稍有不足，但是可以很好的抑制背景噪声。为了综合二者的长处，采用如下公式融合两个显著图。图4为融合效果对比图，由图可以看出基于前景节点的显著图可以进一步完善优化后的基于背景先验的显著图，达到进一步抑制背景噪声、突出目标的效果。

4.主观评价

图5是本发明算法结果与其他8种算法的结果对比图。由图中对比效果可以直观看出，ft、sr、sun和ca算法虽然能够较为准确的定位感兴趣区域，但是感兴趣区域不完整，背景噪声多，结果图显著度较低；sf算法背景噪声小，但是感兴趣区域显著度不高；mc、gr和mr算法都是比较优秀的算法，对显著性区域定位准确，但是对背景噪声抑制不足，尤其是对背景复杂的图像，感兴趣区域显著度不够高；本发明方法可以在准确定位显著性区域的前提下很好的抑制背景噪声，与其他8种算法相比更接近于真值图。

5.客观评价

为了对本发明方法的性能进行客观评价，采用四个评价指标，即准确率(precision)、召回率(recall)、f-measure以及平均绝对误差(mae)进行对比分析。

(1)准确率和召回率

首先采用最常用的准确率-召回率曲线对算法进行客观比较。如公式(13)所示，依次选取0到255之间的灰度值作为阈值ti，分别将各算法的结果图进行二值化，得到二值图，并与人工标注的真值图进行比较，利用公式(14)和公式(15)计算各算法的准确率pi和召回率ri，并画出precision-recall曲线。

式中sti表示显著图经过二值分割后值为1的区域，gt表示真值图中值为1的区域，|r|表示区域r的像素个数。

precision-recall曲线与横坐标包围的面积越大，即相同召回率下准确率越高，说明方法越有效。图6是9种算法在masr-1000、ecssd和pascal_s三个数据库上的precision-recall曲线，由图可以看出在这三个数据库上本发明方法的precision-recall曲线与横坐标包围的面积均大于其他曲线与横坐标所包围的面积，说明优于其他算法。

(2)f-measure

为了综合考虑准确率和召回率，本发明采用f-measure(fβ)进一步评价各个算法。

其中，p是准确率，r是召回率，β是权重系数，这里将β设置为β²＝0.3，可以达到突出准确率的目的。f-measure衡量了准确率和召回率的整体性能，其数值越大说明方法性能越好。计算f-measure时，需要将各个算法结果在同等条件进行二值化，本发明采用自适应阈值分割算法，即将阈值设置为每幅显著图的平均值，然后与真值图进行比较，计算得到准确率和召回率，再利用公式(16)计算f-measure值。图6是9种算法在三个数据库上的比较结果，可以看出在三个数据库中本发明算法的f-measure最大。

(3)平均绝对误差

precision-recall曲线只是评价目标的准确性，而对于非显著区域并没有评判，即不能表征算法对背景噪声的抑制情况，因此本发明利用平均绝对误差(mae)对整幅图进行评价。mae是以像素点为单位计算显著图与真值图之间的平均差异，计算公式如下：

式中m和n代表图像的高度和宽度，s(i，j)代表显著图对应的像素值，gt(i，j)代表真值图对应的像素值。显然mae的值越小，显著图越接近于真值图。表1为9种算法的mae比较结果。可以看出，在三个数据库中本发明算法的mae值均小于其他8种算法，这说明本发明算法的显著图更接近于真值图。

表1mae比较

综上所述，本发明既可以突出前景目标，又可以很好地抑制背景噪声。在公开的masr-1000、ecssd和pascal_s数据集上进行实验验证，在准确率-召回率曲线、f-measure和mae指标上均优于当前流行算法。