一种基于图结构和边界先验的显著性物体检测方法
【专利摘要】本发明提供一种基于图结构和边界先验的显著性物体检测方法，该方法的主要思想是将图像的上、下、左、右四条边界上的超像素作为背景先验(边界先验)，通过建立图结构得到图像中每一个超像素到边界的测地线距离，利用其来衡量显著性大小。首先将输入图像过分割为超像素；其次将每一个超像素作为图结构的顶点，并且加入四个虚顶点，定义三种类型的边及其权值，以此建立起完整的图结构；紧接着计算每一个顶点分别到四个虚顶点的最短距离得到四张显著性图；最后通过一个融合策略输出最终的显著性图。本发明得到的显著性图能均匀的突出图像中的显著性物体，尤其是可以很好的抑制背景，有利于后续诸如图像检索、目标跟踪等处理。
【专利说明】 一种基于图结构和边界先验的显著性物体检测方法
【技术领域】
[0001]本发明涉及计算机视觉与数字图像处理领域，具体涉及一种基于图结构和边界先验的显著性物体检测方法。
【背景技术】
[0002]显著性的计算模型一直是计算机视觉领域中的热点问题，即在时空域大量信息中选择特定感兴趣区域的过程。视觉显著性是生物视觉系统的信息处理的重要环节，为进一步高层问题奠定基础。显著性检测就是要使得计算机拥有人的这一视觉选择注意机制。一方面，视觉显著性的计算模型，可以为生物视觉系统的工作机理提供佐证；另一方面，视觉显著性的计算模型，可以为计算机视觉领域中的场景理解问题提供帮助。显著性检测的结果被称为“显著性图”，图上亮度越大的区域意味着越容易吸引人的注意。
[0003]显著性检测的主要方法大体可以分为三类。第一类方法，采用“自底而上”思想，即利用局部中心邻域结构，实现显著性的建模。第二类方法，采用“自顶向下”思想，即利用图像的统计特性的先验知识，实现显著性的建模。第三类方法，则同时运用“自底而上”与“自顶向下”的想法，结合机器学习方法，实现显著性的度量。本发明主要利用图像中的利用底层特征如颜色、分布等作为显著性检测的依据，因此本发明属于“自底向上”的显著性检测方法。
[0004]近些年来，国内外很多知名学者在这方面做了大量的有益成果，其中的方法主要有=Itti等人于1998年提出使用特征的中心一周围差异原理来进行显著性检测，所用特征具体包括颜色、强度与方向，并且采用DOG来实现中心周围差异的计算。Hou等人于2007年提出光谱残差的方法，其在图像傅立叶变换后的幅度谱上计算光谱残差，然后再将该残差进行反变换得到显著性图。Cheng等人于2011年提出利用直方图来得到颜色的统计特性，从而利用基于颜色对比来估计图像块的显著性，其特点是对颜色进行了量化，提升了检测效率。Perazzi等人于2012年提出将显著性检测视为图像特征上的高维高斯滤波操作。
[0005]专利方面，申请号为CN201110335538.4的中国发明专利申请通过对待检测图像进行多次小波变换，利用小波变换所得到的高频带数据初步确定显著性物体的大小和位置后，再采用中心一周边直方图算法获得精确的显著性值，从而准确地检测到显著性物体；申请号为CN201210425652.0的中国发明专利提出一种基于尺度选择的自顶向下的视觉显著性提取方法，包括两个阶段，训练阶段学习得到非线性模型，并找到多尺度合并中的最佳的尺度。它充分考虑了人的意图，而且利用多尺度的上下文关系，能有效地提取出与人的意图相关的视觉显著的区域；申请号为CN201310044869.1的中国发明专利申请利用颜色对比和颜色分布，综合这两种特征使得检测结果比较均匀，保持物体的边缘细节，并且能够较强的抑制背景干扰。
[0006]本发明的方法不同于上述所有方法，因为本发明切入点如何定义背景，以往的大多数方法因为显著性物体检测而关注点都在何为显著性物体，而本发明从背景的角度出发，通过建立图结构，最终将显著性物体凸显出来，与以上的方法检测结果相比，不仅可以保证均匀完整的突出显著性物体，更突出的优势是可以更好地抑制背景。
【发明内容】
[0007]针对现有技术中的缺陷，本发明的目的是提供一种基于图结构和边界先验的显著性物体检测方法，该方法能有效突出图像中的显著性物体，同时抑制背景，有利于后续诸如图像检索、目标跟踪等处理。
[0008]所谓边界先验是指在一幅图像中，靠近边界的部分一般来说都是背景，这是根据大量观察和摄影原则得到的，具有比较普遍的适用性，本发明的思想正是基于此，但是方法的设计也同时考虑到了少数边界不止有背景，也有显著性物体切到的情况，因此本发明利用边界先验但并不局限于该先验。
[0009]本发明所述的基于图结构和边界先验的显著性物体检测方法，具体步骤如下:
[0010]1、图像预处理
[0011]将输入的彩色图像过分割为许多颜色相似，保边界的超像素，并且计算超像素内部的平均颜色和位置，将超像素作为处理的最小单位；
[0012]具体地:将输入的彩色图像的颜色空间从RGB转到LAB，然后利用SLIC超分割算法将图像过分割为K个超像素，按照式(I)计算超像素内部的平均位置Pi和平均颜色Ci，将超像素作为处理的最小单位；
[0013]
【权利要求】
1.一种基于图结构和边界先验的显著性物体检测方法，其特征在于包括如下步骤: 第一步，图像预处理:将输入的彩色图像过分割为许多颜色相似，保边界的超像素，并且计算超像素内部的平均颜色和位置，将超像素作为处理的最小单位； 第二步，建立图结构:把每一幅图像转化为一个图结构，将超像素作为图结构的顶点，并且加入四个虚顶点，每一个虚顶点对应图像的一条边界，同时再定义三种类型的边即邻接边、特征边、虚边及其权值； 第三步，显著性图计算:利用图结构，采用Dijkstra算法计算每一个顶点分别到四个虚顶点的最短距离，得到四张分别基于上、下、左、右四条边界的显著性图； 第四步，显著性图融合:通过一个融合策略输出最终的显著图，该融合策略侧重于凸显显著性物体的同时，能有效的抑制背景。
2.根据权利要求1所述的基于图结构和边界先验的显著性物体检测方法，其特征在于所述第一步，具体为: 将输入的彩色图像的颜色空间从RGB转到LAB，然后利用SLIC超分割算法将图像过分割为K个超像素，按照式(I)计算超像素内部的平均位置Pi和平均颜色Ci，将超像素作为处理的最小单位；
Siespi 1PSiespi 1C…、 Pi = ^r，Ci = ^r⑴ 其中Ip为像素I的位置向量即2维向量[x，y]，I。为像素I的颜色向量即3维向量[L, a, b]，I SPi I表示超像素SPi中所含像素的个数，i表示超像素的下标号(i=l，2，…，K)。
3.根据权利要求1所述的基于图结构和边界先验的显著性物体检测方法，其特征在于所述的建立图结构，包含两类顶点和三类边: 两类顶点:(1)图像中的每一个超像素作为图结构中的一个顶点；(2)加入四个虚顶点，分别对应图像的上、下、左、右四条边界； 三类边:(1)邻接边:每一个超像素在位置空间上和与其相邻的超像素顶点之间所连的边，权值定义为二者在颜色空间上的距离；(2)特征边:每一个超像素在颜色空间上和与其最相似的k个超像素顶点之间所连的边，权值定义为二者在颜色空间上的距离的同时，还要考虑位置空间的距离；(3)虚边:每一个虚顶点和其对应的边界上的超像素顶点之间所连的边，权值采用基于颜色对比的方式。
4.根据权利要求1-3任一项所述的基于图结构和边界先验的显著性物体检测方法，其特征在于，所述的显著性图计算，具体为: 采用Dijkstra算法计算每一个顶点分别到四个虚顶点的最短距离，公式如下:n-l S1(I) =min V ⑴(Nk, Nk+1),s.t.(Nk, Nk+1) G E
Ni=i,N2r",Nen(i=<ttop f
P k=l 其中S1(I)为超像素i到对应上边界的虚顶点的最短距离，E是所有边的集合，Nk是出现在从i到这条路径上的顶点，? (Nk，Nk+1)是连接Nk，Nk+1这两个顶点的边的权值，同理计算出S2 (i)、S3(i)、S4 (i)，分别对应超像素i到对应下、左、右边界的虚顶点的最短距离，得到了四幅显著性图SpS2、S3和S4。
5.根据权利要求4所述的基于图结构和边界先验的显著性物体检测方法，其特征在于，所述的显著性图融合，具体为: 首先将S1、S2、S3、S4四幅显著性图均归一化到[O，I]之间，然后通过如下的融合方式输出最终的显著性图:
【文档编号】G06T7/00GK103745468SQ201410006851
【公开日】2014年4月23日 申请日期:2014年1月7日 优先权日:2014年1月7日
【发明者】李一君, 杨杰 申请人:上海交通大学