一种基于背景对比的显著性检测方法
【专利摘要】本发明涉及一种基于背景对比的显著性检测方法。包含六个步骤：输入图像I、对图像I进行过度分割、计算背景显著性、计算图像颜色对比显著性、计算图像紧凑度显著性、得到最终的显著性。其中步骤2中的过度分割又包括将输入图像I转换成视觉上均匀的CIELAB颜色空间、用一个17维滤波器对上述转换结果进行卷积，这个滤波器由高斯滤波器，高斯导数滤波器，拉普拉斯算子的高斯滤波器组成、采用欧氏距离K?均值聚类算法对图像进行无监督聚类、每个像素被分配到最近的群集中心，最终产生过分割图像。本发明的方法相比对整个图像的计算对比度的方法更加稳健，生成的显著图与人眼标识的结果最接近，在自然场景图像处理上十分有效。
【专利说明】
一种基于背景对比的显著性检测方法
技术领域
[0001] 本发明涉及图像数据处理领域的图像分析技术，具体涉及一种基于背景对比的显 著性检测方法。
【背景技术】
[0002] 显著性检测在计算机视觉研究领域是一个具有挑战性的问题，并且也是许多应用 中的一个重要任务，如对象识别，图像编码，图像编辑，图像分割，以及视频跟踪等。通过大 量的努力，许多成功的显著的检测方法已被开发出来，
[0003] 它们大致分为自上而下（监督）的方法和自底向上(无监督）的方法两大类型。前者 常常用从训练过程构建的视觉知识描述显著信息，然后再用这种知识来在测试图像进行显 著性检测;后者通常依据与周边不含任何显著区域或物体优先权的邻域的差异程度确定一 个像素的显著性。
[0004] 最近的研究已经表明，基于自底向上的方法的计算模型是相当成功的，非常适合 扩展到大型数据集。感知方面的研究和以前的方法的结果表明，对自底向上的视觉显著性 最有影响力的因素是对比度。Niloy J.Mitra等人提出了基于全局对比度的显著性区域检 测方法，也就是直方图对比度法(histogram-based contrast，简称HC)和基于空间信息增 强的区域对比度法(region contrast，简称RC)。HC方法是高效的且产生的结果具有精细的 细节;RC方法生成空间增强的高质量显著图，但是计算效率较低。并且此方法对高纹理图像 的处理能力较弱。YANG等人提出了一种基于全局颜色对比的显著性目标检测方法，首先提 取全局颜色对比度特征，把显著图和全局颜色对比的显著性目标检测算法框架中，得到二 值显著性掩模，最后经区域描绘子计算得到包含显著性目标的最小外接矩形。
[0005] 自上而下和自底向上这两种方法往往只依赖于区域中心环绕对比度或全局对比 的显著性。依赖于区域中心环绕对比度的算法往往是不精细的，而全局对比的显著性检测 方法忽视了图像各部分之间的空间关系，在图像边缘处的物体检测不完全。
【发明内容】
[0006] 本发明要解决的技术问题是针对上述自上而下和自底向上这两种方法中因为只 依赖于区域中心环绕对比度或全局对比的显著性而产生的显著性算法不精细或在图像边 缘处的物体检测不完全的问题。
[0007] 鉴于此，基于背景区域的对比度在这个过程中也起着重要的作用，本发明提出一 种基于背景对比的显著性检测方法，包含以下步骤：
[0008] 步骤1:输入图像I;
[0009] 步骤2:对图像I进行过度分割；
[0010] 步骤3:通过公式
0计算背景显
(
[0013] 步骤6:根据上述步骤3、4、5分别得到的SBs(ri)，Sccs(ri)，Scs(ri)，通过公式S(ri)= S'ccs(ri) · S，cs(ri)，得至Ij最终的显著性，其中S，ccs(ri) = Sccs(ri) · SFs(ri)，S，cs' = Scs (ri) · SFs(ri)，SFs(ri) = exp{-a · SBs(ri)}〇
[0014] 进一步，上述步骤2包括如下步骤：
[0015] 步骤2-1 :将输入图像I转换成视觉上均匀的CIELAB颜色空间；
[0016] 步骤2-2:用一个17维滤波器对步骤2-1的结果进行卷积，这个滤波器由高斯滤波 器，高斯导数滤波器，拉普拉斯算子的高斯滤波器组成；
[0017] 步骤2-3:采用欧氏距离K-均值聚类算法对图像进行无监督聚类；
[0018] 步骤2-4:每个像素被分配到最近的群集中心，以产生过分割图像。
[0019] 有益效果：
[0020] 1、本发明中，候选区域可以根据背景的空间分布自动生成，利用背景区域的空间 分布，来对背景的显著性进行编码。而且采用了颜色对比度和紧凑度，对前景显著性进行编 码。
[0021] 2、本发明使用相对于背景的对比度，要比相对整个图像的计算对比度的方法更加 稳健，生成的显著图与人眼标识的结果最接近。
[0022] 3、本发明的方法在MSRA1000数据集进行了测试，测试结果证明在自然场景图像处 理上十分有效。另外，根据本发明得到的精度一召回率曲线和F值图，也得出本发明优于本 领域其他12种显著性检测方法的结论。同时与人眼表示的结果相比，本发明的效果也十分 有效。
【附图说明】
[0023] 图1为本发明的方法流程图。
[0024] 图2为本发明中各步骤得到的显著图。
[0025]图3为本发明中的背景显著图。
[0026]图4为本发明中的颜色对比显著图。
[0027]图5为本发明中的紧凑度显著图。
[0028] 图6为召回率曲线和F值图。
【具体实施方式】
[0029]下面结合说明书附图对本发明作进一步的详细说明。
[0030]本发明中使用的英文缩略语的含义如下：
[0031 ] BS表不背景显著度（Background Saliency);
[0032] CCS表不颜色对比显著度（Color Contrast Saliency);
[0033] CS表示紧凑度显著度（Compactness Saliency);
[0034] FS表示前景显著度（Foreground Saliency)。
[0035] 本发明解决其技术问题所采取的技术方案是：引入了一个自底向上的显著性检测 框架，使用相对于的背景候选区域的对比。输入图像首先被过度分割成许多均匀的分割块。 由于背景区域往往占据图像中比较多的区域，并一直延伸到图像的边缘，由此可得到背景 的显著图，如图2(c)，离图像中心远的区域的背景显著值高。除了通过利用背景区域的空间 分布，来对背景的显著性进行编码，本发明也采用了颜色对比度和紧凑度，对前景显著性进 行编码。背景候选区域根据背景的显著图被抽象后，如图2(d)所示，通过计算每一个分割块 相对于其背景区域的对比度，最后得到颜色对比显著值。紧凑性显著值是根据完形法则产 生，说明形状规则的区域往往更加显著，反之则不。结合这三个显著图，能够得到最终的显 著图，如图2(f)。
[0036]方法流程包含以下步骤：
[0037]步骤1:输入图像I;
[0038]步骤2:对图像I进行过度分割；
[0042] 步骤6:根据上述步骤3、4、5分别得到的SBs(ri)，S(xs(ri)，Scs(ri)，通过公式S(ri)= S'ccs(ri) · S，cs(ri)，得至Ij最终的显著性，其中S，ccs(ri) = Sccs(ri) · SFs(ri)，S，cs' = Scs (ri) · SFs(ri)，SFs(ri) = exp{-a · SBs(ri)}。
[0043] 进一步，上述步骤2包括如下步骤：
[0044] 步骤2-1:将输入图像I转换成视觉上均匀的CIELAB颜色空间；
[0045] 步骤2-2:用一个17维滤波器对步骤2-1的结果进行卷积，这个滤波器由高斯滤波 器，高斯导数滤波器，拉普拉斯算子的高斯滤波器组成；
[0046] 步骤2-3:采用欧氏距离K-均值聚类算法对图像进行无监督聚类；
[0047] 步骤2-4:每个像素被分配到最近的群集中心，以产生过分割图像。
[0048] 如图2(b)所示，第一步是，根据原始图像的原始像素强度生成一系列分割块。其 中，较小的均匀的分割块，在图像中有明显边界的区域，对检测显著对象有用。
[0049] 输入图像首先被转换成视觉上均匀CIELAB颜色空间，然后用一个17维滤波器进行 卷积，这个滤波器由高斯滤波器，高斯导数滤波器，拉普拉斯算子的高斯滤波器组成。然后 采用欧氏距离K-均值聚类算法进行无监督聚类。最后，每个像素被分配到最近的群集中心， 以产生过分割图像。虽然这些被分割的区域往往是大小和形状高度不规则的，但是本发明 的优点是，它可以将具备相似的外观的且较大的均匀区域聚合起来，同时将异质区域再分 成许多更小的块。
[0050] 具体的获取图像显著值的实现过程如下：
[0051] (1)背景显著图的获取
[0052] a.如图3(a)所示给定一个大小为WXH的输入图像I，W和H分别是图像的宽度和高 度。首先建立坐标系，以图像左上点为坐标原点建立坐标系，水平和垂直方向分别表示:X轴 和y轴，带阻滤波器Fh(x，W)在X轴上定义：
[0053]
[0054] X是X轴坐标，参数τ控制上限，η控制带阻滤波器的形状。
[0055]匕类似地在7轴上定义?'?(7，!〇。
[0056] c .如图3 (c )所示，区域ri的（X，y )上有L个像素。计算ri的归一化空间分布 /<U：)，,分别通过计算X轴，y轴上的像素数得到。
[0057] d.背景显著性定义为Γι中所有像素的加权平均滤波响应：
[0058]
[0059]因此，那些远离图像中心且大而均匀的区域将比中心区域，分配到更多的显著值， 如图3(d)所示。
[0060] (2)颜色显著图的获取
[0061]经常发生这样的情况:显著对象没有正好处于图像的中心，但是目标区域的颜色 相对于整个场景仍然大有不同。所以本发明中选择选择基于候选背景区域的对比度进行计 算，而不是基于整个图像来计算显著值。根据上述步骤三中的BS，选择具有较高的显著性和 较大尺寸的作为候选背景区域。
[0062]选定{81，82，"_%}作为候选背景区域。然后计算在1?^颜色空间里分割块^的色彩 差异显著(CCS):
[0065] (3)紧凑度显著图的获取
[0066] 背景区域分布在整个图像，表现出高度的空间异质性，而前景对象通常更紧凑并 且有规则的形状。根据这样的性质，本发明定义紧凑显著性(CS):
[0067]
[0068] 其中，L是η中的像素数，Df⑴，Df 〇；)分别是ri在X轴，y轴上的像素数分布，N (·)表示高斯核函数，
，参数Pi为核函数中心，Oi设为min{W，H}。图5展 示了 CS的计算结果
[0069] (4)综合显著图的获取
[0070]本发明中，假设三种测量是独立的。一开始将BS，CCS和CS规范化至[0，1]。在实践 中发现，BS在表示背景时，具有更高的辨别力。因此，本发明使用一个指数函数以强调前景 显著度(FS)为：
[0071] SFS(ri)=exp{-a · SBS(ri)}，其中，α是缩放因子。
[0072]若仅使用CCS和CS可能突出一些背景区域（如图2所示），产生了错误的显著性分 配。为了弥补这一缺陷，本发明中乘FS对其进行修改，以消除背景的影响干扰：
[0073] S'ccs(ri) = Sccs(ri) · Sfs(Ti)
[0074] S'cs'=Scs(ri) · SFS(ri)
[0075] 最终的显著图定义为:S(ri) = S'ccs(ri) · S'cs(ri)
[0076] 显著图S(ri)归一化到固定范围[0,255]，Γι的每个图像像素分配到一个显著值S (ri)〇
[0077] 召回率(Recall)和精度(precis ion)是用来评价结果的质量的两个度量值。其中 召回率是是检索出的相关文档数和文档库中所有的相关文档数的比率，衡量的是检索系统 的查全率。精度是检索出的相关文档数与检索出的文档总数的比率，衡量的是检索系统的 查准率。可以将这两个度量值融合成一个度量值一一F值(F-measure)。用本发明的方法在 MSRA数据库中进行大量测试得到显著图。绘制本发明的方法与其他12种方法的精度一召回 率曲线和F值图，如图6所示，发现本发明的方法无论是在召回率还是精度方面都高于其他 12种方法，说明本发明的方法有效性优于其他12种方法。
【主权项】
1. 一种基于背景对比的显著性检测方法，其特征在于包括如下步骤： 步骤1:输入图像I; 步骤2:对图像I进行过度分割；/<(λ·)分别通过计算轴上的像素数得到；计算图像颜色对比显著性 Sccsir,),^ , ^ df = (c!! {r;)-cb(B ,))1 , cK (), cG( · )，cB( ·)分别是RGB信道里平均颜色；紧凑度显著性Scs(ri)，其中Ι^Γι中的像素数，A.:_^⑴，O'）分别是r^x轴，y轴上的像素 数分布，参数W为核函数中心，〇i设为min{W，H}; 步骤6:根据上述步骤3、4、5分别得到的SBs(ri)，S(xs(ri)，Scs(ri)，通过公式S(ri) = S'ccs (ri) · S'cs(ri)，得到最终的显著性，其中S'ccs(ri) = Sccs(ri) · SFs(ri)，S'cs，=Scs(ri) · Sfs (ri)，SFs(ri) = exp{-a · SBs(ri)}〇2. 根据权利要求1所述的一种基于背景对比显著性检测的方法，其特征在于所述步骤2 包括如下步骤： 步骤2-1:将输入图像I转换成视觉上均匀的CIELAB颜色空间； 步骤2-2:用一个17维滤波器对步骤2-1的结果进行卷积，这个滤波器由高斯滤波器，高 斯导数滤波器，拉普拉斯算子的高斯滤波器组成； 步骤2-3:采用欧氏距离K-均值聚类算法对图像进行无监督聚类； 步骤2-4:每个像素被分配到最近的群集中心，以产生过分割图像。
【文档编号】G06T7/00GK106056579SQ201610339693
【公开日】2016年10月26日
【申请日】2016年5月20日
【发明人】周全, 周安琪, 张弛, 张一弛, 丁媛, 高广谓, 周亮
【申请人】南京邮电大学