一种基于区域描述和先验知识的图像显著性检测方法
【专利摘要】本发明公开了一种基于区域描述和先验知识的图像显著性检测方法，包括以下步骤：(1)对待检测图像进行预分割，生成超像素，得到预分割图像；(2)生成超像素的融合特征协方差矩阵；(3)计算每个超像素的特征差异区域描述符和空间分布区域描述符；(4)计算待检测图像的各像素点的初始显著度值；(5)获取图像先验显著区域及背景区域；(6)计算待检测图像每个像素点的显著度权值；(7)计算每个像素点的最终显著度值。本发明得到的最终显著图能够均匀地突出显著区域，抑制背景噪声干扰，不仅能够在一般图像中得到很好的显著性检测效果，也能处理复杂图像的显著性检测，有利于后续诸如图像关键区域提取等处理。
【专利说明】一种基于区域描述和先验知识的图像显著性检测方法
【技术领域】
[0001] 本发明涉及图像智能处理领域，特别涉及一种基于区域描述和先验知识的图像显 著性检测方法。
【背景技术】
[0002] 随着图像处理技术的快速发展，图像视觉显著性检测成为一个备受关注的课题。 显著性检测广泛应用于图像处理各个领域，比如图像分割、图像检索、物体检测和识别、自 适应图像压缩、图像拼接等。
[0003] 人们在观察一幅图像时，给予图像各区域的关注往往是不均匀的。其中受到更多 关注和引起人们兴趣的区域称为显著对象。心理学和感知等学科研究表明，人们更倾向于 通过显著对象获取图像信息，对图像进行分析、理解。相对于其它区域，显著对象在图像评 价中起到关键作用。此外，通过优先分析和处理显著性区域，能够提高计算资源的利用效 率，因此视觉显著对象的检测具有重要的研究意义。
[0004] 图像显著性检测是检测一个场景中最显著和最吸引注意力的区域，利用每个像 素的不同灰度，表示这个像素属于显著区域的可能性，其输出结果通常是一幅被称为显著 图的灰度图，显著图中每个像素的灰度值被称为显著度值。现有进行显著性检测的方法分 为两大类。一类是基于注视点预测的模型；另一类是基于提取和分割显著物体的模型。本 发明所涉及的方法属于后一类。这类方法，主要是通过对分割区域与邻域之间的差异度进 行比较，来计算分割区域的显著度值。
[0005] 下面对国内外关于图像显著性检测的方法和专利做相关介绍。T. Liu等人于2011 年在国际模式识别顶级期刊ΡΑΜΙ期刊中发表了"Learning to detect a salient object" 一文。该方法通过条件随机场理论（Conditional random field),利用多尺度对比度、中心 四周直方图以及颜色空间分布等特征学习用户感兴趣的显著区域，通过穷举算法在显著图 上搜索目标矩形。该算法检测到目标物体的准确率高，但是搜索过程耗时长。
[0006] Achanta等人在2009年的计算机视觉国际会议CVPR会议发表了 "Frequency-tuned Salient Region Detection" 一文，文中所述方法的原理是将图像通过 一个带通滤波器滤波，把高频的噪声和细节，以及低频的均匀背景去除掉。具体实现是首先 对原图进行高斯模糊得到清晰度较低的图像，同时，计算整幅图像的平均值，然后两者相减 取绝对值，得到最后的显著图。该方法提取出的Z. Liu等人在2009年的图像处理期刊IET 发表了"Efficient saliency detection based on Gaussian models"一文，该文提出的显 著性模型是以高斯分布模型作为基础建立的，该模型首先利用均值飘移算法在Luv颜色空 间中把图像预分割为不同区域，然后利用一系列高斯分布模型描述各个区域，并计算每个 像素与不同区域之间的颜色相似程度，再计算各区域之间的颜色距离以及空间距离，分别 形成颜色显著性图和空间显著性图。最后由两者相结合形成最终的显著性图。该方法仅仅 利用了图像的颜色特征，导致最终的显著图中可能含有大量背景噪声干扰。
[0007] 区域具有清晰度较高且边缘清晰的特点，而且算法简单，运算耗时少。但该方法具 有一个明显的缺点，当背景稍微复杂时，显著性检测效果会变得很不理想。
[0008] Z. Liu等人在2009年的图像处理期刊 IET发表了"Efficient saliency detection based on Gaussian models"一文，该文提出的显著性模型是以高斯分布模型作为基础建立 的，该模型首先利用均值飘移算法在Luv颜色空间中把图像预分割为不同区域，然后利用 一系列高斯分布模型描述各个区域，并计算每个像素与不同区域之间的颜色相似程度，再 计算各区域之间的颜色距离以及空间距离，分别形成颜色显著性图和空间显著性图。最后 由两者相结合形成最终的显著性图。该方法仅仅利用了图像的颜色特征，导致最终的显著 图中可能含有大量背景噪声干扰。
[0009] 目前我国在该领域相关专利有：基于色彩直方图和全局对比度的图像视觉显著性 计算方法（专利号201110062520. 1)。该方法同时考虑了全局对比度和空间相干性。但是 由于仅利用了颜色直方图和空间关系，而且得到的显著图是基于分割区域而非像素，使得 最终的显著图比较粗糙，并且在背景较为复杂时检测结果不太理想。
[0010] 综上所述，现有基于分割区域的显著性检测方法大部分仅利用图像的颜色特征， 导致最终生成的显著图比较粗糙，可能含有大量背景噪声干扰，而且对背景复杂的图像显 著性检测效果较差。
【发明内容】
[0011] 为了克服现有技术的上述缺点与不足，本发明的目的在于提供一种基于区域描述 和先验知识的图像显著性检测方法，能够使图像的显著区域均匀地凸显出来，并有效地抑 制背景噪声干扰，对背景较复杂的图像也能得到良好的显著图检测结果。
[0012] 本发明的目的通过以下技术方案实现：
[0013] 一种基于区域描述和先验知识的图像显著性检测方法，包括如下步骤：
[0014] (1)对待检测图像进行预分割，生成超像素，得到预分割图像；
[0015] (2)将每个像素点在CIELab色彩空间中的三个颜色特征和四个纹理特征，采用非 线性的方法，生成超像素的融合特征协方差矩阵；
[0016] (3)计算每个超像素的特征差异区域描述符和空间分布区域描述符；
[0017] (4)利用超像素的特征差异区域描述符和空间分布区域描述符，计算待检测图像 的各像素点的初始显著度值；
[0018] (5)基于显著点的先验知识，获取图像先验显著区域及背景区域；
[0019] (6)根据超像素与背景区域的颜色距离，计算待检测图像每个像素点的显著度权 值；
[0020] (7)将步骤￠)中得到的各像素点的显著度权值进行归一化后，与初始显著度值 相乘，计算得到每个像素点的最终显著度值。
[0021] 步骤（1)所述对图像进行预分割，具体为采用自适应SLIC算法对图像进行预分 害I]，包括以下步骤：
[0022] (1-1)计算图像复杂度及分割数量N ;
[0023] 首先将待检测图像转化为灰度图，然后计算0°，45°，90°，135°四个方向的灰 度共生矩阵，再计算四个方向上灰度共生矩阵的能量、熵、相关性和均匀度四个常用特征， 根据下式分别计算0°，45°，90°，135°四个方向的复杂度，
[0024] GrayComplexity(α) = entropy (α)+homogeneous(α)-energy (α)-correlati on ( α )
[0025] 其中，α的取值为1、2、3、4,分别对应0°，45°，90°，135°四个方向；
[0026] 对四个方向上的复杂度加和求平均，得到图像复杂度，计算公式如下：
[0027]
【权利要求】
1. 一种基于区域描述和先验知识的图像显著性检测方法，其特征在于，包括如下步 骤： (1) 对待检测图像进行预分割，生成超像素，得到预分割图像； (2) 将每个像素点在CIELab色彩空间中的三个颜色特征和四个纹理特征，采用非线性 的方法，生成超像素的融合特征协方差矩阵； (3) 计算每个超像素的特征差异区域描述符和空间分布区域描述符； (4) 利用超像素的特征差异区域描述符和空间分布区域描述符，计算待检测图像的各 像素点的初始显著度值； (5) 基于显著点的先验知识，获取图像先验显著区域及背景区域； (6) 根据超像素与背景区域的颜色距离，计算待检测图像每个像素点的显著度权值； (7) 将步骤￠)中得到的各像素点的显著度权值进行归一化后，与初始显著度值相乘， 计算得到每个像素点的最终显著度值。
2. 根据权利要求1所述的基于区域描述和先验知识的图像显著性检测方法，其特征在 于，步骤（1)所述对图像进行预分割，具体为采用自适应SLIC算法对图像进行预分割，包括 以下步骤： (1-1)计算图像复杂度及分割数量N; 首先将待检测图像转化为灰度图，然后计算0°，45°，90°，135°四个方向的灰度共 生矩阵，再计算四个方向上灰度共生矩阵的能量、熵、相关性和均匀度四个常用特征，根据 下式分别计算0°，45°，90°，135°四个方向的复杂度， GrayComplexity( a ) = entropy(α)+homogeneous(α)-energy(α)-correlation ( α ) 其中，α的取值为1、2、3、4,分别对应0°，45°，90°，135°四个方向； 对四个方向上的复杂度加和求平均，得到图像复杂度，计算公式如下：
分割数量Ν由下式计算： N = 30Χ (GrayCompleixty+1) (1-2)将待检测图像从RGB色彩空间转换为CIELab色彩空间； (1-3)利用SLIC算法将图像分割为N个超像素，得到预分割图像。
3. 根据权利要求2所述的基于区域描述和先验知识的图像显著性检测方法，其特征在 于，步骤（2)所述将每个像素点在CIELab色彩空间中的三个颜色特征和四个纹理特征，采 用非线性的方法，生成超像素的融合特征协方差矩阵，具体为： (2-1)提取每个像素点在CIELab色彩空间中的颜色和纹理特征； 分别求预分割图像在0°，45°，90°，135°四个方向上的Gabor纹理灰度图，并计算 每个像素点在四个方向上的Gabor纹理值；将颜色L、a、b以及四个方向上的Gabor纹理灰 度值gi，g2, g3, 84组合，形成每个像素点的7维特征向量f = (L，a, b, gp g2, g3, g4); (2-2)生成第i个超像素氏的融合特征协方差矩阵; 采用非线性的方法，按照下式把7维特征向量生成7 X 7的特征协方差矩阵€λ<，以表征 超像素氏的特征：
其中，，表示预分割图像中超像素氏的融合特征协方差矩阵，fj表示超像素氏中的 第j个像素点的7维特征向量，表示Ri的特征向量平均值，η表示氏中像素点的数量；j =l、2、3...n ;i = 1、2、3…N。
4. 根据权利要求3所述的基于区域描述和先验知识的图像显著性检测方法，其特征在 于，步骤（3)所述计算每个超像素的特征差异区域描述符和空间分布区域描述符，具体为： (3-1)计算预分割图像中超像素&的特征差异区域描述符￡)<，以衡量超像素Ri与其 他超像素的特征差异程度，具体的公式为：
其中，Pi, pt分别代表超像素氏，Rt的空间质心位置，t = 1、2、3…N ;w(Pi, pt)是一个 高斯分布形式的权值系数，其大小和超像素的空间位置有关，用于增强邻近超像素的影 响；1/Zi是归一化因子，以保证权值系数之和为1，SP
< 是一个控制参数； ，(：&)表示两个超像素特征协方差矩阵
间的距离；| |Pi_pt| |是超像素 氏，Rt的空间质心之间的欧式距离； (3-2)计算预分割图像中超像素氏的空间分布区域描述符1?，用以度量超像素氏的 空间分布程度，该值越小表明氏空间分布越紧凑，具体的公式为：
其中，I |Pi-ptl I表示超像素 Ri，Rt之间的空间欧氏距离，表示Ri和Rt特征上 的相似性权值系数，〃/,,)表示是利用特征的一维统计特性得到的马氏距离。
5. 根据权利要求4所述的基于区域描述和先验知识的图像显著性检测方法，其特征在 于，步骤（4)所述利用超像素的征差异区域描述符和空间分布区域描述符，计算待检测图 像的各像素点的初始显著度值，具体为： 首先将特征差异区域描述符和空间分布区域描述符￡5,.归一化到[〇，1]之间，再计 算待检测图像的超像素 Ri的粗显著度值Si，得到粗显著图，最后使用高维高斯滤波器对显 著区域进行升采样，得到超像素氏中的第j个像素点的初始显著度值6 〇
6. 根据权利要求5所述的基于区域描述和先验知识的图像显著性检测方法，其特征在 于，所述粗显著度值Si由下式计算：
其中，τ是用来调节空间分布区域描述符和特征差异区域描述符权重的参数，τ越大 空间分布区域描述符的影响越小，其取值根据实际情况选取。
7. 根据权利要求6所述的基于区域描述和先验知识的图像显著性检测方法，其特征在 于，步骤（5)所述基于显著点的先验知识，获取图像先验显著区域R in及背景区域，具体 为： 利用颜色增强Harris角点检测方法，找到显著区域的角点作为先验显著点，然后用一 个凸包把所有先验显著点包含在内，从而确定出先验显著区域Rin，其他区域作为背景Rwt， 得到先验显著图。
8. 根据权利要求7所述的基于区域描述和先验知识的图像显著性检测方法，其特征在 于，步骤（6)所述根据超像素与背景区域的颜色距离，计算待检测图像每个像素点的显 著度权值，具体为： (6-1)计算待检测图像的背景区域颜色cf"; (6-2)计算预分割图像中超像素氏的显著度权值Xi :
其中，argminlh-表示最小颜色距离，是预分割图像中超像素氏的平均颜色Ci与 先验显著图中背景区域分割块平均颜色cf…之间最小的欧氏距离，K(i，Rin)是控制参数； (6-3)计算预分割图像中超像素氏中的第j个像素点的显著度权值λ』： 人 j - X i 〇
9. 根据权利要求8所述的基于区域描述和先验知识的图像显著性检测方法，其特征在 于，步骤（6-1)计算待检测图像的背景区域颜色cf" ?具体为： 用mean-shift算法，根据相似度将原图像中的背景区域划分割为β个分割块，再根据 下式计算处于背景区域ICt的分割块的平均颜色ef* :
其中，1?'1;表示第1^个分割块，1(=1、2、3-0;巧表示像素1"1的颜色向量，|1^ 1;|表 示V k中像素总个数。
【文档编号】G06T7/40GK104103082SQ201410251160
【公开日】2014年10月15日 申请日期:2014年6月6日 优先权日:2014年6月6日
【发明者】王伟凝, 蔡冬, 姜怡孜, 韦岗 申请人:华南理工大学