基于Manifold Ranking和结合前景背景特征的显著性检测方法
【专利摘要】本发明提出了一种基于Manifold Ranking和结合前景背景特征的显著性检测方法，包括：S1，获取图像数据，对图像数据的前景特征和背景特征进行流形排序，获得每个图像数据中的超像素部分的显著值，得到该图像数据的显著图；S2，对图像数据的前景特征和背景特征的显著图进行二值化，获得图像数据的前景特征的前景种子和背景特征的背景种子；S3，对前景种子和背景种子作为最终查询节点进行流形排序，对候选查询节点进行计算，将计算结果进行排序获得最终的排序值，根据排序值得到图像数据中的显著图。本发明融合全局对比度和以边界信息为参考的背景特征，并结合多次流形排序算法为计算显著值提供了更准确的查询节点。
【专利说明】
基于Man i fold Ranki ng和结合前景背景特征的显著性检测 方法
技术领域
[0001 ] 本发明涉及计算机图像特征提取领域，尤其涉及一种基于Manifold Ranking和结 合前景背景特征的显著性检测方法。
【背景技术】
[0002] 图像的显著性检测（Saliency Detection)，简单来说是指将图片中的显著性区域 (前景)从非显著性区域(背景）中分离出来。作为一种图像预处理技术，可以用于后期的图 像分割、物体检测、自适应图像压缩、基于内容的图像检索、视频目标检测等等领域。显著性 检测算法可以分为两类:眼动点预测模型和显著目标检测模型。眼动点检测模型主要为了 检测出图像中引起人眼注意的显著位置，以此分析和指导人的注意力；而显著目标检测模 型则是为了准确地从图像中提取出显著目标区域，以此为基础进行更为复杂的图像处理。 显著性检测模型根据实现思路的不同可以分为两种：自上而下和自下而上。自上而下的方 法是由任务驱动的，从高层语义入手，如目标检测等；自下而上的方法是由数据驱动的，从 底层特征入手，如颜色、边缘、纹理信息等。
[0003] 近几年来，越来越多新颖的算法被应用到显著值计算这个环节中来，为显著性检 测的算法研究提供了一些新的角度。最直观的显著性检测方法是基于对比度的算法，提出 了一种基于全局对比度的显著区域检测算法Region-based Contract(以下简称RC算法）。 该算法采用图像各分割区域之间的颜色距离作为全局对比度的衡量方法。
[0004] 然而，RC算法没有体现区域特征的空间分布对显著性的重要影响，即特征分布越 集中显著性越大，并且在处理复杂纹理背景的图像时效果一般。基于此，本领域技术人员又 提出了一种Saliency Filter算法（以下简称SF算法）。该算法使用改进的超像素分割方法 来进行图像预处理，并提出了结合颜色独立性和空间颜色分布的显著性计算方法。此外，其 他技术人员提出了一种基于闭环图和背景先验的显著检测方法（以下简称MR算法），将 Manifold Ranking算法引入到显著性检测的应用中来。将图像抽象为一个基于超像素的闭 环图模型，然后基于Manifold Ranking算法分两个阶段来计算每个节点的显著值。
[0005] 然而MR算法中的两阶段计算方法都依赖于第一步背景种子的选取。使用图像的边 界节点作为初始查询节点以求得第一阶段的图像显著值，又使用第一阶段的计算结果作为 第二阶段的输入，这样过多依赖了图像的背景特征而忽略了前景特征。对此，这就亟需本领 域技术人员解决相应的技术问题。
【发明内容】
[0006] 本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种基于 Manifold Ranking和结合前景背景特征的显著性检测方法。
[0007] 本发明主要关注自下而上的显著目标检测模型。
[0008] 为了实现本发明的上述目的，本发明提供了一种基于Manifold Ranking和结合前 景背景特征的显著性检测方法，包括：
[0009] si，获取图像数据，对图像数据的前景特征和背景特征进行流形排序，获得每个图 像数据中的超像素部分的显著值，得到该图像数据的显著图；
[0010] S2,对图像数据的前景特征和背景特征的显著图进行二值化，获得图像数据的前 景特征的前景种子和背景特征的背景种子；
[0011] S3,对前景种子和背景种子作为最终查询节点进行流形排序，对候选查询节点进 行计算，将计算结果进行排序获得最终的排序值，根据排序值得到图像数据中的显著图。 [0012]所述的基于ManifOId Ranking和结合前景背景特征的显著性检测方法，优选的， 所述Sl包括：
[0013] Sl-I，将图像数据分割为η个超像素区域，以每个超像素为节点建立闭环图G，计算 度矩阵D和权重矩阵W;
[0014] S1-2,计算矩阵A=(D-CtW)-1并将其对角元素设置为0;
[0015] S1-3,基于背景特征的流形排序：以四个方向的边界节点作为查询节点进行流形 排序计算，由公式
，Sbg = St X Sb X Si X Sr得到背景特征显著图，以自适应阈值 二值化后得到背景种子Queryl;
[0016] S1-4,基于前景特征的流形排序，根据公式Sfg = AX [1，1，. . .，1]τ，将所有节点作 为查询节点进行流形排序计算，得到前景特征显著图，以自适应阈值二值化后得到前景种 子Query2〇
[0017]所述的基于Manif〇Id Ranking和结合前景背景特征的显著性检测方法，优选的， 所述S2包括：
[0018] S2-1，根据公￥
计算初始前 景fgQuery、初始背景bgQuery，候选查询节点candidate;
[0019] S2-2,根据公式
[0020]
[0021]判断是否符合场景1或场景3,若符合场景1或场景3,令y = Queryl，直接跳到S3;否 贝1J，执行S2-3;
[0022] S2_3，y初始化为初始前景y = fgQuery，对于每个候选节点candidate，根据公式 ;|J断其是否为查询节点。 L〇〇23」所述的基十Manifold Ranking和结合前景背景特祉的显著性检测方法，优选的， 所述S3包括：
[0024] S3-1，利用公式产=Ay计算各个节点的排序值，得到的排序值即为各个超像素的 显著值，并以此求得图像数据的显著图。
[0025]所述的基于Manifold Ranking和结合前景背景特征的显著性检测方法，优选的， 所述候选节点满足以下两个要求之一的节点，也设为查询节点：
[0026] (1)亮度参数(L分量)更接近初始前景；
[0027] (2)颜色参数(a、b分量)更接近初始前景。
[0028] 综上所述，由于采用了上述技术方案，本发明的有益效果是：
[0029] 图像显著性检测越来越得到广泛的研究和关注，然而仍然存在许多问题尚待改 进。本发明基于Manifold Ranking(MR)算法提出了一种结合前景背景特征的显著性检测方 法，融合全局对比度和以边界信息为参考的背景特征，并结合多次流形排序算法为计算显 著值提供了更准确的查询节点。实验证明，本发明方法与近期算法比较来看取得了不错的 效果，解决了 MR算法存在的部分缺陷。
[0030] (1)除了将背景(边界节点）作为查询节点，还加入基于全局对比度的前景特征。将 两者结合形成最终的查询节点；
[0031] (2)根据前景种子和背景种子，结合亮度、颜色等多种特征，筛选更准确的查询节 占.
[0032]通过实验，本发明的改进方法在效果上取得了一定的提升。下文将依次介绍 Manifold Ranking与显著性检测、基于Manifold Ranking和结合前景背景特征的显著性检 测算法、实验结果与分析等内容。
[0033]本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变 得明显，或通过本发明的实践了解到。
【附图说明】
[0034]本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得 明显和容易理解，其中：
[0035]图1是本发明闭环图模型示意图；
[0036]图2是本发明前景种子与特征种子提取场景图；
[0037]图3是本发明总体工作流程图；
[0038] 图4是本发明Lab分量综合判定和分开判定示意图；
[0039] 图5是本发明自适应阈值下各个算法的精确率、召回率、F值柱状图；
[0040] 图6是本发明固定阈值下各个算法的P-R曲线线形图；
[0041] 图7是本发明固定阈值下各个算法的F值曲线线形图。
[0042]
【具体实施方式】
[0043] 下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终 相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附 图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
[0044] 在本发明的描述中，需要理解的是，术语"纵向"、"横向"、"上"、"下"、"前"、"后"、 "左"、"右"、"竖直"、"水平"、"顶"、"底" "内"、"外"等指示的方位或位置关系为基于附图所 示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装 置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限 制。
[0045] 在本发明的描述中，除非另有规定和限定，需要说明的是，术语"安装"、"相连"、 "连接"应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可 以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据 具体情况理解上述术语的具体含义。
[0046] 如图1所示，Manif〇Id Ranking(流形排序)算法以图模型来模拟数据集内在的流 形结构，所有的数据点通过这个图模型来将它们的排序值传播给邻接点，直到排序值收敛 到稳定状态。它的具体算法描述如下：
[0047] 给定一个数据集 X={xi, . . .，xi，xi+i, . . .，xn}eRmXn，i 是数据的下标，Ki彡 η。包 括已标记的查询数据以及需要进行排序的未标记数据。令f:X-Rn表示一个排序方程，其中 每个值fi表示数据点Xi的排序值。f可以看作一个向量f=[fi,...，f n]T。令y=[yi,...，yn]T 表示一个标签向量，其中当Xi为查询节点时yi = I，否则yi=〇。流形排序算法步骤如下：
[0048] (1)构建一个图G(V，E)，其中节点V为数据集X，边E的权重表示为相似度矩阵W = [Wij]nxn。]!为节点数，i、j是节点的下标，1彡i、j彡η)计算图的度矩阵D = diag{di, . . .，dn}， 其中dii= EjWij Jdii指D的对角线元素，j为节点下标，Kj彡n)S是W的归一化矩阵S =『v 2WD^1720
[0049] (2)利用公式f(t+l)=aSf(t) + (l-a)y进行迭代，直到收敛。其中ae[0，l)。
[0050] (3)令f/代表数列出⑴}的极值。最后根据f/对数据点进行排序。
[0051] 序列最终将收敛到如下闭合解:和f*含义相同，t表示当前迭代，t+Ι表示下一次 迭代。
[0052] f*=(I-aS)-V (1)
[0053] 其中I为单位矩阵，参数a决定了平滑约束（smoothness constraint)和适应性约 束(fitting constraint)的权重比例。其中平滑约束代表相邻节点之间的排序值不应变化 太大，适应性约束是指最终得到的排序值结果与初始查询要大致接近。
[0054] 公式(1)的非归一化的解为：
[0055] f*= (D-Qff)^1y (2)
[0056]实验证明，应用在显著性检测这一问题中，非归一化的公式（2)比归一化的公式 (1)有更好的实验效果，因此本发明也采用公式(2)进行流形排序计算。
[0057] 令 A= (D-QW)-1^lJ:
[0058] f* = Ay (3)
[0059] 矩阵A可以看作通过排序算法学习到的最优相似度矩阵，它相比W更好地描述了节 点之间的关联程度。第i个节点的排序值可以看成是矩阵A的第i行与向量y的内积。
[0060] 流形排序算法提出后，被相继应用在文档搜索、图像搜索等领域。在MR算法中，作 者将流形排序的思想结合到显著性检测中来。文中将图像抽象为一个闭环图模型，如图1为 闭环图模型
[0061] 其中，（1)对一个图像，使用SLIC超像素方法将图像分割成若干超像素，每个超像 素作为图G中的一个"节点"；（2)边界节点之间两两有边，每个节点都与其邻节点、间接邻节 点之间有边；（3)边的权重定义为两节点的平均Lab颜色的欧几里得距离，具体计算公式如 下：
[0062]
(4)
[0063]其中C1是节点i中包含所有像素点的Lab平均颜色，Cj是节点j中包含所有像素点的 Lab平均颜色。
[0064] 基于以上闭环图模型，选取初始显著节点作为查询节点，可以通过Manifold Ranking算法中的公式(2)得到每个节点的排序值。这个排序值即作为该节点所包含像素 的显著值，以此得到图像的显著图。
[0065]前景和背景特征的流形排序
[0066] MR算法提出的两阶段显著性检测方法是以背景特征为查询节点的流形排序，其背 景特征从四个方向的边界节点获取。在公式(2)中令 yi=l，i是上边界的节点，得到以上边 界节点为查询种子的排序结果ft。那么以上边界节点为背景特征的图像显著值S t可通过公 式(5)计算得到。
[0067]
(5)
[0068] 其中7f是ft的归一化到[0，1]之间的结果。同理可以得到以其他三个边界节点作 为背景特征得到的显著值Sb 这四个显著图可以通过公式(6)进行整合，得到的结果 即为以背景特征为先验的显著值Sbg。将显著图Sbg二值化，得到背景特征种子节点（后文简 称"背景种子"）。&8既可称为显著值，也可称为显著图。严格来说，Sbir^产等同，是一个长度 为η的矩阵，矩阵中的值代表了各个节点的显著值。显著值的图形化表示就是显著图。公式 (6)既可以认为是几个矩阵的乘法，也可以认为是显著图的结合。
[0069] Sbg = St X Sb X Si X Sr (6)
[0070] 然而由于MR算法只考虑了背景特征而没有考虑全局前景特征，本发明方法基于MR 算法中的闭环图模型，将所有节点设为查询节点，即在公式(2)中令7=[1，1，...，1]\以此 进行流形排序得到一个显著图S fg，该显著图即为考虑全局特征得到各个节点的显著值，计 算公式如公式（7)。将前景显著图Sfg二值化，得到前景特征种子节点（后文简称"前景种 子"）。
[0071]
(7)
[0072]实验发现，部分图片的前景种子与背景种子有着很大的相似性(场景1)，如图2中 的(a)(b)组图片:此类图片的显著区域既与背景特征区别显著，也在全局范围内有着排序 靠前的特征显著性。因此使用前景或者背景种子作为查询节点，都可以得到良好的实验结 果。
[0073] 然而，大部分的前景种子与特征种子存在部分差异(场景2)，如图2中的（C)(d)组 图片:有时前景种子作为查询节点更准确，有时背景种子表现更佳。因此不能单纯使用前景 或背景种子进行计算，需根据一定规则将两者进行有机结合。3.2节将详细阐述如何进行结 合。
[0074] 图2图像的原图（左）、背景种子(中）、前景种子(右）
[0075]特别地，还存在个别图片的前景种子与背景种子存在显著差异(场景3)，如图2中 的（e)(f)组图片:此类图片的前景种子与背景种子的交集非常有限，即以边界节点特征作 为先验与计算全局对比度得到的显著区域几乎完全相反。通过实验发现，背景特征种子往 往更贴近理想的查询节点，因此对于这类图片，我们直接采取背景特征种子作为最终查询 节点。
[0076]结合前景和背景特征的显著性检测
[0077]针对上文描述的前景特征与背景特征的不同表现，本发明提出了一种结合背景和 前景特征的显著性检测方法。通过MR算法得到背景特征显著图，再以公式(2)设全1的查询 节点y得到前景特征显著图。对前景特征显著图和背景特征显著图分别进行二值化，得到前 景种子和背景种子。结合这两类种子节点作为最终查询节点进行流形排序，即可得到更准 确的显著值。过程如图3所示。
[0078]得到前景种子和背景种子的前提下，关于如何计算选取最终查询节点，本发明提 出了一种结合亮度和颜色特征的种子选取规则。
[0079]定义初始前景fgQuery=[qi，q2, · · ·，qn]T，其中qi = 0或UfgQuery为两次被标记为 显著区域的节点，用于计算图像前景特征，也作为初始查询节点。同理初始背景bgQuery为 两次被标记为非显著区域的节点，用于计算图像背景特征。候选查询节点candidate为待判 定为前景或背景的节点。计算公式如下：
[0080]
[0081]其中Queryl是前景种子，Query2是背景种子。
[0082]首先判断图像的前景种子是否符合3.1中描述的场景1或场景3。若符合，则最终查 询节点y即为背景种子Query 1;否则将y初始化为初始前景fgQuery，然后判断候选查询节点 是否被选为最终查询节点。公式如下：
[0083]
[0084]其中num(Query)表示节种子节点的个数，μ表示初始前景至少占背景种子的比例， 实验中取50%。即当初始前景的节点个数小于背景种子个数的一半时，则认为前景种子与 背景种子的差异过大，初始前景的特征不足以用来作为判断是否显著的参考。因此，当前景 种子与背景种子个数相同，或者初始前景节点数明显不足的情况下，直接采用背景种子作 为最终查询节点。
[0085]对于候选查询节点，根据亮度和颜色两种特征来判定其属于前景还是背景，即是 否被选为查询节点。之所以将亮度参数和颜色参数分开考虑，是针对MR算法中两种表现不 佳的情况：
[0086] (1)显著区域因亮度存在差异，部分亮度较低的区域被判断为非显著区域；
[0087] (2)显著区域因颜色存在差异，部分与背景颜色更洁接近的区域被判定为非显著 区域。针对以上两种情况，候选节点满足以下两个要求之一的节点，也设为查询节点：
[0088] a)亮度参数α分量)更接近初始前景；
[0089] (2)颜色参数(a、b分量)更接近初始前景。
[0090] 图3算法过程示意图
[0091] 具体判断公式如下：
[0092]
[0093] 其中L代表Lab颜色空间中的L分量，AB表示Lab颜色空间中的a、b两个分量。#表 示当前节点与初始前景或初始背景之间L分量的欧氏距离，表示当前节点与初始前景 或初始背景之间a、b分量的欧氏距离。
[0094]图4 Lab分量综合判定和分开判定
[0095] (a)原图（b)背景种子(c)前景种子(d)Lab三个分量综合判定的最终查询节点（e)L 分量和ab分量分别判定的最终查询节点
[0096] 图4展示了两种判定方式得到的查询种子，可以看出，将亮度和颜色分量分开判定 比Lab三个分量综合判定，得到的查询节点更准确。
[0097]算法过程形式化描述
[0098] 综上分析，本发明提出算法的形式化描述如下：
[0099] Input:图像Image
[0100] Output:图像的各个超像素部分的显著值，即得到一个图像的显著图saliencymap
[0101] (1)将图像分割为η个超像素区域，以每个超像素为节点建立闭环图G，计算度矩阵 D和权重矩阵W;
[0102] (2)计算A=(D-CtW)-1并将其对角元素设置为0;
[0103] (3)基于背景特征的流形排序：以四个方向的边界节点作为查询节点进行流形排 序计算，由公式(5) (6)得到背景特征显著图，以自适应阈值二值化后得到背景种子Queryl;
[0104] (4)基于前景特征的流形排序:根据公式(7)，将所有节点作为查询节点进行流形 排序计算，得到前景特征显著图，以自适应阈值二值化后得到前景种子Query2;
[0105] (5)计算查询节点y:
[0106] (a)根据公式（8)计算初始前景fgQuery、初始背景bgQuery，候选查询节点 candidate；
[0107] (b)根据公式（9)判断是否符合场景I (easel)或场景3(case3)，若符合，令y = Query 1，直接跳到第6步;否则，继续下列步骤。
[0108] (c)y初始化为初始前景y = fgQuery，对于每个候选节点candidate，根据公式（10) 判断其是否为查询节点。
[0109] (6)利用公式（3)计算各个节点的排序值，得到的排序值即为各个超像素的显著 值，并以此求得图像的显著图。
[0110] 本发明实验数据集采用的是MSRA数据集的子集，由人工标记了显著区域 GroundTruth (GT )。以下实验中，本发明方法（简写为Our s)三种s tate-〇f-art类算法:MR算 法、SF算法、RC算法进行了对比分析。
[0111] 实验中涉及到几个参数，它们分别是:超像素个数(闭环图节点个数)n，公式(2)中 的调节参数α。本发明实验中，参考MR算法中的设定，取η = 200，α = 〇. 99。
[0112] 实验中，使用了三种常用的评价指标:精确率(Precision)、召回率(Recall)、F值 (F-measure)将本发明算法与其他三种算法进行分析对比。其中，精确率表示算法得出的显 著区域中真实显著区域的比例，召回率表示GT中的显著区域被正确标记的比例。F值则是对 精确率和召回率进行整合的一个综合指标。设β 2 = 〇.3以强调精确率的重要性。
[0113]
[0114] 图5是自适应阈值下各个算法的精确率、召回率、F值；
[0115] 图6是固定阈值下各个算法的P-R曲线；
[0116] 图7是固定阈值下各个算法的F值曲线；
[0117] 图5-7是MSRA-1000数据集上四种算法对比
[0118] 显著图的二值化使用下面两种方式：自适应阈值方式和固定阈值方式。自适应阈 值是指针对每个图片自适应地选择对应该图片的阈值进行分割，实验结果直接使用平均精 确率、召回率和F值的方式来表示。固定阈值是指对所有数据集中的图片，固定阈值为0~ 255,以此获得在不同阈值下的精确率和召回率，一般使用P-R曲线和F值曲线来表示。可以 认为，自适应阈值方式是该算法的最佳表现结果，固定阈值方式体现了算法的平均表现结 果。图5分别是本发明算法、MR算法、SF算法、RC算法在自适应阈值和固定阈值下的实验对 比结果。
[0119] 为了更直观地分析本发明算法在实验效果上的改进，下图展示了 12组本发明算法 得到的显著图与其他三种算法:MR算法、SF算法、RC算法的对比结果，其中GT是人工标记的 显著区域。可以看出，以GT为参照，本发明算法的效果普遍好于其他三种算法。
[0120]各个算法显著图对比结果，
[0121]通过试验看出本发明算法更能够均匀地突出前景，即显著区域的显著值更大而非 显著区域的显著值减小。这是由于本发明结合了前景和背景特征得到的查询节点，采取了 比MR算法(仅由背景特征得到的）更准确的查询节点，使得噪声数据减少，显著与非显著区 域的排序值区分更大。
[0122] 通过试验可以看出本发明算法可以检测到MR算法"丢失"的显著区域，这是由于本 发明方法结合了全局对比度的前景特征。MR算法由于依赖于边界背景特征，容易在以下两 种情况下表现不佳，一是显著区域与边界区域特征近似时，难以区分是否显著;二是当显著 区域由几个特征差异较大的部分组成时，难以区分是否显著。而这两个问题在使用前景特 征进行流形排序时可以得到很好地解决。SF算法和RC算法是基于全局对比度的算法，这两 种算法在后6幅图片中表现比MR好，也可以间接证明这一点。
[0123] 综合来说，使用背景特征先验可以更均匀地突出显著区域，使用前景特征先验可 以检测到更完整的显著区域。本发明方法采取结合前景和背景特征的方式，有效结合了以 上两个优点。
[0124] 当前，许多自下而上的显著性检测方法都主要是计算前景显著物体在局部或整体 区域的显著性，最常使用的方法就是考虑显著物体与其他邻接区域的对比度。该文采用结 合前景特征(全局对比度)和背景特征（图像边界)的方法来进行显著性检测，提出了一种改 进的基于流形排序(Manifold Ranking，MR)的显著性检测方法。与现有方法不同的是，该文 中的方法借鉴闭环图的建模思想，根据图像前景特征和背景特征分别得出不同种子节点， 再通过亮度和颜色特征对两者进行有机结合，筛选出更为准确的查询节点。最后再通过流 形排序算法进行显著值计算，得到图像对应的显著图。实验表明，该文方法相比现有方法具 有一定改进效果，精确率和召回率均有提升。
[0125] 在本说明书的描述中，参考术语"一个实施例"、"一些实施例"、"示例"、"具体示 例"、或"一些示例"等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特 点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不 一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何 的一个或多个实施例或示例中以合适的方式结合。
[0126] 尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解:在不 脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本 发明的范围由权利要求及其等同物限定。
【主权项】
1. 一种基于Manifold Ranking和结合前景背景特征的显著性检测方法，其特征在于， 包括： S1，获取图像数据，对图像数据的前景特征和背景特征进行流形排序，获得每个图像数 据中的超像素部分的显著值，得到该图像数据的显著图； 52, 对图像数据的前景特征和背景特征的显著图进行二值化，获得图像数据的前景特 征的前景种子和背景特征的背景种子； 53, 对前景种子和背景种子作为最终查询节点进行流形排序，对候选查询节点进行计 算，将计算结果进行排序获得最终的排序值，根据排序值得到图像数据中的显著图。2. 根据权利要求1所述的基于Manifold Ranking和结合前景背景特征的显著性检测方 法，其特征在于，所述S1包括： S1-1，将图像数据分割为η个超像素区域，以每个超像素为节点建立闭环图G，计算度矩 阵D和权重矩阵W; S1-2,计算矩阵Ai^-aWr1并将其对角元素设置为0; S1-3,基于背景特征的流形排序：以四个方向的边界节点作为查询节点进行流形排序 计算，由公式$=1- ，Sbg = StXSbXSlXSr得到背景特征显著图，以自适应阈值二值 化后得到背景种子Queryl; 51- 4,基于前景特征的流形排序，根据公式Sfg = AX [1，1，. . .，1]τ，将所有节点作为查 询节点进行流形排序计算，得到前景特征显著图，以自适应阈值二值化后得到前景种子 Query2〇3. 根据权利要求1所述的基于Manifold Ranking和结合前景背景特征的显著性检测方 法，其特征在于，所述S2包括： 52- 1，根据公式计算初始前景 fgQuery、初始背景bgQuery，候选查询节点candidate; S2-2,根据公式判断是否符合场景1或场景3,若符合场景1或场景3,令y = Query 1，直接跳到S3;否则， 执行S2-3; S2-3，y初始化为初始前景y = fgQuery，对于每个候选节点candidate，4. 根据权利要求1所述的基于Manifold Ranking和结合前景背景特征的显著性检测方 法，其特征在于，所述S3包括：S3-1，利用公式f" = Ay计算各个节点的排序值，得到的排序值即为各个超像素的显著 值，并以此求得图像数据的显著图。5. 根据权利要求3所述的基于Manifold Ranking和结合前景背景特征的显著性检测方 法，其特征在于，所述候选节点满足以下两个要求之一的节点，也设为查询节点： (1) 亮度参数(L分量)更接近初始前景； (2) 颜色参数(a、b分量)更接近初始前景。
【文档编号】G06T7/00GK106056590SQ201610355027
【公开日】2016年10月26日
【申请日】2016年5月26日
【发明人】朱征宇, 汪梅, 徐强, 郑加琴, 袁闯
【申请人】重庆大学