基于图模型的显著性目标检测方法
【专利摘要】本发明涉及一种基于图模型的显著性目标检测方法，首先，使用MRF全局势能最小化的图像平滑处理，提高六边形排列迭代聚类HAIC算法的聚类效果；利用基于改进的图模型进行图像分割时，动态设置阈值使得颜色上相似且空间连通的区域更好地分割到同一区域；使用吸引子传播聚类方法对边缘丰富的区域进行合并，改善图像边缘过分割现象。其次，根据超像素之间的流形结构，采用流形排序算法对得到的显著图进行优化，能在最终的显著图中进一步突出整个显著区域。
【专利说明】
基于图模型的显著性目标检测方法
技术领域
[0001] 本发明属于计算机数据图像处理，具体涉及一种基于图模型的显著性目标检测方 法。
【背景技术】
[0002] 随着图像数据的爆炸式增长，如何快速有效地解译图像内容成为图像处理中越来 越重要的部分，显著性目标检测作为计算机视觉领域用来降低计算复杂度的重要预处理步 骤，可以快速地锁定图像中的目标区域，实现对图像内容的高效解析，帮助计算机合理地分 配图像处理所需的资源，同时还能加深我们对人类视觉特性的认知与理解。
[0003] 现有的显著性目标检测方法分为两类:一类是自底向上目标驱动的模型，通常基 于底层视觉信息，因此可以有效检测细节信息，而不是全局形状信息。另一类是自顶向下任 务驱动的模型，针对训练样本中有代表性的特征，检测结果可能会比较粗糙，缺少细节信 息。文南犬 "Sal iency Detection via Graph-Based Manifold Ranking · 2013IEEE Conference on Computer Vision and Pattern Recognition."提出了一种基于流形排序 的显著性检测方法，在超像素聚类的基础上，把图像边缘的超像素看作背景进行流形排序 得到初始的显著图。再利用流形排序优化初始显著图得到最终的显著图。但是该方法忽略 了超像素之间的相关性，容易导致其不能完整地突出显著性目标，同一个目标中的显著值 不一致等情况。
【发明内容】
[0004] 要解决的技术问题
[0005] 为了避免现有技术的不足之处，本发明提出一种基于图模型的显著性目标检测方 法。
[0006] 技术方案
[0007] -种基于图模型的显著性目标检测方法，其特征在于步骤如下：
[0008] 步骤1:采用马尔科夫随机场MRF对需要处理的图像进行平滑处理；
[0009] 步骤2:采用六边形排列迭代聚类HAIC算法平滑处理后的图像进行超像素聚类；
[0010] 步骤3:利用图模型进行图像分割，使得在颜色上相似且空间联通的区域被分割到 同一区域，过程如下：
[0011]步骤3a:将超像素聚类后的图像映射为带权无向图其中VA无向图 的顶点的集合，Ei为连接边的集合;初始化每个超像素^，1￡[1，仏]作为一个子图节点，对 应超像素的标号为Id(Vl) = i;每个超像素与其相邻超像素之间存在边，定义连接边的权值 为：
[0012]
[0013]其中I I I I表示欧氏距离，?分别代表超像素^，％1，圬[1，犯]在(：此1^颜色 空间的颜色均值；
[0014]步骤3b:对每个超像素 Vi，用符号ti表示与Vi相连的边的权值均值：
其中％,是与ν:相连超像素的个数；
[0015] 步骤3c:用符号Int(Vi)表示Vi内部的不相似度，初始化Int(Vi) =0;
[0016]步骤3d:将图中所有边的原有权值Wij按从小到大排序，…,心3}義为连接边 的个数。定义当前权值ε'初始时f=e1;
[0017]步骤3e:选择当前权值一对应的边所连接的超像素 vk，vi，k, 1 e [1，N2]，作为候选 合并的超像素；如果，对应两条以上的边，则以边的权值下标最小的那条边为准，称为"当 前边"；
[0018] 步骤3f:判断对"当前边"所连接的两个节点是否进行合并，计算子图内的最小差 异性：
[0019] MInt(vk,vi) =min(Int(vk)+tk, Int(vi)+ti)
[0020] 如果￥1<1>]\〇111：(>1<，￥1)，进行下一步骤;否则将￥1<，￥1合并 ：1(1(>1) = 1(1(>1〇，更新七1< = min(tk，ti)，Int(vk) =wki;
[0021] 步骤3g:更新当前权值ε*:将^'2,...,心3}中下一个值赋给，;若已达到％ 3，则结 束循环，得到基于图模型的图像分割结果為，.共Ν4个区域;否则返回步骤e;
[0022] 步骤4:利用吸引子传播聚类算法，对过分割区域进行合并；
[0023] 步骤5:根据图像的颜色独特性、空间分布紧凑性以及区域面积对显著性的影响计 算显著图，过程如下：
[0024] 步骤5a:以图像中心为原点，将每个像素的坐标归一化到[-1，1]之间；
[0025] 步骤5b:将颜色差异性与空间位置差异性相结合计算区域C^i e[l，N5]的区域独 特性的显著图：
[0026]
[0027] 其中D(Ci，Cj)表示两个区域Ci，Cj之间的空间距离
5为吸引子传播聚类后区域 的个数，MXl，Myi为区域G的平均空间坐标，〇1为空间距离在区域独特性计算中的调节系数， 分别代表区域kC庙CIELAB空间的颜色均值，|//?-?|为区域Q，(^之间的欧式距 离，乂表示区域匕在全图中所占的面积比例；
[0028] 步骤5c:分别计算区域Q在横坐标与纵坐标上的方差。用Ix表示Q中的某个像素 点，xh，xv分别表示其横、纵坐标。横坐标的方差ν Η(ω依下式计算：
[0029] xei
[0030] 其中sign(IxGCi)为指示函数，当像素 IxeCi时sign(IxGCi) = 1，否则 sign(Ixe Ci)=0
表示区域Ci的横坐标的均值；
[0031] 同理计算 Vv(Ci);
[0032] 步骤5d:计算区域Ci的空间紧凑性V(Ci)，其定义为区域横坐标的方差Vh(Ci)与纵 坐标的方差Vv(Ci)之和：
[0033] V(Ci)=Vh(Ci)+Vv(Ci)
[0034] 步骤5e:计算基于空间分布特性的显著图CSD(Ci):
[0035]
[0036] 其牛 ^ _
代表区域Ci与图像中心的 距离。m为面积期望占比系数，〇2为面积影响调节系数；
[0037]步骤5f:显著图合成，区域匕显著值为：
[0038] Sal(Ci)=U(Ci)*exp(CSD(Ci))
[0039] 步骤6:利用超像素之间的流行结构进行流行排序得到最终显著图，过程如下：
[0040] 步骤6a:对得到的显著图进行二值化，提取显著区域SR;显著区域是评判每个超像 素显著性的基础；
[0041 ]步骤6b:以步骤2中得到的N2个超像素为节点，构建闭环图模型G2 = (V2，E2)，其中V2 为无向图的顶点的集合，E2为连接边的集合;与图模型61=(%31)不同的是，图像四个边界 上的超像素之间存在互相连接的边，G 2中的边权值eij定义为：
[0042]
[0043] 其中，"V,分别代表超像素 Vi，在CIELAB颜色空间的颜色均值，i，j e [ 1，N2]，N2 为超像素的个数;S(Vl)表示超像素 Vl的邻域超像素的集合，〇3是用于控制相似度的动态范 围的调节系数；
[0044]步骤6c:将隶属于显著区域SR内的超像素作为已标记节点，其他超像素为非标记 节点，得到标记向量J = ^，>〗，…，J V2 ]，该向量中的每一个元素 yi依照下式计算：
[0045]
[0046] 步骤6d:定义权值矩阵为W= {eij I i，j e [ 1，N2]}，定义度矩阵为
[0047]
[0048] 步骤ee:用向量/^(允/^"/^表示超像素卜~…^^对应的显著值肩建如 下流行排序策略：
[0049]
[0050] 然后依据下式计算出F的最优解F'
[0051] F*=(I_aG)-V
[0052] 其中I代表单位阵，G = DrV2WDfV2为权值矩阵W的拉普拉斯归一化矩阵，系数a = 1/(1+μ2)，其中μ2是平衡调节系数；
[0053]步骤6f:用产中的每个元素除以产中的最大值，将得到的最优排序结果产归一化； 由于每个超像素块v2,对应一个归一化后的显著值，可得到最终的显著图。
[0054] 有益效果
[0055]本发明提出的一种基于图模型的显著性目标检测方法，在分析了超像素间的空间 关系与颜色相关性的基础上，根据超像素之间的邻域关系与颜色差异建模型图。通过吸引 子传播聚类算法对过分割区域进行合并。利用全局独特性和空间分布计算显著图。在此基 础上，算法通过构建闭环图模型模拟流形结构，采用流形排序的方法对得到的显著图进行 优化，从而提高显著性目标检测的准确率。
[0056]本发明的有益效果是：首先，使用MRF全局势能最小化的图像平滑处理，提高六边 形排列迭代聚类HAIC算法的聚类效果;利用基于改进的图模型进行图像分割时，动态设置 阈值使得颜色上相似且空间连通的区域更好地分割到同一区域;使用吸引子传播聚类方法 对边缘丰富的区域进行合并，改善图像边缘过分割现象。其次，根据超像素之间的流形结 构，采用流形排序算法对得到的显著图进行优化，能在最终的显著图中进一步突出整个显 著区域。
【附图说明】
[0057]图1:是HAIC超像素聚类算法种子点排布图，其中星号为初始化的聚类中心，红色 矩形表示候选聚类中心所在的范围。
[0058]图2:是本发明基于图模型的显著性目标检测方法流程图。
[0059] 图3:是基于MRF全局势能最小化的图像平滑流程图。
[0060] 图4:是HAIC超像素聚类流程图。
[0061] 图5:是基于图模型的图像分割流程图。
【具体实施方式】
[0062]现结合实施例、附图对本发明作进一步描述：
[0063] 实施方式如下：
[0064]步骤1:基于MRF全局势能最小化的图像平滑
[0065] a)给定输入图像ImXn，m，n代表图像的长和宽，设置迭代次数N1;
[0066] b)对于图像ImXn的每个像素点I&记像素点的灰度值为 将该像素的八邻域看作一个基团χυ。用Qn，表示基团χ:#的每个像素点灰度值，其中使用 符号是i'，j'为了表示i'，j'的取值不能同时等于i，j，因为基团xu中并不包括像素点Iu。
[0067] c)记每个基团Xlj中的8个像素点对应的灰度值分别为&，〇2. . .Q8,依次计算每个像 素点所产生的基团势能Z(k):
[0068]
[0069] d)选择使得基团势能最小的像素的灰度值Qk，用Qk代替Pij，并且迭代次数加1，若 迭代次数达到Λ，则停止迭代，否则回到步骤b)。
[0070] (l)HAIC超像素聚类
[0071] a)将平滑后的图像ImXn转化到CIELAB颜色空间，分割成他个矩形图像块，每个图像 块的尺寸为，其4
，把每个图像块作为一个初始聚类，在其中选取一 个聚类中心，以向量Bk= [ lk，ak，bk，xk，yk]T，k e [ 1，N2]来表示其特征，xk，yk为聚类中心的坐 标，lk，ak，bk为聚类中心在CIELAB颜色空间的颜色分量。在每个聚类中选取初始聚类中心 时，服从正六边形排布，即：任意一个聚类中心与周围六个聚类中心的距离都为如附图 1〇
[0072] b)在梯度图像中选择每个聚类中心5X5邻域内的极小值点作为新的聚类中心;设 置图像中每个像素的初始标签1(1，」）=-14^[1，111]，_]_^[1，1 1]，每个像素到聚类中心的初 始距离阈值d(i，j) = °°，i e [ 1，m]，j e [ 1，n]。
[0073] c)对于每个聚类中心1^，1^￡[1，他]周围半径为25的圆形闭合邻域3内的像素点117 e S，定义其到聚类中心k的距离D:
[0074]
[0075] 其中，m为权重系数，一般取:me [1,40];
[0076]
[0077]
[0078]其中，li，j，，ai，j，，bi，j，表示像素点Ii，j，在CIELAB空间的颜色分量，Xi，j，，yi，j，表示像 素点IiT的空间坐标。
[0079] 如果1)多(1(广」'），11^+3，则跳到步骤(1);否则分配像素点117到聚类中心1^所在 的聚类中，并重置距离阈值d(i'，j'）=D，标签l(i'，j'）=k。
[0080] d)对每个聚类内部的所有像素的[11^1」，1^，&，5^]7向量求平均，作为新的聚类 中心特征B knew，代替原来的Bk。
[0081] e)如果达到一定的迭代步数或连续两步之间聚类中心不再变化，停止迭代;此时聚 类完成，每个聚类称为一个超像素Vl，i e [ 1，N2]，得到的超像素聚类结果为ivpv2，...jv:)， 共有他个超像素。在本发明中，这些超像素是整个显著性检测的基础。
[0082] 如果尚未迭代完毕，则继续执行步骤c)。
[0083] (2)基于图模型的图像分割
[0084] a)将超像素聚类后的图像映射为带权无向图G1 = (Vi，El·)，其中ViS无向图的顶点 的集合，EiS连接边的集合。初始化每个超像素Vi，i e [1，N2]作为一个子图节点，对应超像 素的标号为Id(Vl) = i。每个超像素与其相邻超像素之间存在边，定义连接边的权值为：
[0085]
[0086] 其中| | | |表示欧氏距离，〃、，七分别代表超像素 Vl，Vj i，je[l，N2]在CIELAB颜色 空间的颜色均值。
[0087] b)对每个超像素 Vi，用符号ti表示与Vi相连的边的权值均值： 中是与Vl相连超像素的个数。
[0088] c)用符号Int(vi)表示Vi内部的不相似度，初始化Int(vi) =0。
[0089] d)将图中所有边的原有权值Wij按从小到大排序{今,※，…为连接边的个 数。定义当前权值ε'初始时ε^ε:。
[0090] e)选择当前权值ε$对应的边所连接的超像素 vk, vi，k, 1 e [ 1, Ν2 ]，作为候选合并的 超像素。如果，对应两条以上的边，则以边的权值下标最小的那条边为准，称为"当前边"。
[0091] f)判断对"当前边"所连接的两个节点是否进行合并。计算子图内的最小差异性：
[0092] MInt(vk,vi) =min(Int(vk)+tk, Int(vi)+ti)
[0093]如果￥1<1>]\〇111：(>1{，￥1)，进行下一步骤。否则将￥1 {，￥1合并：1(1(>1) = 1(1(>1〇，更新七1{ =min(tk，ti)，Int(vk)=wki〇
[0094] g)更新当前权值将中下一个值赋给ε*。若已达到~，则结束循环， 得到基于图模型的图像分割结果丨4,為,...為4丨，共~个区域。否则返回幻。
[0095] (3)利用吸引子传播聚类对过分割区域进行合并：
[0096] 根据下式计算基于图模型分割后的区域{4,為,...，44}之间的相似度矩阵，他为基 于图模型分割后的区域的个数。相似度矩阵的每个元素记作：Similarity(i，j)i，je[l， N4]，依下式计算：
[0097]
[0098] 其中心，《4分别代表区域Ai，Aj在CIELAB空间的颜色均值，S(Ai)表示区域Ai相邻区 域组成的集合，1，_]_^[1，仏]， 〇是用于控制相似度的动态范围的调节系数。利用吸引子传播 聚类算法得到最终的区域分割结果卜共沌个合并后区域。
[0099] (4)显著图计算
[0100 ] a)以图像中心为原点，将每个像素的坐标归一化到[-1，1 ]之间；
[0101] b)将颜色差异性与空间位置差异性相结合计算区域(：14^[1，他]的区域独特性的 显著图：
[0102]
[0103] 其中)表示两个区域G，(^之间的空间距离
]，N5为吸引子传播聚类后区域 的个数，MXl，Myi为区域Q的平均空间坐标，〇1为空间距离在区域独特性计算中的调节系数， 分别代表区域在CIELAB空间的颜色均值_
η为区域G，(^之间的欧式距 离，表示区域匕在全图中所占的面积比例。
[0104] c)分别计算区域Q在横坐标与纵坐标上的方差。用Ix表示G中的某个像素点，xh， Xv分别表示其横、纵坐标。横坐标的方差VhKO依下式计算：
[0105] Χ￡-?
[0106] 其中sign(IxGCi)为指示函数，当像素 IxeCi时sign(IxGCi) = 1，否则sign(Ixe Ci)=0,
表示区域Ci的横坐标的均值。
[0107]同理计算 Vv(Ci)。
[0108] d)计算区域匕的空间紧凑性VKO,其定义为区域横坐标的方差VdQ)与纵坐标的 方差Vv(Ci)之和：
[0109] V(Ci)=Vh(Ci)+Vv(Ci)
[011 0] e)计算基于空间分布特性的显著图CSD(Ci):
[0111]
σ2
[0112] 其Μ
代表区域Ci与图像中心的 xe/ 距离。μ!为面积期望占比系数，σ2为面积影响调节系数。在本实施例中取yi = 0.3,〇2 = 0.4。
[0113] f)显著图合成，区域匕显著值为：
[0114] Sal(Ci)=U(Ci)*exp(CSD(Ci))
[0115] (5)基于流行排序的显著图优化
[0116] a)对得到的显著图进行二值化，提取显著区域SR。显著区域是评判每个超像素显 著性的基础。
[0117] b)以步骤(2)中得到的犯个超像素为节点，构建闭环图模型G2=(V2，E2)，其中V 2为 无向图的顶点的集合，Ε2*连接边的集合。与图模型Ed不同的是，图像四个边界上 的超像素之间存在互相连接的边，G 2中的边权值eij定义为：
[0118]
[0119] 其中1V，分别代表超像素 Vi，Vj在CIELAB颜色空间的颜色均值，i，j e [ 1，N2]，N2 为超像素的个数。S(Vl)表示超像素 Vl的邻域超像素的集合，〇3是用于控制相似度的动态范 围的调节系数。
[0120] c)将隶属于显著区域SR内的超像素作为已标记节点，其他超像素为非标记节点， 得到标记向量，该向量中的每一个元素 yi依照下式计算：
[0121]
[0122] d)定义权值矩阵为W= {eij | i，j e [ 1，N2]}，定义度矩阵为A .....!， 其中 ../-1
[0123] e)用向量，…，众)表示超像素{vpV2，·.·,％}对应的显著值，构建如下流行 排序策略：
[0124]
[0125] 然后依据下式计算出F的最优解F'
[0126] F*=(i-aG)-V
[0127] 其中I代表单位阵，G = DrV2WDrV2为权值矩阵W的拉普拉斯归一化矩阵，系数a = 1/(1+μ2)，其中μ2是平衡调节系数。
[0128] 用产中的每个元素除以产中的最大值，将得到的最优排序结果产归一化。由于每个 超像素块4,…,1? }对应一个归一化后的显著值，可得到最终的显著图。
【主权项】
1. 一种基于图模型的显著性目标检测方法，其特征在于步骤如下： 步骤1:采用马尔科夫随机场MRF对需要处理的图像进行平滑处理； 步骤2:采用六边形排列迭代聚类HAIC算法平滑处理后的图像进行超像素聚类； 步骤3:利用图模型进行图像分割，使得在颜色上相似且空间联通的区域被分割到同一 区域，过程如下： 步骤3a:将超像素聚类后的图像映射为带权无向图Gi=(Vi，Ei)，其中Vi为无向图的顶点 的集合，El为连接边的集合;初始化每个超像素 VI，ie[l，N2]作为一个子图节点，对应超像 素的标号为Id(vi) = i;每个超像素与其相邻超像素之间存在边，定义连接边的权值为：其中I II I表示欧氏距离，分别代表超像素 vi，v山je[l，化巧CKLAB颜色空间 的颜色均值； 步骤3b :对每个超像素 VI，用符号t康示与VI相连的边的权值均值，其 中Wv,是与VI相连超像素的个数； 步骤3c:用符号Int (Vi)表示Vi内部的不相似度，初始化Int (Vi) = 0; 步骤3d :将图中所有边的原有权值Wi浪从小到大排序為，...，Av，}，化为连接边的个 数。定义当前权值6^初始时6^=61; 步骤3e:选择当前权值ε勺4应的边所连接的超像素 vk，vl，k，le[l，N2]，作为候选合并的 超像素;如果ε勺f应两条W上的边，则W边的权值下标最小的那条边为准，称为"当前边"； 步骤3f:判断对"当前边"所连接的两个节点是否进行合并，计算子图内的最小差异性： MInt(vk，vi)=min(Int(vk)+tk，Int(vi)+ti) 如果师1^>]\〇11古(>1^，￥1)，进行下一步骤；否则将￥1^，￥洽并：1(1(>1)二1(1(>〇，更新古尸111；!_11 (tk，ti)，Int(vk) =wki; 步骤3g:更新当前权值εΜ尋中下一个值赋给ε%若已达到％，则结束循 环，得到基于图模型的图像分割结果共Ν4个区域;否则返回步骤e; 步骤4:利用吸引子传播聚类算法，对过分割区域进行合并； 步骤5:根据图像的颜色独特性、空间分布紧凑性W及区域面积对显著性的影响计算显 著图，过程如下： 步骤5a: W图像中屯、为原点，将每个像素的坐标归一化到[-1,1]之间； 步骤加:将颜色差异性与空间位置差异性相结合计算区域Ci，ie[l，化]的区域独特性 的显著图：其中D(Ci C，j表示两个区域Ci，Cj之间的空间距湾ije[l，N5]，化为吸引子传播聚类后区域的个数，为区域Cl的平均空间坐标，〇1为空 间距离在区域独特性计算中的调节系数，/?，:/?分别代表区域Cl，Cj在CIELAB空间的颜色均 值，|a-作J为区域Cl尼之间的欧式距离，Wc,表示区域Cl在全图中所占的面积比例； 步骤5c:分别计算区域Cl在横坐标与纵坐标上的方差。用Ix表示Cl中的某个像素点，xh， XV分别表示其横、纵坐标。横坐标的方差化(Cl)依下式计算：其中si即（Ix^Ci)为指示函数，当像素 IxGCi时si即（IxeCi) = l，否则si即（IxeCi) = 0表示区域Cl的横坐标的均值； 同理计算Vv(Ci); 步骤5d:计算区域Cl的空间紧凑性V(Ci)，其定义为区域横坐标的方差化(Cl)与纵坐标的 方差Vv(Ci)之和： V(Ci)=化(Ci)+Vv(Ci) 步骤5e:计算基于空间分布特性的显著图CSD(Ci):其中eQ) '代表区域Cl与图像中屯、的距离； μι为面积期望占比系数，02为面积影响调节系数； 步骤5f:显著图合成，区域Cl显著值为： Sal(Ci)=U(Ci)*exp(CSD(Ci)) 步骤6:利用超像素之间的流行结构进行流行排序得到最终显著图，过程如下： 步骤6a:对得到的显著图进行二值化，提取显著区域SR;显著区域是评判每个超像素显 著性的基础； 步骤6b:W步骤2中得到的化个超像素为节点，构建闭环图模型G2=(V2，E2)，其中V2为无 向图的顶点的集合，&为连接边的集合;与图模型Gi=(Vi，Ei)不同的是，图像四个边界上的 超像素之间存在互相连接的边，&中的边权值eu定义为：其中分别代表超像素 vi，vj在CIELAB颜色空间的颜色均值，i，je [1，N2]，化为超像 素的个数;S(Vi)表示超像素 VI的邻域超像素的集合，03是用于控制相似度的动态范围的调 节系数； 步骤6c:将隶属于显著区域SR内的超像素作为已标记节点，其他超像素为非标记节点， 得到标记向量J = [知知.，该向量中的每一个元素 yi依照下式计算：步骤6d:定义权值矩阵为W= {eu I i，j e [ 1，化]}，定义度矩阵为： 巧=麻巧城，朵，.}巧中步骤Se:用向量^ = (./|，./；，...，4)表示超像素{^,，^;，...，1^^:}对应的显著值，构建如下流 行排序策略：然后依据下式计算出F的最优解F*: F*=(I-aG)-iy 其中I代表单位阵，G =化^/2W〇ri/2为权值矩阵W的拉普拉斯归一化矩阵，系数α = 1/( 1+ μ2)，其中μ2是平衡调节系数； 步骤6f:用护中的每个元素除最大值，将得到的最优排序结果护归一化；由于每 个超像素块'[v,，>';，...，ν'Λ^对应一个归一化后的显著值，可得到最终的显著图。
【文档编号】G06T7/00GK105976378SQ201610303847
【公开日】2016年9月28日
【申请日】2016年5月10日
【发明人】李映, 崔凡, 马力
【申请人】西北工业大学