一种基于颜色显著性和高斯模型的精确目标分割方法与流程

本发明属于计算机机器视觉技术领域，用于对图像中的显著性物体进行分割，为一种基于颜色显著性和高斯模型的精确目标分割方法。

背景技术

人类的视觉注意机制具有选择性处理视觉图像的作用，将这种作用机制引入图像处理中，具有很多应用，包括目标检测、显著性区域提取等，这种选择性注意机制能够使对视觉信息的处理更快。视觉心理学研究表明，注意机制包括了两个过程，即快速的自底向上的数据驱动的过程和慢速的自顶向下的目标驱动的过程，与人类的视觉注意机制类似，显著性检测算法也分为自底向上式和自顶向下式，自底向上式根据图像局部特征预测视觉注视点模型，自顶向下式通过学习的显著性区域模型检测显著性物体。相比之下，高层模型的建立较为复杂和困难，而用计算模型模拟自底向上的注意过程是相当成功的并且极具应用价值^[1]。

在自底向上的显著性检测领域已经有很多经典的算法。chengmm提出基于直方图对比度的hc(histogram-basedcontrastmethod)方法以及根据全局对比度和空间相关权重的rc^[2](region-basedcontrast)方法。yunzhai根据图像中每个像素与其他像素的欧氏距离判断显著性^[3]。radhakrishnaachanta应用低层次的亮度和颜色特征，根据多尺度对比度定义显著性值^[4]。radhakrishnaachanta对mean-shift分割的图像片段求取平均显著性值，然后通过自适应分割算法分割出显著性物体^[5]。以上这些显著性检测算法都利用中心和边界先验信息，认为边界都是背景，以及由于人类拍照的习惯，显著性物体位于图像的中心位置，从而算法在进行建模时对模型进行初始化。此外，chengmm提出的gc(globalcues)算法^[6]利用高斯混合模型gmm(gaussianmixturemodel)对显著性目标进行检测，但是gc利用gmm对rgb颜色模型进行划分，对像素聚类的效果不好，获得的分类边界比较模糊，且对子高斯模型合并多数情况下不好。经典的grabcut算法^[7]中也采用了高斯模型对前景和背景图像进行建模，并且取得了很好的效果，但是grabcut算法需要用户设置初始的前景和背景区域。以上均为通用的显著性物体检测算法，目前针对颜色先验的显著性物体检测算法还没有，基于颜色先验能够提高显著性物体的检测精度。

参考文献

[1]高智勇,马宏,贺良杰.结合图像全局和区域特性的显著性检测[j].中南民族大学学报(自然科学版),2014,33(02):70-74.

[2]chengmm,zhanggx,mitranj,etal.globalcontrastbasedsalientregiondetection[c].computervisionandpatternrecognition.ieee,2011:409-416.

[3]zhaiy,shahm.visualattentiondetectioninvideosequencesusingspatiotemporalcues[c].acminternationalconferenceonmultimedia.acm,2006:815-824.

[4]achantar,estradaf,wilsp,etal.salientregiondetectionandsegmentation[j].2008,5008:66-75.

[5]achantar,hemamis,estradaf,etal.frequency-tunedsalientregiondetection[c].computervisionandpatternrecognition,2009.cvpr2009.ieeeconferenceon.ieee,2009:1597-1604.

[6]chengmm,warrellj,linwy,etal.efficientsalientregiondetectionwithsoftimageabstraction[j].2013:1529-1536.

[7]rotherc,kolmogorovv,blakea."grabcut":interactiveforegroundextractionusingiteratedgraphcuts[c].acmsiggraph.acm,2004:309-314.

[8]wangz,bovikac,sheikhhr,etal.imagequalityassessment:fromerrorvisibilitytostructuralsimilarity[j].ieeetransactionsonimageprocessing,2004,13(4):600-612.

[9]philippkrhenbühl,koltunv.efficientinferenceinfullyconnectedcrfswithgaussianedgepotentials[j].2012:109-117.

[10]laffertyj,macalluma,pereiraf.conditionalrandomstochasticgradientmethods[c].proc.int.conf.machinelearning,2006:969.

[11]chengmm,mitranj,huangx,etal.globalcontrastbasedsalientregiondetection[j].ieeetransactionsonpatternanalysisandmachineintelligence,2015,37(3):569-582.

[12]chengmm,warrellj,linwy,etal.efficientsalientregiondetectionwithsoftimageabstraction[c].proceedingsoftheieeeinternationalconferenceoncomputervision,2013:1529-1536.

[13]borjia,chengmm,jiangh,etal.salientobjectdetection:asurvey[j].arxivpreprintarxiv:1411.5878,2014.

[14]borjia,chengmm,jiangh,etal.salientobjectdetection:abenchmark[j].ieeetransactionsonimageprocessing,2015,24(12):5706-5722.

[15]潘成伟,张建国,陈毅松,等.利用一致性检验的多图像中前景物体的自动分割[j].计算机辅助设计与图形学学报,2017(6).

[16]zhaiy,shahm.visualattentiondetectioninvideosequencesusingspatiotemporalcues[c].acminternationalconferenceonmultimedia.acm,2006:815-824.

技术实现要素：

本发明要解决的问题是：传统的显著性检测算法主要基于中心先验、边界先验建立检测模型，但是在实际应用中，这些先验信息不一定都适用，比如机器视觉领域很多图像显著性区域位于图像边界。

本发明的技术方案为：一种基于颜色显著性和高斯模型的精确目标分割方法，包括以下步骤，

1)将图像从rgb颜色空间转换到lab空间，用最大期望算法ema获得高斯混合模型gmm的模型参数，并设定高斯混合模型的标准差，对lab空间全图像应用gmm进行像素分类；

2)gmm的子高斯模型的均值为μc，在lab空间图像中，标记μc与先验颜色信息的a值和b值最接近的子高斯模型为前景子高斯模型，步骤1)中由gmm进行像素分类时会将图像中属于一个物体的像素分割在不同的子高斯模型中，需要将分散在不同子高斯模型中的属于同一个物体的像素进行合并，应用ssim图像相似度算法将与前景子高斯模型相似的子高斯模型进行合并，将两个子高斯模型中的像素点合并为一类，获得最终的前景高斯模型，与前景子高斯模型不相似的子高斯模型构成背景高斯模型；

3)利用条件随机场算法crf对步骤2)中获得的前景高斯模型与背景高斯模型分割结果进行优化，获取准确的分割边界。

进一步的，步骤1)中，高斯混合模型的概率密度函数p(x)如下式所示：

式中ωc是第c个子高斯模型的权重，gc(x；μc,σc)表示第c个子高斯模型的概率密度函数，k为高斯混合模型中子高斯模型的数量，概率密度函数具体为：

式中μ、σ分别为高斯概率密度函数的均值和方差。

图像中每一个像素颜色向量ix根据式(3)确定其属于哪一个子高斯模型，其中ωc、μc和σc分别表示第c个子高斯模型的权重、均值和方差，n(ix|μc,σc)表示子高斯模型：

进一步的，步骤3)中，利用条件随机场算法crf获取分割边界具体为：

把图像分割问题作为二值标记随机场问题，定义随机变量x＝{x1，x2，...，xn}，其中xi＝{0，1}，i＝1,2,...,n，0和1表示是前景还是背景的标记，每一个随机变量对应一个像素，crf对应的gibbs能量函数，即待最小化的能量函数为：

对于每一个像素，一元势函数ψμ(xi)的计算是独立的，一元势函数计算每一个像素标记为前景或者背景的成本，一元势函数将高斯混合模型中的概率分布转化为能量函数，根据前景的高斯分布gforefround(x；μ,σ)和背景的高斯分布gbackground(x；μ,σ)，计算获得像素属于前景和背景的概率：

ψμ(xi)定义为：ψμ(xi)＝-logp(xi)，由于步骤1)是在全图像进行混合高斯模型聚类，把图像中的像素按照颜色进行聚类，此时一元势函数已经是最小值；

二元势函数ψp(xi，xj)为惩罚项，考察相邻和相似的像素被赋予相同标记的可能性，对距离较近、特征相似的像素被设置为不同类标作出惩罚，二元势函数的形式如下所示：

每一个k^(c)是一个高斯核函数，一共由k个核函数组成：

式中，向量fi和fj是像素i和j的在任意特征空间的特征向量，ω^(c)为权重，λ^(c)为对称半正定矩阵，μ(xi,xj)取值为，当xi＝xj时μ(xi,xj)＝0，当xi≠xj时μ(xi,xj)＝1；

因此根据像素的颜色向量和位置向量定义g1(i,j)和g2(i,j)，用于二元势函数的计算：

式中pi、pj为坐标向量，ii、ij为颜色向量，θα、θβ、θγ为相应的权值，用于控制坐标以及颜色对结果的影响，g1(i,j)倾向于相邻像素颜色相似的像素被赋予相同的标记，g2(i,j)移除小的孤立的区域，二元势函数定义为：

ψp(xi,xj)＝g(i,j)[xi≠xj](16)

g(i,j)＝w1g1(i,j)+w2g2(i,j)(17)

w1、w2为对应项的权值。

本发明检测的显著性区域是特定颜色的显著性物体，本发明方法针对显著性检测中物体可能不符合中心和边界先验的特点，提出基于颜色先验的显著性物体检测方法，首先通过gmm算法在lab颜色空间对图像像素进行聚类，通过先验颜色信息得到目标子高斯模型作为前景子高斯模型，然后利用ssim图像相似度算法^[8]将与前景子高斯模型相似的子高斯模型进行合并，得到前景显著性区域，之后利用crf(conditionalrandomfield)算法^[9]对显著性区域进行优化，获取准确的分割边界^[10-16]。本发明的方案中虽然参考了现有技术中的高斯模型的聚类，以及采用了crf算法，但现有技术中的高斯模型聚类和crf算法都是需要人工简单标注作为算法的输入参数的。本发明直接通过高斯混合模型对像素进行聚类，没有利用中心、边界先验，不需要人工简单标注作为输入参数，应用高斯混合模型保证获得准确稳定的边界，能够检测位于边界的显著性区域，与传统的显著性检测算法相比准确度更高。

附图说明

图1为本发明方法的流程图。

图2为本发明lab空间聚类结果。

图3为rgb空间聚类结果。

图4为本发明子高斯模型合并后结果。

图5为本发明与其他算法结果对比。

图6为本发明与其他算法错误率对比。

图7为本发明与其他算法覆盖率对比。

具体实施方式

如图1所示，本发明通过gmm算法在lab颜色空间对图像像素进行聚类，通过先验颜色信息选取目标子高斯模型作为前景子高斯模型，然后利用ssim图像相似度算法将与前景子高斯模型相似的子高斯模型进行合并，之后利用crf(conditionalrandomfield)算法对显著性区域进行优化，获取准确的分割边界。下面具体说明本发明的实施。1、高斯模型对图像分解

在grabcut算法中高斯混合模型需要学习获得2k个高斯模型的均值、协方差和每个高斯分量的权重。gmm其实是一种聚类算法，在grabcut算法中设置前景和背景区域初始化对像素点进行分类。此处，由于rgb颜色空间色彩分布不均，lab颜色空间将色彩和亮度进行分离，便于本发明方法对显著性颜色的选取，本发明直接对lab空间全图像应用gmm进行像素分类。借鉴gc算法求取高斯模型参数的方法，本发明利用最大期望算法(expectationmaximizationalgorithm)算法获得gmm模型参数，并且指定高斯模型的标准差，没有如grabcut算法设置前景和背景的子高斯模型的个数，因此本发明gmm算法的结果中子高斯模型的个数会根据图像的颜色分布而变化。

本发明提出根据颜色先验对图像进行分解，具体为：将图像从rgb颜色空间转换到lab空间，lab颜色空间中l是亮度，a和b是两个颜色通道，lab实现了颜色和亮度的分离，在后续的处理中直接根据先验颜色信息的a和b值选择前景子高斯模型。

高斯混合模型的概率密度函数p(x)如下式所示：

式中ωc是第c个高斯混合模型的权重，gc(x；μc,σc)表示第c个子高斯混合模型的概率密度函数，k为高斯混合模型中子高斯模型的数量，概率密度函数具体为：

式中μ、σ分别为高斯概率密度函数的均值和方差。

图像中每一个像素颜色向量ix根据下式确定其属于哪一个子高斯模型，其中ωc、μc和σc分别表示第c个子高斯模型的权重、均值和方差。

根据gmm得到的参数μc和先验的颜色信息，标记μc与先验颜色信息的a和b最接近的子高斯模型为前景子高斯模型，本发明就能够确定图像中需要的颜色区域。如图2和图3分别为在lab空间和rgb颜色空间对图像应用gmm算法的结果，图2中(a)为原图，(b)-(g)为在lab空间应用gmm算法每个子高斯模型的结果，图3中(a)-(g)为对应图2(a)，在其rgb空间应用gmm算法每个子高斯模型的结果。lab空间中图像分解的子模型比rgb空间更少，对于不同的颜色产生的聚类效果更好。

为了加速gmm算法的处理效率，本发明优选采用chengmm论文中的处理策略，将原来每个通道255个数量级分为12个数量级，减小像素值空间大小。

2、子高斯模型合并

图2中(b)、(c)、(d)、(e)、(f)、(g)分别对应gmm中六个高斯模型，因为本发明对图像的分割只需分为前景和背景，对于一幅图像，本发明只关注能否将感兴趣的像素分割出来。对于六个子高斯模型，本发明根据子高斯模型的均值和颜色先验的接近程度，标记图2(f)对应的子高斯模型为需要的模型，因为图2(f)对应的子高斯模型与设置的颜色先验最接近，观察图2其他几幅图像，基本都属于背景像素，将(b)、(c)、(d)、(e)、(g)合并，实际实施时，本发明通过ssim图像相似度算法，自动根据子高斯模型将对应的前景图像和背景图像进行合并。

在grabcut算法中，根据gibbs能量对图像进行合并，如式(4)所示为gibbs能量函数，函数e中包含函数u和函数v两部分。函数u衡量相似的像素是否属于同一类，函数v衡量像素不属于同一类的情况，这也是显著性检测中衡量的两个主要指标，因此可得下式：

e(i)＝∑u(ii,ij∈g(x；μ,σ))+∑v(ii∈g(xi；μi,σi),ij∈g(xj；μj,σj))(4)

在高斯模型对图像分解中本发明已经实现了函数u，通过高斯混合模型本发明将颜色相似的像素聚为一类，这和u中将相似像素聚合为一类的效果相同，而且由于本发明没有用户设置的前景和背景像素点，本发明这种全局gmm模型其实能够针对像素空间获得更加精准的聚类。函数v项衡量像素属于不同类的情况，实质是根据像素之间的关系将其区分为不同的类别。zhouwang提出的ssim(structuralsimilarityindex)算法，分别从亮度、对比度和结构三方面度量图像相似度，在ssim算法中把与物体结构相关的亮度和对比度信息作为结构信息的定义。

亮度对比函数：

对比度对比函数：

结构对比函数：

令c3＝c2/2，ssim算法结合以上三式：

式中μx、μy表示两幅图像的像素均值，σx、σy表示两幅图像的像方差，σxy表示两幅图像的协方差，c1、c2、c3为常量。

对图2(b)-(g)应用ssim算法，得到ssim(b,c)＝26.1372，ssim(b,d)＝41.3631，ssim(c,d)＝38.4696，ssim(b,e)＝39.2489，ssim(c,e)＝33.0861，ssim(d,e)＝81.4788，ssim(b,f)＝21.6106，ssim(c,f)＝12.226，ssim(d,f)＝56.4904，ssim(g,d)＝40.9694，ssim(g,c)＝35.7909，ssim(d,g)＝85.225。对于图2中(d)、(e)、(g)三图，其相似度较高，因此合并图2(d)、(e)、(g)，图2(a)的进行前景背景划分的最终分割结果如图4所示，图4是对图2(b)-(g)的合并后的结果。前面已经将图2(f)标记为需要的模型，而图2(f)经过合并后在图4(d)中，因此将图4(d)作为根据颜色先验提取得到的目标像素区域。

经过上图的处理，本发明方法已经获得图4(d)为显著性区域，但是图4(d)中包括显著性区域外的误分类区域，边缘不准确，图4(d)的中心位置还包括误分类的像素，因此经过gmm聚类、颜色先验提取、ssim算法合并后的结果存在较多误分类像素和噪声点，需要应用crf算法进一步处理，获得更加准确的显著性区域，下面将详细介绍。

3、应用条件随机场优化分割结果

随机场算法crf由lafferty等人提出，是一种判别式模型，crf模型根据选取的特征函数，从标记好的数据学习模型参数，从而预测可能的状态序列。philippkrahenbuhl对crf的推理进行简化，极大提高了crf推理的速度。

本发明把图像分割问题作为二值标记随机场问题。利用crf优化分割边界在参考文献[10-16]中已有介绍，本发明针对其在本方案中的实施进行具体说明。定义随机变量x＝{x1，x2，...，xn}，其中xi＝{0，1}，i＝1,2,...,n，0和1表示是前景还是背景的标记，每一个随机变量对应一个像素，i表示观测到的图像数据，具有n个像素，crf对应的gibbs能量函数，即待最小化的能量函数为：

对于每一个像素，一元势函数ψμ(xi)的计算是独立的，一元势函数计算每一个像素点标记为前景或者背景的成本。计算获得前景和背景区域的高斯分布gforefround(x；μ,σ)和gbackground(x；μ,σ)，则可计算获得像素属于前景和背景的概率：

ψμ(xi)可以定义为：ψμ(xi)＝-logp(xi)。由于本发明是在全图像进行混合高斯模型聚类，把图像中的像素按照颜色进行聚类，此时一元势函数已经是最小值。

二元势函数ψp(xi，xj)考察相邻和相似的像素被赋予相同的标记可能性，二元势函数的形式如下所示：

每一个k^(c)是一个高斯核函数，一共由k个核函数组成；

向量fi和fj是像素i和j的在任意特征空间的特征向量，ω(c)为权重，λ(c)为对称半正定矩阵。本发明中μ(xi,xj)取值为，当当xi＝xj时μ(xi,xj)＝0，当xi≠xj时μ(xi,xj)＝1。

因此根据像素的颜色向量和位置向量定义g1(i,j)和g2(i,j)，用于二元势函数的计算：

式中pi、pj为坐标向量，ii、ij为颜色向量，θα、θβ、θγ为相应的权值，用于控制坐标以及颜色对结果的影响，g1(i,j)倾向于相邻像素颜色相似的像素被赋予相同的标记，g2(i,j)移除小的孤立的区域。因此二元势函数可以定义为：

ψp(xi,xj)＝g(i,j)[xi≠xj](16)

g(i,j)＝w1g1(i,j)+w2g2(i,j)(17)

w1、w2为对应项的权值。

经过高斯混合模型对像素按照颜色进行聚类后，前景像素和背景像素的分布比较混乱，结构信息没有考虑在内，生成的显著性图噪点比较多，因此通过crf消除小的噪声点，获得准确平滑的边缘。

4、具体实施及效果分析。

通过实验来将本发明方法与其它显著性检测领域的经典算法进行对比，实验采用的对比图像为msra10k数据集中的图像，并且为了测试本发明方法对msra10k中的图像进行修改，使位于图像中心位置的物体移动到图像的边缘位置以验证算法能否正确运行。本发明采用的图像如图5所示，包括各种算法的处理结果对比。本发明中应用的图像虽然是自然图像，但是图5中第一和第二幅图像的显著性区域在边界，因此自然图像表现出的中心先验、边缘先验在这两幅图像的处理中并不适用。

为了衡量分割结果的好坏，对图5的待检测图像标注出前景区域，并利用算法标注的错误率和覆盖率来衡量分割结果的好坏。错误率定义为ηer＝nerror/ngt，nerror表示错误标记的像素数目，ngt表示前景区域中像素的数目，错误率越低说明分割结果越好。覆盖率表示为ηcr＝nright/ngt，其中nright表示算法处理后标记为前景的像素中正确的个数。为了衡量本发明方法的好坏，将本发明方法与lc、hc、ac、ft(frequency-tunedsalientregiondetection)、gc算法进行比较，lc、hc、ac、ft、gc算法处理结果均为灰度图像，本发明方法处理结果为二值图像，为了进行比较，将lc、hc、ac、ft、gc算法的结果按照阈值50进行分割。同时将本发明方法简称为cp(colorapriori)算法。

表一各种算法对比

表一所示为各种显著性检测算法错误率和覆盖率的对比，图5所示为各种算法的结果图，其中gt表示标定的真实数据，图6和图7为错误率和覆盖率的折线图。在图7中，本发明方法对gt图像中的前景像素的覆盖率最高，本发明方法处理后获得的显著性图能够最大覆盖前景像素。图6所示为错误率，本发明方法的错误率在与其他算法进行对比中是最低的，本发明方法将像素标记错误的概率最小，从图5中的显著性图中可以看到，本发明方法把显著性区域准确提取，根据先验颜色信息获得指定区域，crf使得分割边缘更加准确。虽然gc算法的结果在显著性物体位于图像中心的分割效果比较好，但是对于图5中第一和第二幅图像分割效果很差，这是因为gc算法应用了中心和边界先验。在图5中，可见本发明方法基本保留了gt图像中的细节信息。而对于lc、hc、ac、ft和gc算法，处理后的结果图像噪点比较多，获得的显著性图像对比度低，有些图像还有将背景标记为显著性区域的情况。

本发明方法直接通过高斯混合模型对像素进行聚类，没有利用中心、边界先验，不需要人工标注作为聚类输入，应用高斯混合模型保证获得准确稳定的边界，能够检测位于边界的显著性区域，与传统的显著性检测算法相比准确度更高。