一种图像显著性目标检测的方法与流程

文档序号:15447602发布日期:2018-09-14 23:33阅读:171来源:国知局

本发明涉及计算机图像处理领域,具体涉及一种图像显著性目标检测的方法。



背景技术:

显著性目标检测是计算机图像处理中的基本操作,显著性目标检测是指自动提取未知场景中符合人类视觉习惯的兴趣目标的方法。目前对于目标显著性的分析计算已经成为计算机视觉领域研究的一个热点,它被广泛应用到各个领域,如图像分割,目标识别,图像压缩,及图像检索等等。计算机在进行相关图像处理操作前可以采用显著性检测技术过滤掉无关信息,从而大大减小图像处理的工作,提高效率。

现有的显著性目标检测方法主要包括基于视觉注意模型、背景先验、中心先验和对比度。

(1)视觉注意模型是一种用计算机来模拟人类视觉注意力系统的模型,在一幅图像中提取人眼所能观察到的引人注意的检点,相对于计算机而言,就是该图像的显著性,比如itti注意力模型,它是1998年由itti等人在《computationalmodelingofvisualattention》中提出的,是比较经典的视觉注意力模型之一。该模型的基本思想是在图像中通过线性滤波提取颜色特征、亮度特征和方向特征,通过高斯金字塔、中央周边操作算子和归一化处理后,形成12张颜色特征地图、6张亮度特征地图和24张方向特征地图,将这些特征地图结合和归一化处理后,分别形成颜色、亮度、方向关注图,三个特征的关注图线性融合生成显著性图,再通过两层的赢者取胜神经网络,得到显著性区域,最后通过返回抑制机制,抑制当前显著区域,转而寻找下一个显著区域。

(2)基于对比度的方法又分为全局对比和局部对比两种方法。全局对比的思想主要通过计算当前超像素或像素与图像中其他超像素或像素的颜色、纹理、深度等特征差异来确定显著值;局部对比的思想主要通过计算当前超像素或像素与图像中相邻超像素或像素的颜色、纹理、深度等特征差异来确定显著值。比如2014年peng等人《rgbdsalientobjectdetection:abenchmarkandalgorithms》采用三层显著检测框架,通过全局对比方法,融合颜色、深度、位置等特征信息进行显著计算。

(3)显著检测模型采用背景先验知识进行显著性计算,比如2013年yang等人《saliencydetectionviagraph-basedmanifoldranking》假设rgb彩色图像的四条边为背景,应用manifoldranking(流形排序算法)排序所有超像素节点的相关性完成显著性计算。

(4)采用中心先验进行显著性计算,比如2015年cheng等人《globalcontrastbasedsalientregiondetection》假设图像的中心超像素为显著目标超像素,通过计算其他超像素与该中心超像素的颜色和空间差异值来进行显著性计算。

上述方法中,基于视觉注意模型的显著性目标检测方法检测的结果不具有全分辨率,基于对比度的显著性目标检测方法发不适用于复杂的环境,基于背景先验知识的显著性目标检测方法检测的结果包含较多噪声,基于中心先验的显著性目标检测方法不适用于显著性目标不在图像中心的情况。



技术实现要素:

针对现有技术中的上述不足,本发明提供的一种图像显著性目标检测的方法解决了现有显著性目标检测方法检测效果差的问题。

为了达到上述发明目的,本发明采用的技术方案为:

提供一种图像显著性目标检测的方法,其包括以下步骤:

s1、将目标图像去噪后分别进行meanshift图像分割和cielab空间转换,分别得到分割图组和位于cielab空间中的图像;

s2、对cielab空间中的图像进行像素显著性值计算,得到每个像素的显著性值,进而得到显著性图;

s3、将得到的显著性图与得到的分割图组结合并得到显著性分割图;

s4、根据各个显著性分割图的平均灰度值大小,将该显著性分割图的灰度值设置为255或0,得到整个图像的显著性目标区域二值图;

s5、将显著性目标二值图进行形态学开操作后进行边缘检测,得到带有与该边缘对应的原图像目标最小外接矩形的图像;

s6、将cielab空间中的图像进行超像素分割后与具有最小外接矩形的图像相结合,并将每个最小外接矩形外边缘作为标准对该最小外接矩形内的超像素进行相似度检测;

s7、将符合相似度的超像素作为与其对应的显著性目标的背景种子,其余的超像素作为与其对应的显著性目标的前景种子;

s8、根据每个显著性目标的前景种子和对应的背景种子在原图像中分割出对应的显著性目标,得到图像中每个具有全分辨率的显著性目标,完成图像显著性目标检测。

进一步地,步骤s1中将目标图像去噪后进行cielab空间转换的具体方法为:

通过高斯滤波器去除目标图像的噪声,并根据公式

将目标图像从rgb颜色空间转换到xyz颜色空间,并根据公式

将目标图像从xyz颜色空间转换到cielab空间;其中x、y、z是xyz颜色空间的三色刺激值,r为rgb图像的红色通道分量,g为rgb图像的绿色通道分量,b为rgb图像的蓝色通道分量,l*为cielab空间中图像像素的亮度分量,a*为cielab空间中从红色到绿色的范围,b*为cielab空间中从黄色到蓝色的范围,yn、xn和zn是xyz颜色空间中对应的三刺激色相对于白色的参考值,yn默认取值为95.047,xn默认取值为100.0,zn默认取值为108.883。

进一步地,步骤s2的具体方法为:

根据公式

sss(x,y)=||iu(x,y)-if(x,y)||

x0=min(x,m-x)

y0=min(y,n-y)

a=(2x0+1)(2y0+1)

对cielab空间中的图像进行像素显著性值计算,得到每个像素的显著性值sss(x,y),进而得到显著性图;其中‖‖为计算iu(x,y)与if(x,y)的欧式距离;if(x,y)为cielab空间中像素在(x,y)位置处的像素值;iu(x,y)为在cielab空间中以位置(x,y)处为中心像素的子图像的平均像素值;x0、y0和a为中间参数;m为图像的宽度;n为图像的高度。

进一步地,步骤s4的具体方法为:

判断每个显著性分割图的平均灰度值是否大于等于1.5倍整个显著性图的平均灰度值,若是则将该显著性分割图的灰度值设置为255,否则将该显著性分割图的灰度值设置为0,得到整个图像的显著性目标区域二值图。

进一步地,步骤s5的具体方法为:

将显著性目标二值图进行形态学开操作,平滑显著性二值化目标的轮廓、消除图像中的突出物后进行canny边缘检测,得到该边缘对应的原图像目标的最小外接矩形,进而得到带有与该边缘对应的原图像目标最小外接矩形的图像。

进一步地,步骤s6中将cielab空间中的图像进行超像素分割的具体方法为:

s6-1、将cielab空间中的图像离散地生成聚类核心,将cielab空间中的图像中所有像素点进行聚合;

s6-2、取聚类核心3×3领域内梯度最小处坐标代替原聚类核心的坐标,并向新的聚类核心分配一个单独标号;

s6-3、任取cielab空间中的图像中的两个像素点e和f,根据公式

利用像素点对应cielab空间映射值及对xy轴坐标值得到相似度;其中dlab表示像素点e,f的色差值;dxy为像素e,f的空间相位距离;dh表示像素聚类阈值,h是邻域聚类核心的距离;m表示调节因子,取值区间为[1,20];le、ae和be分别表示在cielab空间中像素点e的l分量、a分量和b分量的取值,lf、af和bf表示在cielab空间中像素点f的l分量、a分量和b分量的取值,xe和ye表示在cielab空间中像素点e的x和y坐标的取值,xf和yf表示在cielab空间中像素点f的x和y坐标的取值。

s6-4、以聚类核心为基准,2h×2h为领域范围,将聚类核心领域范围内相似度大于聚类阈值的像素合并,同时将聚类核心的标号分配给超像素内的每一个像素;

s6-5、重复步骤s6-4直至所有超像素收敛,完成超像素分割。

进一步地,步骤s8中根据每个显著性目标的前景种子和对应的背景种子在原图像中分割出对应的显著性目标的具体方法为:

根据grabcut算法将每个显著性目标的前景种子和对应的背景种子在原图像中分割出对应的显著性目标。

本发明的有益效果为:本发明通过基于cielab空间的像素显著性计算能有效地凸显出图像中的显著性目标和背景之间的对比度,使用基于meanshift图像分割与得到的显著性图相结合并使用合理的计算方法能最大限度地抑制背景、凸显显著性区域,通过得到的显著性区域的最小外界矩与图像的超像素相结合得到每一块显著性目标的前景种子和背景种子,最终使用grabcut算法得到每一块具有全分辨率的图像显著性目标。本方法提取的显著性区域具有准确率高、鲁棒性强等特点,能够准确地分割出显著性目标的背景和前景,具有精度高、效果好等特点。

附图说明

图1为本发明的流程图。

具体实施方式

下面对本发明的具体实施方式进行描述,以便于本技术领域的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。

如图1所示,该图像显著性目标检测的方法包括以下步骤:

s1、将目标图像去噪后分别进行meanshift图像分割和cielab空间转换,分别得到分割图组和位于cielab空间中的图像;

s2、对cielab空间中的图像进行像素显著性值计算,得到每个像素的显著性值,进而得到显著性图;

s3、将得到的显著性图与得到的分割图组结合并得到显著性分割图;

s4、根据各个显著性分割图的平均灰度值大小,将该显著性分割图的灰度值设置为255或0,得到整个图像的显著性目标区域二值图;

s5、将显著性目标二值图进行形态学开操作后进行边缘检测,得到带有与该边缘对应的原图像目标最小外接矩形的图像;

s6、将cielab空间中的图像进行超像素分割后与具有最小外接矩形的图像相结合,并将每个最小外接矩形外边缘作为标准对该最小外接矩形内的超像素进行相似度检测;

s7、将符合相似度的超像素作为与其对应的显著性目标的背景种子,其余的超像素作为与其对应的显著性目标的前景种子;

s8、根据grabcut算法将每个显著性目标的前景种子和对应的背景种子在原图像中分割出对应的显著性目标,得到图像中每个具有全分辨率的显著性目标,完成图像显著性目标检测。

步骤s1中将目标图像去噪后进行cielab空间转换的具体方法为:

通过高斯滤波器去除目标图像的噪声,并根据公式

将目标图像从rgb颜色空间转换到xyz颜色空间,并根据公式

将目标图像从xyz颜色空间转换到cielab空间;其中x、y、z是xyz颜色空间的三色刺激值,r为rgb图像的红色通道分量,g为rgb图像的绿色通道分量,b为rgb图像的蓝色通道分量,l*为cielab空间中图像像素的亮度分量,a*为cielab空间中从红色到绿色的范围,b*为cielab空间中从黄色到蓝色的范围,yn、xn和zn是xyz颜色空间中对应的三刺激色相对于白色的参考值,yn默认取值为95.047,xn默认取值为100.0,zn默认取值为108.883。

步骤s2的具体方法为:

根据公式

sss(x,y)=||iu(x,y)-if(x,y)||

x0=min(x,m-x)

y0=min(y,n-y)

a=(2x0+1)(2y0+1)

对cielab空间中的图像进行像素显著性值计算,得到每个像素的显著性值sss(x,y),进而得到显著性图;其中‖‖为计算iu(x,y)与if(x,y)的欧式距离;if(x,y)为cielab空间中像素在(x,y)位置处的像素值;iu(x,y)为在cielab空间中以位置(x,y)处为中心像素的子图像的平均像素值;x0、y0和a为中间参数;m为图像的宽度;n为图像的高度。

步骤s4的具体方法为:

判断每个显著性分割图的平均灰度值是否大于等于1.5倍整个显著性图的平均灰度值,若是则将该显著性分割图的灰度值设置为255,否则将该显著性分割图的灰度值设置为0,得到整个图像的显著性目标区域二值图。

步骤s5的具体方法为:

将显著性目标二值图进行形态学开操作,平滑显著性二值化目标的轮廓、消除图像中的突出物后进行canny边缘检测,得到该边缘对应的原图像目标的最小外接矩形,进而得到带有与该边缘对应的原图像目标最小外接矩形的图像。

步骤s6中将cielab空间中的图像进行超像素分割的具体方法为:

s6-1、将cielab空间中的图像离散地生成聚类核心,将cielab空间中的图像中所有像素点进行聚合;

s6-2、取聚类核心3×3领域内梯度最小处坐标代替原聚类核心的坐标,并向新的聚类核心分配一个单独标号;

s6-3、任取cielab空间中的图像中的两个像素点e和f,根据公式

利用像素点对应cielab空间映射值及对xy轴坐标值得到相似度;其中dlab表示像素点e,f的色差值;dxy为像素e,f的空间相位距离;dh表示像素聚类阈值,h是邻域聚类核心的距离;m表示调节因子,取值区间为[1,20];le、ae和be分别表示在cielab空间中像素点e的l分量、a分量和b分量的取值,lf、af和bf表示在cielab空间中像素点f的l分量、a分量和b分量的取值,xe和ye表示在cielab空间中像素点e的x和y坐标的取值,xf和yf表示在cielab空间中像素点f的x和y坐标的取值。

s6-4、以聚类核心为基准,2h×2h为领域范围,将聚类核心领域范围内相似度大于聚类阈值的像素合并,同时将聚类核心的标号分配给超像素内的每一个像素;

s6-5、重复步骤s6-4直至所有超像素收敛,完成超像素分割。

meanshift图像分割的本质是依据在不同的标准对特定空间进行聚类。设采样数据形成的d维的特征向量集合sd={sk,k=1,2,…},其中s=[ss,sr]t,一般空间域向量ss为2维,range域向量xr的维数设为p,则d=p+2。在该集合中,概率密度函数的parzen窗估计为:

在上式中,x表示d维空间空的一个点,kh(x)表示该d维空间中的核函数,带宽矩阵h可由带宽系数h来简化表示,h=h2i,同时采用剖面函数k来表式核函数k(x)=k(‖x‖2),则上式表达式可以表示为:

由核函数的定义可分离性,上式还可以表示为:

其中,c为归一化常量,分别表示空域和range域的不同带宽系数,根据meanshift原理,寻找极值的过程可以直接通过均值的漂移来完成,因此每次漂移后新的特征向量由下式获得:

其中,wi为权重系数,g(x)=-k`(x)称为k的影子函数。漂移的过程不断进行,对于每个特征点向量xk,通过多次迭代收敛到不同模式点,从而形成聚类中心集合cd={cd,k,k=1,2,…,n},经过该分类的过程,初始特征向量依据聚类中心的不同划分为n个类,然后再对cd从空域和range域分别进行检测,若任意ci,cj∈cd,i≠j满足在特征空间中位于相同包围球内,则认为特征相近,将ci和cj归为一类,即

经过以上的处理,最终形成的cd即为分割的结果。

grabcut算法是在graphcut算法的基础上改进而来,其中graphcut算法描述如下:

图像被看成一个图g={v,ε},v是所有的节点,ε是连接相邻节点的边。图像分割可以当作一个二元标记问题,每一个i∈v,有唯一的一个xi∈{前景为1,背景为0},与之对应。所有的xi集合可以通过最小化gibbs能量e(x)获得:

其中,λ为相干参数,同样的,根据用户指定的前景和背景,我们有前景节点集f和背景中子节点集b,未知节点集u。首先用k-mean方法将f,b的节点聚类,计算每一个节点的平均颜色,代表所有前景类的平均颜色集合,背景类是计算每一个节点i到每一个前景类的最小距离和相应的背景距离其中c(i)是第i条边的连通性约束项,定义公式:

前两组等式保证定义与用户输入一致,第三组等式意味着与前景的颜色相近度决定者未知点的标记。

e2定义为与梯度相关的一个函数:

e2(xi,xj)=|xi-xj|*g(ci,j)

e2的作用是减少在颜色相近似的像素之间,存在标记变化的可能,即使其只发生在边界上。最后,以e1和e2作为图的权值,对图进行分割,把未知区域的节点划分到前景集合或后景集合中,便得到前景提取的结果。

grabcut算法在graphcut的基础上进行了改进:利用高斯混合模型(gaussianmixturemodel,gmm)取代直方图,将灰度图像扩展到彩色图像。

在grabcut算法中,使用gmm模型来建立彩色图像数据模型。每一gmm都可看作一个k维的协方差。为了方便处理gmm,在优化过程中引入向量k=(k1,…,kn,…,kn)作为每个像素的独立gmm参数,且kn∈{1,2,…,k},相应像素点上的不透明度an=0或1。gibbs能量函数写为:

e(α,k,θ,z)=u(α,k,θ,z)+v(α,z)

式中,α为不透明度,α∈{1,0},0为背景,1为前景目标,z为图像灰度值数组,z=(z,…,zn,…,zn),引入gmm彩色数据模型,其数据可以定义为:

式中d(an,kn,θ,zn)=-logp(zn|αn,kn,θ)-log(αn,kn),p(·)是高斯概率分布,π(·)是混合权重系数(累积和为常数)。所以有:

这样模型的参数就确定为:

θ={π(α,k),u(α,k),∑(α,k),k=1,2,…,k}

彩色图像的平滑项为:

其中,常数β通过如下式子确定:β=[2<(zm-zn)2]-1,通过该式子得到的β确保上式中指数项在高低值之间适当转换。

本发明通过基于cielab空间的像素显著性计算能有效地凸显出图像中的显著性目标和背景之间的对比度,使用基于meanshift图像分割与得到的显著性图相结合并使用合理的计算方法能最大限度地抑制背景、凸显显著性区域,通过得到的显著性区域的最小外界矩与图像的超像素相结合得到每一块显著性目标的前景种子和背景种子,最终使用grabcut算法得到每一块具有全分辨率的图像显著性目标。本方法提取的显著性区域具有准确率高、鲁棒性强等特点,能够准确地分割出显著性目标的背景和前景,具有精度高、效果好等特点。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1