一种基于改进凸包的显著性检测方法与流程

文档序号:11591683阅读:569来源:国知局

本发明涉及一种图像处理技术领域的方法,尤其是涉及一种基于改进凸包先验的显著性检测方法。



背景技术:

随着计算机设备和网络技术的快速发展(包括数码相机、带有拍摄功能的智能手机和平板电脑等设备的普及),数字图像和视频已成为人们生活中不可或缺的信息表现和传递沟通的载体。然而,随着图像和视频数据的日益增多,如何从这些大量的数据中获取有用的信息并对之进行有效的编辑处理成为研究者面临的一大难题。为了解决这个难题,越来越多的研究者开始寻求从图像中提取有用信息对图像进行简洁有效的表示。受生物视觉系统高效的视觉信息处理机理的启发,计算机视觉领域的显著性检测技术逐渐得到了发展。显著性检测模型能够有效的检测场景中的显著目标从而为后续的图像视频编辑处理奠定基础。

现有的图像显著性检测算法大致分为自底向上和自顶向下两类。自底向上的显著性检测方法通过图像和视频内容本身快速检测出显著区域;而自顶向下的显著性检测方法则通过学习的方法得到检测显著区域的准则。本方法侧重于自底向上的显著性检测。自底向上(bottom-up)的显著性检测算法是一种快速的、下意识的、自底向上的、数据驱动的视觉注意方式,也被称为数据驱动(data-driven)方式,主要基于外界刺激产生的视觉注意。该类算法根据图像和视频自身的内容,利用视觉注意基本原则,仅需少量的或者无需视觉先验知识即可计算出视觉显著区域。

采用低层特征,以自底向上的方式进行图像显著检测的算法包括:基于生物启发的方法及基于计算模型的方法。基于生物启发的方法在视觉注意理论研究的基础上关注诸如颜色、边缘、方向、运动方向等低层特征。如itti等人提出的“amodelofsaliency-basedvisualattentionforrapidsceneanalysis”,该方法利用高斯金字塔评估亮度、颜色、方向这三种特征的中心-周围差异进行显著性检测。该方法的检测结果过于强调局部范围内的高频细节,得到的显著图较模糊。基于计算模型的方法更适合计算机视觉的具体应用场景,如基于空间频率的算法、基于对比度先验的算法及基于背景先验的算法。基于空间频率的算法采用图像幅度谱或相位谱计算显著值。如hou等人提出的“saliencydetection:aspectralresidualapproach”方法,这类方法得到的结果更符合图像高层结构,但显著图较模糊且过于强调边缘。

基于对比度先验的算法包括局部对比度、全局对比度两类。局部对比度方法计算像素块的中心-周围差异作为像素块的显著值,如ma等人提出的“contrast-basedimageattentionanalysisbyusingfuzzygrowing”方法,这类方法得到的显著图较清晰,但忽略了图像的全局结构特征。全局对比度方法将显著值定义为像素块相对于图像整体的差异程度。如achantar等人提出的“frequency-tunedsalientregiondetection”的方法,该方法计算像素颜色与图像平均颜色之间的差异;chengmm等人提出的“globalcontrastbasedsalientregiondetection”将图像划分为区域,,计算区域与所有区域的颜色差异。相比于局部对比度算法,全局对比度算法更符合图像的整体结构,突出显著目标整体。

基于背景先验的方法将图像边界视为背景区域,计算像素块与背景区域的差异性得到像素块的显著值。如weiy等人提出的“geodesicsaliencyusingbackgroundpriors”、yangc等人提出的“saliencydetectionviagraph-basedmanifoldranking”,zhuw等人提出的“saliencyoptimizationfromrobustbackgrounddetection”的方法,描述像素块与背景的差异性,差异性越高,像素块的显著值越低。与基于对比度先验的方法相比,这类方法能更大程度地突出显著目标,得到清晰的显著图。但是由于算法较依赖于图像的边界特性,对于背景复杂或前景与背景对比度较低的图像检测效果较差。



技术实现要素:

本发明是为了解决上述问题而进行的,目的在于提供一种基于改进凸包的显著性检测方法,构建复杂背景下准确、边界清晰且内容完整的显著性图。具体包括运用harris角点检测来得到最小凸包,对图像进行优化得到改进的凸包,合并两次凸包得到大致的目标区域,根据目标区域结合超像素构建目标提示的显著性模型,结合颜色对比度,从而得到更准确、边界清晰、内容完整的复杂背景下的显著度图。

本发明提供了一种基于改进凸包的显著性检测方法,具有这样的特征,包括以下步骤:

第一步:先对原图像进行harris角点检测,然后用graham扫描算法得到角点的凸包,该凸包区域记为r1,对原图像进行高斯滤波,然后再次得到滤波后图像的凸包区域,记为r2,将r1和r2这两个凸包区域的交集区域作为输入图像前景目标的近似位置,记为r;

第二步:对原图像采用slic方法进行超像素分割,原图像分割得到的超像素块集合记为x={r1,r2,...,rn},其对应的显著性值记为v={v1,v2,...,vn},n是分割的超像素块的个数;

第三步:判断超像素块是否属于凸包区域r,首先计算每个超像素块的中心的位置,判断超像素中心是否在凸包区域r中,这样超像素块集合分为两个部分,一个是超像素块在凸包区域r内,记为rf,表示前景区域;另外一个是超像素块不在凸包区域r内,记为rb,表示背景区域;

第四步:计算每个超像素块的前景显著性值和背景显著性值,把每个超像素块看做一个顶点,连接所有相邻的超像素块构建成无向图,图的每条边的权重是相邻两个超像素块的平均颜色之间的欧式距离,该权重在cielab颜色空间内计算;定义一个超像素块的前景显著性值为sfi,它是这个超像素块和所有在凸包区域r内的超像素块最短路径之和,计算公式为:

其中,dist(ci,cj)表示两个超像素块之间的最短路径,ci,cj是这两个超像素块的平均颜色,超像素块rj属于rf,n1表示属于rf的超像素块的个数,

同理,定义一个超像素块的前景显著性值为sbi,它是这个超像素块和所有在凸包区域r外的超像素块最短路径之和,计算公式为:

其中,超像素块rj属于rb,n2表示属于rf的超像素块的个数,可以看到n=n1+n2;

第五步:根据凸包区域r计算前景先验图,对于每一个超像素块,定义它的显著性值为:

fci=sbi/sfi

这样得到的显著性图称为前景先验图,它可以使得凸包内的超像素块的显著性值比凸包外的高;

第六步:根据凸包区域r计算背景先验图,对于每一个超像素块,定义它的显著性值为:

bci=sfi/sbi

这样得到的显著性图称为背景先验图,它可以使得凸包内的超像素块的显著性值比凸包外的低;

第七步:计算凸包区域r为中心先验的全局对比图,定义凸包区域r的中心为μ,那么对每一个超像素块,基于凸包区域r为中心的全局对比图计算公式如下:

其中,φ(ri,rj)是高斯加权函数,ri表示一个超像素块,定义为表示两个超像素块中心之间的空间距离差异;||ci-cj||表示两个超像素块之间的平均颜色距离差异;ψ(ri,μ)表示每个超像素和凸包区域r中心的距离差异,定义为经验上设置δ1=0.4,δ2=0.2;

第八步:根据前景先验图和背景先验图得到凸包先验图,对每一个超像素块计算公式如下:

其中,*为乘法运算,参数σ1,σ2控制着背景区域的强弱,经验上设置σ1=2.5,σ2=6;

第九步:融合凸包先验图和全局对比图为显著性结果图,对每一个超像素块,计算公式如下:

si=chi*gi

其中,*为乘法运算,

第十步:优化显著性结果图得到最终的显著性图,优化函数定义如下:

其中,vi表示一个超像素块的显著性值,bi定义为bi=(1-si)bci,参数bi和si分别控制着背景区域和前景区域的显著性值,第三项是一个平滑约束,它控制值从前景区域到背景区域的平滑过渡,优化后的结果就是本方法最终的显著性图。

发明的作用与效果

本发明所涉及的一种基于改进凸包的显著性检测方法,与现有技术相比,本发明具有以下优点:

(1)本方法通过采用改进凸包先验作为前景目标的大致区域,得到的显著度图受背景影响较小,故对复杂背景的图像得到的显著性图效果较好;

(2)本方法计算速度快,可以快速的计算出图像的显著性值;

(3)本方法在国际上公共的测试集上取得了明显比传统方法更好的结果。

附图说明

图1为本发明实施例的显著性检测流程图;

图2a为本发明实施例的测试原图;

图2b为本发明实施例的改进凸包交集图;

图2c为本发明实施例的前景先验图;

图2d为本发明实施例的背景先验图;

图2e为本发明实施例的基于凸包中心的全局对比图;

图2f为本发明实施例的凸包先验图;

图2g为本发明实施例的融合凸包先验图和全局对比图为显著性结果图;

图2h为本发明实施例的最终显著性图;

图3a为本发明实施例在数据集msra5000上的pr曲线图;以及

图3b为本发明实施例在数据集ecssd上的pr曲线图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解,以下实施例结合附图对本发明一种基于改进凸包的显著性检测方法作具体阐述。

如图1所示,一种基于改进凸包的显著性检测方法,该方法包括以下步骤:

第一步:先对原图像进行harris角点检测,然后用graham扫描算法得到角点的凸包,该凸包区域记为r1。对原图像进行高斯滤波,然后再次得到滤波后图像的凸包区域,记为r2,这两个凸包区域的交集区域作为输入图像前景目标的近似位置,记为r;

第二步:对原图像采用slic方法进行超像素分割。原图像分割得到的超像素块集合记为x={r1,r2,...,rn},其对应的显著性值记为v={v1,v2,...,vn},n是分割的超像素块的个数;

第三步:判断超像素块是否属于凸包区域r。首先计算每个超像素块中心的位置,判断超像素中心是否在凸包区域r中,这样超像素块集合分为两个部分,一个是超像素块在凸包区域r内,记为rf,表示前景区域;另外一个是超像素块不在凸包区域r内,记为rb,表示背景区域。

第四步:计算每个超像素块的前景显著性值和背景显著性值。把每个超像素块看做一个顶点,连接所有相邻的超像素块构建成无向图,图的每条边的权重是相邻两个超像素块的平均颜色之间的欧式距离,该权重在cielab颜色空间内计算;定义一个超像素块的前景显著性值为sfi,它是这个超像素块和所有在凸包区域r内的超像素块最短路径之和,计算公式为:

其中,dist(ci,cj)表示两个超像素块之间的最短路径,ci,cj是这两个超像素块的平均颜色。超像素块rj属于rf。n1表示属于rf的超像素块的个数。

同理,定义一个超像素块的前景显著性值为sbi,它是这个超像素块和所有在凸包区域r外的超像素块最短路径之和,计算公式为:

其中,超像素块rj属于rb,n2表示属于rf的超像素块的个数。可以看到n=n1+n2。

第五步:根据凸包区域r计算前景先验图。对于每一个超像素块,定义它的显著性值为:

fci=sbi/sfi

这样得到的显著性图称为前景先验图,它可以使得凸包内的超像素块的显著性值比凸包外的高;

第六步:根据凸包区域r计算背景先验图。对于每一个超像素块,定义它的显著性值为:

bci=sfi/sbi

这样得到的显著性图称为背景先验图,它可以使得凸包内的超像素块的显著性值比凸包外的低;

第七步:计算凸包区域r为中心先验的全局对比图。定义凸包区域r的中心为μ,那么对每一个超像素块,基于凸包区域r为中心的全局对比图计算公式如下:

其中,φ(ri,rj)是高斯加权函数,ri表示一个超像素块,定义为表示两个超像素块中心之间的空间距离差异;||ci-cj||表示两个超像素块之间的平均颜色距离差异;ψ(ri,μ)表示每个超像素和凸包区域r中心的距离差异,定义为经验上设置δ1=0.4,δ2=0.2。

第八步:根据前景先验图和背景先验图得到凸包先验图,对每一个超像素块计算公式如下:

其中,*为乘法运算,参数σ1,σ2控制着背景区域的强弱,经验上设置σ1=2.5,σ2=6。

第九步:融合凸包先验图和全局对比图为显著性结果图,对每一个超像素块,计算公式如下:

si=chi*gi

其中,*为乘法运算,

第十步:优化显著性结果图得到最终的显著性图,优化函数定义如下:

其中,vi表示一个超像素块的显著性值,bi定义为bi=(1-si)bci,参数bi和si分别控制着背景区域和前景区域的显著性值。第三项是一个平滑约束,它控制值从前景到背景区域的平滑过渡,优化后的结果就是本方法最终的显著性图。

实施例的作用与效果

依据上述步骤,在公开的图像数据集msra5000和ecssd上进行测试。所有试验均在pc计算机上实现,该pc计算机的主要参数为:中央处理器intel(r)core(tm)i5-3470cpu@3.2ghz,内存4gram,windows8。

图2a为本发明实施例的测试原图;图2b为本发明实施例的改进凸包交集图;图2c为本发明实施例的前景先验图;图2d为本发明实施例的背景先验图;图2e为本发明实施例的基于凸包中心的全局对比图;图2f为本发明实施例的凸包先验图;图2g为本发明实施例的融合凸包先验图和全局对比图为显著性结果图;图2h为本发明实施例的最终显著性图。

图3为本发明实施例在数据集msra5000和ecssd上的pr曲线图。从中可以看出本发明提出的基于凸包先验的显著性区域检测计算方法明显优于很多以往的算法,分析比较测试图片的正确率和召回率,通过对比分析曲线显示了本文提出的算法有很大的改进提高。

上述实施方式为本发明的优选案例,并不用来限制本发明的保护范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1