一种基于自适应邻域形状的图像边缘保持滤波方法与流程

文档序号:15146363发布日期:2018-08-10 20:29阅读:302来源:国知局

本发明涉及一种图像边缘保持滤波方法,尤其是涉及一种基于自适应邻域形状的图像边缘保持滤波方法。



背景技术:

图像边缘保持滤波是很多计算机视觉应用系统中一个非常关键的预处理步骤,它能滤除图像中纹理和噪声的干扰,同时保持图像中显著有意义的边缘清晰,为后续的视觉对象分割、语义分析和三维空间重建等提供必要的技术支持。

当图像中纹理或噪声的变化尺度比较小时,双边滤波方法(c.tomasi,r.manduchi,“bilateralfilteringforgrayandcolorimages,”inproc.oficcv,1998)或基于偏微分方程各向同性扩散滤波方法(l.rudin,s.osherande.fatemi,“nonlineartotalvariationbasednoiseremovalalgorithm,”physicadnonlinearphenomena,vol.60,issues1-4,pp.259-268,1992)能够较好的滤除图像中纹理或噪声干扰。但是,当图像中纹理或噪声的变化尺度与图像中边缘的变化尺度相当时,这些基于图像梯度方法就难以有效地滤除纹理和噪声了,它们或者将纹理当作图像边缘予以保留;或者在滤除纹理和噪声的同时,严重模糊图像中显著有意义的边缘,进而影响后续图像边缘检测和视觉对象分割等。

与一般高斯噪声相比,纹理具有很大的空间相关性,为了有效滤除图像中纹理干扰,近期研究人员提出了很多面向纹理的图像边缘保持滤波方法。这些方法围绕的一些核心问题就是:区分由纹理或噪声引起色彩或灰度的变化和由图像中显著有意义的边缘引起色彩或灰度的变化,以及寻找合适的滤波尺度等。如文献(l.xu,q.yan,y.xiaandj.jia,“structureextractionfromtextureviarelativetotalvariation,”acmtransactionsongraphics,vol.31,no.6,article139,2012)提出一个衡量局部变化尺度,即相对总变差(relativetotalvariation)来区分图像中由纹理或噪声引起色彩或灰度的变化和由显著有意义的边缘引起色彩或灰度的变化。但是如果图像中纹理或噪声的变化尺度与附近边缘两侧的变化尺度相当时,该尺度还是无法区分由纹理或噪声引起色彩或灰度的变化和由显著有意义的边缘引起色彩或灰度的变化。而文献(j.jeon,h.lee,h.kang,s.lee,“scale-awarestructure-preservingtexturefiltering,”computergraphicsforum,vol.35,no.7,pp.77-86,2016)则考虑到相对总变差容易将图像中一些“角”结构误认为是x和y方向上震荡的纹理而加以滤除,提出一个具有方向感的相对总变差(即directionalrelativetotalvariation)。这个尺度能提高判别像素点离边缘距离的精度,从而控制高斯滤波核的尺度。由于他们采用的滤波技术是高斯滤波器,所以还是会导致图像中的边缘受到不同程度的模糊。杨庆雄(q.yang,“semanticfiltering,”inproc.ofieeecvpr,2016)提出将基于随机森林的边缘检测方法(p.dollarandc.l.zitnick,“fastedgedetectionusingstructuredforests,”ieeetransactionsonpatternanalysisandmachineintelligence,vol.37,no.8,pp.1558-1570,2015)得到的边缘置信图作为指导图像,并结合到双边滤波的一种加速变体方法(e.s.l.gastalandm.m.oliveira,“domaintransformforedge-awareimageandvideoprocessing,”inproc.ofsiggraph,2011)中,但是这个方法对于靠近边缘的纹理还是很难滤除。

由于纹理影响的不是单个像素点,而是一片区域,为了更好的滤除纹理,文献(h.cho,h.lee,h.kang,s.lee,“bilateraltexturefiltering,”acmtransactionsongraphics,vol.33,no.4,article128,2014)提出一种基于图像块移位策略(patchshift)的图像边缘保持滤波方法,在每个像素点周围寻找一个“干净的”图像块,这个“干净的”图像块内色彩或灰度的平均值作为该像素点在联合指导双边滤波中的滤波指导值。这个方法能有效地滤除大面积纯纹理区域,或大尺度边缘附近的纹理。但是这个方法在面临像素点位于狭长地带或位于尖角内部时会出现问题,因为在这些像素点周围很难找到“干净的”图像块,从而会使图像中狭长地带和尖角结构变模糊。



技术实现要素:

本发明的目的在于提供一种基于自适应邻域形状的图像边缘保持滤波方法,能突破一般图像边缘保持滤波方法中所考虑的邻域是方块状或圆形状的局限性,利用线段移位(lineshift)策略能形成规则或不规则的邻域形状,从而达到更好滤除图像中狭长地带和尖角内部的纹理和噪声,同时能保持图像中狭长地带和尖角结构的清晰。

本发明技术方案的核心思想是线段移位(lineshift),即在每个像素点上向不同方向画长度为k的线段,而这些线段可以在它们各自的方向上做径向移动,但是必须保证这些移位线段中包含当前像素点,在每个方向上的移位线段中寻找最“干净”的线段,然后由这些不同方向上的最“干净”的线段组合形成当前像素点的“干净”邻域,同时根据这些线段的“干净度”来计算这些线段在形成当前像素点滤波指导值的加权系数,而线段长度k直接控制滤波的尺度,也就是说凡是在这个尺度下的纹理和噪声都会被滤除掉。

本发明采用的技术方案的步骤如下:

步骤1)设置滤波的最大迭代次数为maxiter,在每个像素点上考虑no个不同方向,在每个方向上寻找“干净”线段时所采用线段的长度为k,并初始化滤波的迭代次数为iter=0;

步骤2)输入一幅输入图像i,并计算输入图像i的亮度分量il;

步骤3)用一个小尺度的均匀滤波核对输入图像i进行滤波,得到滤波后图像i0;

步骤4)计算滤波后图像i0的边缘置信图e,边缘置信图e中每个像素点上的数值是在0和1之间,包括0和1在内,数值越大表明像素点上存在边缘的置信度越高;

步骤5)用一个大小为k×k均匀滤波核对输入图像i的亮度分量il进行滤波,得到一个均匀模糊灰度图像b;

步骤6)在每个像素点p上,以该像素点p为中心画出no条不同方向并长度为k的线段,这些线段沿着各自方向径向移动,每个方向上有k条包含该像素点的线段,从这k条线段中选取最不可能穿越边缘的线段作为该方向上最“干净”线段lθ(p),这里θ表示线段的方向表示no个不同方向的角度),沿着no个不同方向找出no条长度为k包含像素点p“干净”线段这些线段形成像素点p的“干净”邻域,这个“干净”邻域中像素点灰度值的加权平均是像素点p的滤波指导值,在每个像素点上都形成这样的“干净”邻域并计算其滤波指导值,得到一个最初滤波指导图像g;

步骤7)将步骤5)中得到的均匀模糊灰度图像b和步骤6)中得到的最初滤波指导图像g通过一个线性加权方式得到滤波指导图像g;

步骤8)利用步骤7)中得到的滤波指导图像g对输入图像i进行联合指导双边滤波,得到中间滤波图像f0;

步骤9)对步骤8)中得到的中间滤波图像f0递归进行两次双边滤波后得到最终滤波图像f;

步骤10)将迭代次数iter加1,检查iter是否超过所设置最大迭代次数maxiter,如果是则输出最终滤波图像f,反之,则将步骤9)得到最终滤波图像f赋给输入图像i,再跳回到步骤2)。

所述步骤3)中一个小尺度的均匀滤波核是3×3的均匀滤波核或5×5的均匀滤波核

所述步骤4)中计算滤波后图像i0的边缘置信图e采用将能输出归一化到0到1区间数值的边缘检测方法。

所述步骤6)中在像素点p沿θ方向寻找包含像素点p长度为k的“干净”线段依据为:假设lθ(p)是表示沿θ方向并包含像素点p长度为k的一条线段,计算该线段的“干净度”:

ecl(lθ(p))=var(e(lθ(p)))(1)

其中e(lθ(p))是表示落在线段lθ(p)上像素点的边缘置信度值,var(e(lθ(p)))表示计算落在线段lθ(p)上像素点边缘置信度值的方差,ecl(lθ(p))是线段lθ(p)穿越边缘的可能性,也就是说var(e(lθ(p)))值越小表示lθ(p)线段越“干净”,穿越边缘的可能性越小,沿θ方向并包含像素点p长度为k的最“干净”线段为具有ecl(lθ(p))值最小的线段:

其中argmin表示从沿方向θ并包含像素点p长度为k的k条线段中寻找ecl(lθ(p))值最小的那条线段。

所述步骤6)中计算像素点p的滤波指导值根据它的no条不同方向包含该像素点p长度为k的“干净”线段的“干净度”来分别计算这no条线段的相应加权系数:

wθ(p)=exp(-σecl(lθ(p)))(4)

公式(3)中gθ(p)是θ方向上最“干净”线段lθ(p)上像素点灰度值的平均值,q表示落在线段lθ(p)上的像素点,il(q)表示像素点q上的灰度值,公式(4)中ecl(lθ(p))是表示线段lθ(p)的“干净度”,其中参数σ是控制滤波的平滑度,参数σ越大,则滤波后图像就模糊,而wθ(p)表示方向θ上最“干净”线段lθ(p)的加权系数,也就是线段越“干净”,则它的加权系数就越大,公式(5)中表示所有方向上“干净”线段的加权系数之和。

所述步骤7)中通过一个线性加权方式得到滤波指导图像g采用如下方式:

g(p)=(1-α(p))g(p)+α(p)b(p)(6)

其中每个像素点上的权重值α(p)是通过归一化公式(5)中w(p)得到的,即w(p)除以所有像素点中最大的那个其中b(p)是步骤5)中得到的均匀模糊灰度图像b在像素点p上的数值,而g(p)是步骤6)中得到的最初滤波指导图像g在像素点p上的数值。

所述“干净”线段,就是不穿越图像边缘;而所述“干净度”是衡量线段不穿越图像边缘的可能性。

本发明具有的有益效果是:

1)本发明利用线段移位(lineshift)策略能形成规则或不规则的邻域形状,从而达到更好滤除图像中狭长地带和尖角内部的纹理和噪声,同时能保持图像中狭长地带和尖角结构的清晰。

2)本发明具有滤除图像中纹理和大尺度噪声干扰的功能,能保持图像显著有意义边缘清晰。

3)本发明可广泛应用于图像细节增强、图像卡通化、和图像目标识别等。

附图说明

图1是本发明方法的流程图。

图2是本发明在水平方向上的线段移位“lineshift”示意图。

图3是本发明在每个像素点上考虑no=4个不同方向示意图。

图4是本发明和几种主流的图像边缘保持滤波方法对一幅受马赛克纹理干扰图像的滤波结果主观视觉比较图。

图5是本发明和几种主流的图像边缘保持滤波方法对一幅受玻璃碎渣纹理干扰图像的滤波结果主观视觉比较图。

图6是本发明和几种主流的图像边缘保持滤波方法对受不同尺度高斯噪声干扰自然图像的滤波结果平均psnr和平均ssim比较图。

具体实施方式

下面结合附图和实施例对本发明作进一步的描述。

图2、图3是本发明的一个核心思想:线段移位“lineshift”策略。

图2线段移位“lineshift”:为了清楚起见,在图2中只画出水平方向上的线段移位。这里黑圆点是表示输入图像中任意一像素点p,首先以该像素点为中心画出一条长度为k的水平方向线段,即图2中间那条线段。该水平线段可以向左或向右偏移,在移动过程中必须保证偏移线段中包含当前所考虑的那个像素点p,即图2中黑圆点。同样为了清楚起见,把这些向左或向右偏移的线段分别画在两旁,实际上它们之间会有很大的重叠。可以看到这些线段中那个像素点p,即黑圆点,位置是不变的。如果线段的长度为k,这样左右偏移共能形成k条包含圆黑点p并且长度为k的线段。在实现过程中,如果把空间方向离散成no个不同方向,在图3中给出一个no=4的例子,每个方向上的线段按照它们各自方向径向移动,均可以象水平方向那样形成k条移位线段,而该方法就是从每个方向上这k条移位线段中找出最“干净”线段,而这no条不同方向上最“干净”线段为当前所考虑的像素点(即图2中黑圆点)形成一个规则的邻域形状,如圆形,扇形或长条形等邻域形状,也可以形成不规则的邻域形状。

如图1所示,下面给出一幅受纹理干扰彩色图像的基于自适应邻域形状的图像边缘保持滤波具体实施操作步骤。

步骤1)设置最大的滤波迭代次数maxiter为5,在每个像素点上考虑no=6个不同方向,在每个方向上寻找“干净”线段时所采用线段的长度k为9,并初始化滤波迭代次数iter=0。

步骤2)输入一幅受纹理干扰输入图像i,计算输入图像i的亮度分量il。

步骤3)用一个大小为3×3均匀滤波核对输入图像i进行滤波,得到滤波后图像i0。

步骤4)对输入图像i采用文献(p.dollarandc.l.zitnick,“fastedgedetectionusingstructuredforests,”ieeetransactionsonpatternanalysisandmachineintelligence,vol.37,no.8,pp.1558-1570,2015)中的方法得到边缘置信图e,该边缘置信图e中每个像素点上的数值是在0和1之间(包括0和1在内),数值越大表明像素点上存在边缘的置信度越高。

步骤5)用一个大小为k×k均匀滤波核对输入图像i的亮度分量il进行滤波,得到一个均匀模糊灰度图像b。

步骤6)在每个像素点p上,以该像素点p为中心画出no条不同方向和长度为k的线段,线段沿着各自的方向径向移动,每个方向有k条包含该像素点的线段(参见图2、图3),假设lθ(p)是表示沿θ方向并包含像素点p长度为k的一条线段,那么该线段的“干净度”计算如下:

ecl(lθ(p))=var(e(lθ(p)))(1)

其中e(lθ(p))是表示落在线段lθ(p)上像素点的边缘置信度值,而var(e(lθ(p)))是表示落在线段lθ(p)上像素点的边缘置信度值的方差(也就是说ecl(lθ(p))值越小表示线段lθ(p)就越“干净”),这里θ表示线段的方向表示no个不同方向的角度),从每个方向的包含像素点p的k条线段中选取最不可能有边缘穿越的线段作为该方向上最“干净”线段lθ(p):

公式(2)中argmin表示从沿方向θ并包含像素点p长度为k的k条线段中寻找ecl(lθ(p))值最小的那条线段lθ(p)作为该方向上最“干净”线段lθ(p)。

步骤7)采用步骤6)可以找出每个方向上最“干净”线段,这no条最“干净”线段形成了像素点p的“干净”邻域。

步骤8)根据步骤7)得到的“干净”线段采用如下加权和方式得到像素点p的滤波指导值g(p):

wθ(p)=exp(-σecl(lθ(p)))(4)

公式(3)中gθ(p)是θ方向最“干净”线段lθ(p)上所有像素点灰度值的平均值,q表示落在线段lθ(p)上的像素点,il(q)表示像素点q上的灰度值,公式(4)中ecl(lθ(p))是表示方向θ上最“干净”线段lθ(p)的“干净度”,其中参数σ是控制滤波的平滑度,参数σ越大,则滤波后图像就模糊,这里选择参数σ=10k,即线段长度k的10倍,而wθ(p)表示方向θ上最“干净”线段lθ(p)的加权系数,也就是线段越“干净”,则它的加权系数就越大,公式(5)中表示所有方向上“干净”线段的加权系数之和。

步骤9)在输入图像的每个像素点上重复步骤6)至步骤8),得到一个初步滤波指导图像g。

步骤10)根据步骤5)得到均匀模糊灰度图像b和步骤9)得到的最初滤波指导图像g,采用如下的线性方式组合得到滤波指导图像g:

g(p)=(1-α(p))g(p)+α(p)b(p)(6)

其中每个像素点上的权重值α(p)是通过归一化公式(5)中w(p)得到的,即w(p)除以所有像素点中最大的那个

步骤11)采用步骤10)中得到的滤波指导图像g对输入的受纹理干扰输入图像i做联合指导双边滤波,其中滤波窗口大小设为(2k-1)×(2k-1),空间域滤波尺度σs为k-1,色彩域滤波尺度σr为c为输入图像的色彩通道数,得到中间滤波图像f0。

步骤12)对步骤11)得到的中间滤波图像f0进行两次递归一般双边滤波后得到最终滤波图像f,其中一般双边滤波中滤波指导图像是输入图像本身,其它参数和步骤11)中设置是一样的,所谓递归滤波就是前一次滤波结果作为下一次滤波的输入图像。

步骤13)将滤波迭代次数iter加1,检查滤波迭代次数iter是否超过所设置最大的滤波迭代次数maxiter,如果是,则输出最终滤波图像f;反之,则将步骤12)得到的最终滤波图像f赋给输入图像i,再跳回到步骤2)。

图4中给出照上述实施操作步骤对一幅受马赛克纹理干扰图像的滤波后结果,并和几种主流的图像边缘保持滤波方法进行比较,它们是btf(h.cho,h.lee,h.kang,s.lee,“bilateraltexturefiltering,”acmtransactionsongraphics,vol.33,no.4,article128,2014),regcov(l.karacan,e.erdemanda.erdem,“structure-preservingimagesmoothingviaregioncovariances,”acmtransactionsongraphics,vol.32,no.6,2013),rgf(q.zhang,x.y.shen,l.xu,j.jia,“rollingguidancefilter,”inproc.ofeuropeanconferenceoncomputervision(eccv),2014),rtv(l.xu,q.yan,y.xiaandj.jia,“structureextractionfromtextureviarelativetotalvariation,”acmtransactionsongraphics,vol.31,no.6,article139,2012),和drtv(j.jeon,h.lee,h.kang,s.lee,“scale-awarestructure-preservingtexturefiltering,”computergraphicsforum,vol.35,no.7,pp.77-86,2016),sf(q.yang,“semanticfiltering,”inproc.ofieeecvpr,2016),在每幅图像下面有两个小方块来放大展示图像的细节部分(请观看图4)。从滤波结果可以看出本发明在细节部分比其他几种方法保持得更好,如狗左后腿和身体之间的狭长地带纹理不但被滤除,而且这个狭长地带的形状也保持得很清晰,狗的眼睛和耳朵部分也比其它几种方法保持得要好。其它几种方法不是过模糊,就是在边缘处的纹理滤除不彻底。针对这幅受马赛克纹理干扰彩色图像,图像边缘保持滤波方法btf,regcov,rgf,rtv,和sf中所涉及的参数均照他们论文中所建议的参数来运行的。

图5给出了一幅受玻璃碎渣纹理影响的彩色图像,从滤波结果可以看出本发明的方法能保持花瓣上白色细条纹,其它几种方法或者把这些白色细条纹全部滤除掉,或者存在过模糊的现象。针对这幅受玻璃碎渣纹理干扰彩色图像,图像边缘保持滤波方法btf,regcov,rgf,rtv,和sf中所涉及的参数均照他们论文中所建议的参数来运行的。

图6中给出的实验结果是对201幅自然图像分别加入标准方差为20,25,30,35,40,45和50的高斯噪声后,采用本发明的方法以及前面提到的几种图像边缘保持滤波方法分别对这些受大尺度高斯噪声影响的图像进行滤波,并计算这201幅图像滤波后的结果与原始图像之间的psnr值和ssim值(z.wang,a.c.bovik,h.r.sheikhande.p.simoncelli,“imagequalityassessment:fromerrorvisibilitytostructuralsimilarity,”ieeetrans.onimageprocessing,vol.13,no.4,pp.600-612,2004)。图6(a)中展示了不同滤波方法在不同噪声水平下的平均psnr值,图6(b)中展示了不同滤波方法在不同噪声水平下的平均ssim值。在这个例子中,本发明的实施过程除了最大滤波迭代次数maxiter设置为1,每个像素点上所考虑线段的长度k为5之外,其余参数和操作步骤和上面受纹理干扰彩色图像的具体实施操作步骤一样。从实验结果可以看出本发明的方法在滤除高尺度高斯噪声方面也比目前主流的图像边缘保持滤波方法强。这201幅自然图像来自bsds500的测试数据库(p.arbelaez,m.maire,c.fowlkesandj.malik,“contourdetectionandhierarchicalimagesegmentation,”ieeetransactionsonpatternanalysisandmachineintelligence,vol.33,no.5,pp.898-916,2011)。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1