一种实时目标匹配定位中的适配区域自适应选取方法与流程

文档序号:15690051发布日期:2018-10-16 21:54阅读:466来源:国知局

本发明属于计算机图像识别技术领域,更具体地,涉及一种实时目标匹配定位中的适配区域自适应选取方法。



背景技术:

目标匹配定位技术是计算机视觉领域中的一项关键技术,在飞行器导航、视频监控、图像搜索等领域都有着重要的研究和应用价值。基于图像匹配的目标匹配定位技术是指在成像平台上利用获得的实时图像数据和平台姿态信息,与预存的参考图像数据进行匹配,完成对目标的匹配定位。随着信息化技术的飞速发展,目标检测识别技术在飞行器导航等领域中发挥着越来越重要的作用。

在实际应用中,由于许多因素影响,包括成像平台与目标距离过远、气候时相变化、光照变化、成像噪声和畸变、目标被云层、烟雾等遮掩等,导致目标区域适配性较差,进而影响匹配识别的可靠性和精度。

针对上述问题,研究人员提出了基于多子区的目标识别定位方法,将多个子区的识别结果进行融合识别,得到最终目标位置,较好的解决了目标适配性低的情况,且可靠性较高。目前的多子区目标识别定位方法依赖于视场内的地标,虽然通过自动切换等策略可以保证视场内地标数量,但当视场出现剧烈变化,如大幅度偏移,或者与目标过近时,视场内可供切换地标数量不足,导致融合识别的正确率和精度下降,甚至丢失目标。

目前现有技术中采用多特征融合的方式进行自动适配区域选择,选取准则采用边缘密度、平均边缘强度及边缘方向离散度三种特征组成综合适配特征指标,但是没有对适配区域的独特性与唯一性进行分析。现有技术中还有利用usan几何特征进行模板选取,计算量大,实时性不足,且没有考虑匹配区域的唯一性与独特性。



技术实现要素:

针对现有技术的以上缺陷或改进需求,本发明提供了一种基于动态多子区的目标实时检测识别方法,在于基于空间位置关系和局部信息量、结构强度适配性指标以及相关面特征指标来自适应选取满足算法要求的匹配区域,由此解决目标匹配识别定位过程中匹配区域数量不足的技术问题。

为实现上述目的,本发明提供了一种基于动态多子区的目标实时检测识别方法,所述

(1)对待处理图像进行降噪及阈值分割处理,在待处理图像中划分出前景和背景,再将待处理图像划分为多个子块;

(2)根据已有地标和目标信息的空间位置信息构建空间位置势函数;

(3)先利用空间位置势函数对子块进行筛选,再利用子块结构信息和子块结构强度对剩余子块进行筛选;

(4)对筛选后剩余子块进行非极大值抑制,筛除重复区域较多的子块;

(5)以筛选后剩余子块中心为中心,以设定大小构建匹配区域,子块在匹配区域中遍历匹配得到子块相关面,通过相关面主次峰值比和相关峰陡峭程度对相关面对应子块进行筛选;所述设定大小为子块大小的2-4倍,优选子块的3倍大小;

(6)对筛选后剩余子块的相关面主次峰值比、相关面相关峰陡峭程度和空间位置势函数进行加权融合得到适配指标,根据适配指标在剩余子块中逐个迭代选取适配区域并更新空间位置势函数。

进一步地,所述步骤(1)中将将待处理图像划分为多个子块具体为:

(11)确定子块的大小:

其中,[smin,smax]为地标大小范围;r表示当前图像的分辨率为r米/像素;地标大小范围中smin和smax的取值范围为[100,500],[smin,smax]的优选取值为[100,200];

(12)确定划分子块的步长:

(13)按子块的大小和步长在待处理图像中滑动选取子块。

进一步地,所述步骤(2)具体包括:

(21)根据已有地标之间的空间位置约束关系构建第一势函数:

其中,已有地标中心位置为(x1,y1),(x2,y2)…(xn,yn),k∈[1,n],(i,j)表示图中位置,σ表示地标大小;

(22)根据目标与已有地标之间的空间位置约束关系构建第二势函数:

其中,(xt,yt)表示目标中心位置;

(23)融合第一势函数和第二势函数得到空间位置势函数:

进一步地,所述步骤(3)中利用空间位置势函数对子块进行筛选具体为:

(31)计算子块pk中心位置(i,j)对应的空间位置势函数wsk(i,j),若wsk(i,j)<0,则从子块集中删除子块子块pk;

(32)对子块集中所有子块重复步骤(31),得到筛选后子块集。

进一步地,所述利用子块结构信息和子块结构强度对剩余子块进行筛选具体为;

(33)计算子块集中所有子块的子块结构信息esh:

其中,sfore表示子块区域内被标记为前景的面积,stotal表示子块区域总面积;

(34)计算子块结构强度ear;

其中,sconnect表示子块区域中连通区域面积,th1表示连通区域阈值;th1的取值范围为[0.02,0.1],优选取值为0.04;

(35)若esh∈[1/3,2/3]不成立,则删除该子块;若ear>th2不成立,则删除该子块;其中th2为结构强度阈值;th2的取值范围为[0.2,0.5],优选取值为0.2。

进一步地,所述步骤(4)具体为:

(41)将剩余子块按照ear从低到高进行排序,将ear最高的子块从剩余子块中剔除,置入已计算子块集中,计算ear最高的子块与其余所有子块的重叠面积,保留重叠面积小于重叠阈值th3的子块,将大于阈值的子块筛除;th3的取值范围为[0.1,0.5],优选取值为0.2;

(42)若剩余子块数为0,则结束步骤(4),否则返回步骤(41)。

进一步地,通过相关面主次峰值比对相关面对应子块进行筛选具体为:

(51)计算主次峰值比:

其中,vsub表示次高峰;vmax表示最高峰;

(52)若msub<mth1不成立,则剔除该相关面对应的子块,其中mth1表示主次峰阈值;主次峰阈值取值范围为[0.5,0.8],优选取值为0.7。

进一步地,通过相关面相关峰陡峭程度对相关面对应子块进行筛选具体为:

(53)以相关面中最高峰p0=pmax为起点开始,寻找p0的八邻域中最大值点更新起点计算距离dis=norm(p1,pmax),若dis<radius,则令i=1,进入步骤(54);否则进入步骤(56);其中,radius表示距离阈值;距离阈值的取值范围为[7,10],优选取值为9;

(54)从pi开始,寻找pi八邻域中点满足条件为满足前条件中最大值点;计算更新进入步骤(55);否则进入步骤(56);

(55)更新i=1+i,重复步骤(54);

(56)计算相关面相关峰陡峭程度:

其中,表示点pi的值,其中,deacy表示陡峭参数;陡峭参数的取值范围为[0.1,0.3],优选取值0.2;

(57)若mpc<mth2不成立,则剔除该相关面对应的子块,其中mth2表示相关峰陡峭程度阈值;相关峰陡峭程度阈值取值范围为[0.2,0.8],优选取值0.7。

进一步地,所述步骤(6)具体包括:

(61)将相关面主次峰值比和相关面相关峰陡峭程度进行加权融合:

mt=1-(msub+0.5*mpc)

继续和空间位置势函数进行加权融合:

ms=ws(i,j)×mt;

(62)计算剩余子块的适配指标ms,选取ms最大的子块tk做为新的适配区域,从剩余子块中删除tk;

(63)将子块tk加入到已有地标中并执行步骤(2),得到子块tk的空间位置势函数wnew,更新空间位置势函数ws=ws+wt+wnew;

(64)统计新的适配区域数量是否达到设定需求,若达到则步骤(6)完成,否则返回步骤(61)。

总体而言,通过本发明所构思的以上技术方案与现有技术相比,具有以下技术特征及有益效果:

(1)本发明方法采用了自适应匹配区域选取方法,当预设的子区在连续的某一帧图像上数量不足时,可以采用多层次适配特征指标在图像中设定新的子区,由此可以使匹配识别方法适应视场大幅变化,低空无可用子区等情况,提高匹配识别方法的适用范围及可靠性;

(2)本发明方法采用了空间位置势函数来对适配区域的位置进行约束,在第一层筛选时引入空间位置势函数来减少候选区域数量,获得了更好的实时性,在最后确定适配区域时通过空间位置势函数迭代更新来选取新的适配区域;

(3)本发明方法采用了改进的局部结构信息量和局部结构强度两种指标来描述局部区域的信息量和稳定性,在基于灰度的匹配算法中效果明显;

(4)本发明方法采用了相关面主次峰比和改进的最高峰锐度两种相关面特征指标来描述局部区域的独特性和唯一性,其中最高峰锐度指标经过改进后,更能稳定反映最高峰的陡峭程度。

附图说明

图1是本发明实施例的整体流程图;

图2是本发明实施例中地标空间位置势函数示意图;

图3是本发明实施例中目标空间位置势函数示意图;

图4是本发明实施例中综合空间位置势函数示意图;

图5是本发明实施例中局部区域结构信息量指标筛选数据图;

图6是本发明实施例中局部区域结构信息量指标筛选后数据图;

图7是本发明实施例中非极大值抑制筛选后剩余子区示意图;

图8是本发明实施例经过局部区域结构信息量指标筛选和非极大值抑制筛选后的相关面示意图;

图9是四种最高峰陡峭度指标对比示意图;

图10是本发明实施例中根据适配指标在剩余子块中逐个迭代选取适配区域并更新空间位置势函数的过程示意图;

图11是本发明实施例中的三种测试场景;

图12是本发明实施例中当只有1个适配区域时再选取两个新适配区域的效果图;

图13是本发明实施例中没有适配区域时再选取三个新适配区域的效果图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示,本发明方法包括以下步骤:

(1)对待处理图像进行降噪及阈值分割处理,在待处理图像中划分出前景和背景,再将待处理图像划分为多个子块;

(11)为了抑制成像噪声及过细纹理干扰,对实时图像进行高斯滤波操作,平滑掉噪声和过细纹理。在计算结构强度时,需要使用阈值分割后的图像;对实时图像进行ostu自适应阈值分割;

(12)图像分块大小size决定了选取模板的大小,图像分块的步长step则决定了子块选取的密集程度。理想情况时逐像素选取子块,并对不同大小的子块进行适配区域分析,计算量巨大。实际应用中地面场景的尺度是不断变化的,过小的地标所含信息量不足,定位能力差,过大的地标则难以满足实时性要求,且容易出视场。根据算法实时性要求及当前图像分辨率设定分块大小,算法在跟踪状态能允许的模板大小范围为[smin,smax],当前实时图像分辨率为r米/像素,根据实际中匹配算法要求,则:

(2)根据已有地标和目标信息的空间位置信息构建空间位置势函数;

(21)根据多子区之间空间位置约束关系构建势函数,设当前可用子区在实时图中位置坐标为(x1,y1),(x2,y2)…(xn,yn)。根据对当前可用的子区分别建立势函数,以子区位置为中心,如图2越靠近地标,则势函数值越低,通过这种方式来约束子区与子区之间的距离:

其中,k从1到n取值,(i,j)为实时图中像素位置。由于二维高斯函数在离中心3σ距离外可以忽略不计,因此σ取值即为地标大小st;

(22)根据目标与子区的空间位置约束关系构建势函数,算法中要求地标尽可能靠近目标,以抑制间接定位所带来的误差,同样选择高斯二维函数作为势函数,以目标所在位置为中心,如图3所示越靠近目标,则势函数越高,相当于鼓励地标靠近目标。定义如下:

(23)构建综合空间位置势函数,将两类空间位置约束势函数按如下公式进行融合:

其中,n为当前地标数目,融合后势函数如图4所示;

(3)先利用空间位置势函数对子块进行筛选,再利用子块结构信息和子块结构强度对剩余子块进行筛选;

(31)子区空间位置势函数筛选,设当前计算的子区为pk,若pk中心坐标(i,j)对应的ws(i,j)<0,则表明此子块距离当前地标过近,不应该被选为新的地标,跳过对下一个子区进行筛选;

(32)基于灰度匹配算法,定义了一种局部区域结构信息量指标esh,定义如下:

其中,sfore表示局部区域内被标记为前景的面积,stotal表示局部区域总面积;esh过高或过低,局部区域内信息量都会不足,建议阈值范围[1/3,2/3];实施例中具体数据由图5所示,通过esh指标可以将整幅图像中具有较大灰度反差的区域选取出来;

esh在某种程度上能够反映适配区域信息量的丰富程度,但是无法反映标记为前景的像素的分布,若前景分布较为分散,则表明此结构不够稳定,如图5中的1号区域,其前景分布较散,容易受噪声干扰,稳定性不足。

(33)在结构信息量指标的基础上,定义了一个新的指标来描述前景像素的结构强度ear,在局部区域的前景中,寻找面积大于某一阈值的连通区域,统计这类连通区域的总面积与全图总面积的比值,比值越大,则认为这类图像中结构强度越高,定义如下:

ear>th2

其中,th1为连通区域面积阈值,通常设为0.04,th2为ear阈值,根据大量实验,通常设为0.2;

在通过esh指标筛选的局部区域内,如图6所示,这部分区域前景较为分散,结构强度较低,使用ear进行筛选,可有效的筛选出结构强度不高的局部区域;

(4)对筛选后剩余子块进行非极大值抑制,筛除重复区域较多的子块;第一层筛选后得到的适配子块中彼此间存在很大重叠区域,为了避免对同一个区域进行重复计算,进行非极大值抑制(non-maximumsuppression,nms),算法流程如下:

(41)将剩余子块按照ear从低到高进行排序,将ear最高的子块从剩余子块中剔除,置入已计算子块集中,计算ear最高的子块与其余所有子块的重叠面积,保留重叠面积小0.2的子块,将大于阈值的子块筛除;

(42)若剩余子块数为0,则结束步骤(4),否则返回步骤(41);非极大值抑制筛选后剩余子区如图7所示;

(5)经过上述流程所筛选的候选适配区域已经具有较强的结构强度,并且去除了同一位置多余的结构强度低的子块,其相关面如图8所示。但是,第一层筛选只考虑了子块自身的信息量和结构强度,并没有考虑到子块在实时图像中的独特性和唯一性,通过分析相关面特征指标可以进行筛选。

对于每一个候选子区,在实时图像中截取3倍大小的区域作为待匹配图像,将候选子区在待匹配图像上遍历匹配,得到相关面,并计算相关面特征指标,包括:

(51)计算主次峰值比其中,vmax,vsub分别表示相关面最高峰、次高峰峰值,msub表征了匹配区域的唯一性,其值在[0,1]之间,msub越小表示重复模式越少,地标越独特;

(52)相关峰陡峭程度评价指标:mpc,其计算方法如下所示:

以最高峰p0=pmax为起点开始计算,寻找p0八邻域中最大值点则认为为p0最可能漂移的点。更新起点:计算距离:dis=norm(p1,pmax);

令i=1,当dis<radius,进行迭代搜索:

从pi开始,寻找pi八邻域中最大值点认为为pi最可能漂移的位置,其中为了防止重复和折回,需满足如下条件:

其中,为三点之间的夹角,用来保证寻找趋势是远离最高峰;更新pi,计算dis,若dis>radius则停止计算;

其中n为搜寻次数,li为引入的一个惩罚项,离相关峰越远,则影响越低。mpc取值在[0,1]之间,mpc越小,表明相关峰越陡峭,越不容易出现漂移现象。radius取值一般设为9,deacy取0.2;

目前常用的用于描述最高峰陡峭程度的指标有有以下几种:

(a)最高峰八邻域比mngb:

其中vngb表示最高峰中以最大值为中心的邻域范围内8个位置中最大值;

(b)最高峰环形尖锐度msharp:

其中vc和vl分别表示以最高峰中圆形区域内的相关值均值和环形区域内的相关值均值;

(c)最高峰直径锐度ml4:

vmax_bear=max{v0,v45,v90,v135}

其中,v0,v45,v90,v135表示以最高峰值为中心,取0度,45度,90度,135度直径上的相关面均值;

将图8的刀刃型相关面以最高峰为中心进行360度旋转,计算上述4个相关面最高峰陡峭程度分析指标,结果如图9所示。在类似发生旋转时,mngb和ml4随旋转角度呈周期性波动,这是因为两者的邻域相关值采样空间也随之周期性变化。而msharp的邻域相关值采样空间在旋转时虽然一直保持不变,但是以损失了采样准确性为代价的。mpc的邻域相关值一直沿着预定的准则进行采样,基本保持不变;

由此可见,mpc较之前提出的最高峰锐度指标更稳定,更能反映相关面最高峰真实陡峭程度情况;

(53)在完成msub和mpc的计算后,根据下式进行筛选:

由于最终适配区域选取是通过排序获得,因此设置阈值较为宽松。根据大量实验分析,阈值设定如下:th1=0.7,th2=0.7;

(6)对筛选后剩余子块的相关面主次峰值比、相关面相关峰陡峭程度和空间位置势函数进行加权融合得到适配指标,根据适配指标在剩余子块中逐个迭代选取适配区域并更新空间位置势函数;

在完成分层筛选工作后,根据当前地标需求数量选取足够多的地标。在第一层筛选时,已经考虑到已有地标的空间位置约束关系,对于新选取的地标也需要考虑彼此间的空间位置约束关系,因此每选出一个地标,空间位置势函数就需要进行迭代更新;

(61)通过加权的方式计算子块的匹配性能指标,考虑到重复模式对目标识别算法的正确率影响更大,进行如下加权:

mt=1-(msub+0.5*mpc)

继续和空间位置势函数进行加权融合:

ms=ws(i,j)×mt;

(62)计算剩余子块的适配指标ms,选取ms最大的子块tk做为新的适配区域,从剩余子块中删除tk;

(63)将子块tk加入到已有地标中并执行步骤(2),得到子块tk的空间位置势函数wnew,更新空间位置势函数ws=ws+wt+wnew;

(64)统计新的适配区域数量是否达到设定需求,若达到则步骤(6)完成,否则返回步骤(61);

迭代过程如图10所示:图像a-d为位置空间势函数随迭代过程变化的示意图;

为了验证本文所提的地标实时选取性能,对不同场景进行实验,并测试了其运算时间。其中,场景包括城市道路、机场、湖泊场景,如图11所示:

当视场内可用地标数量少于要求数量时,实验假设视场内只有一个地标,此时需要选取2个新的地标,选取结果如图12所示。

当视场内无可用地标时,按照地标实时选取策略选取地标,选取地标数目定位3个;选取结果如图13所示。

可以看出,对于机场跑道场景,选出的地标均为显著性强、局部范围内无重复模式的区域。对于城市道路,受地标大小限制,选出了左上方的操场以及右上方的局部建筑区域,而左下方的菱形对称建筑,存在重复模式,没有选取。对于湖泊水面场景,选出的地也是显著性强,局部范围内无重复模式的区域。

以1004*1004实时图像为例,每个场景分两种情况,分别测试若干次并取平均计算时间,其中地标大小为150*150,搜索步长为地标大小的1/8:

由表1可见,地标实时选取的时间主要用于图像预处理阶段与第二层相关面特征筛选阶段,图像预处理阶段需要对实时图进行滤波及阈值分割,而相关面特征筛选阶段需要进行多次的匹配;

表1

由于实际中地标实时选取只在地标数量不足的时候进行一次,由于姿态的渐变性,可以在通过预测的方式提前进行地标实时选取,以保障整体算法的实时性。

以上内容本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1