基于几何图形匹配的目标跟踪修正方法及其装置与流程

文档序号:14941525发布日期:2018-07-13 20:58阅读:135来源:国知局

本发明涉及一种基于几何图形匹配的目标跟踪修正方法及其装置,属于图像处理领域。



背景技术:

视觉目标跟踪(visualobjecttracking)在军事制导、视觉导航、人机交互、智能交通、公共安全等领域有非常重要的应用价值,一直以来都是计算机视觉领域的研究热点。

现有跟踪方法一旦遇到目标局部遮挡,或目标局部发生变形后,常常导致跟踪结果输出错误,无法继续跟踪。尤其是目标局部形变或遮挡的情况下,现有方法均无法较长时间、准确地跟踪目标,时常出现跟丢目标的情况。而且现有方法跟踪过程中所需时间较长,无法快速对跟踪结果进行修正,并重新快速找回目标继续跟踪。



技术实现要素:

根据本发明的一个方面,提供了一种基于几何图形匹配的目标跟踪方法及其装置,该方法能长时间、准确、快速的跟踪物体且能避免由于物体局部变形或被遮挡导致目标丢失。该方法可以匹配数以千计的节点的图形,且匹配只需要数秒,该方法操作简单提出了处理部分遮挡与快速运动的方法、鲁棒性强。

包括以下步骤:

步骤s100:提取第t帧跟踪图像中目标的轮廓特征,并将轮廓特征转化为几何特征图;

步骤s200:提取第t+1帧跟踪图像中目标估计位置和估计尺度,

如果目标在估计位置,则将估计位置作为几何位置和几何尺度输出,

如果目标不在估计位置,则采用蒙特卡洛搜索树搜索几何图像匹配方法对第t+1帧跟踪图像与几何特征图进行几何匹配,框选匹配一致的跟踪图像作为几何图像,将几何图像作为目标在第t+1帧跟踪图像中的几何位置和几何尺度;

步骤s300:将几何位置和几何尺度作为下一帧图像的跟踪输入图像,返回步骤s100中继续跟踪。

优选地,在进行采用蒙特卡洛搜索树搜索几何图像匹配方法之前还包括对第t+1帧跟踪图像依序进行二值化处理、轮廓提取、轮廓几何特征图提取和图像切割的步骤,得到多个切割图像,对各切割图像分别采用蒙特卡洛搜索树搜索几何图像匹配方法进行几何匹配。

优选地,图像切割为将第t+1帧跟踪图像的几何轮廓图像切割为6~9块等尺寸图像块。

优选地,几何特征图采用几何图论方法提取。

优选地,步骤s200包括以下步骤:比对目标估计位置和几何图像,将二者重叠部分作为几何位置输出。

根据本发明的又一方面提供了一种基于几何图形匹配的目标跟踪修正装置,包括:

几何特征提取模块,用于提取第t帧跟踪图像中所述目标的的轮廓特征,并将轮廓特征转化为几何特征图;

匹配模块,用于提取第t+1帧跟踪图像中目标估计位置和估计尺度,

如果目标在估计位置,则将估计位置作为几何位置和几何尺度输出,

如果目标不在估计位置,则采用蒙特卡洛搜索树搜索几何图像匹配方法对第t+1帧跟踪图像与几何特征图进行几何匹配,框选匹配一致的跟踪图像作为几何图像,将几何图像作为目标在第t+1帧跟踪图像中的几何位置和几何尺度;

循环模块,用于将几何位置和几何尺度作为下一帧图像的跟踪输入图像,返回几何特征提取模块中继续跟踪。

优选地,在进行采用蒙特卡洛搜索树搜索几何图像匹配方法之前还包括用于对第t+1帧跟踪图像依序进行二值化处理、轮廓提取、轮廓几何特征图提取和图像切割的融合模块,融合模块得到多个切割图像后,对各切割图像分别采用蒙特卡洛搜索树搜索几何图像匹配方法进行几何匹配。

优选地,图像切割为将第t+1帧跟踪图像的几何轮廓图像切割为6~9块等尺寸图像块。

优选地,几何特征图采用几何图论方法提取。

优选地,匹配模块还包括比对模块,比对模块用于比对目标估计位置和几何图像,将二者重叠部分作为几何位置输出。

本发明能产生的有益效果包括:

1)本发明所提供的基于几何图形匹配的目标跟踪修正方法,通过对现有跟踪方法所得结果进行几何特征化,采用蒙特卡洛搜索树(montecalrotreesearch,mcts)方法匹配目标的几何特征,可以快速准确的匹配目标,当跟踪目标物发生大距离运动和/或目标内部快速变形时,均能避免跟踪结果丢失部分目标图像的情况发生。

2)本发明所提供的基于几何图形匹配的目标跟踪修正方法,该方法可以用于对目标进行部分匹配,不使用外观信息,不需要初始对准,计算量小,应用成本低、运行过程能耗低、鲁棒性强。

3)本发明所提供的基于几何图形匹配的目标跟踪修正方法,将目标物的边缘外轮廓图转化为由空间曲线上的顶点组成,图匹配可以用于这些结构图像快速和可能的多模态配准。使用蒙特卡罗树搜索,自动平衡探索新的可能匹配和扩展现有的匹配。

4)本发明所提供的基于几何图形匹配的目标跟踪修正装置,具有计算量小,应用成本低、运行过程能耗低、鲁棒性强。

附图说明

图1为本发明提供的基于几何图形匹配的目标跟踪修正方法流程示意框图;

图2为本发明提供的基于几何图形匹配的目标跟踪修正装置的结构示意图;

图3将本发明优选实施例中的基于几何图形匹配的目标跟踪修正方法用于处理局部发生变形的人体所得结果示意图;其中a)为人体初始状态(第一帧)照片及其几何特征图;b)为跟踪人体第299帧照片及其几何特征图;c)为跟踪人体第602帧照片及其几何特征图。

具体实施方式

下面结合实施例详述本发明,但本发明并不局限于这些实施例。

参见图1,本发明提供的基于几何图形匹配的目标跟踪修正方法,包括以下步骤:

步骤s100:提取第t帧跟踪图像中目标的轮廓特征,并将轮廓特征转化为几何特征图;

该步骤中所得第t帧跟踪图像中包含目标的准确位置和尺度信息,所得几何特征图中包含目标的准确位置。

步骤s200:提取第t+1帧跟踪图像中目标估计位置和估计尺度,

如果目标在估计位置,则将估计位置作为几何位置和几何尺度输出,

如果目标不在估计位置,则采用蒙特卡洛搜索树搜索几何图像匹配方法对第t+1帧跟踪图像与几何特征图进行几何匹配,框选匹配一致的跟踪图像作为几何图像,将几何图像作为目标在第t+1帧跟踪图像中的几何位置和几何尺度;

步骤s300:将几何位置和几何尺度作为下一帧图像的跟踪输入图像,返回步骤s100中继续跟踪。

通过该方法实现对现有目标跟踪方法结果的修正,尤其当目标发生形变或遮挡时能及时纠正跟踪输出结果,避免跟踪失败的发生。并且能够及时再次找到目标并继续进行跟踪。蒙特卡罗树搜索方法具体可以参考现有的方法即可。对于目标估计位置和估计尺度的提取,可以通过提取第t+1帧所述跟踪图像中的灰度特征得到。如果待处理图像为灰度图像,直接使用灰度特征,如果是rgb图像,则将图像转化为灰度图像后再提取灰度特征。

优选的,在进行采用蒙特卡洛搜索树搜索几何图像匹配方法之前还包括对第t+1帧跟踪图像依序进行二值化处理、轮廓提取、轮廓几何特征图提取和图像切割的步骤,得到多个切割图像,对各切割图像分别采用蒙特卡洛搜索树搜索几何图像匹配方法进行几何匹配。

通过对所得图像进行上述预处理,能提高所得图像的匹配准确性。

优选的,图像切割为将第t+1帧跟踪图像的几何轮廓图像切割为6~9块等尺寸图像。

按此尺寸切割,能有效提高几何匹配效率,缩短匹配所需时间。

优选的,步骤s200包括以下步骤:比对目标估计位置和几何图像,将二者重叠部分作为几何位置输出。

充分利用目标的估计位置和估计尺度对所得几何图像进行修正,从而提高匹配的精确度。减少几何图像中仅包含目标的局部的情况的出现。

优选的,几何特征图采用几何图论方法提取。

优选的,跟踪图像的获取包括以下步骤:

对目标进行跟踪,获取目标的跟踪图像序列,提取跟踪图像序列中第t帧跟踪图像中目标的位置和尺度;

此处的跟踪可以为现有各类图像跟踪方法,例如快速压缩跟踪(ct)算法、输出的平方差误差最小滤波器(mosse)跟踪方法或基于核函数循环结构(csk)等灰度特征的跟踪法。现有图形跟踪方法中,初始图像中待跟踪目标的选取可以为人工指定,也可以同运动目标检测法在图像中识别出来。包含目标的初始图像也可以提取其中所含目标的几何特征,用于后续的比对中。

参见图2,本发明的另一方面还提供了一种基于几何图形匹配的目标跟踪修正装置,包括:

几何特征提取模块100,用于提取第t帧跟踪图像中目标的轮廓特征,并将所述轮廓特征转化为几何特征图;

匹配模块200,用于提取第t+1帧所述跟踪图像中目标估计位置和估计尺度,

如果所述目标在所述估计位置,则将所述估计位置作为几何位置和几何尺度输出,

如果所述目标不在所述估计位置,则采用蒙特卡洛搜索树搜索几何图像匹配方法对第t+1帧所述跟踪图像与所述几何特征图进行几何匹配,框选匹配一致的所述跟踪图像作为几何图像,将所述几何图像作为所述目标在所述第t+1帧所述跟踪图像中的几何位置和几何尺度;

循环模块300,用于将所述几何位置和几何尺度作为下一帧图像的跟踪输入图像,返回所述几何特征提取模块中继续跟踪。

优选的,在进行所述采用蒙特卡洛搜索树搜索几何图像匹配方法之前还包括用于对第t+1帧所述跟踪图像依序进行二值化处理、轮廓提取、轮廓几何特征图提取和图像切割的融合模块,所述融合模块得到多个切割图像后,对各所述切割图像分别采用蒙特卡洛搜索树搜索几何图像匹配方法进行几何匹配。

优选的,所述图像切割为将第t+1帧所述跟踪图像的几何轮廓图像切割为6~9块等尺寸图像块。

优选的,所述几何特征图采用几何图论方法提取。

优选的,所述匹配模块还包括比对模块,所述比对模块用于比对所述目标估计位置和所述几何图像,将二者重叠部分作为所述几何位置输出。

为了更好的说明本发明提供的方法,一实施例中,对快速移动且局部发生形变的人体采用上述方法进行目标跟踪,其中所用目标跟踪方法为输出的平方差误差最小滤波器(mosse)跟踪方法。mosse跟踪法按现有技术进行即可。

所得结果参见图3,图3a)为初始图像,此时人体静止,左侧为图像,右侧为该图像对应的几何特征图。图3b)为人体发生运动和局部变形后,跟踪所得结果的第299帧图像及其几何特征图。由图可见,采用本发明提供的方法能对跟踪结果进行较好的校正,并能保证跟踪目标不丢失。图3c)为继续跟踪所得的第602帧图像及其几何特征图。由图可见,人体继续发生局部变形,跟踪结果仍然能保证跟踪目标处于图像中,并未将发生变形的局部作为非目标区域排除。说明本发明提供方法能有效修正现有目标跟踪方法所得结果,避免在处理发生局部形变物体时经常发生的目标丢失问题。

以上所述,仅是本发明的几个实施例,并非对本发明做任何形式的限制,虽然本发明以较佳实施例揭示如上,然而并非用以限制本发明,任何熟悉本专业的技术人员,在不脱离本发明技术方案的范围内,利用上述揭示的技术内容做出些许的变动或修饰均等同于等效实施案例,均属于技术方案范围内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1