基于双边结构张量的粒子滤波目标跟踪算法及系统的制作方法

文档序号:14718944发布日期:2018-06-17 00:08阅读:151来源:国知局
本发明属于计算机视觉领域,具体涉及智能监控领域,特别涉及基于双边结构张量的粒子滤波目标跟踪算法及系统。
背景技术
:目标跟踪是通过对传感器所拍摄到的图像序列进行分析,识别目标在每帧图像上的位置;是一项融合了图像处理、模式识别、人工智能和自动控制等领域先进成果的高技术课题,在航天、监控、生物医学和机器人技术等多种领域都有广泛应用。基于视觉的目标跟踪技术在许多计算机视觉应用领域,诸如机器人技术、视频监控、医学图像分析等起到重要的作用。尽管在最近几十年基于视觉的目标跟踪技术取得了一定的发展,但是在一些复杂的环境下,譬如有复杂背景、光照变化剧烈、目标外形改变等场合,现有的视觉跟踪技术仍不能很好地完成跟踪任务;传统的目标跟踪算法,对图像进行滤波处理后,导致图像的边缘信息不够准确,使跟踪效果变差。考虑到跟踪任务的复杂性,如何设计一个鲁棒性较强的跟踪算法,同时在实时性方面有较好的表现,是计算机视觉领域一个重要的课题。因为双边滤波具有各项异性的特点,使得滤波后的图像能够更好地保留边缘信息;在此将双边滤波理论应用到目标跟踪领域,以双边结构张量做为形变目标的表观模型,采用仿射变换描述目标的几何形变,应用粒子滤波估计目标的几何形变状态,在李群结构下设计粒子滤波算法,完成非刚体形变目标的跟踪。技术实现要素:本发明的目的在于,提供基于双边结构张量的粒子滤波目标跟踪算法及系统,以克服现有技术存在的缺陷。本发明所采用的技术解决方案是:基于双边结构张量的粒子滤波目标跟踪算法,其特征在于:包括:步骤S101:读入视频图像,初始化;步骤S102:对于视频图像序列中当前帧图像跟踪到的目标区域构造双边结构张量;步骤S103:对所述目标区域的几何形变采样,用于预测下一帧图像的目标区域;步骤S104:对每个所述采样对应的图像区域,计算对应的双边结构张量,然后计算每一个采样粒子的权值;步骤S105:基于计算的所述权值确定目标几何形变状态;步骤S106:根据特征空间更新策略更新特征空间。上述的基于双边结构张量的粒子滤波目标跟踪算法,所述视频图像序列中的第一帧图像,手动确定图像的目标区域,仿射变换群上的8维向量为跟踪边界形状的仿射变换参数。上述的基于双边结构张量的粒子滤波目标跟踪算法,所述的步骤S102具体包括:对于任一帧图像,目标区域内任意像素点(x0,y0),计算像素点(x0,y0)的权重Nρ,δ,如式(1)所示:Nρ,δ=1Cρ,δexp(-(x-x0)2+(y-y0)22ρ2)exp(-(Ix-Ix0)2+(Iy-Iy0)22δ2)---(1)]]>其中,(x,y)为其邻域w内的任意一点,(Ix,Iy)是(x,y)的灰度,是(x0,y0)的灰度,ρ和δ分别为控制空间和梯度距离衰变速度参数;Cρ,δ如式(2)所示:Cρ,δ=Σ(x,y)∈wexp(-(x-x0)2+(y-y0)22ρ2)exp(-(Ix-Ix0)2+(Iy-Iy0)22δ2)---(2)]]>则基于所计算出的权重信息,确定该点的结构信息T(x,y),如式(3)所示:T(x,y)=Nρ,δ*Ix2Nρ,δ*IxIyNρ,δ*IxIyNρ,δ*Iy2---(3)]]>通过上述确定的结构信息T(x,y),确定出点(x0,y0)的双边结构张量,即以该点为中心的搜索窗内的所有点的T(x,y)的代数和如式(4)所示:M(x0,y0)=Σ(x,y)∈wT(x,y)---(4)]]>由于T(x,y)具有李群结构,能够通过黎曼几何计算出其内蕴均值;因此,求得李群结构下(x0,y0)处的双边结构张量为如式(5)所示:M′(x0,y0)=exp(m′(x0,y0))M′(x0,y0)∈G---(5)]]>其中,G为李群结构,g为对应的李代数,n为领域内像素点的个数。上述的基于双边结构张量的粒子滤波目标跟踪算法,所述的步骤S103具体包括:根据公式(6)来预测St=St-1+vSt:p(St|St-1)~N(0,Ω)(6)其中j为采样粒子数;j=1,2….300;v=1是状态由时刻t-1迁移到时刻t的速度向量;所述的步骤S104具体包括:对每个采样对应的图像区域,计算对应的双边结构张量,计算每一个采样粒子的权值如式(7)所示:wtj=exp(-λ||d2(Tti,Tt-1)||2)---(7)]]>其中,和Tt-1分别为采样粒子和上一帧目标图像的双边结构张量,λ表示比例系数,函数d(X,Y)为对数欧几里德黎曼度量下对称正定流形上的两点X和Y间的距离,且d(X,Y)=||log(Y)-log(X)||。上述的基于双边结构张量的粒子滤波目标跟踪算法,所述的步骤S105具体包括::计算采样内蕴均值,即为目标的状态St,如式(8)所示:St=exp(1MΣi=1Mlog(wtiSti))---(8)]]>其中,M为采样粒子个数,为t时刻第i个采样粒子的状态。上述的基于双边结构张量的粒子滤波目标跟踪算法,所述的步骤S106具体包括:根据特征空间更新策略更新特征空间,如式(9)所示;Tt=1mΣi=1mlog(Ti),i=t-m,...,t-1---(9)]]>其中,m=10为模板更新间隔的帧数。基于双边结构张量的粒子滤波目标跟踪系统,包括:对于视频图像序列中的每一帧图像,用于对目标区域构造双边结构张量的装置;用于对所述目标区域的几何形变采样的装置;用于对每个所述采样对应的图像区域,计算对应的双边结构张量,然后计算每一个采样粒子的权值的装置;用于基于计算的所述权值估计目标几何形变状态的装置;用于根据特征空间更新策略更新特征空间的装置。上述的基于双边结构张量的粒子滤波目标跟踪系统,所述视频图像序列中的第一帧图像,手动确定图像的目标区域,仿射变换群上的8维向量为跟踪边界形状的仿射变换参数。上述的基于双边结构张量的粒子滤波目标跟踪系统,所述对于任一帧图像,目标区域内任意像素点(x0,y0),计算像素点(x0,y0)的权重Nρ,δ,如式(1)所示:Nρ,δ=1Cρ,δexp(-(x-x0)2+(y-y0)22ρ2)exp(-(Ix-Ix0)2+(Iy-Iy0)22δ2)---(1)]]>其中,(x,y)为其邻域w内的任意一点,(Ix,Iy)是(x,y)的灰度,是(x0,y0)的灰度,ρ和δ分别为控制空间和梯度距离衰变速度参数;Cρ,δ如式(2)所示:Cρ,δ=Σ(x,y)∈wexp(-(x-x0)2+(y-y0)22ρ2)exp(-(Ix-Ix0)2+(Iy-Iy0)22δ2)---(2)]]>则基于所计算出的权重信息,确定该点的结构信息T(x,y),如式(3)所示:T(x,y)=Nρ,δ*Ix2Nρ,δ*IxIyNρ,δ*IxIyNρ,δ*Iy2---(3)]]>通过上述确定的结构信息T(x,y),确定出点(x0,y0)的双边结构张量,即以该点为中心的搜索窗内的所有点的T(x,y)的代数和如式(4)所示:M(x0,y0)=Σ(x,y)∈wT(x,y)---(4)]]>由于T(x,y)具有李群结构,能够通过黎曼几何计算出其内蕴均值;因此,求得李群结构下(x0,y0)处的双边结构张量为如式(5)所示:M′(x0,y0)=exp(m′(x0,y0))M′(x0,y0)∈G---(5)]]>其中,G为李群结构,g为对应的李代数,n为领域内像素点的个数;上述的基于双边结构张量的粒子滤波目标跟踪系统,所述的用于对所述目标区域的几何形变采样的装置具体包括:根据公式(6)来预测St=St-1+vSt:p(St|St-1)~N(0,Ω)(6)其中j为采样粒子数;j=1,2….300;v=1是状态由时刻t-1迁移到时刻t的速度向量;所述的用于对每个所述采样对应的图像区域,计算对应的双边结构张量,然后计算每一个采样粒子的权值的装置;具体包括:对每个采样对应的图像区域,计算对应的双边结构张量,计算每一个采样粒子的权值如式(7)所示:wtj=exp(-λ||d2(Tti,Tt-1)||2)---(7)]]>其中,和Tt-1分别为采样粒子和上一帧目标图像的双边结构张量,λ表示比例系数;函数d(X,Y)为对数欧几里德黎曼度量下对称正定流形上的两点X和Y间的距离,且d(X,Y)=||log(Y)-log(X)||;所述的用于基于计算的所述权值估计目标几何形变状态的装置;具体包括:计算采样内蕴均值,即为目标的状态St,如式(8)所示:St=exp(1MΣi=1Mlog(wtiSti))---(8)]]>其中,M为采样粒子个数,为t时刻第i个采样粒子的状态;所述的用于根据特征空间更新策略更新特征空间的装置;具体包括:根据特征空间更新策略更新特征空间,如式(9)所示:Tt=1mΣi=1mlog(Ti),i=t-m,...,t-1---(9)]]>其中,m=10为模板更新间隔的帧数。本发明的优点在于,与现有技术相比较:(1)通过构建的双边结构张量能够能较好地保留图像的边缘细节部分,使得图像的表观特征表示比较准确;(2)构建的双边结构张量符合对称正定流形,在李群结构下计算均值和距离,使得跟踪区域的计算更精确;(3)采用模板更新策略,适应非刚性,形变目标随时发生的形状,尺度,表观变化,保证模板的有效性,实现稳定的目标跟踪。附图说明图1为本发明基于双边结构张量的粒子滤波目标跟踪算法的流程图;图2为本发明一种基于双边结构张量的粒子滤波目标跟踪系统的流程图;图3示出了实施例1算法跟踪刚体目标结果;图4示出了实施例2算法跟踪非刚体目标结果。具体实施方式下面结合具体实施例和附图对本发明的技术方案进行详细的描述,以便进一步了解本发明之目的、方案,但并非作为本发明所附权利要求保护范围的限制。以下描述的各种功能可由一个或多个计算机程序实施或支持,该计算机程序中的每个均由计算机可读程序代码形成并且实施于计算机可读介质中。术语“应用”和“程序”指代适于在适当的计算机可读程序代码中实施的一个或多个计算机程序、软件组成、指令集、过程、功能、目标、类别、实例、相关数据、或上述项的一部分;短语“计算机可读程序代码”包括任何类型的计算机代码,包括源代码、目标代码和可执行代码。术语“计算机可读介质”包括能够被计算机存取的任何类型的介质,如只读存储器、随机存储器、硬盘驱动器、压缩盘、数字视频盘任何其它类型的储存器;“非易失性”计算机可读介质排除传输易失性的电信号或易失性的其它信号的有线链路、无线链路、光学链路或其它通信链路。非易失性计算机可读介质包括可供数据永久存储的媒体以及可供数据存储并随后被覆盖的媒体,如可重写光盘或可擦除储存设备。本专利文件全文中提供对其它某些词语或短语的定义;本领域普通技术人员应理解在许多情况下,这种定义适用于现有技术,也适用于这样定义的词语和短语的将来的使用;实施例1,图1示出了根据本发明一个实施方式的基于双边结构张量的粒子滤波目标跟踪算法;步骤S101:输入视频图像序列;输入的视频图像序列总帧数为400,初始模板大小为30*25像素;对于第一帧图像,手动确定图像的目标区域,仿射变换群上的8维向量St=[0.05,0.002,0.002,0.05,5,5]T为跟踪边界形状的仿射变换参数,t为当前帧,对于第一帧图像,t=1;步骤S102:对于任一帧图像,目标区域内任意像素点(x0,y0),计算像素点(x0,y0)的权重Nρ,δ,如式(1)所示:Nρ,δ=1Cρ,δexp(-(x-x0)2+(y-y0)22ρ2)exp(-(Ix-Ix0)2+(Iy-Iy0)22δ2)---(1)]]>其中,(x,y)为其邻域w内的任意一点,(Ix,Iy)是(x,y)的灰度,是(x0,y0)的灰度,ρ和δ分别为控制空间和梯度距离衰变速度参数;Cρ,δ如式(2)所示:Cρ,δ=Σ(x,y)∈wexp(-(x-x0)2+(y-y0)22ρ2)exp(-(Ix-Ix0)2+(Iy-Iy0)22δ2)---(2)]]>则基于所计算出的权重信息,确定该点的结构信息T(x,y),如式(3)所示:T(x,y)=Nρ,δ*Ix2Nρ,δ*IxIyNρ,δ*IxIyNρ,δ*Iy2---(3)]]>通过上述确定的结构信息T(x,y),确定出点(x0,y0)的双边结构张量,即以该点为中心的搜索窗内的所有点的T(x,y)的代数和如式(4)所示:M(x0,y0)=Σ(x,y)∈wT(x,y)---(4)]]>由于T(x,y)具有李群结构,能够通过黎曼几何计算出其内蕴均值;因此,求得李群结构下(x0,y0)处的双边结构张量为如式(5)所示:M′(x0,y0)=exp(m′(x0,y0))M′(x0,y0)∈G---(5)]]>其中,G为李群结构,g为对应的李代数,n为领域内像素点的个数;步骤S103:根据公式(6)来预测St=St-1+vSt:p(St|St-1)~N(0,Ω)(6)其中j为采样粒子数;j=1,2….300;v=1是状态由时刻t-1迁移到时刻t的速度向量;步骤S104:对每个采样对应的图像区域,计算对应的双边结构张量,计算每一个采样粒子的权值如式(7)所示:wtj=exp(-λ||d2(Tti,Tt-1)||2)---(7)]]>其中,和Tt-1分别为采样粒子和上一帧目标图像的双边结构张量,λ表示比例系数,函数d(X,Y)为对数欧几里德黎曼度量下对称正定流形上的两点X和Y间的距离,且d(X,Y)=||log(Y)-log(X)||;步骤S105:计算采样内蕴均值,即为目标的估计状态St,如式(8)所示:St=exp(1MΣi=1Mlog(wtiSti))---(8)]]>其中M为采样粒子个数,为t时刻第i个采样粒子的状态;步骤S106:根据特征空间更新策略更新特征空间,如式(9)所示:Tt=1mΣi=1mlog(Ti),i=t-m,...,t-1---(9)]]>其中,m=10为模板更新间隔的帧数;步骤S107:t=t+1,如果t<k重复步骤S103,k为总帧数,否则跟踪过程结束;附图3为所述算法部分帧的跟踪结果。实施例2:图2示出了根据本发明一个实施方式的基于双边结构张量的粒子滤波目标跟踪系统;步骤S201:输入视频图像序列,总帧数为200,初始模板大小为50*130;对于第一帧图像,手动确定图像的目标区域,仿射变换群上的8维向量St=[0.04,0.001,0.001,0.1,4,4]T为跟踪边界形状的仿射变换参数,t为当前帧,对于第一帧图像,t=1;步骤S202:对于区域内任意像素点(x0,y0),(x,y)为其邻域w内的任意一点,计算像素点(x0,y0)的权重Nρ,δ,如式(1)所示:Nρ,δ=1Cρ,δexp(-(x-x0)2+(y-y0)22ρ2)exp(-(Ix-Ix0)2+(Iy-Iy0)22δ2)---(1)]]>其中,(x,y)为其邻域w内的任意一点,(Ix,Iy)是(x,y)的灰度,是(x0,y0)的灰度,ρ和δ分别为控制空间和梯度距离衰变速度参数;Cρ,δ如式(2)所示:Cρ,δ=Σ(x,y)∈wexp(-(x-x0)2+(y-y0)22ρ2)exp(-(Ix-Ix0)2+(Iy-Iy0)22δ2)---(2)]]>则该点的结构信息T(x,y)如式(3)所示:T(x,y)=Nρ,δ*Ix2Nρ,δ*IxIyNρ,δ*IxIyNρ,δ*Iy2---(3)]]>点(x0,y0)的双边结构张量为以该点为中心的搜索窗内的所有点的T(x,y)的代数和如式(4)所示:M(x0,y0)=Σ(x,y)∈wT(x,y)---(4)]]>由于T(x,y)具有李群结构,够通过黎曼几何计算出其内蕴均值;因此,求得李群结构下(x0,y0)处的双边结构张量为如式(5)所示:M′(x0,y0)=exp(m′(x0,y0))M′(x0,y0)∈G---(5)]]>其中,G为李群结构,g为对应的李代数,n为领域内像素点的个数;步骤S203:根据公式(6)来预测j=1,2….300.300为采样粒子数;v=1是状态由时刻t-1迁移到时刻t的速度向量:St=St-1+vSt:p(St|St-1)~N(0,Ω)(6)步骤S204:对每个采样对应的图像区域,计算对应的双边结构张量,计算每一个采样粒子的权值如式(7)所示:wtj=exp(-λ||d2(Tti,Tt-1)||2)---(7)]]>和Tt-1分别为采样粒子和上一帧目标图像的双边结构张量,函数d(X,Y)为对数-欧几里德黎曼度量下,对称正定流形上的两点X和Y间的距离,d(X,Y)=||log(Y)-log(X)||;步骤S205:计算采样内蕴均值,即为目标的估计状态St,如式(8)所示:St=exp(1MΣi=1Mlog(wtiSti))---(8)]]>其中M为采样粒子个数,为t时刻第i个采样粒子的状态;步骤S2106:根据特征空间更新策略更新特征空间,如式(9)所示:Tt=1mΣi=1mlog(Ti),i=t-m,...,t-1---(9)]]>其中,m=10为模板更新间隔的帧数;步骤S207:t=t+1,如果t<k重复步骤S103,k为总帧数,否则跟踪过程结束;附图4为所述算法部分帧的跟踪结果。以上结合附图对本发明做出了具体的说明,但这些说明并不能被理解为限制了本发明的范围,本发明的保护范围由随附的权利要求书限定,任何在本发明权利要求基础上的改动都是本发明的保护范围。当前第1页1 2 3 
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1