基于混成系统的全遮挡行人跟踪方法及其装置与流程

本发明涉及的是一种计算机视觉监控目标跟踪领域的技术，具体是一种基于混成系统的全遮挡行人跟踪方法及其装置。
背景技术：
：传统的单个行人跟踪主要有两大类方法：目标表示和定位、滤波与数据关联。目前常用的行人跟踪算法为第一类方法。这类方法又可分为三小类方法：生成式跟踪、判别式跟踪和检测与跟踪混合式跟踪。生成式算法学习一个代表性模型表示跟踪目标并且利用该模型搜索使得重建误差最小的图像区域；判别式算法将跟踪问题视为一个在局部搜索区域的二分类问题，利用学习到的分类器在当前帧搜索得到与背景最具区分度的图像区域。基于目标表示和定位的算法在最近十年来得到了长足发展。针对行人的遮挡提出了一些切实有效的算法，比如l1跟踪算法(xuemeiandhaibinling,robustvisualtrackingandvehicleclassificationviasparserepresentation[j].ieeetpami,november2011,vol.33(11):2259-2271)将跟踪转化为在粒子滤波框架下稀疏近似问题。在跟踪过程中，候选目标利用目标模板和琐碎模板进行线性表示。在遮挡出现时，有限的稀疏模板将被激活但是整个系数矢量仍然保持稀疏。fct(kaihuazhang,leizhangandming-hsuanyang,fastcompressivetracking[j].ieeetpami,october2014,vol.36(10):2002-2015)模型是基于保留图像结构的非自适应随机映射的表观模型。一个非常稀疏的量测矩阵从前景和背景目标中提取有效的压缩特征，跟踪的任务由一个压缩域中带有在线更新功能的二分类器完成。表观模型从不相关的量测中学习到了的目标和背景的差异性，可以减小背景像素的影响，从而可以处理遮挡和跟踪目标姿态变化的问题。总而言之，这两种方法利用他们具有区分性的目标表观表示和模型更新机制有效处理部分遮挡甚至严重遮挡。在遮挡出现时，他们充分利用了未被遮挡部分的目标特征跟踪目标。但是当目标被全遮挡后，如果目标的表观模型停止模板更新，那么当丢失目标重新出现在目标搜索范围内时算法能继续跟踪目标。如果模板更新出现偏差或者丢失目标出现在目标搜索范围以外，算法就会失效。检测和跟踪结合的代表算法是tld(zdenekkalal,krystianmikolajczyk,jirimatas.tracking-learning-detection[j].ieeetpami,july2012,34(7):1409-1422)算法。该算法中检测器和跟踪器同时估计目标的候选位置。当跟踪结果更有效时输出跟踪结果，当检测结果更有效时重置目标的位置。学习器利用最佳估计结果迭代训练更好的检测器。该算法对刚性目标有很 好的跟踪能力，但是对于行人跟踪尤其存在全遮挡的行人跟踪效果不好。滤波和数据关联的方法中针对单目标跟踪常用的方法有pf滤波和kalman滤波及其衍生的ekf滤波和ukf滤波。这些算法结合门技术可以实现目标丢失的可靠判断。然而当目标存在全遮挡的情况时，由于目标运动信息的丢失导致后续跟踪失效。为了实现行人遮挡前后的连续跟踪，需要1)在行人被遮挡前很好的跟踪行人并训练一些能辨识该行人的特征以便该行人在遮挡后再次出现时能被有效辨识；2)在行人被遮挡后停止基于行人状态的跟踪和对行人特征的学习；3)利用学习到的特征从检测结果辨识到失跟行人时重置跟踪状态进行跟踪。混成系统是一类既包含连续动态行为又包含离散动态行为的系统，这些连续和离散动力学行为不仅共同存在，而且相互作用。混成系统的发展演化既取决于对离散的瞬时事件的响应，又取决于对微分和差分方程表示的随时间变化的动力学行为的响应。该方法被广泛应用于计算机科学领域、建模和仿真领域、系统与控制科学领域(arjianvanderschaftandhansschumacher.anintroductiontohybriddynamicalsystems[b].1sted.vol.251.springer,london,uk,2000.)，然而该算法很少用在视频目标跟踪领域。由于监控场景中单个摄像头视角局限，不可避免的存在行人全遮挡情况，在这种情况下对行人跟踪就需要算法能够辨识到遮挡并且在失跟行人再次出现时继续跟踪。经过对现有技术的检索发现，中国专利文献号cn102663409a，公布日2012.9.12，公开了一种基于hog-lbp描述的行人跟踪方法，包含如下步骤：a1、样本建立；a2、特征提取；a3、建立svm模型；a4、分类器训练；a5、视频捕获与预处理；a6、视频行人检测；a7、视频行人跟踪：使用基于hog-lbp特征的粒子滤波跟踪方法对步骤a6检测到的行人进行跟踪。但该技术1)由于hog-lbp描述子加svm分类器的行人检测算法的缺陷，在选取正负样本时往往需要加入跟踪行人的训练样本，不利于对未知行人的检测；2)在解决遮挡问题时没有考虑行人落在粒子滤波预测区域之外的情况；3)算法没有航迹终结机制，在行人被遮挡后仍然更新模板，必然会导致模板更新错误，无法进行后续行人跟踪；4)根据算法描述如果行人被全遮挡一段时间后出现在粒子滤波未预测到的位置，易被识别为新生目标。技术实现要素：本发明针对现有技术存在的上述不足，提出一种基于混成系统的全遮挡行人跟踪方法及其装置，通过构建行人跟踪模型和行人辨识模型，在行人被全遮挡前通过行人跟踪模型跟踪并学习行人特征，在跟踪行人被全遮挡时停止学习，通过行人辨识模型利用学习到的行人特征从检测结果中辨识出失跟行人并继续进行跟踪。本发明是通过以下技术方案实现的：本发明涉及一种基于混成系统的全遮挡行人跟踪方法，根据行人运动特点以及在跟踪中 需要学习的行人特征，构建相应的跟踪模型和辨识模型，行人未被遮挡时，跟踪模型跟踪行人的同时学习行人特征，行人被遮挡时通过模型转移规则的感知条件感知行人被遮挡并切换为辨识模型；辨识模型利用学习到的行人特征从检测结果中不断辨识失跟行人；在辨识模型辨识到失跟行人时，根据模型转移规则的重置条件重置跟踪行人的状态并切换到跟踪模型继续跟踪，实现存在全遮挡情况下的行人跟踪。所述的检测结果是指：采用行人检测算法acf检测行人区域。所述的行人检测结果表示为其中：为t时刻带有噪声的第i个量测结果的位置和尺度。所述的跟踪模型表示为其中：x为行人运动状态参数，为需要训练的特定行人分类器，为行人平均运动速度，为跟踪行人的平均尺度信息。所述的辨识模型包括：行人运动的可达性子模型、尺度子模型和表观子模型。所述的可达性子模型为其中：di为检测结果(1:2)中心与跟踪模型失效前跟踪行人中心xk(1:2)的欧氏距离，如果则可达性子模型成立。所述的尺度子模型为p′t|t-1＝q′+f′p′t-1ft，s′＝h′p′t|t-1h′t+r′，其中：z′为含有噪声的关于检测结果的尺度信息，f′＝i2，h′＝i2，如果γ′为二维椭球门门限，则尺度子模型成立。所述的表观子模型在为由框定的行人图像区域时成立。本发明涉及一种实现上述方法的装置，包括：视频采集单元、跟踪和特征学习单元、辨识单元和转移规则单元，其中：跟踪和特征学习单元在跟踪行人的同时学习行人特征，辨识单元根据跟踪和特征学习单元学习到的行人特征从检测结果中辨识失跟行人；转移规则单元根据感知条件、辨识条件和重置条件进行跟踪和特征学习单元和辨识单元间的切换和状态重置。技术效果与现有技术相比，本发明设计合理，基于混成系统对存在全遮挡的行人进行跟踪辨识，易于控制，极大了提升了行人跟踪的准确度和成功率，并且本算法不需要跟踪行人的样本信息进行训练，利用先进的行人检测算法acf结合inria数据库即可实现未知行人的检测。附图说明图1为全遮挡行人跟踪方法示意图；图2为实施例定性结果图；图3为全遮挡行人跟踪装置示意图。具体实施方式下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。实施例1如图1所示，本实施例涉及一种基于混成系统的全遮挡行人跟踪方法，包括以下步骤：步骤1、根据行人检测算法acf检测到的n个行人的行人区域作为检测结果，基于行人运动一般符合常速运动模型的假设，结合kalman滤波算法构建跟踪模型，实现行人跟踪，并学习行人特征。所述的行人检测算法acf(aggregatedchannelfeatures)引自piotrdollar等人的《fastfeaturepyramidsforobjectdetection》([j].ieeetpami,august2014,36(8):1532-1545)一文。所述的行人检测结果表示为其中：表示t时刻带有噪声的第i个量测结果的位置和尺度。所述的行人跟踪模型在某一时刻的状态其中：x为行人运动状态参数，为需要训练的行人分类器，为行人平均运动速度，为跟踪行人的平均尺度。所述的行人运动状态参数其中：(pw,ph)表示行人的位置，表示行人的速度，(w,h)表示行人的宽高。所述的行人运动状态参数x的运动模型和量测模型分别为：其中：表示均值和方差分别为m和p的高斯密度函数，f为状态转移矩阵，q为过程噪声协方差矩阵，h为观测矩阵，r为过程噪声协方差。由于行人的运动往往符合常速运动，因而：其中：σu为过程噪声标准差，σv为观测噪声标准差。所述的行人分类器具体是指：在行人跟踪的同时，在跟踪结果附近抽取npos个正样本 和nneg个负样本并根据模板计算相应的值，并基于这些值采用增量svm训练一个基于行人特征的能从检测结果中标识跟踪行人的分类器。所述的正样本在以估计行人中心为中心，以跟踪行人宽度的sw为半径的圆形区域抽取，负样本在以估计行人中心为中心，分别以跟踪行人宽度的swi和swo为内外半径的圆环区域抽取。所述的正样本和负样本的值以抽取的正负样本和模板的相似度sim(t,y)表示，其中：t为模板图像，y为正样本和负样本的图像。所述的模板图像t以及正样本和负样本的图像y在调整到相同图像大小后(如128×64)，采用行人相似度度量算法或类似手段进行行人相似度度量。所述的行人相似度度量算法引自zhao等人的《unsupervisedsaliencelearningforpersonre-identification》(inproceedingofconferenceoncomputervisionandpatternrecognition[c],portland,or,usa,25-27june2013:3586-3593)一文。所述的增量式svm可采用diehl等人的《svmincrementallearning,adaptationandoptimization》(inproceedingsoftheinternationaljointconferenceonneuralnetworks[c],portland,or,usa,20-24july2003:2685-2690)。所述的行人平均运动速度其中：v为行人当前的运动速度，α为行人平均速度学习参数，0≤α≤1。所述的跟踪行人的平均尺度其中：s为行人当前的尺度，β为行人平均尺度学习参数，0≤β≤1。步骤2、构建辨识模型，结合行人运动的可达性、尺度信息和表观信息从检测结果中筛选出可能作为跟踪行人的目标。所述的辨识模型包括：行人运动的可达性子模型、尺度子模型和表观子模型。所述的可达性子模型为其中：di为检测结果中心与行人跟踪模型失效前跟踪行人中心xk(1:2)的欧氏距离，如果则可达性子模型成立。所述的尺度子模型为p′t|t-1＝q′+f′p′t-1ft，s′＝h′p′t|t-1h′t+r′，其中：z′为含有噪声的关于检测结果的尺度信息，f′＝i2，h′＝i2，如果γ′为二维椭球门门限，则尺度子模型成立。所述的尺度子模型可采用椭球门算法，引自blackman等人的《designandanalysisof moderntrackingsysyems》(artechhouse,boston,1999)一文。所述的二维椭球门门限引自周宏仁等人的《机动目标跟踪》([b]国防工业出版社，1991)一书。所述的表观子模型在时成立。其中为t时刻的第i个行人由框定的图像信息，为在跟踪模型中学习到的特定行人分类器。步骤3、创建模型转移规则并实时判断当前时刻起作用的模型，并进行实验检测。所述的模型转移规则包括感知条件τ1、辨识条件τ2和重置条件τ3。所述的感知条件τ1为：设且存在唯一的检测结果满足pt|t-1＝q+fpt-1ft，(γ为四维椭球门门限)，则xt＝xt-1。所述的辨识条件τ2为：设如果行人辨识模型未成立，则xt＝xt-1。所述的模重置条件τ3为：设如果行人辨识模型成立，则所述的实验检测的数据采用自拍的存在行人全遮挡的视频。所述的视频在跟踪行人进群和出群前后姿态有很大的变化。所述的视频在跟踪行人被全遮挡后，干扰行人先出并且失跟行人出群的位置未知。本实施例的参数取值如表1所示。表1参数设置表如图2所示，为本实施例的定性实验结果，由图可知本实施例能够保证跟踪行人失跟前稳定的跟踪；在跟踪行人被遮挡后能够及时判断出遮挡；在干扰行人出现时不跟踪，在真正目标出现后及时辨识到失跟行人并进行跟踪；所述算法不受失跟行人再出现位置的影响(行人被遮 挡后无论是沿遮挡前行进方向行走还是按原路返回，算法都能辨识和再跟踪失跟行人)。本实施例与fct、liapg和tld算法在五组测试视频中的平均中心误差比较如表2所示。表2平均中心误差比较表test1test2test3test4fct28406417tld45492613l1apg2044417ours2324由表2可知，由于在完全遮挡后能够准确从检测结果中捕获到失跟行人，本实施例在每组测试中的平均中心误差均最小。其他算法由于搜索范围或者对行人辨识能力差的原因平均中心误差较高。本实施例与fct、liapg和tld算法在四组测试视频中的跟踪成功率结果如表3所示。表3跟踪成功率结果test1test2test3test4fct0.630.600.010.57tld0.360.520.700.74l1apg0.650.600.530.91ours0.990.930.960.93由表3可得，本实施例在存在全遮挡时行人跟踪成功率最高，并且在测试中保持稳定，可以实现跟踪行人消失后及时的跟踪终止，并且能够从检测结果中准确辨识到失跟目标并进行跟踪。本实施例的模型转移规则采用椭球门算法，当检测结果并非只有一个落在跟踪行人的椭球门内时，模型需要从跟踪模型转移到辨识模型；当辨识模型未能从其检测结果中辨识到失跟行人时模型再次跳转到辨识模型；当辨识模型从其检测结果中辨识到跟踪行人时，重置行人跟踪位置状态并从辨识模型转移到跟踪模型。如图3所示，本实施例涉及一种实现上述方法的装置，包括：视频采集单元、跟踪和特征学习单元、辨识单元和转移规则单元，其中：跟踪单元在跟踪行人的同时学习行人特征，辨识单元根据跟踪和特征学习单元学习到的行人特征从对检测结果中辨识失跟行人；转移规则单元根据感知条件、辨识条件和重置条件进行跟踪和特征学习单元和辨识单元间的切换和状态重置。当前第1页12