本发明属于计算机视觉物体检测与跟踪领域，具体涉及一种带状态标注的长期静止物体检测与跟踪方法。
背景技术：
：基于视频的物体检测与跟踪，在视频处理、计算机视觉及模式识别领域具有重要的应用，在一些实际应用中，如随着城市机动车数量的激增，尤其是私家车及出租车数量的增加，违章停车这一交通违法问题日益突显出来，违规停车增加了交通事故的发生率、降低了交通效率；目前对道路违章停车现象的管理，多采用交警直接监管的办法，不仅加大了交警执法的负担而且不能保障执法的及时性和客观性，相比之下，如果对交通视频中长期停放的车辆进行智能视频监控检测，即可达到违规停车监管的目的，这样不仅可以降低劳动成本还可以提高效率。因此，提出一种准确而快速的长期静止物体检测方法显得十分必要。经过几十年的发展历程，针对长期静止物体的检测与跟踪，国内外提出了各种各样的方法，然而从实际应用角度，这些方案远未完善，仍然存在改善的空间。在这些方法中，目前应用较为广泛的策略有低秩稀疏的前背景提取法[1]、混合高斯模型的检测方法和基于树形结构的视频追踪法[2]、基于拉普拉斯分布模型的静止物体检测法[3]。虽然都是对物体的检测与跟踪，但是因为使用策略不同，这些方法呈现出各自的特点。常用的策略包括：(1)在低秩稀疏的前背景提取法的基础上提出广义融合的Lasso法对视频进行前背景分离[4]，然而该方法只适用于将视频一次性读入的前提下进行分离，这样会给内存带来很大负担，运行速率非常低；(2)混合高斯模型是将每个像素点的时变取值建模为一个独立的混合高斯分布，并对高斯分布的均值和方差进行在线更新[5]。(3)在混合高斯背景建模的基础上引入HSV颜色空间特征检测出带阴影的运动目标[6]；(4)在更新混合高斯模型中引入加速因子和合理性反馈使模型更新速度更快、更准确地反应真实的背景[7]；(5)混合高斯模型背景法与三帧差分法相结合的运动目标检测算法[8]；(6)混合高斯模型和帧间差分相融合的自适应背景模型[9]；(7)滑动平均算法和改进的高斯混合模型分别对背景建模，通过两个背景之间的差异达到检测静止物体的目的[10]；(8)多层码本模型分别建模场景中的不稳定前景、稳定前景、次要背景和主要背景，并综合利用像素点的信息和不同点的空间信息检测出长期静止的物体；(9)用三个高斯模型对背景进行建模，其中第二个高斯分布代表静止区域，最后依据前后边界的对比检测出静止物体[12]。以上方法针对检测过程中存储空间、检测精度、方法计算复杂度等不同因素进行改进，往往组合使用。在实际应用场景中，长期静止物体的检测面临各种不利因素：视频背景情况复杂、自然现象的影响，包括：光照突然变化、晃动的树叶干扰和能见度不高；从背景角度考虑，背景是复杂多变的，包括物体间遮挡、多目标并存、车流量大和车辆阴影等；在复杂的环境的影响下，以上算法通常会发生误检，甚至可能完全失效，目前的算法虽然在工程上都可以实现长期物体的检测与跟踪，但是仍存在很多不足：(1)运动阴影的影响，在自然场景中阴影不仅伴随着运动目标而出现并且随着运动目标运动，一般的运动目标检测算法会将运动阴影检测为运动目标，将不同的运动目标连接在一起进而对车辆跟踪产生干扰，AndreaPrati[13][10]等人对于阴影采用归一化颜色分量结合亮度信息进行阴影检测与抑制，然而，该方法在去除阴影的同时损失了那些比阴影更暗或者与阴影具有相似特性的前景点，导致目标出现空洞；(2)当背景光照变化时，背景模型更新的速率低于光照变化的速度，造成背景被误检为前景，GupteS[14]等人针对背景光照的变化提出自适应的背景更新率来对背景进行更新；(3)背景中物体的变化，当在背景中增加或移去某些背景目标时，或者当背景中的物体位置发生变化时，背景就需要及时更新，李明辉[15]等人对背景的提取与更新提出利用相邻视频帧的时间相关性来提高背景更新的实时性；EvangelioR[16]等人通过采用不同的背景更新率进行两个背景建模或者两个前景建模，然后比较两个背景或者两个前景之间的差异达到检测长期静止物体的目的。[1].J.Xu,V,K.Ithapu,L.Mukherjee,J.M.Rehg,and.Singh.Gosus,”Grassmannianonlinesubspaceupdateswithstructured-sparsity.”IEEEInternationalConferenceonComputerVision(ICCV),2013.[2].SeunghoonHongandBohyungHan,”VisualTrackingbySamplingTree-StructuredGraphicalModel,”EuropeanConferenceonComputerVision(ECCV),Zurich,Switzerland,2014.[3].YANGHaibin,ZHOUZhiping,StaticobjectsdetectionmethodbasedonLaplaciandistributionmodel.ComputerEngineeringandApplications,2014,50(14):160-163.[4].BoXin,YuanTian,YizhouWang,andWenGao,”BackgroundSubtractionviaGeneralizedFusedLassoForegroundModeling,”IEEEConferenceonComputerVisionandPatternRecognition(CVPR),Boston,Jun.2015.[5].StaufferC,GrimsonW."Adaptivebackgroundmixturemodelsforrealtimetracking[A]."InProceedingsofIEEEConferenceonComputerVisionandPatternRecognition[C],FortCollins,Colorado,USA,1999:246～252.[6].LINQing,XUZhu,WANGShi-tong,andZHANYong-zhao,”MovingObjectsDetectionofAdaptiveGaussianMixtureModelsonHSV,”ComputerScience,Vol.37,No.10,Oct.2010.[7].CHENZujue,CHENXiaojun,andHEHong,”MovingObjectDetectionBasedonImprovedMixtureGaussianModels,”JoumalofImageandGraphics,vol.12,No.9,Sept.,2007.[8].LIUJING,WANGLing,”ImprovedalgorithmofGaussianmixturemodelforbackgroundsubtraction,”ComputerEngineeringandApplications,46(13),pp.168-170,2010.[9].LIUXin,LIUHui,QIANGZhen-pingandGengXu-tao,”AdaptiveBackgroundModelingBasedonMixtureGaussianModelandFrameSubtraction,”JoumalofImageandGraphics,Vol13,No.4,Apr.,2008.[10].WANGChen,GUOJi-chang,FENGXiao-min,”AbandonedObjectDetectionMethodBasedonDoubleLayerBackground”,ComputerEngineering,Vol.37,No.24,Dec.2011.[11].NINGWen-xin,WANGGui-jin,HELi,LINXing-gang,”Abandonedluggagedetectionmethodbasedonmulti-layercodebookmodel”,ApplicationResearchofComputers,Vol.29,No.1,Jan.2012.[12].TianYingli,FerisRS.Robustdetectionofabandonedandremovedobjectsincomplexsurveillancevideos[J].IEEETransactionsonSystems,Man,andCybernetics,2011:1-11.[13].PratiA,MikicI,Detectiongmovingshadows:algorithmsandevaluation[J].IEEETrans.onPAMI,2003,25(7):918-923.[14].GupteS,MasoudO,MartinRFK,etal.Detectionandclassificationofvehicles[J].IntelligentTransportationSystems,2002,3(1):37-47.[15].LIMing-hui,SUHong-ye,DONGLi-da,”RapidBackgroundExtractionandUpdateAlgorithm”,ComputerEngineering,Vol.36,No.3,Feb.2010.[16].EvangelioRH,SikoraT.Staticobjectdetectionbasedonadualbackgroundmodelandafinite-statemachine[J].EURASIPJournalonImageandVideoProcessing,2011:1-11。技术实现要素：为了解决现有长期静止物体检测与跟踪方法在实际应用中存在的问题，本发明的目的在于提供一种带状态标注的长期静止物体检测与跟踪方法，能够快速、准确、鲁棒的检测出各种复杂场景视频中的长期静止物体。为达到以上目的，本发明采用如下技术方案：一种带状态标注的长期静止物体检测与跟踪方法，首先构造长短双前景模型，融合后生成前景掩膜，然后基于前景掩膜上团块的运动状态对团块进行分类并标注，得到长期团块，最后对不同状态团块的相应区域的长短双背景模型进行更新，具体包括以下步骤：步骤1：前景检测：对原始输入图像进行短时前背景分离、长时前背景分离，分别得到短前景掩膜和长前景掩膜，将得到的两种长短前景掩膜融合后得到视频帧的前景掩膜；步骤2：根据步骤1得到的前景掩膜，检测和跟踪前景掩膜上的运动团块，根据团块分别在长短前景掩膜中持续的时间、团块在长短前景掩膜上持续的时间差、团块的运动轨迹和团块与周围像素点的差异特征对团块的运动状态进行分类，分为空白、短期、长期、由静止到运动和其他五类状态，空白状态是指在整个视频场景中没有发生过运动的物体；短期状态是指物体以一定的速度驶入视频场景中并离开，期间没有发生任何停留；长期状态是指物体以一定的速度驶入视频场景，并发生了长期停止；由静止到运动状态是指物体在视频场景中由静止发生了运动；其他是除我们分析的四种状态之外的状态，并对这五类运动状态的团块进行标注；步骤3：根据步骤2得到团块的五类运动状态，用逻辑回归分析法分别计算团块属于这五种运动状态的概率值，把团块状态归为概率值最大的那个状态，得到长期状态的团块；步骤4：利用步骤3得到经过分类标识后的运动团块，对不同状态的团块按照不同的背景更新规则对长短双背景模型进行更新。步骤1所述前景检测的具体方法为，对原始输入图像进行短时前背景分离法得到短前景掩膜，对原始输入图像进行长时前背景分离法得到长前景掩膜；短时前背景分离法是基于混合高斯模型的前背景分离法，其基本思想是：对每一个像素点，定义K个状态表示其所呈现的颜色，K个状态中每个状态用一个高斯函数表示，这些状态一部分表示背景的像素值，其余部分则表示运动前景的像素值，针对每个像素进行这样的表示得到短前景掩膜；长时前背景分离法是根据背景差分法，用当前帧图像It(x,y)与前一帧长期背景估计图像Bt-1(x,y)进行相减得到差分图像Dt(x,y)，计算公式为：Dt(x,y)＝|It(x,y)-Bt-1(x,y)|，根据设定的阈值对每个像素点进行前背景判断，得到长前景掩膜；将短前景掩膜和长前景掩膜融合后得到视频帧的前景掩膜。步骤2所述根据团块分别在长短前景掩膜中持续的时间、团块在长短前景掩膜上持续的时间差、团块的运动轨迹和团块与周围像素点的差异特征对团块的运动状态进行分类的具体方法为：根据步骤1得到的前景掩膜，对前景掩膜上的团块进行检测与跟踪，得到t时刻团块序列的坐标点(x,y)和团块的大小(w,h)；对t时刻的团块用ID进行标记，对每个团块出现在长短前景掩膜上的持续时间做累计，将团块出现在短前景掩膜上的时间记为ts，团块出现在长前景掩膜上的时间记为tl，计算团块在两种前景掩膜上持续的时间差记为Δt，生成团块的运动轨迹，利用团块周围的背景信息比较团块与周围背景像素点的差异性，团块的tl大小不同，长期状态的团块的tl值大于其他状态团块的tl；团块的ts变化不同，长期状态的团块的ts会先增大后减小直至减为0；团块的Δt不同，长期状态团块的Δt先减小后增大直至Δt＝tl；团块的运动轨迹趋势有差异，长期状态团块的运动轨迹趋于聚合；团块与周围像素的差异性不同，长期状态的团块与周围像素的差异性大，根据上述特征对团块进行状态分类，并进行标注。步骤3所述的用逻辑回归分析法分别计算团块属于这五种运动状态的概率值的具体方法为：根据步骤2得到团块的五种运动状态用逻辑回归分析法，对团块进行逻辑回归分析，计算公式为：P(Y=k|x)=eωk·x1+eω1·x+eω2·x+eω3·x+eω4·x,k=1,2,...,4]]>P(Y=5|x)=11+eω1·x+eω2·x+eω3·x+eω4·x]]>k代表团块的运动状态，ωk代表团块运动特征的相关系数，根据训练样本能够计算出每个特征的相关系数，x代表运动团块的特征向量，根据逻辑回归计算公式得到团块运动状态的概率值，把团块状态归为概率值最大的那个状态，得到长期状态的团块。步骤4所述的利用步骤3得到经过分类标识后的运动团块，对不同状态的团块按照不同的背景更新规则对长短双背景模型进行更新的具体方法为：对于t时刻的长期状态团块，在短背景模型中长期状态团块区域被吸收为背景，所以不需要更新长期状态团块所在区域的短背景模型；对于t时刻处于短期或由静止到运动的团块，短背景模型中按照如下公式进行更新，ωi,t＝ωi,t-1+α(1-ωi,t-1)其中，α为更新速率，ωi,t为t时刻第i个高斯模型的权值，ωi,t-1为t-1时刻第i个混合高斯模型的权值；根据步骤2得到团块的五种运动状态，根据团块的标记状态对长背景模型进行更新，如果一个像素(x,y)处于某个短期或者长期静止的团块中，则：Bt(x,y)＝Bt-1(x,y)如果一个像素(x,y)处于一个由静止到运动的团块中个，则有：Bt(x,y)＝It(x,y)除此之外的，长背景模型中运动团块区域的像素值根据学习率为ρ的大小更新长背景模型，更新公式为：Bt(x,y)＝(1-ρ)Bt-1(x,y)+ρIt(x,y)其中，ρ为学习率，Bt(x,y)为t时刻长背景模型中的像素值，Bt-1(x,y)为t-1时刻长背景模型中的像素值，It(x,y)为t时刻输入图像上的像素值。本发明提出的带状态标注的长期静止物体检测与跟踪方法，与现有技术相比，产生的有益效果为：(1)增加检测准确性和鲁棒性带状态标注的长期静止物体检测与跟踪引入双前背景模型法构造前景掩膜，这种处理方式能够减小噪声点的不利影响，增加了检测的鲁棒性；并且根据前景掩膜上运动物体的特征，采用逻辑回归分析法得到物体的运动状态，提高了检测的准确率。在三类视频图像中(见表1)，本发明提出的方法与单独使用短前背景分离法检测长期静止物体的方法进行了检测性能的对比，实验结果表明，相比于单独使用短前背景分离检测方法，本发明针对不同场景图像，长期静止物体检测结果的查全率和准确率显著提高(见表2)，能够满足实际应用需求。在表2中，三项指标分别表示，准确率/召回率。表1.三类包含长期静止物体的实验视频集视频集视频集1视频集2视频集3视频集4视频集5视频集6光照条件光照充足光照不足光照充足光照充足光照充足光照充足视频类型车流量大昏暗场景同类车多树叶遮挡车流量少车流量少目标物体个数111311表2.长期静止物体检测效果比较(2)检测实时性本发明采用状态标注的方法对物体状态进行分类，能有效简化物体状态计算过程，提高检测效率，满足实时性应用需求。附图说明图1是本发明采用带状态标注的长期静止物体检测与跟踪的方法流程图。图2是6种视频集图，其中图2a对应表1和表2中视频集1，其中图2b对应表1和表2中视频集2，其中图2c对应表1和表2中视频集3，其中图2d对应表1和表2中视频集4，其中图2e对应表1和表2中视频集5，其中图2f对应表1和表2中视频集6。图3为采用本发明方法对图2a的视频集1进行检测的过程及结果，其中图3a为视频的原图像，图3b前景掩膜图像，图3c状态分析过程，图3d状态分析结果，图3e背景更新结果。具体实施方式以下结合附图及具体实施例，对本发明作进一步的详细描述。本发明一种带状态标注的长期静止物体检测与跟踪方法，首先构造长短双前背景模型，融合后生成前景掩膜，然后基于前景掩膜上团块的运动状态对团块进行分类并标注，得到长期团块，最后对不同状态团块的相应区域的长短双背景模型进行更新。图1为方法流程图，包括如下步骤：步骤1：前景检测：该步骤获取视频帧的前景掩膜。前景掩膜的获得是通过长短前背景检测获得长前景掩膜和短前景掩膜再将两种前景掩膜融合后得到。具体包含两个处理阶段：1)根据混合高斯模型计算像素点的前背景分布，通过背景差分法计算出前景像素点和背景像素点：对原始图像进行短前背景分离法得到短前景掩膜，短前背景分离法是基于混合高斯模型的前背景分离法，其基本思想是：对每一个像素点，定义K个状态表示其所呈现的颜色，K个状态中每个状态用一个高斯函数表示，这些状态一部分表示背景的像素值，其余部分则表示运动前景的像素值，针对每个像素进行这样的表示得到短前景掩膜；长前背景分离法是根据背景差分法，用当前帧图像It(x,y)与前一帧长期背景估计图像Bt-1(x,y)进行相减得到差分图像Dt(x,y)，计算公式为：Dt(x,y)＝|It(x,y)-Bt-1(x,y)|，根据设定的阈值对每个像素点进行前背景判断，得到长前景掩膜；将短前景掩膜和长前景掩膜融合后得到视频帧的前景掩膜。2)将短前景掩膜和长前景掩膜进行融合，得到前景掩膜：构造与长短前景掩膜相应的的矩阵ML，MS，ML记录长前景掩膜上前景像素点出现的持续时间，MS记录短前景掩膜上前景像素点出现的持续时间；设定一个时间阈值T＝20ms，将矩阵ML，MS根据设定的阈值进行二值化处理，得到ML，MS的二值矩阵并将其合并为一个二值矩阵M，M为构造出的前景掩膜。步骤2：根据得到的前景掩膜，检测和跟踪前景掩膜上的运动团块，综合团块在长短前景掩膜上的运动特征和其他特征信息对团块的运动状态进行分类并标注：该步骤依据步骤1得到的前景掩膜，对前景掩膜上的团块进行检测和跟踪，得到团块的运动状态并进行标注具体包含两个处理阶段：1)对前景掩膜上的运动团块进行检测和跟踪获得团块的运动特征：对前景掩膜上的团块序列进行跟踪，用ID＝{1，2…n}标记出现在前景掩膜中的团块，获得团块的坐标位置(x,y)和团块的大小(w,h)，对团块序列构造计时器，记录团块在长前景掩膜出现的持续时间，记为tl，特征函数为f1，短前景掩膜中出现的持续时间为ts，特征函数为f2，计算团块在长短前景掩膜中的时间差Δt，特征函数为f3，根据团块在每帧中的位置坐标(x,y)生成团块的运动轨迹,特征函数为f4；此外，利用高斯混合模型对团块相邻区域背景点的颜色值进行拟合，获得一组参数{ωk,μk,∑k}，其中ωk为第k个高斯分量的权重，μk和∑k是第k个高斯分量的均值和方差。特征f5度量团块与周围像素点差异，计算公式如下：f5=Σi∈Bloblog(ΣkωkN(xi|μk,Σk))]]>其中，i遍历当前团块中的像素点，xi为像素点的颜色值，N(xi|μk,∑k)计算该颜色值相对于第k个高斯分量的概率。2)根据团块在长短前景掩膜中的运动特征，对团块的运动状态进行分类并标记，得到带有标记的运动团块序列，团块运动的特征如表3分析：表3.团块运动特征分析步骤3：带有标注的运动团块进行逻辑回归分析，得到团块运动状态的概率值：该步骤根据步骤2中得到的带有状态标注的团块，进行逻辑回归分析，计算团块每种状态的概率值：团块的运动状态可以由f1，f2，f3，f4，f5函数来表征，团块的运动状态共有K＝{空白，短期，长期，静止到运动，其他}五类，空白状态是指在整个视频场景中没有发生过运动的物体；短期状态是指物体以一定的速度驶入并离开期间没有发生任何停留；长期状态是指物体以一定的速度驶入视频场景，并发生了长期停止；由静止到运动状态是指物体在视频场景中由静止发生了运动；其他是除我们分析的四种状态之外的状态。对团块的状态计算其概率采用下式计算，P(Y=k|x)=eωk·x1+eω1·x+eω2·x+eω3·x+eω4·x]]>P(Y=5|x)=11+eω1·x+eω2·x+eω3·x+eω4·x]]>k＝1,2,...,4,x＝(f1,f2,f3,f4,f5)Tk代表团块的运动状态，ωk代表团块运动特征的相关系数，根据训练样本可以计算出每个特征的相关系数，x代表运动团块的特征向量；根据团块状态的概率大小，把团块状态归为概率最大的那个状态。步骤4：根据带有状态标识的团块，对不同状态团块的相应区域的长短双背景模型进行更新：该步骤依据步骤3得到的带有状态标注的团块，利用团块的运动状态，对团块相应区域的长短双背景模型进行更新：根据步骤3得到的带有状态标注的团块对长短背景模型进行更新，对于t时刻的长期状态团块，在短背景模型中长期状态团块区域被吸收为背景，所以不需要更新长期状态团块所在区域的短背景模型；对于t时刻处于短期或由静止到运动的团块，短背景模型中按照如下公式进行更新，ωi,t＝ωi,t-1+α(1-ωi,t-1)其中，α为更新速率，ωi,t为t时刻第i个高斯模型的权值，ωi,t-1为t-1时刻第i个混合高斯模型的权值；根据步骤2得到团块的五种运动状态，根据团块的标记状态对长背景模型进行更新，如果一个像素(x,y)处于某个短期或者长期静止的团块中，则：Bt(x,y)＝Bt-1(x,y)如果一个像素(x,y)处于一个由静止到运动的团块中个，则有：Bt(x,y)＝It(x,y)除此之外的，长背景模型中运动团块区域的像素值根据学习率为ρ的大小更新长背景模型，更新公式为：Bt(x,y)＝(1-ρ)Bt-1(x,y)+ρIt(x,y)其中，ρ为学习率，Bt(x,y)为t时刻长背景模型中的像素值，Bt-1(x,y)为t-1时刻长背景模型中的像素值，It(x,y)为t时刻当前帧上的像素值。当前第1页1 2 3