本发明属于计算机视觉处理
技术领域：
，具体涉及一种基于矩阵低秩表示理论的运动目标跟踪方法。
背景技术：
：在对运动目标进行跟踪时，对于给定的视频序列，运动目标跟踪方法就是对运动目标进行检测、提取、识别和跟踪，以获得较为准确的目标的位置、速度、加速度等参数信息，并通过进一步的处理，实现对运动目标行为的理解，进而完成更高级别的任务。也可以说是在连续的图像帧之间，实现位置、速度、形状、纹理、色彩等图像特征的匹配。因此，运动目标跟踪方法的关键在于建立每一帧图像中候选目标与参考目标之间的对应关系。然而，由于光照变化、运动目标形状变化、背景变化，以及运动目标被部分遮挡或者完全遮挡等因素的影响，对于给定的图像序列，运动目标上的特征信息可能会消失一段时间再出现甚至完全消失。对于现有的运动目标跟踪方法，例如IVT方法和L1T方，通常只考虑相邻两帧图像之间的关系，而忽略了跟踪过程中整个图像序列之间的连续性，当运动目标被部分遮挡或者完全遮挡、受到光照剧烈变化等因素的影响时，跟踪结果容易出现漂移甚至运动目标丢失。技术实现要素：本发明的目的在于提出一种基于矩阵低秩表示理论的运动目标跟踪方法，克服了运动目标受遮挡后跟踪漂移甚至运动目标丢失的问题，提高运动目标跟踪的抗遮挡能力，具有较强的鲁棒性。为了解决上述技术问题，本发明提供一种基于矩阵低秩表示理论的运动目标跟踪方法，使用如公式(1)所示的方法计算运动目标跟踪过程中所需的运动目标观测概率，从而实现运动目标跟踪，p(It|Xt)=exp{-[minT,Sit∈{0,1}12||Ps⊥(I1:n-T)||F2+α||T||*+β||S||1+γ||Avec(S)||1]}---(1)]]>式(1)中，p(It|Xt)是在粒子滤波理论框架下计算获得的运动目标观测概率，It为 t时刻的目标观测矩阵，Xt＝(xt,yt,st,rt,θt,λt)是用于表示t时刻的目标状态的二维仿射参数，其中xt为x方向偏移量，yt为y方向偏移量，st为目标缩放尺度，rt为目标纵横比，θt为目标旋转角度，λt为目标倾斜角度；式(1)中，T＝{T1,T2,...,Tn}m×n(m＞＞n)，是从观测矩阵I1:n分解出的一个低秩矩阵，即运动目标矩阵，将其作为运动目标模型；式(1)中，S∈{0,1}m×n是从运动目标观测矩阵I1:n分解出的一个稀疏矩阵，即目标遮挡矩阵，将其作为目标遮挡模型，其定义如公式(2)所示：式(2)中，it表示第t帧图像中的第i个像素点；式(1)中，函数表示运动目标观测矩阵I1:n在线性空间正交投影的正交补空间；||·||F表示Frobenius范数，||·||*表示核范数；α、β和γ均为常数。所述运动目标模型T通过以下方法计算获得：使用公式(3)通过SOFT-IMPUTE迭代算法求解出运动目标模型T，ϵt=minT12||Ps^⊥(I1:n-T)||F2+α||T||*---(3)]]>公式(3)中，为目标遮挡模型S的估计，εt为运动目标模型和目标遮挡模型的能量之和。所述目标遮挡模型S通过以下方法计算获得：使用公式(4)通过一阶马尔科夫随机场图像分割方法求解目标遮挡模型S，ϵt==Σit[β-12(I1:n-T^)2]Sit+γ||Avec(S)||1+C---(4)]]>公式(4)中，为动目标模型的估计，为一个常数。进一步，在目标跟中过程中，既可以在输入每一帧新图像时对目标观测矩阵进行更新，也可以在输入多帧图像后对目标观测矩阵进行更新，进而获得更新后的表示运动目标的低秩矩阵和表示遮挡的稀疏矩阵，然后根据更新后的运动目标模型和目标模型构成的运动目标观测概率函数对目标实现后续跟踪；所述目标观测矩阵更新的方法为，对新 输入的一帧图像，删除目标观测矩阵中的第一列，将新输入的该帧图像作为目标观测矩阵的最后一列，组成更新后的目标观测矩阵。本发明与现有技术相比，其显著优点在于：(1)本发明将由图像序列组成的运动目标观测矩阵分解为一个表示运动目标的低秩矩阵和一个表示遮挡的稀疏矩阵，分别作为运动目标模型和目标遮挡模型，使用运动目标模型和目标遮挡模型建立目标观测概率最优化方程用于计算获得目标跟踪所需的目标观测概率，如此，在目标跟踪过程中可以用运动目标模型跟踪目标，同时用目标遮挡模型处理目标的遮挡问题，由于跟踪信息都储存在这两个模型中，在目标被遮挡时，仍然可以用运动目标模型中的目标数据对目标进行跟踪，准确获得运动目标的位置；(2)本发明采用SOFT-IMPUTE迭代方法求解获得运动目标模型，用马尔科夫随机场能量迭代方法求解目标遮挡模型，从而获得运动目标观测概率，减少了计算量和计算时间；(3)本发明使用新输入的图像对目标观测矩阵以及运动目标模型和目标遮挡模型进行更新，使用更新后的运动目标模型和目标遮挡模型实施目标更新，该目标观测矩阵更新方法将新输入的当前帧图像的信息与此前多帧图像的信息联系起来，确保了目标跟踪的准确性。具体实施方式一、本发明基本思想本发明在粒子滤波理论框架下提出了一种基于矩阵低秩表示理论的运动目标跟踪方法，其基本原理是：首先，将由图像序列组成的运动目标观测矩阵分解为一个表示运动目标的低秩矩阵和一个表示遮挡的稀疏矩阵，将低秩矩阵作为运动目标模型，将稀疏矩阵作为目标遮挡模型，使用运动目标模型和目标遮挡模型建立目标观测概率最优化方程；然后，使用优化算法分别求解出运动目标模型和目标遮挡模型；最后，将求解出的运动目标模型和目标遮挡模型代入目标观测概率最优化方程计算出目标跟踪所需的运动目标观测概率，从而实现对运动目标的跟踪。二、目标观测矩阵的概念定义目标观测矩阵为Ι1:n＝{I1,I2,...,In}m×n(m＞＞n)，该矩阵每一个列向量代表一帧图像；矩阵的列数为n，行数m为每帧图像像素数，每输入一帧图像，目标观测矩阵增加一列；用It∈I1:n(t∈[1,n])表示图像序列中的第t帧图像，第t帧图像中的第i个像素点用it 表示；对于t时刻的目标状态，可以采用二维仿射参数Xt＝(xt,yt,st,rt,θt,λt)表示；其中xt为x方向偏移量，yt为y方向偏移量，st为目标缩放尺度，rt为目标纵横比，θt为目标旋转角度，λt为目标倾斜角度；则运动目标观测概率如公式(1)所示：p(It|Xt)=exp(-12||It-It-1||F2)---(1)]]>其中，表示表示Frobenius范数。所述二维仿射参数Xt＝(xt,yt,st,rt,θt,λt)详见文献(R.Szeliski:ComputerVision:AlgorithmsandApplications.Springer.(2010))。在粒子滤波理论框架下根据运动目标动态模型，按照高斯分布，生成N个粒子模板，模板大小为32×32，N个粒子代表t时刻的目标N个状态。对于每个粒子Xt，定义p(Xt|I1:t-1)表示从开始时刻到t-1时刻所有观测矩阵I1:t-1＝{I1,I2,...,It-1}的概率分布，则p(Xt|I1:t-1)如公式(2)所示：p(Xt|I1:t-1)＝∫p(Xt|Xt-1)p(Xt-1|I1:t-1)dXt-1(2)式(2)中状态转移模型p(Xt|Xt-1)表示t时刻粒子集合的分布，且该分布服从高斯分布，如公式(3)所示：式(3)中表示协方差矩阵，其对角元素为各仿射参数Xt＝(xt,yt,st,rt,θt,λt)的方差。在t时刻，观测矩阵It的观测概率可以通过贝叶斯公式获得，如公式(4)所示：p(Xt|I1:t)=p(It|Xt)p(Xt|I1:t-1)p(It|I1:t-1)---(4)]]>式(4)中p(It|Xt)即为运动目标观测概率；因为p(It|I1:t-1)为一常数，因此式(4)等价如式(5)所示：p(Xt|I1:t)∝p(It|Xt)p(Xt|I1:t-1)(5)所述粒子滤波理论框架详见文献(A.Doucet,N.deFreitas,andN.Gordon:“SequentialMonteCarloMethodsinPractice”.Springer-Verlag.(2001)2.)。三、运动目标模型和目标遮挡模型概念根据矩阵的低秩表示理论，可以将运动目标观测矩阵分解为一个表示运动目标的低秩矩阵和一个表示遮挡的稀疏矩阵，分别作为运动目标模型和目标遮挡模型。定义T＝{T1,T2,...,Tn}m×n(m＞＞n)作为表示运动目标的低秩矩阵，其大小与观测矩阵I1:n相同；定义S∈{0,1}m×n作为表示目标遮挡的稀疏矩阵，该矩阵为一个二值矩阵，如式(6)所示：定义PS(I1:n)表示观测矩阵I1:n在线性空间的正交投影，表示其投影的正交补空间，则有式(7)和式(8)：PS(I1:n)(i,t)=0,Sit=0Iit,Sit=1---(7)]]>PS(I1:n)+Ps⊥(I1:n)=I1:n---(8)]]>定义表示L1范数，表示Frobenius范数，||X||*表示核范数。本发明将观测矩阵I1:n分解为一个低秩矩阵T和一个稀疏矩阵S，其中，用低秩矩阵T表示运动目标模型，用稀疏矩阵S表示目标遮挡模型，稀疏矩阵S中的0表示未发生遮挡部分，1表示发生遮挡部分；此外，定义η表示高斯噪声，则可以获得如公式(9)所示由运动目标模型和目标遮挡模型表示的运动目标观测矩阵：I1:n＝T+S+η(9)1、运动目标模型T通常，当运动目标不发生遮挡时，运动目标在图像序列中的灰度值不会发生明显的变化。因此，图像序列中的运动目标区域是线性相关的。基于矩阵的低秩表示理论，该部分可以组成一个低秩矩阵T。除了矩阵的低秩性质，本发明假设运动目标不再受到其他的限制，则有式(10)所示：rank(T)≤K(10)式(10)中，K为矩阵T的秩。2、目标遮挡模型S在许多跟踪场景中，运动目标经常被部分遮挡或者完全遮挡，而遮挡通常会引起不可预测的跟踪错误。本发明中用稀疏矩阵S表示目标遮挡模型，遮挡部分的像素值由于发生变化，因此不满足表示运动目标的低秩矩阵T，是矩阵低秩理论中的“外点”。通常，根据先验知识，遮挡部分应该是稀疏且连续的区域。目标遮挡矩阵S中的二值0和1可以通过马尔科夫随机场模型获得，其能量可以通过伊辛模型获得，能量表达式如式(11)所示：式(11)中，uit和υit,kl为大于0的常数，Skl表示第l帧图像中的第k个像素点，且i≠k；t≠l。所述矩阵低秩表示理论详见文献(Peng,Y.,Ganesh,A.,Wright,J.,Xu,W.,andMa,Y.RASL:Robustalignmentbysparseandlow-rankdecompositionforlinearlycorrelatedimages.IEEETransactionsonPatternAnalysisandMachineIntelligence.(2011)34(11):2233–2246.)。所述高斯噪声详见文献(N.Oliver,B.Rosario,andA.Pentland:“ABayesianComputerVisionSystemforModelingHumanInteractions,”IEEETrans.PatternAnalysisandMachineIntelligence.(2000)22(8):831-843.)。所述马尔科夫随机场模型及马尔科夫随机场能量迭代算法详见文献(S.GemanandD.Geman:“StochasticRelaxation,GibbsDistributions,andtheBayesianRestorationofImages,”IEEETrans.PatternAnalysisandMachineIntelligence.(1984)6(6):721-741.)。所述伊辛模型详见文献(S.Li:MarkovRandomFieldModelinginImageAnalysis.SpringerVerlag.(2009).)。四、目标观测概率最优化方程概念本发明根据运动目标模型和目标遮挡模型建立计算运动目标观测概率的最优化方程，用于目标跟踪。建立过程如下：定义εt表示运动目标模型和目标遮挡模型的能量之和，计算方式如公式(12)所示：s.t.rank(T)≤K为了使式(12)更容易求解，本发明采用核范数代替对目标矩阵T秩的限制，得到 最终的能量函数如公式(13)所示：ϵt=minT,Sit∈{0,1}12||Ps⊥(I1:n-T)||F2+α||T||*+β||S||1+γ||Avec(S)||1---(13)]]>公式(13)中，A表示马尔科夫随机场系数，α、β和γ为常数。在粒子滤波理论框架下，运动目标的观测概率p(It|Xt)可以通过能量函数获得，则观测概率p(It|Xt)的计算方式如公式(14)所示：p(It|Xt)=exp(-ϵt)=exp{-[minT,Sit∈{0,1}12||Ps⊥(I1:n-T)||F2+α||T||*+β||S||1+γ||Avec(S)||1]}---(14)]]>因此，当求解出公式(14)中的运动目标模型T和目标遮挡模型S后即可以将运动目标模型T和目标遮挡模型S带入公式(14)计算获得运动目标的观测概率，从而实现运动目标跟踪。五、运动目标模型和目标遮挡模型求解运动目标模型T的求解方法为：假设目标遮挡模型S的估计为则式(14)中运动目标模型T可以使用公式(15)通过SOFT-IMPUTE迭代算法求解，ϵt=minT12||Ps^⊥(I1:n-T)||F2+α||T||*---(15)]]>目标遮挡模型S的求解方法为：因式(13)可以等价如公式(16)所示：ϵt=minT,Sit∈{0,1}12||Ps⊥(I1:n-T)||F2+β||S||1+γ||Avec(S)||1=12Σit(I1:n-T^)2(1-Sit)+βΣitSit+γ||Avec(S)||1=Σit[β-12(I1:n-T^)2]Sit+γ||Avec(S)||1+C---(16)]]>公式(16)中，当运动目标模型的估计确定时，为一个常数，则标遮挡模型S可以使用式(16)通过一阶马尔科夫随机场图像分割方法求解。所述SOFT-IMPUTE迭代算法详见文献(B.Recht,M.Fazel,andP.Parrilo: “GuaranteedMinimum-RankSolutionsofLinearMatrixEquationsviaNuclearNormMinimization,”SIAMRev.(2010)52(3):471-501.)。所述马尔科夫随机场图像分割算法详见文献(V.KolmogorovandR.Zabih:“WhatEnergyFunctionsCanBeMinimizedviaGraphCuts？”IEEETrans.PatternAnalysisandMachineIntelligence.(2004)26(2):147-159)。六、目标观测矩阵更新使用本发明方法对目标跟时，既可以在输入每一帧新图像时，也可以在输入多帧图像后对目标观测矩阵、表示运动目标的低秩矩阵和表示遮挡的稀疏矩阵进行更新，然后根据更新后的运动目标模型和遮挡模型构建新的运动目标观测概率函数，使用新的运动目标观测概率函数对目标实现后续跟踪。对输入的一帧图像，如果需要跟新目标观测矩阵时，则删除目标观测矩阵I1:n中的第一列，将新输入的图像作为矩阵的最后一列，组成一个更新后的目标观测矩阵其中，I2:n表示第2帧到第n帧图像，In+1表示新输入的图像。同理，更新后的运动目标模型目标遮挡模型则式(9)可以更新为如式(17)所示：[I2:n,In+1]＝[T2:n,Tn+1]+[S2:n,Sn+1]+η(17)七、执行本发明放的一个流程步骤一，手动选取图像序列中第一帧图像中的运动目标，并用表示符号标识出来，例如用红色长方形框将第一帧图像中的运动目标框出，作为参考目标；步骤二，初始化目标观测矩阵Ι1:n；步骤三，输入后续图像序列，对于输入的图像序列，判断判断当前帧图像的帧数与帧数阈值的关系，如果n＞nth，nth为设定的帧数阈值，则执行步骤5，否则执行步骤4；步骤四，采用IVT方法(IncrementalLearningforRobustVisualTrackingAlgorithm)跟踪运动目标，并用红色长方形框框出跟踪到的运动目标。所述IVT(IncrementalLearningforRobustVisualTrackingAlgorithm)方法详见文献[RossDA,LimJ,LinRS,etal.:Incrementallearningforrobustvisualtracking[J].InternationalJournalofComputerVision.(2008)77(1-3):125-141.]。步骤五，使用公式(14)所示的方法计算运动目标跟踪过程中所需的运动目标观测概率，从而实现运动目标跟踪。步骤六，更新目标观测矩阵，然后返回步骤三。当前第1页1 2 3