专利名称：：一种视频目标跟踪中的可变掩蔽模板匹配算法的制作方法
技术领域：
：本发明属于计算机视觉与模式分析
技术领域：
，具体涉及一种视频目标跟踪中的可变掩蔽模板匹配算法。技术背景目标跟踪在人机交互、自动监视、视频检索、交通监测以及车辆导航中有着广泛的应用。目标跟踪的任务是确定目标在视频流各帧中的几何状态，包括位置、尺寸以及取向等。由于不限定被跟踪目标的外观，而且目标的外观在跟踪过程中可以变化，再加上复杂前景与背景的干扰，目标跟踪算法面临着诸多挑战，是计算机视觉领域的研究热点之一。目标跟踪算法可分为三类，一类是点跟踪(pointtraCking)[1'2]，第二类是核跟踪(kemeltracking)[3~7'1()]，第三类是侧影跟踪(silhouettetracking)[8'9]。本发明提出的目标跟踪算法属于核跟踪算法。该算法用外观模型(亦即模板)来表征目标，目标在每一帧中的几何信息通常用仿射变换参数来描述[1()]。对于核跟踪算法，最大的挑战之一就是如何处理目标被遮挡这一问题[3>7]。这一问题之所以难以解决是因为目标与遮挡物都可以是任意外观，且遮挡时间也可以是任意的。文献[11]给出了一种有效的遮挡分析算法，可以在得到目标的精确位置的情况下有效地分析当前目标被遮挡的情况，以便生成下一帧中进行模板匹配所用的模板掩蔽。然而，还有一个关键的问题没有解决由于目标的遮挡情况在不断变化，根据上一帧中目标的遮挡情况得到的模板掩蔽在许多情况下并不适用于当前帧的目标遮挡情况，因而用该模板掩蔽进行模板匹配会造成目标定位的误差，尤其当目标的遮挡比较严重或者遮挡的变换情况比较显著时，这个误差会很大，甚至造成跟踪失败。要在未知当前帧目标遮挡情况下实现精确目标定位实际上需要解决一个互为前提的悖论精确地定位目标需要首先知道当前帧的目标遮挡情况，而当前帧的目标遮挡情况只有在得到了目标的精确位置后才能够通过与目标模板进行比较来确定。到目前为止，还没有文献提出解决这个悖论的方法。参考文献[1]C.Rasmussen,andG.Hager.Probabilisticdataassociationmethodsfortrackingcomplexvisualobjects.IEEETrans,onPatternAnalysisandMachineIntelligence,23(6):560—576,2001.[2]C.Hue,J丄.Cadre,P.Prez.SequentialMonteCarlomethodsformultipletargettrackinganddatafosion.IEEETrans,onSignalProcessing,50(2):309—325,2002.[3]A.D.Jepson，D.J.Fleet,andT.F.EI陽Maraghi.Robustonlineappearancemodelforvisualtracking.IEEE.Trans,onPatternAnalysisandMachineIntelligence,25(10):1296陽1311,2003.[4]D.Comaniciu,V.Ramesh,andP.Meer.Kernel-basedobjecttracking,IEEETrans,onPatternAnalysisandMachineIntelligence,25(5):564-577,2003[5]S.K.Zhou,R.Chellappa,andB.Moghaddam.Visualtrackingandrecognitionusingappearance-adaptivemodelsforparticlefilters.IEEETrans,onImageProcessing,13(11):1491國1506，2004.[6]H.T.Nguyen，M.Worring,andR.vandenBoomgaard.Occlusionrobustadaptivetemplatetracking.Proc.IEEEInt，lConf.ComputerVision,1:678-683,2001.[7]H.T.Nguyen,andA.W.M.Smeulders.Fastoccludedobjecttrackingbyarobustappearancefilter.IEEETrans,onPatternAnalysisandMachineIntelligence,26(8):1099-1104,2004.[8]Y.Chen,Y.Rui,andT.Huang.JpdafbasedHMMforreal-timecontourtracking.Proc.IEEEConf.onComputerVisionandPatternRecognition,1:543—550，2001.[9]A.Yilmaz,X.Li,andM.Shan.Contourbasedobjecttrackingwithocclusionhandlinginvideoacquiredusingmobilecameras.IEEETrans,onPatternAnalysisandMachineIntelligence,26(11):1531—1536,2004.[10]S.Baker,andI.Matthews.Lucas-Kanade20yearson:aunifyingframework.Int'lJournalComputerVision,53(3):221—255，2004.[ll]潘吉彦，胡波，张建秋，"一种内容自适应渐进式遮挡分析目标跟踪算法"，专利申请号200710045941.7.
发明内容本发明的目的在于提出一种视频目标跟踪中的可变掩蔽模板匹配算法，用以解决在目标被部分遮挡的情况下实现精确的目标定位。本发明的关键在于如何在获得目标的非精确位置后，利用遮挡分析[11]的结果，设计一种新的模板匹配算法，校正目标的位置。由于当前帧中目标的遮挡情况可能发生了变化，通过前一帧的遮挡情况生成的模板掩蔽往往无法使得当前帧中的模板匹配算法找到精确的目标位置。因而，在当前帧中进行固定掩蔽模板匹配后，所得到的目标区域(即文斷ll]中的感兴趣区域，ROI)往往与目标真正所在的位置有一些偏差。部分目标会处于ROI之外。这个情况如图1中左下角的子图所示。因而，禾偶文献[ll]的遮挡分析算法得到的干扰图C/会产生错误。但是，位于ROI之内的图像的遮挡分析结果还是可靠的。因此可以利用这部分信息通过可变掩蔽模板匹配来校正目标的位置。因此，本发明的方法是，通过固定掩蔽模板匹配得到目标非精确位置，然后根据遮挡分析的结果改变模板匹配时的模板掩蔽，以实现在目标被部分遮挡的情况下对其进行精确定位，从而得到目标的精确位置。可变掩蔽模板匹配的匹配与搜索方式与常规的固定掩蔽模板匹配[5—7]相同，但是其模板掩蔽在搜索过程中并非是固定不变的，而是随着候选坐标变换参数的变化而改变。具体来说，可变模板掩蔽根据候选坐标变换通过对干扰图U釆样得到<formula>formulaseeoriginaldocumentpage5</formula>(1)其中M乂a:;")是可变模板掩蔽在模板匹配候选坐标变换参数为fl时在模板坐标点x的取值;,《x;fl)表示通过变换参数为fl的坐标变换^将模板坐标点jc映射到视频帧坐标中；round操作符表示取整；f/是在固定掩蔽模板匹配后经过遮挡分析得到的干扰图，它的像素只能取值0或1，所以M力的取值也只能是0或1。[/的某个像素取1表示该处不是目标点，M力的某个像素取1表示该点在模板匹配时被掩蔽。在图1中，C/和M^的白色部分表明取值为1，黑色部分表明取值为0。釆用(l)式定义的可变模板掩蔽，常规的固定掩蔽模板匹配就转变为可变掩蔽模板匹配了<formula>formulaseeoriginaldocumentpage5</formula>(2)其中fl^是经过可变掩蔽模板匹配后得到的反映当前帧目标精确位置的坐标变换参数；sim^,5)表示图像j与B之间的任意一种相似度度量；/[《fl)]是通过变换参数为《的坐标变换"每模板映射到视频帧坐标中所得到的部分视频帧图像；M/a)是在模板匹配候选坐标变换参数为fl时的整个可变模板掩蔽；r是当前的目标模板；(8)运算符表示将两幅图像之间相应的点的像素值相乘；sum(M》表示将Mj的所有像素值求和。图l给出了(2)式定义的可变掩蔽模板匹配的示意图。被跟踪目标上标有字母"A","B","C","D"以区分目标的不同区域。在当前帧中，通过常规的固定掩蔽模板匹配得到的ROI用虚线框表示，通过可变掩蔽模板匹配得到的ROI用实线框表示。注意可变模板掩蔽随着候选目标区域的改变而变化，因而产生了不同的经过可变掩蔽处理后的模板与目标区域之间的相似度度量。由图1可见，可变掩蔽模板匹配之所以能够校正目标位置，是因为在(2)式的坐标变换参数搜索过程中，在真正的目标与候选目标区域不重叠时，未被掩蔽的模板与未被掩蔽的候选目标区域总是不相同的，而经过可变掩蔽处理后的图像相似度度量只有在精确的坐标变换参数处才能取得最大值，从而使得(2)式搜索到精确的目标位置。图l:可变掩蔽模板匹配示意图。图2:可变掩蔽模板匹配算法添加前后跟踪性能比较示例。跟踪结果用中心带十字的白色矩形框表示。(ai)-(a4):没有添加可变掩蔽模板匹配算法时，文献[ll]的跟踪算法跟丢了目标；(th)-(b4):添加可变掩蔽模板匹配算法后，文献[ll]的跟踪算法很好地跟上了目标；(Cl)-(C4):没有添加可变掩蔽模板匹配算法时，文献[ll]的跟踪算法的跟踪精度较低；(d,)-(cU):添加可变掩蔽模板匹配算法后，文献[ll]的跟踪算法取得了较高的跟踪精度。在第一与第二行中，显示的图像取自视频流的第765,877,983,与1004帧；在第三与第四行中，显示的图像取自视频流的第1202，1295，1344，与1399帧。具体实施方式在本发明的具体实施中，采用文献[ll]提出的跟踪算法作为基础，比较加上本发明提出的可变掩蔽模板匹配算法前后的跟踪性能。我们首先在大量实景视频流上作了上述比较。这些实景视频流包含不同种类的目标以及各种遮挡场景，此外，摄像头的运动是任意的。我们把30个测试视频流的遮挡场景分为两种类型短期遮挡与长期遮挡。如果一个遮挡的持续时间超过25帧，则被认为是长期遮挡。实验结果如表l所示。表l<table>tableseeoriginaldocumentpage6</column></row><table>由表1可见，加上可变掩蔽模板匹配算法后，跟踪性能有了进一步的提高。上述实景视频流中的两个典型的例子如图2所示。由图2可见，加上可变掩蔽模板匹配算法后，跟踪的稳定性与精确度都显著提高。权利要求1、一种视频目标跟踪中的可变掩蔽模板匹配算法，其特征在于通过固定掩蔽模板匹配得到目标非精确位置，然后根据遮挡分析的结果改变模板匹配时的模板掩蔽，以实现在目标被部分遮挡的情况下对其进行精确定位，从而得到目标的精确位置。2、根据权利要求1所述的视频目标跟踪中的可变掩蔽模板匹配算法，其特征在于可变模板掩蔽的方式如下M」a)=1-{rounJc;at)]}其中M乂a:;")是可变模板掩蔽在模板匹配候选坐标变换参数为a时在模板坐标点jc的取值;《a:;fl)表示通过变换参数为fl的坐标变换^将模板坐标点a:映射到视频帧坐标中；round操作符表示取整；C/是在固定掩蔽模板匹配后经过遮挡分析得到的干扰图。3、根据权利要求1或2所述的视频目标跟踪中的可变掩蔽模板匹配算法，其特征在于利用可变模板掩蔽进行模板匹配的方式如下^=a—n~~^sim{/,M,rM}其中^是经过可变掩蔽模板匹配后得到的反映当前帧目标精确位置的坐标变换参数；simM,W表示图像X与S之间的任意一种相似度度量；/[《fl)]是通过变换参数为"的坐标变换(M每模板映射到视频帧坐标中所得到的部分视频帧图像；M/fl)是在模板匹配候选坐标变换参数为fl时的整个可变模板掩蔽；r是当前的目标模板；②运算符表示将两幅图像之间相应的点的像素值相乘；sum(i^)表示将的所有像素值求和。全文摘要本发明属于计算机视觉和模式识别
技术领域：
，具体为一种视频目标跟踪中的可变掩蔽模板匹配算法。在视频目标跟踪中，目标经常会被其它物体部分遮挡。在这种情况下，用传统的固定掩蔽模板匹配确定目标的位置会造成精确度的显著下降。为了在目标被部分遮挡的情况下仍然能够精确地定位目标，本发明结合遮挡分析技术，在首次非精确的匹配结果的基础上采用可变掩蔽模板匹配算法进行校正，校正过程中的模板掩蔽动态地随着候选目标位置的变化而改变，使得目标未被遮挡的部分始终能够有效引导匹配算法找到精确的目标位置。基于大量实景视频流的实验结果证实了本发明算法的有效性。文档编号G06T7/20GK101246546SQ200810034548公开日2008年8月20日申请日期2008年3月13日优先权日2008年3月13日发明者张建秋,潘吉彦,波胡申请人:复旦大学