专利名称：一种内容自适应渐进式遮挡分析目标跟踪算法的制作方法
技术领域：
本发明属于计算机视觉与模式分析技术领域，具体涉及一种内容自适应渐进式遮挡分 析目标跟踪算法。
背景技术：
目标跟踪在人机交互、自动监视、视频检索、交通监测以及车辆导航中有着广泛的应 用。目标跟踪的任务是确定目标在视频流各帧中的几何状态，包括位置、尺寸以及取向等。 由于不限定被跟踪目标的外观，而且目标的外观在跟踪过程中可以变化，再加上复杂前景 与背景的干扰，目标跟踪算法面临着诸多挑战，是计算机视觉领域的研究热点之一。
目标跟踪算法可分为三类， 一类是点跟踪(point tmCking)[1'2]，第二类是核跟踪(kernel traCking)[3~7'1Q]，第三类是侧影跟踪(silhouettetracking)[8'9]。本发明提出的目标跟踪算法属于 核跟踪算法。该算法用外观模型(亦即模板)来表征目标，目标在每一帧中的几何信息通 常用仿射变换参数来描述[1()]。
对于核跟踪算法，最大的挑战之一就是如何处理目标被遮挡这一问题[3>7]。这一问题之 所以难以解决是因为目标与遮挡物都可以是任意外观，且遮挡时间也可以是任意的。如果 跟踪算法未能检测出遮挡物，则会导致跟踪精度的大幅下降[5]，甚至由于模板被遮挡物破坏 而造成目标丢失[3]。
现有文献中有很多试图通过探测遮挡物解决遮挡问题的目标跟踪算法。文献[3]用三个 分布的混合来建模观测到的目标外观。其中用来描述遮挡物的分量被假定为满足均匀分布。 另一种方法通过检测像素的观测值偏离估计值的大小来判断该像素是否被遮挡[5-7]。当遮挡 物的统计特性恰好符合以上这些算法的假设时，它们能够取得较好的效果。然而，在大多 数情况下，这些方法的假设条件并不能满足，因为在实景视频流跟踪中，遮挡持续时间经 常较长，因而并不满足均匀分布；此外，遮挡物可能在灰度值上与目标较为接近，因而即 使某像素被遮挡，其观测值仍然十分接近估计值。文献[12]通过比较未能被很好地运动补偿 的图像块与整体目标之间的运动特性来分析遮挡情况。该方法对于探测遮挡物较为有效， 因为它利用了时间上下文的信息。但是该方法经常会产生错误累计与传递，因为它没有利 用参考外观模型进行纠错。 参考文献[I] C. Rasmussen, and G. Hager. Probabilistic data association methods for tracking complex visual objects. IEEE Trans, on Pattern Analysis and Machine Intelligence, 23(6):560-576, 2001.[2] C. Hue, J丄.Cadre, P. Prez. Sequential Monte Carlo methods for multiple target tracking and data fusion. IEEE Trans, on Signal Processing, 50(2):309_325, 2002 .[3] A.D. Jepson， D.J. Fleet, and T.F. EI-Maraghi. Robust online appearance model for visual tracking. IEEE. Trans, on Pattern Analysis and Machine Intelligence, 25(10):1296-1311, 2003.[4] D. Comaniciu, V. Ratnesh, and P. Meer. Kernel-based object tracking, IEEE Trans, onPattern Analysis and Machine Intelligence, 25(5):564-577， 2003 [5] S.K. Zhou, R. Chellappa, and B. Moghaddam. Visual tracking and recognition usingappearance-adaptive models for particle filters. IEEE Trans, on Image Processing,13(11):1491-1506, 2004. [6] H.T. Nguyen, M. Worring, and R. van den Boomgaard. Occlusion robust adaptive templatetracking. Proc. IEEE Int，l Conf. Computer Vision, 1:678-683, 2001. [7] H.T. Nguyen, and A. W.M. Smeulders. Fast occluded object tracking by a robust appearancefilter. IEEE Trans, on Pattern Analysis and Machine Intelligence, 26(8):1099-1104, 2004. [8] Y. Chen, Y. Rui, and T. Huang. Jpdaf based HMM for real-time contour tracking. Proc.IEEE Conf. on Computer Vision and Pattern Recognition, 1:543-550, 2001. [9] A. Yilmaz, X. Li， and M. Shan. Contour based object tracking with occlusion handling invideo acquired using mobile cameras. IEEE Trans, on Pattern Analysis and MachineIntelligence, 26(11): 1531—1536, 2004. [10] S. Baker, and I. Matthews. Lucas-Kanade 20 years on: a unifying framework. Int，l JournalComputer Vision, 53(3): 221—255, 2004.[II] I. Matthews, T.Ishikawa, and S. Baker. The template update problem. IEEE Trans, on Pattern Analysis and Machine Intelligence, 26(6):810—815， 2004.[12]K. Hariharakrishnan, and D. SchonfeW. Fast object tracking using adaptive block matching.IEEE Trans, on Multimedia, 7(5):853-859, 2005. [13〗丄Pan, and B. Hu. Robust object tracking against template drift. IEEE Int，l Conf. on ImageProc. 2007, to be published. 发明内容本发明的目的在于提出一种内容自适应渐进式遮挡分析(Content-Adaptive Progressive Occlusion Analysis, CAPOA)目标跟踪算法。本发明的关键在于如何利用时空上下文信息以及参考目标与运动矢量自适应地对感
兴趣区域(Region of Interest, ROI)的遮挡情况作出有效判断。具体包括如下内容首先利用时空上下文信息对感兴趣区域的遮挡情况做出初步分析，然后借助参考目标与运动矢量进一步修正初步结果，得到最终的遮挡分析结果。对感兴趣区域由粗到细渐进地分析遮挡情况，并动态决定不同区域的分析分辨率。 通过建立干扰图与基于图像块的后向运动估计利用时空上下文信息对感兴趣区域的遮挡情况做出初步分析，并得到各图像块的初步遮挡比例y。 参考目标是对第一帧目标进行增量式插值与滤波得到的。动态决定某区域的分析分辨率如果该区域所在的图像块的初步遮挡比例y为零，且 该图像块足够大，则该区域的分析分辨率就是当前图像块的大小；如果该区域所在的图像 块的初步遮挡比例^为零，且该图像块不够大，同时该图像块通过了参考目标与运动矢量 的验证，则该区域的分析分辨率就是当前图像块的大小；如果该区域所在的图像块的初步 遮挡比例r不为零，则该区域的分析分辨率取为最高值。借助参考目标进一步修正利用时空上下文信息得到的初步遮挡分析结果如果某图像 块的初步遮挡比例/为零，且该图像块足够大，则可确定该图像块没有被遮挡；如果某图 像块的初步遮挡比例^为零，且该图像块不够大，则比较该图像块的参考目标匹配误差与 后向运动补偿误差，如果前者与后者之差不大于阈值"则可确定该图像块没有被遮挡， 否则需要进行运动矢量验证；如果某图像块的初步遮挡比例^大于零且已达到最高分辨率， 则比较该图像块的参考目标匹配误差与后向运动补偿误差，如果前者与后者之差大于阈值 ,，则该图像块的最终遮挡分析结果就是初步分析结果，否则需要进行运动矢量验证。借助运动矢量进一步修正利用时空上下文信息得到的初步遮挡分析结果对于进行参 考目标验证后还无法确定遮挡情况的图像块，进行运动矢量验证；如果该图像块的初步遮 挡比例7为零，则计算该图像块的运动矢量与目标运动矢量间的欧几里得距离，如果该距 离不大于阈值q，则可确定该图像块没有被遮挡，否则看是否已达到最高分辨率；如果已 达到，则确定该图像块被完全遮挡；如果该图像块的初步遮挡比例y大于零小于1，则分 别计算该图像块的运动矢量与目标运动矢量以及遮挡物运动矢量间的欧几里得距离，如果 前者大与后者，则该图像块的最终遮挡分析结果就是初步分析结果，否则确定该图像块没 有被遮挡；如果该图像块的初步遮挡比例^等于1，则计算该图像块的运动矢量与遮挡物 运动矢量间的欧几里得距离，如果该距离不大于阈值巧，则该图像块的最终遮挡分析结果 就是初步分析结果，否则确定该图像块没有被遮挡。确定中心坐标位于06的图像块的阈值h<formula>formula see original document page 7</formula>其中/^r是该图像块对应的模板区域，iVw是该区域内的像素个数，0"￡是模板区域像素值 的估计误差。阈值C^是所有已经被确定为目标区域的图像块的运动矢量的标准差的3倍；阈值CT2是所有已经被确定为遮挡物区域的图像块的运动矢量的标准差的3倍。 下面作进一步说明。1、 带掩蔽的模板匹配与模板更新在本发明提出的算法中，采用带掩蔽的模板匹配(masked template matching)找到当 前帧的最优坐标变换参数来确定目标的几何位置。在这个过程中，遮挡物被完全掩蔽，而 不是如同文献[6]与[7]—样仅仅降低遮挡物所在处的权值。这是因为本发明的CAPOA算法 将会显式探测出遮挡物。CAPOA算法将在下一节中论述。带掩蔽的模板匹配过程可以表 达为其中，S是坐标变换参数的最优估计，/"代表第"帧图像，f表示估计出的模板，^是卡尔曼外观滤波中的估计误差的期望值[13],《;c;a)是取决于参数"的任意坐标变换(通常反映了 目标的平移、縮放、旋转等)，i2r代表模板像素的全体，M是与模板一样大小的模板掩蔽， 它在被遮挡的像素处取值为零，在其它像素处取值为1。 sumOO计算所有未被遮挡的模板 像素的个数。模板的更新可以表达如下-:f(;c)<~ :fO) + G(a:). {/ 5)]- ;f(jc)}. (2) 其中，0("是在外观滤波器中的卡尔曼增益[13]。模板中被遮挡的部分不被更新。通过更新 模板，跟踪算法能够应付目标的柔性形变以及光照条件的逐渐变化。提高跟踪效果的关键在于如何得到正确的模板掩蔽M。这需要借助于下面将要论述的内容自适应渐进式遮挡分析算法。2、 内容自适应渐进式遮挡分析(CAPOA)算法CAPOA算法的整体架构示于图1中。其中灰色的功能块进一步在图2中描述。CAPOA 算法有四个输入待分析的感兴趣区域(i 0/)、参考目标(7V)、前一帧图像(/^v)以 及前一帧的干扰图(L^ev)。 CAPOA算法有两个输出更新后的干扰图(f/。w)以及更新 后的模板掩蔽(i/。 ,)。它们的具体定义将在下文中给出。
2.1渐进式扫描感兴趣区域(ROI)本发明提出的算法检测遮挡物是基于图像块的，而不是如文献[3,5-7]中那样基于个别 的像素点。这是因为空间上下文对于判断遮挡情况有着非常大的帮助。这也是人脑判断遮 挡物时所依靠的信息之一。例如，当两个人脸部分遮挡时，只有通过分析不同的空间结构 才可能检测出遮挡的发生。为了在可靠性与分辨率之间取得一个较好的权衡结果，本发明采用渐进的方法扫描感 兴趣区域(ROI)。 ROI是一个正好覆盖目标的图像区域。该区域以内的非目标物体是遮挡 物，该区域以外的物体都认为是背景物体。CAPOA算法的任务是确定ROI内哪些区域被 遮挡物占据。在整个CAPOA算法中，ROI经历多次扫描过程，每一次新的扫描过程都将 待分析的图像块的边长减小为原来的一半。每一次扫描过程只分析遮挡状态尚未确定的图 像区域。当整个ROI的遮挡情况都确定后，渐进式扫描终止(见图1)。如果感兴趣区域 的边长分别为A和i)2，则总的扫描次数为Ws = minil。g2(min(D,'L)2)/5)丄3} (3) 这样，待分析图像块的最小边长是5个像素，且总扫描次数最多为3次。如何确定一个图 像块的遮挡状态示于图2，并将在下几节详述。2.2利用时空上下文现有的大多数算法都依赖于当前观测到的目标外观本身来推断是否有遮挡发生，但是 效果都不理想。这是因为遮挡物信息本身并没有包含在观测到的目标外观中。有关遮挡物 的所有先验信息其实全都包含在第一帧选定目标时的非目标区域中。通过跟踪非目标区域 的演化过程就能够知道非目标区域中的物体是否"侵入"了目标区域。因此，为了判断 ROI中的一个图像块是否被遮挡，可以对该图像块作后向运动估计，以观察该图像块在上 一帧中是否位于非目标区域中。这样，该图像块的遮挡情况就可以被追溯至遮挡情况先验 己知的第一帧。任何从非目标区域进入R01的遮挡物(包括在第一帧初始化之后才出现的) 都能够被如此检测出来。在这个过程中，时空上下文信息就得到了充分的利用。在一帧图中，目标的遮挡情况用"干扰图(outliermap)"来表示，该图在非目标区域 的取值为l，在目标区域的取值为零。第一帧初始化时，目标区域就是ROI，其余的图像 区域都是非目标区域，所有的潜在遮挡物都位于干扰图的非目标区域中(此时它们还是背 景物体，只有在它们进入了 ROI以后才是遮挡物)。在运行当前帧的CAPOA算法以前， 前一帧的干扰图(t/prcv)是己知的。运行CAPOA算法是为了得到当前帧的干扰图(f/。w)。 对于2.1节中所述的每一个待分析图像块(称为"当前图像块")，在前一帧图像(/prcv) 中进行运动估计，找到其最匹配的图像块。这里称该图像块为"后向运动估计图像块"。理论上来说，当前图像块的遮挡情况可以直接从位于后向运动估计图像块处的^^部分 复制过来。但是，如果当前图像块较小或者刚从遮挡背后出来，则其运动估计结果不再可 靠。所以，单凭运动估计与t^^得到的遮挡情况判断经常不够准确，因而称在此阶段得 到的干扰图为"临时干扰图"，该干扰图需要进一步进行修正。位于当前图像块处的临时 干扰图部分可以通过下式得到"'K一,D (4) 其中，的是当前图像块的中心坐标，t/'代表临时干扰图，t^ev(A)表示相应于后向运动估计图像块所在位置^处的前一帧干扰图部分。对于位于ft^处的当前图像块，记Wft)6)为t/'(G^)中被遮挡的像素个数所占的比例，则当前图像块可以被分为三类，如图2所示。每一类图像块都有特定的进一步检验步骤。其核心思想是1)如果/(W6)不等于零，则相应的图像区域将在最后一次扫描过程中以最高 的分辨率进行分析并进行进一步检验，以便发现细节并探测到从遮挡物的另一侧背后重现 出来的较小的目标区域；2)如果K叫)等于零，则仅当图像块的尺寸太小以至于不能确保 十分可靠的运动估计时，才进行进一步检验。在当前扫描过程中需要进行进一步检验的图 像块称为"不确定图像块"，它们的遮挡状态将通过融合更多的信息来确定。 2.3利用参考目标进行第一次检验参考目标7V可以看作是经过縮放以后的模板。它在处理每一帧的末尾通过对原参考 目标进行增量式插值与滤波得到的。在第一帧时，7V初始化为选定的目标。以后各帧始 终确保7V与实际目标等大。这通过以下步骤实现如果当前帧处理完毕后发现目标的尺 寸有所改变，则首先将原参考目标进行縮放插值，使其尺寸与当前目标尺寸相同，然后再 更新縮放插值后的参考目标，使其包含目标在当前帧的外观变化。更新后的参考目标中某 一个像素的值可以表示如下 W (" +1) = ^ (")+ g . —(")- r; (")} (卜" ) (5)其中7V(w+i)是将要用于第w+i帧的参考目标中的某一个像素值，rv(")是经过縮放插值后的第n帧的参考目标中的相应像素的值，G是根据(2)式得到的相应位置处的卡尔曼增 益，/ 0/(w)是ROI相应位置处的像素值，^是第"帧的最终干扰图相应位置处的值。由于 在相邻两帧之间目标尺寸的变化很小，因此上述的增量式插值的误差比每次都直接从模板 插值出参考目标的方法要小很多，而且包含更多的细节。因此，参考目标比模板本身更适 合于作为比较基准。如果一个不确定图像块属于目标，则它一定与参考目标中的相应部分较为相似。基于此，寻找该不确定图像块在参考目标相应位置及其周围的最佳匹配图像块，并计算匹配误
差，用均方差(MSE)衡量。该图像块在前一帧中也有一个匹配误差(在作后向运动估计 时得到)。为了简明起见，前一个匹配误差为e、/，后一个匹配误差为e、w。如果一个不 确定图像块的KW6)等于零，则当且仅当其e^,比^M^小或略大时，该图像块可以被确定 为确实未背遮挡，既仏JW6)-tT(W6)。类似地，如果一个不确定图像块的y(ft)6)不等于零， 则当且仅当其e^远大于e26w时，/^叫"r'(的)成立。这就是用参考目标作第一次检验 时的判别准则。在这里，关键问题在于如何针对每一个图像块自适应地得到判别准则中必 须用到的一个阈值e2ra/-e26W。该阈值在图2中用r表示。由于(1)式中估计误差的期望值 反映了属于目标的一个像素的观测值偏离模板(或参 考目标)中相应像素值的期望大小，因此让阈值Z取决于与该图像块相关的模板像素的平均 (T^是合理的。实际上，可以证明， 一个属于目标的图像块的e e,-Aw(即,)的期望值是<formula>formula see original document page 10</formula> (6) r x,eiV其中，/2W代表与该图像块相关的模板区域，A^是该区域中的像素个数。在此证明从略。与利用时空上下文得到的结果综合后，针对位于WA的不确定图像块的阈值f设置如下<formula>formula see original document page 10</formula> (7)较小的KW6)意味着该图像块更有可能属于目标，因此应该将阈值设得大些。从(7)式可见， 图2中的阈值f对于不同图像块是内容自适应的较高的估计误差或者较低的遮挡比例会 产生较大的Z。2.4利用运动矢量进行第二次检验对于在第一次检验中没有满足上一节所述的判别准则的不确定图像块，需要用运动矢 量来进一步检验利用时空上下文得到的遮挡判断。显然，属于目标(或遮挡物)的图像块 具有与目标(或遮挡物)相似的运动矢量。基于此，通过比较不确定图像块的运动矢量与 目标(或遮挡物)的运动矢量可以帮助确定该图像块的遮挡情况。第二次检验的具体判别准则示于图2中。这里，v础表示不确定图像块的运动矢量， 它通过后向运动估计得到；v,g,(v。,/)代表目标(或遮挡物)的运动矢量，它通过计算所有已 经被确定为目标(或遮挡物)的像素所在图像块的运动矢量平均值得到；a,g,(a。,/)是所有已 经被确定为目标(或遮挡物)的像素所在图像块的运动矢量到平均运动矢量的欧几里德距 离的均方根值。整个ROI所有像素的遮挡情况都确定后(等价于干扰图中位于ROI内的像素值全部 确定后)，CAPOA算法就完成了。干扰图中位于ROI外的像素值全都为1。每当干扰图被
更新后(即得到C/。w后)，模板掩蔽也根据下式更新<formula>formula see original document page 11</formula> (8)其中round[J代表对向量的各元素取整的操作。根据上述内容，本发明的一种内容自适应渐进式遮挡分析目标跟踪算法的具体操作步骤如下1. 在首帧中选定目标区域(即初始ROI)。2. 如下初始化干扰图t/:目标区域取值为0，其余区域取值为l。3. 如下初始化模板f:通过初始坐标变换^xr;^)采样初始ROI，即:f0^^》^flj，其中fl《为目标的初始坐标变换参数。4. 参考目标7;/初始化为初始ROI。5. 模板掩蔽M初始化为与模板等大的全1矩阵。6. 读入下一帧。7. 将模板通过坐标变换《x;fl)映射到当前帧。通过寻找与预测模板最匹配的当前帧的图像 区域得到反映目标在当前帧中的几何信息的坐标变换参数向量S，即运行(l)式。8. 扫描过程的总次数按照(3)式确定。9. 将ROI划分为一系列矩形待分析图像块进行扫描。待分析图像块的初始边长取为ROI 边长的一半。10. 对每一个包含还未确定遮挡状态的像素的待分析图像块(其中心坐标位于fi>6)，在前 一帧中作后向运动估计。11. 根据(4)式得到当前帧临时干扰图f/'。12. 根据前一帧干扰图确定后向运动估计图像块的遮挡像素比例y(a^)。 y(cu6)具体为后向 运动估计图像块位置处的前一帧干扰图的取值为1的像素的个数占像素总个数的比 例。13. 如果Wc^)等于零且待分析图像块足够大，则在该待分析图像块位置处的当前帧的干扰 图确定为该待分析图像块位置处的当前帧的临时干扰图，即K叫"f/'(叫)。转到第 26步。14. 如果7(0;6)等于零且待分析图像块不够大，则寻找该图像块在参考目标相应位置及其周 围的最佳匹配图像块，并计算匹配误差，用均方差(MSE)衡量，并记为e2re/。同时 记该图像块在前一帧中作后向运动估计的匹配误差为e26W。如果该图像块的e2re/ -e、w不大于由(7)式定义的阚值"则<formula>formula see original document page 11</formula>转到第26步。15. 如果7( 6)等于零且待分析图像块不够大且该图像块的e、/ - e、w大于由(7)式定义的阈值f，则计算目标的运动矢量V,g,。它通过计算所有巳经被确定为目标的像素所在图 像块的运动矢量平均值得到。同时记该图像块通过在前一帧中作后向运动估计得到的 运动矢量为Vto。计算v級与Vg,之间的欧几里得距离llv級-lvll。计算所有已经被确定 为目标的像素所在图像块的运动矢量到平均运动矢量的欧几里德距离的均方根值，记 为 。如果|| v緣-iv ll不大于《%的3倍，则仏J叫)-t/'(叫)。转到第26步。16. 如果KW6)等于零且待分析图像块不够大且该图像块的e2re/ - ^w大于由(7)式定义的 阈值/且|| ivll大于。g,的3倍且是最后一次扫描过程，则该图像块确定为全遮挡， 即《7。 ,(叫)=1，其中1为全1矩阵。转到第26步。17. 如果y(06)等于零且待分析图像块不够大且该图像块的e2re/ - ^M^大于由(7)式定义的 阈值f且|| v級-v,g, ||大于<v的3倍且不是最后一次扫描过程，则该图像块的遮挡状态仍 然不确定。转到第26步。18. 如果y(W6)大于零小于1且不是最后一次扫描过程，则该图像块的遮挡状态不确定。转 到第26步。19. 如果^(G)6)大于零小于1且是最后一次扫描过程，则寻找该图像块在参考目标相应位置 及其周围的最佳匹配图像块，并计算匹配误差，用均方差(MSE)衡量，并记为e2— 同时记该图像块在前一帧中作后向运动估计的匹配误差为e26W。如果e2^ -^mw大于 由(7)式定义的阈值G则仏w(叫"f/'(叫)。转到第26步。20. 如果以《6)大于零小于1且是最后一次扫描过程且e2re/ - ^i^不大于由(7)式定义的阈 值/，则计算目标的运动矢量iv。它通过计算所有已经被确定为目标的像素所在图像 块的运动矢量平均值得到。然后计算遮挡物的运动矢量v。,;。它通过计算所有已经被确 定为遮挡物的像素所在图像块的运动矢量平均值得到。同时记该图像块通过在前一帧 中作后向运动估计得到的运动矢量为v础。分别计算v緣与iv之间的欧几里得距离ll v緣 一 ||以及喻与v。w之间的欧几里得距离H聰-iwll。如果||顺-V。rfl不大于H v战一 ivll， 则仏 ,(叫)=1/'(叫)。转到第26步。21. 如果y(W6)大于零小于1且是最后一次扫描过程且e2re/ - e、^不大于由(7)式定义的阈 值f且llvto- ,沐于l1 V6汰-ivH，则该图像块确定为全遮挡，即[/。w(叫"0，其中0为 全零矩阵。转到第26步。22. 如果y(W6)等于1且不是最后一次扫描过程，则该图像块的遮挡状态不确定。转到第26 步。23. 如果y(c^等于1且是最后一次扫描过程，则寻找该图像块在参考目标相应位置及其周 围的最佳匹配图像块，并计算匹配误差，用均方差(MSE)衡量，并记为e2rc/。同时
记该图像块在前一帧中作后向运动估计的匹配误差为^w。如果e; - w大于由(7) 式定义的阈值"则[/。 ^6)=1/'(06)。转到第26步。24. 如果Kwa)等于1且是最后一次扫描过程且e2rc/ - Aw不大于由(7)式定义的阈值/，则 计算遮挡物的运动矢量IW。它通过计算所有已经被确定为遮挡物的像素所在图像块的 运动矢量平均值得到。同时记该图像块通过在前一帧中作后向运动估计得到的运动矢 量为v緣。计算VM与v^之间的欧几里得距离l1 vM-v。rf||。计算所有已经被确定为遮挡 物的像素所在图像块的运动矢量到平均运动矢量的欧几里德距离的均方根值，记为 U。如果llv她-v。rfll不大于^/的3倍，则￡/加(叫)=1/'(叫)。转到第26步。25. 如果y(ft^)等于1且是最后一次扫描过程且e、/ - e、w不大于由(7)式定义的阈值r且 "jv緣-v^ll大于"。w的3倍，-则该图像块确定为全遮挡，--服仏^叫)=0—，其中0为全零矩阵。26. 如果ROI中还有包含还未确定遮挡状态的像素的待分析图像块，则转到第10步。27. 将待分析图像块的边长减半。28. 如果整个ROI的遮挡情况还未完全确定，则转到第9步。29. 通过(8)式得到当前帧的模板掩蔽M。30. 通过(2)式更新模板f 。31. 通过(5)式更新参考目标7V。32. 如果视频流未处理完，则转到第6步，否则结束。
图l: CAPOA算法总体流程图。图2:分析当前图像块遮挡情况的流程图。图3:不同跟踪算法处理一个长时间遮挡的性能比较。第一至第四行分别显示了文献[4]、 [7]、 [12]以及本发明算法的跟踪结果。在每一行中，从左至右分别显示第1980、 2013、 2032以及2052帧。在第一行中，跟踪结果用一个椭圆来表示；在余下各行中，跟踪结果 用一个中间带十字的矩形框来表示。对于第二行与第四行，当前目标的遮挡情况(或模板 掩蔽)以及当前模板从左至右显示在每幅图像的右下角；对于第三行，在相应位置仅显示 当前目标的遮挡情况。被遮挡的像素用黑色表示。
具体实施方式
我们在大量实景视频流上比较了不同跟踪算法处理遮挡的性能。这些实景视频流包含 不同种类的目标以及各种遮挡场景，此外，摄像头的运动是任意的。我们把30个测试视 频流的遮挡场景分为两种类型短期遮挡与长期遮挡。如果一个遮挡的持续时间超过25
帧，则被认为是长期遮挡。我们比较了本发明算法与一些当前最新算法([4,7,12])的性 能。在实验中，我们考虑仅包含平移与縮放参数的坐标变换，因为所用的模板是动态的。 实验结果示于表l。在实验中可以观察到文献[7]算法处理短期遮挡更有效，因为在长 期遮挡中，遮挡物会"渗透"入外观模型中而导致外观模型被破坏。其它所有采用相似的 遮挡探测机制的算法(例如[3,5，6])都不可避免地碰到这个现象。文献[12]算法的性能要 好一些，但是由于遮挡情况分析结果的误差传递以及未能有效探测出从遮挡物另一边重新 出现的目标区域，该算法的性能仍然不够理想。由于文献[4]算法(Mean Shift)不具有显 式处理遮挡的机制，因而其效果最差。本发明算法在每一类遮挡情况的几乎所有视频流上 都很好地跟踪了目标。可以观察到，本发明算法总是能够有效地探测到遮挡物，模板很少 被遮挡物破坏。为了清楚起见，图3显示了一个较有难度的视频流的跟踪过程。该视频流包含一个长 期遮挡，其中一个男子(即目标)被另外两个行人严重遮挡超过50帧。由于该男子在走 动，目标本身的外观也不断发生变化。遮挡物的有些部分与目标的灰度很相近。所有跟踪 算法都在第1920帧进行相同的初始化并开始跟踪。可以看到，文献[4]算法未能跟上目标， 因为当遮挡发生时，直方图的区分能力不够。文献[7]算法在如此较为复杂的环境中无法很 好地辨别遮挡物与目标。文献[12]算法对于探测遮挡物比前述算法更有效，但是由于它不 具有一个外观模型用于检验基于运动分析的结果，其遮挡情况分析结果中出现了大量的错 误。本发明算法具有最好的遮挡分析表现。它还具有鉴别背景干扰物的能力(见第四行各 图中的模板掩蔽)。值得一提的是，本发明算法生成的干扰图从来不是完全正确的(见第 四行第三幅图的模板掩蔽)，但是这些错误总是迅速被CAPOA算法的两次检验过程所改 正，因而很少会传播开去(见第四行第四幅图的模板掩蔽)。如果把CAPOA算法中的两 次检验过程去掉，则本发明算法会碰到与文献[12]算法类似的问题。
权利要求
1、一种内容自适应渐进式遮挡分析目标跟踪算法，其特征在于首先利用时空上下文信息对感兴趣区域的遮挡情况做出初步分析，然后借助参考目标与运动矢量进一步修正初步结果，得到最终的遮挡分析结果。
2、 根据权利要求1所述的内容自适应渐进式遮挡分析目标跟踪算法，其特征在于对感兴趣区域由粗到细渐进地分析遮挡情况，并动态决定不同区域的分析分辨率。
3、 根据权利要求1所述的内容自适应渐进式遮挡分析目标跟踪算法，其特征在于通 过建立干扰图与基于图像块的后向运动估计利用时空上下文信息对感兴趣区域的遮挡情 况做出初步分析，并得到各图像块的初步遮挡比例^。
4、 根据权利要求1所述的内容自适应渐进式遮挡分析目标跟踪算法，其特征在于参 考目标是对第一帧目标进行增量式插值与滤波得到的。
5、 根据权利要求l、 2、 3、 4之一所述的内容自适应渐进式遮挡分析目标跟踪算法， 其特征在于动态决定某区域的分析分辨率如果该区域所在的图像块的初步遮挡比例/为 零，且该图像块足够大，则该区域的分析分辨率就是当前图像块的大小；如果该区域所在 的图像块的初步遮挡比例^为零，且该图像块不够大，同时该图像块通过了参考目标与运 动矢量的验证，则该区域的分析分辨率就是当前图像块的大小；如果该区域所在的图像块 的初步遮挡比例y不为零，则该区域的分析分辨率取为最高值。
6、 根据权利要求l、 3、 4、 5之一所述的内容自适应渐进式遮挡分析目标跟踪算法， 其特征在于借助参考目标进一步修正利用时空上下文信息得到的初步遮挡分析结果如果 某图像块的初步遮挡比例y为零，且该图像块足够大，则可确定该图像块没有被遮挡；如 果某图像块的初步遮挡比例y为零，且该图像块不够大，则比较该图像块的参考目标匹配 误差与后向运动补偿误差，如果前者与后者之差不大于阈值"则可确定该图像块没有被 遮挡，否则需要进行运动矢量验证；如果某图像块的初步遮挡比例^大于零且已达到最高 分辨率，则比较该图像块的参考目标匹配误差与后向运动补偿误差，如果前者与后者之差 大于阈值f，则该图像块的最终遮挡分析结果就是初步分析结果，否则需要进行运动矢量 验证。
7、 根据权利要求l、 3、 5、 6之一所述的内容自适应渐进式遮挡分析目标跟踪算法， 其特征在于借助运动矢量进一步修正利用时空上下文信息得到的初步遮挡分析结果对于 进行参考目标验证后还无法确定遮挡情况的图像块，进行运动矢量验证；如果该图像块的 初步遮挡比例^为零，则计算该图像块的运动矢量与目标运动矢量间的欧几里得距离，如 果该距离不大于阈值。，则可确定该图像块没有被遮挡，否则看是否已达到最高分辨率； 如果已达到，则确定该图像块被完全遮挡；如果该图像块的初步遮挡比例r大于零小于l， 则分别计算该图像块的运动矢量与目标运动矢量以及遮挡物运动矢量间的欧几里得距离， 如果前者大与后者，则该图像块的最终遮挡分析结果就是初步分析结果，否则确定该图像 块没有被遮挡；如果该图像块的初步遮挡比例^等于1，则计算该图像块的运动矢量与遮 挡物运动矢量间的欧几里得距离，如果该距离不大于阈值0"2，则该图像块的最终遮挡分析 结果就是初步分析结果，否则确定该图像块没有被遮挡。
8、根据权利要求6所述的内容自适应渐进式遮挡分析目标跟踪算法，其特征在于确 定中心坐标位于W的图像块的阈值"其中/2^是该图像块对应的模板区域，A^r是该区域内的像素个数，c^是模板区域像素值 的估计误差。
9、根据权利要求7所述的内容自适应渐进式遮挡分析目标跟踪算法，其特征在于阈值(n是所有己经被确定为目标区域的图像块的运动矢量的标准差的3倍；阈值C"2是所有已经被确定为遮挡物区域的图像块的运动矢量的标准差的3倍。
全文摘要
本发明属于计算机视觉与模式分析技术领域，具体为一种内容自适应渐进式遮挡分析目标跟踪算法。在目标跟踪过程中，经常由于没能探测出遮挡物而导致跟踪效果变差甚至丢失目标。现有的算法大多仅仅依靠当前帧感兴趣区域的像素灰度值本身来判断是否有遮挡发生，效果不够理想。本发明利用时空上下文信息渐进地分析感兴趣区域的遮挡情况，并结合参考目标与运动矢量进一步提高分析结果的可靠性。因此，与现有算法相比，本发明的算法能够更好地区分遮挡物与目标。大量实景视频流的实验结果证实了本发明算法的有效性。
文档编号G06T7/00GK101127122SQ20071004594
公开日2008年2月20日 申请日期2007年9月13日 优先权日2007年9月13日
发明者张建秋, 潘吉彦, 波 胡 申请人:复旦大学