专利名称：视频监控中基于运动目标检测的多目标跟踪方法
技术领域：
本发明属于图像处理与计算机视觉领域，具体涉及一种在视频监控系统中的多目 标检测与跟踪方法。
背景技术：
视频序列中目标的检测与跟踪是计算机视觉领域的一个重要研究课题，是目标分 类、行为分析等后续处理的基础，在智能交通控制、智能视频监控、军事制导等诸多领域具 有重要的应用价值。近年来，人们对于目标跟踪提出了多和方法，概括起来主要分为以下四类(1)基于区域的跟踪首先建立目标模板，根据模板跟踪目标，其限制条件是目标 不能被遮挡，否则容易丢失目标；(2)基于特征的跟踪提取目标的颜色、质心等特征信息，通过相似度计算跟踪目 标，一般需要融合多种信息；(3)基于轮廓模板的跟踪取目标的边界轮廓作为模板，在后续帧的边缘图像中 跟踪目标轮廓，但对轮廓变化较敏感；(4)基于模型的跟踪一般使用一个精确几何模型进行跟踪，并适时更新模型参 数，可以准确跟踪目标，但是计算较复杂。由于视频图像在相邻帧间存在的空间强相关性以及目标运动状态的时间连续 性，所以通过计算相邻帧前景目标的重合面积来实现目标跟踪是可能的。如在公开号为 CN101339608A的中国专利公开了“一种基于检测的目标跟踪方法及系统”，该专利建立跟踪 目标队列，并依据位置和尺度将当前帧检测结果与目标队列进行匹配，实现目标跟踪及状 态更新，增强了跟踪的实时性。但在目标发生重合或分离时，可靠性低，跟踪不稳定。
发明内容
技术问题本发明的目的是公开一种应用于视频监控系统中的运动目标检测及多 目标跟踪方法，实现对被部分遮挡的目标以及相互重合后再分离的多个目标进行实时、可 靠的跟踪，提高视频监控系统的稳定性和鲁棒性。技术方案本发明要解决的技术方案在于首先使用背景去除法检测前景运动目 标；然后建立当前帧前景目标团块与前一帧已检测到的目标之间的关联矩阵，并以此来判 断目标所处的各种状态(如目标消失、目标保持初始状态、目标重合、目标分离等)，对处于 分离状态的目标进行二次跟踪；最后更新目标的位置、面积及核加权颜色直方图等特征，实 现对多个目标的跟踪，具体步骤如下本发明的视频监控中基于运动目标检测的多目标跟踪方法包括以下步骤A、采用背景去除法检测运动目标；B、计算运动目标的核加权颜色直方图的概率分布；C、建立当前帧前景目标团块与前一帧已检测到的目标之间的关联矩阵；
4
D、判断各目标的所处状态，对处于分离状态的目标进行二次跟踪；E、更新目标的位置、面积及核加权颜色直方图特征。所述步骤A中，采用背景去除法检测运动目标的具体步骤如下Al、将当前帧灰度图像与背景图像相减，取绝对值得到差值图像；A2、使用自适应阈值，对差值图像进行二值化处理；A3、对二值图像进行形态开_闭运算、连通区域标号、填补“空洞”、连通区域面积 大小及最小外接矩形的长宽比判断等后处理，消除噪声和背景扰动带来的影响后，得到前 景目标二值化掩模； A4、使用前景目标二值化掩模与当前帧输入图像进行逻辑“与，，操作，检测出运动 目标。所述步骤C中，建立当前帧前景目标团块与前一帧已检测到的目标之间的关联矩 阵的具体步骤如下Cl、令0bj_n和Blob_m分别表示前一帧已检测到的第η个目标和当前帧第m个 前景目标团块，计算BlobJii与0bj_n之间的相互重合面积Snm，其中m= 1,2,…M，n = 1， 2，…N，Μ、N分别为当前帧前景目标团块个数和前一帧已检测到的目标个数；C2、建立一个M行N列的关联矩阵S，其元素为Smn ；C3、对关联矩阵S进行二值化处理，然后分别计算S的各行、各列的非零项个数 Row—m 禾口 Col—η ο所述步骤D中，根据前一帧已检测到的目标与当前帧前景目标团块的重合关系， 将目标所处的状态分为五种情况Dl、若0bj_n不与任何前景目标团块存在重合，即Col_n = 0，则判断目标0bj_n消 失；D2、若0bj_n与Blob_m存在重合，且为——对应关系，即Col_n = l,Smn = l，Row_ m = 1，则判断目标0bj_n保持初始状态；D3、若0bj_n仅与Blobjn存在重合，但Blobjn还与其他目标存在重合，即Col_n =LSnm= 1, Row_m > 1，则判断目标0bj_n与其他目标重合；D4、若Blobjii不与前一帧的任何目标存在重合，即Row_m = 0，则判断新目标产 生；D5、若0bj_n与多个前景目标团块存在重合，即Col_n> 1，则判断目标0bj_n处于 分离状态。所述步骤D5中，对处于分离状态的目标，若Ob j_n与多个前景目标团块存在重合， 则结合面积、颜色特征进行二次跟踪，其具体步骤如下D51、删除其面积大于0bj_n面积1. 5倍的前景目标团块；D52、根据剩下的前景目标团块相互间的距离，判断分离的原因；D53、若分离原因是受背景遮挡的影响，则取所有前景目标团块的外接矩形作为目 标对应的前景区域；D54、若分离原因是分离出新目标，则计算候选的前景目标团块的核加权颜色直方 图的概率分布，并分别计算其与前一帧目标Obj_n的核加权颜色直方图的概率分布的相似 度Bhattacharyya系数P，找出P为最大值的前景目标团块Blob_x为与0bj_n相匹配的当前目标区域。所述步骤E中，根据关联矩阵S得到的前一帧各目标与当前帧前景目标团块的匹 配关系，更新目标的位置、面积和颜色等特征，具体步骤为E1、获取Blob_x的位置、面积特征，并以此更新0bj_n的位置、面积；E2、以Blob_x的核加权颜色直方图更新0bj_n的核加权颜色直方图。有益效果实验结果表明，本发明方法能有效地对被部分遮挡的目标以及相互重 合后再分离的多个目标进行实时、可靠的跟踪，提高视频监控系统的稳定性和鲁棒性。与现有技术相比，本发明的优点在于1)在采用背景去除法自动检测运动目标的基础上对目标进行跟踪，在目标跟踪过 程中，将目标所处的状态分为新目标产生、目标消失、目标保持初始状态、目标重合和目标 分离五种情况，除目标分离夕卜，其他四种情况利用相邻帧区域匹配，在保证有效跟踪的前提 下，简化算法，提高了实时性。2)当目标处于分离状态时，针对不同的分离原因，结合目标的颜色、位置、面积等 特征进行二次跟踪。采用核加权颜色直方图描述目标的颜色信息，相比一般的颜色直方图， 能有效降低背景和其他分离目标的干扰，提高跟踪的可靠性。
图1是本发明的基于运动目标检测的多目标跟踪方法流程图。
具体实施例方式本发明的视频监控中基于运动目标检测的多目标跟踪方法的实现主要包含以下 步骤步骤1 采用背景去除法检测运动目标(1)将当前帧灰度图像与背景图像相减，取绝对值得到差值图像；(2)使用自适应阈值，对差值图像进行二值化处理；(3)对二值图像进行形态开-闭运算、连通区域标号、填补“空洞”、连通区域面积 大小及最小外接矩形的长宽比判断等后处理，消除噪声和背景扰动带来的影响后，得到前 景目标二值化掩模；(4)使用前景目标二值化掩模与当前帧输入图像进行逻辑“与，，操作，检测出运动 目标。步骤2 计算运动目标的核加权颜色直方图的概率分布颜色直方图是一种有效表征目标的特征，因为能准确反映目标颜色信息、不随目 标形状改变而改变、易于计算等特点，在目标跟踪中得到广泛应用。假设R是包含目标的矩形区域跟踪窗，其中心位于Xtl，则R的核加权颜色直方图的 概率分布ρ = Ip(U)Iu^1, ...,￡可以按式⑴计算。piu) ^ C^kj (？[Α (χ,) - w](1)式⑴中C为归一化系数，使得…=1，其中K为颜色特征空间维数，取K =8X8X8 = 512 ；L表示矩形区域内的像素个数；Xi为区域内任意一点，| | Xi-Xtl | |为Xi到X0 的距离；h为核函数带宽，取跟踪窗口宽度的一半；b(Xi)为Xi所对应的颜色空间的色阶，对 像素Xi对应的颜色特征进行K级量化；δ [ ·]为单位冲激函数，当像素Xi对应的颜色特征 落入第u个颜色特征时，δ [b (Xi)-u]的值为1 ;k( ·)为核函数，其定义为 从核函数的表达式可以看出，位于目标中央的区域贡献最大，而边缘区被遮挡或 受到背景影响的可能性较大，所以贡献最小。可以看出核权值减小得较为缓慢，因此有更多 的区域获得较大的权值，这对提高跟踪稳定性是很有利的。步骤3 建立当前帧前景目标团块与前一帧已检测到的目标之间的关联矩阵(1)令BlobJii分别表示前一帧已检测到的第η个目标和当前帧第m个前 景目标团块，计算BlobJii与0bj_n之间的相互重合面积Snm 其中m= {1,2, ...Μ} ；η = {1,2, "·Ν}，Μ、N分别为当前帧前景目标团块个数和 前一帧已检测到的目标个数，Α( ·)表示提取目标的外接矩形面积，η表示求重合面积； 步骤4 判断各目标所处的状态，对处于分离状态的目标进行二次跟踪根据前一 帧已检测到的目标与当前帧前景目标团块的重合关系，判断各目标所处的状态，具体步骤 为
消失；
(1)若与任何前景目标团块存在重合，即Col_n = 0，则判断目标0bj_n
(2)若01^_11与趴013_111存在重合，且为——对应关系，即Col_n = LSmn= l,Row_m = 1，则判断目标0bj_n保持初始状态；(3)若Ob j_n仅与Blob_m存在重合，但Blob_m还与其他目标存在重合，即Col_n =1，Snm = 1，Row_m > 1，则判断目标0bj_n与其他目标重合；(4)若BlobJii不与前一帧的任何目标存在重合，即Row_m = 0，则判断新目标产 生；(5)若0bj_n与J个前景目标团块存在重合，即Col_n = J，且J > 1，则判断目标 0bj_n处于分离状态，则结合面积、核加权颜色直方图等特征进行二次跟踪，二次跟踪的任 务就是从中准确找出对应目标Obj_n的一个或几个前景目标团块，其具体步骤如下①删除其面积大于Ob j_n面积1. 5倍的前景目标团块，S卩若A (Blob_m) > 1.5A(0bj_n)，则令 Smn = 0 ；②求取每个前景目标团块与其它前景目标团块最小间距中的最大值，S卩dmax = max [min (d (Blob_i, Blob_j))]；③若dmax<T，(Τ为距离阈值，取T = 10)，则判为受背景遮挡而目标分裂，取所有 前景目标团块的外接矩形作为目标对应的前景区域，更新目标；④若dmax>T，则判为原目标中分裂出新目标，按式⑴计算候选的前景目标团块
的核加权颜色直方图的概率分布q= Iq(U)Iu^1, ...,κ，并按式(7)分别计算q(u)与前一帧
目标0bj_n的核加权颜色直方图的概率分布ρ (U)的相似度Bhattacharyya系数P，找出
P为最大值的前景目标团块Blob_x为与01^__11相匹配的当前目标区域； κ - 步骤5 根据关联矩阵S得到的前一帧各目标与当前帧前景目标团块的匹配关系， 更新目标的位置、面积和颜色等特征，具体步骤为(1)获取Blob_x的位置、面积特征，并以此更新0bj_n的位置、面积；(2)以Blob_x的核加权颜色直方图更新0bj_n的核加权颜色直方图。
权利要求
一种视频监控中基于运动目标检测的多目标跟踪方法，其特征在于该方法包括以下步骤A、采用背景去除法检测运动目标；B、计算运动目标的核加权颜色直方图的概率分布；C、建立当前帧前景目标团块与前一帧已检测到的目标之间的关联矩阵；D、判断各目标的所处状态，对处于分离状态的目标进行二次跟踪；E、更新目标的位置、面积及核加权颜色直方图特征。
2.根据权利要求1所述的视频监控中基于运动目标检测的多目标跟踪方法，其特征在 于，所述步骤A中，采用背景去除法检测运动目标的具体步骤如下Al、将当前帧灰度图像与背景图像相减，取绝对值得到差值图像；A2、使用自适应阈值，对差值图像进行二值化处理；A3、对二值图像进行形态开-闭运算、连通区域标号、填补“空洞”、连通区域面积大小 及最小外接矩形的长宽比判断等后处理，消除噪声和背景扰动带来的影响后，得到前景目 标二值化掩模；A4、使用前景目标二值化掩模与当前帧输入图像进行逻辑“与”操作，检测出运动目标。
3.根据权利要求1所述的视频监控中基于运动目标检测的多目标跟踪方法，其特征在 于，所述步骤C中，建立当前帧前景目标团块与前一帧已检测到的目标之间的关联矩阵的 具体步骤如下Cl、令Obj_n和BlobJIi分别表示前一帧已检测到的第η个目标和当前帧第m个前景目 标团块，计算BlobJii与Obj_n之间的相互重合面积Snm，其中m= 1,2, -Μ, η = 1,2,… N，Μ、N分别为当前帧前景目标团块个数和前一帧已检测到的目标个数；C2、建立一个M行N列的关联矩阵S，其元素为Smn ；C3、对关联矩阵S进行二值化处理，然后分别计算S的各行、各列的非零项个数R0W_m 禾口 Col_n。
4.根据权利要求1所述的视频监控中基于运动目标检测的多目标跟踪方法，其特征在 于，所述步骤D中，根据前一帧已检测到的目标与当前帧前景目标团块的重合关系，将目标 所处的状态分为五种情况D1、若Obj_n不与任何前景目标团块存在重合，即Col_n = 0，则判断目标0bj_n消失；D2、若0bj_n与Blob_m存在重合，且为——对应关系，即Col_n = LSnm= 1，Row_m = 1，则判断目标0bj_n保持初始状态；D3、若Ob j_n仅与Blobjii存在重合，但Blobjii还与其他目标存在重合，即Col_n = 1， Snm= 1, Row_m > 1，则判断目标Obj_n与其他目标重合；D4、若BlobJii不与前一帧的任何目标存在重合，即R0W_m = 0，则判断新目标产生；D5、若Obj_n与多个前景目标团块存在重合，即Col_n > 1，则判断目标Obj_n处于分离 状态。
5.根据权利要求4所述的视频监控中基于运动目标检测的多目标跟踪方法，其特征在 于，所述步骤D5中，对处于分离状态的目标，若Ob j_n与多个前景目标团块存在重合，则结 合面积、颜色特征进行二次跟踪，其具体步骤如下D51、删除其面积大于Obj_n面积1. 5倍的前景目标团块；D52、根据剩下的前景目标团块相互间的距离，判断分离的原因； D53、若分离原因是受背景遮挡的影响，则取所有前景目标团块的外接矩形作为目标对 应的前景区域；D54、若分离原因是分离出新目标，则计算候选的前景目标团块的核加权颜色直方图 的概率分布，并分别计算其与前一帧目标Obj_n的核加权颜色直方图的概率分布的相似度 Bhattacharyya系数P，找出P为最大值的前景目标团块Blob_x为与0bj_n相匹配的当 前目标区域。
6.根据权利要求1所述的视频监控中基于运动目标检测的多目标跟踪方法，其特征在 于，所述步骤E中，根据关联矩阵S得到的前一帧各目标与当前帧前景目标团块的匹配关 系，更新目标的位置、面积和颜色等特征，具体步骤为E1、获取Blob_x的位置、面积特征，并以此更新0bj_n的位置、面积； E2、以Blob_x的核加权颜色直方图更新0bj_n的核加权颜色直方图。
全文摘要
本发明公开了视频监控中基于运动目标检测的多目标跟踪方法，该方法首先使用背景去除法检测前景运动目标；然后建立当前帧前景目标团块与前一帧已检测到的目标之间的关联矩阵，并以此来判断目标所处的各种状态(如目标消失、目标保持初始状态、目标重合、目标分离等)，对处于分离状态的目标进行二次跟踪；最后更新目标的位置、面积及核加权颜色直方图等特征，实现对多个目标的跟踪。本发明方法能有效地对被遮挡的目标以及相互重合后再分离的多个目标进行实时、可靠的跟踪，提高视频监控系统的稳定性和鲁棒性。
文档编号G06T7/20GK101887587SQ201010221290
公开日2010年11月17日 申请日期2010年7月7日 优先权日2010年7月7日
发明者卢官明, 徐腾飞, 沈苏彬 申请人:南京邮电大学