专利名称：智能视频监控系统中多目标跟踪方法
技术领域：
本发明属于智能视频信息处理技术领域，具体涉及一种智能视频监控系统中多目 标跟踪方法。
背景技术：
随着多媒体技术的发展和计算机性能的快速提高，智能视频监控系统越来越被广 泛应用与各种场景。目前在美国、欧洲、日本开展了大量的自动视频监控方面的研究工作， 并且视频监控也成为最近国际会议和工作组的重要研讨主题。国内相关的研究也已经展 开。视频监控技术就是实时的观测被监视场景的运动目标，如人或车辆等，并分析他 们的行为，其中涉及计算机视觉、模式识别以及人工智能等多个领域，。在视频监控系统中， 运动目标跟踪的作用非常重要，它不但可以提供被监控目标的运动轨迹，也为进行场景中 运动目标的运动分析和场景分析提供了可靠的数据来源，同时运动目标的跟踪信息也为运 动目标的争取检测已经运动目标的识别提供了帮助。目前针对视频监控中的目标跟踪方法有许多种，但由于各种因素的影响，目标跟 踪具有不稳定性，而这些方法都是在某一方面改进跟踪的效果，但不能准确而有效的实现 目标跟踪。因此，准确而有效的跟踪目标成为视频监控技术的目标。
发明内容
本发明的目的在于提出在弱检测环境中，不增加设备复杂度的前提下，有效的提 高跟踪的准确性和可靠性，从而满足视频监控场景中对运动目标的行为进行监控的要求， 准确和可靠的视频监控中的运动目标跟踪方法。为达到上述目的，本发明的技术解决方案是一种智能视频监控系统中多目标跟踪方法，其包括步骤a)对检测到的目标提取一种稳定的综合特征用于目标匹配；b)在弱检测的前提下，为解决跟踪丢失问题，创建基于多世代目标的跟踪队列；c)针对视频监控系统实时性要求，采用生命质量竞争的方式实现快速配准；d)目标合并与分裂；e)跟踪队列的维护，最终实现多目标的稳定跟踪。所述的智能视频监控系统中多目标跟踪方法，其所述a)步中，对检测到的目标提 取的稳定综合特征，为在传统颜色空间(color based)特征中加入基于对比度(contrast based)特征的综合特征空间。所述的智能视频监控系统中多目标跟踪方法，其所述综合特征空间，由于基于对 比度(contrast based)特征的加入，为满足实时性要求，采用1 维或256维特征维数。所述的智能视频监控系统中多目标跟踪方法，其所述b)步中，基于多世代目标的 跟踪队列，其中的多世代是根据每次跟踪的结果为每个跟踪对象赋予相应的生命质量来划分；目标生命质量，是对目标稳定跟踪状况的量度。所述的智能视频监控系统中多目标跟踪方法，其所述b)步中，基于多世代目标的 跟踪队列，分为临时跟踪队列、稳定跟踪队列、跟踪丢失队列临时跟踪队列初始跟踪到，还未稳定跟踪的目标集合；稳定跟踪队列稳定跟踪的目标集合；跟踪丢失队列曾经稳定跟踪但多次丢失之后，目标生命周期不再满足稳定跟踪 队列要求，为待删除的目标集合，也称为目标丢失回收站。所述的智能视频监控系统中多目标跟踪方法，其所述C)步中，针对智能系统采用 生命质量竞争的方式实现快速配准的方式为A)多世代跟踪队列生命质量稳定跟踪队列最高，临时跟踪队列次之，跟踪丢失 队列最低；B)当前检测目标先与稳定跟踪队列和临时跟踪队列进行目标匹配bl.当临时跟踪队列和稳定跟踪队列中的目标满足配准阈值的竞争要求时，以当 前帧检测到目标的中心为起点，以速度的正比例数为长度半径选定一个区域，在临时跟踪 队列、稳定跟踪队列中寻找有关联的目标；b2.检测目标与关联跟踪目标通过综合特征进行匹配匹配成功，则执行C，否则， 则执行d ；b3.对不满足竞争要求的临时跟踪队列或稳定跟踪队列中的其他目标，则检测目 标直接通过综合特征与跟踪队列目标进行匹配若匹配成功，执行c，否则，执行d ；C)临时跟踪队列、稳定跟踪队列目标生命质量周期更新；D)当前检测目标与跟踪丢失队列的目标匹配检测目标直接通过综合特征与跟 踪丢失队列中目标进行匹配若匹配成功，执行f，否则执行e ；E)增加新目标到临时跟踪队列不能和临时跟踪队列、稳定跟踪队列或跟踪丢失 队列匹配的目标，可认为是新进入场景中的目标，把其添加到临时跟踪队列；F)对多世代跟踪队列的目标生命质量更新，跟踪对象之间的竞争导致跟踪世代的 更迭如下fl.当临时跟踪队列满足稳定跟踪队列要求时，临时跟踪队列中的目标将转到稳 定跟踪队列；f2.当稳定跟踪队列不满足稳定跟踪队列要求时，则从稳定跟踪队列转到跟踪丢 失队列；f3.当临时跟踪队列或跟踪丢失队列中的目标生命质量降低到目标保留时间和置 信度决定的阈值时，目标信息直接从队列中删除；f4.当跟踪丢失队列中的目标满足稳定跟踪条件时，目标信息从跟踪丢失队列转 到临时跟踪队列。所述的智能视频监控系统中多目标跟踪方法，其还包括，当有异常事件发生时，运 动目标的状态超过用户要求警界范围时，则为监控事件发生，向监控者进行提示，发出警 报，表示被监控目标行为异常。所述的智能视频监控系统中多目标跟踪方法，其所述d)步，目标合并与分裂当 两个跟踪目标同时跟一个检测目标匹配成功，通过检测两个跟踪目标信息是否有合并的可能和目标的特征信息，判断是否存在目标合并的情况当存在目标合并时，两个跟踪目标的 特征信息维持原状；反之，则选择最匹配的跟踪目标与检测目标配准，并更新目标特征信 息。本发明是用于对公共场所的监控系统如高速公路，广场，超市等。对输入的视频流 采集、检测，最终对目标实现稳定跟踪，得到目标的轨迹等信息，以用于后期的行为分析，对 可疑情况进行报警。本发明方法对视频监控中运动目标的跟踪结果准确可靠，满足高速公 路等具体的实现进行运动目标的监控需求，为视频监控的应用研究奠定了基础。
图1本发明的一种智能视频监控系统中多目标跟踪方法示意图；图2本发明的一种智能视频监控系统中多目标跟踪方法流程方框图；图3本发明方法中多世代跟踪队列更迭示意图。
具体实施例方式本发明一种智能视频监控系统中多目标跟踪方法，是摄像机固定情况下的运动目 标跟踪技术。一种智能视频监控系统中多目标跟踪方法，包括以下技术特征1.对检测到的目标提取一种稳定的综合传统颜色空间(color based)特征和基 于对比度(contrast based)特征的复合特征用于目标匹配；2.在弱检测的前提下，为解决跟踪丢失问题，创建基于多世代目标的跟踪队列； 多世代目标的跟踪队列中的多世代是根据每次跟踪的结果为每个跟踪对象赋予相应的生 命质量来划分。多世代跟踪队列分为临时跟踪队列、稳定跟踪队列、跟踪丢失队列，各个队 列具体要求详见发明内容。3.为满足智能监控系统实时性要求，采用生命质量竞争的方式实现快速配准。视频监控系统目标跟踪系统要求有较高的稳定性和可靠性，本发明方法即是从这 两点出发，在已有硬件设备的基础上，完成跟踪系统中的软件模块的设计和编制，实现视频 监控中运动目标的跟踪。本发明的方法包括1.针对高速公路等具体环境，对环境内的特定目标(车，人等)进行监控，提出了 一种综合颜色空间(color based)特征和基于对比度(contrast based)特征的复合特征， 在此基础上实现对各个时刻的运动目标的有效而准确跟踪。基于mean-shift跟踪的通常使用颜色空间(color based)的颜色直方图作为统 计特征，这种类型的特征需要较高的维数才能实现目标的稳定跟踪，而高维特征也是不适 应于实时系统的；另外在弱检测、目标较远分辨率不高、目标色彩和背景差异不大等情况 下，就暴露出其不稳定性，很难有效的对目标进行标识分类。本发明方法在颜色直方图的基础上，通过增加基于对比度(contrast kised)特征 如边缘信息、角点信息等，得到一种稳定的综合特征空间，有效的提高了特征稳定性。为满 足实时系统要求，对稳定的特征空间进行降维，并通过并行处理，有效的提高了特征配准效率。
2.提出了多世代目标的跟踪队列竞争配准机制，用于解决弱检测下跟踪丢失问题。2. 1为每个跟踪目标根据其跟踪结果，赋予其生命质量。而多世代跟踪队列就是根 据跟踪对象的生命质量进行划分。在弱检测情况下，目标检测效果较差，会常出现检测信息不完整或连续几帧图像 目标检测丢失。目标的弱检测会造成跟踪丢失、新轨迹的不断增加，对后期的目标行为分析 造成很高的误报率、重复报警率。而本发明方法针对这种状况，为每个跟踪目标赋予了其生 命质量，对检测暂时丢失、检测信息不完整的目标的生命力进行评估，使跟踪队列不会轻易 的丢失目标和任意增加新轨迹。2. 2多世代跟踪队列分为临时跟踪队列、稳定跟踪队列、跟踪丢失队列等三种。其 中稳定跟踪队列最高，临时跟踪队列次之，跟踪丢失队列最低。跟踪队列在长时间执行后，必然造成队列庞大、匹配效率低的问题。为满足监控系 统实时性要求，本发明方法为目标跟踪建立多世代队列。通过提取的稳定综合特征进行目 标的精准匹配，选择最有可能跟目标匹配的跟踪队列，并通过跟踪目标的生命质量和检测 目标特征信息等，设定配准准则，有效提高目标配准效率。2. 3为满足视频监控系统实时性要求，跟踪模块采用生命质量竞争的方式实现监 测目标与跟踪对象的快速配准。检测目标先与满足配准阈值的竞争要求，优先级最高的稳定跟踪队列和临时跟踪 队列目标进行匹配，然后与稳定跟踪队列和临时跟踪队列中的其他目标匹配，最后是跟生 命质量最低的跟踪丢失队列进行配准。这样能有效的提高匹配效率，从而快速实现目标配 准。3.当有异常事件发生时，运动目标的状态超过用户要求警界范围时，认为监控事 件发生，则向监控者进行提示，发出警报，表示监控目标行为异常。4.最终实现对视频监控中运动目标的准确可靠跟踪。以下是结合附图和具体实施过程对本发明做进一步说明本发明公开了一种智能视频监控系统中的多目标跟踪方法，实现步骤为(1)输入视频数据，对视频数据中的序列图像进行采集，并对图像进行预处理；(2)在序列图像中分割出目标，记录目标的面积、高宽等信息；(3)对检测到的目标提取稳定的基于传统颜色空间(color based)特征和基于对 比度(contrast based)特征相结合的综合特征；(4)为跟踪目标创建多世代目标的跟踪队列；(5)采用生命质量竞争机制实现目标的快速匹配；(6)多世代跟踪队列的更迭；(7)跟踪队列中目标分裂和合并处理；(8)跟踪队列的维护；(9)如视频输入未结束，返回到视频采集，继续执行上述步骤(1) ^ (8)。在具体实施中，摄像机得到的固定场景下的监控视频，首先把视频数据采集到监 控系统，通过图像预处理、目标分割、特征提取、创建跟踪队列等算法处理，最终实现多目标 的跟踪。本发明视频监控系统中多目标跟踪方法的运行环境PC机(Intel Core 2Duo CPU,1.99G内存)，视频采集卡，开发工具VC++2005，实时视频采集图像分辨率352X^8，处理 速度可达25帧/秒，基本达到实时性要求。下面将根据步骤详细描述具体实现方法采集到的视频因受到天气、光线等各种因素影响，造成目标分割不完整、甚至暂时 丢失等弱检测状况。在这种前提下，跟踪性能的好快直接关系到后期视频分析的结果。本 发明公布的跟踪方法就是针对这种弱检测情况，实现目标的稳定跟踪。本发明方法在图(1)中列出了主要的四个步骤视频采集、目标检测、特征选取、 多世代跟踪。在图( 中对本发明方法的跟踪具体流程进行了详述如下a采集视频数据，对图像进行预处理，分割出目标，并进行目标特征。对分割出的目标，提取出基于传统颜色空间(color based)特征和基于对比度 (contrast based)特征的复合特征。b当前检测到的目标先与稳定跟踪队列和临时跟踪队列进行目标匹配bl.当临时跟踪队列和稳定跟踪队列中的目标满足配准阈值的竞争要求时，以当 前帧检测到目标的中心为起点，以速度的正比例数为长度半径选定一个区域，在临时跟踪 队列、稳定跟踪队列中寻找关联目标。检测目标与关联跟踪目标通过综合特征进行匹配。匹 配成功，则执行c ；否则，则执行d。b2.对不满足竞争要求的临时跟踪队列或稳定跟踪队列中的其他目标，检测目标 直接通过综合特征与跟踪队列目标进行匹配。若匹配成功，执行c ；否则，执行d。c临时跟踪队列、稳定跟踪队列目标生命质量周期更新d当前检测目标与跟踪丢失队列的目标匹配检测目标直接通过综合特征与跟踪丢失队列中目标进行匹配。若匹配成功，执行 f ；否则执行e。e增加新目标到临时跟踪队列不能和临时跟踪队列、稳定跟踪队列或跟踪丢失队列匹配的目标，可认为是新进 入场景中的目标，把其添加到临时跟踪队列，并执行e。f对多世代跟踪队列的目标生命质量更新，跟踪对象之间的竞争导致跟踪世代的 更迭如图⑶所示fl.当临时跟踪队列满足稳定跟踪队列要求时，临时跟踪队列中的目标将转到稳 定跟踪队列。f2.当稳定跟踪队列不满足稳定跟踪队列要求时，则从稳定跟踪队列转到跟踪丢 失队列。f3.当临时跟踪队列或跟踪丢失队列中的目标生命质量降低到目标保留时间和置 信度决定的阈值时，目标信息直接从队列中删除。f4.当跟踪丢失队列中的目标满足稳定跟踪条件时，目标信息从跟踪丢失队列转 到临时跟踪队列。g目标合并与分裂当目标太近或阴影的原因造成检测结果重合到一起，出现目标的合并；而两重合 目标在检测过程中分离后，出现目标分裂。以上两种情况下，很可能出现跟踪队列中两个跟 踪目标跟同一个检测目标匹配成功，或者一个跟踪目标跟两个检测目标同时配准成功。
当两个跟踪目标同时跟一个检测目标匹配成功，通过检测两个跟踪目标信息是否 有合并的可能和目标的特征信息等，判断是否存在目标合并的情况。当存在目标合并时，两 个跟踪目标的特征信息维持原状；反之，则选择最匹配的跟踪目标与检测目标配准，并更新 目标特征信息。h跟踪队列的维护，最终实现多目标的稳定跟踪。
权利要求
1.一种智能视频监控系统中多目标跟踪方法，其特征在于包括步骤a)对检测到的目标提取一种稳定的综合特征用于目标匹配；b)在弱检测的前提下，为解决跟踪丢失问题，创建基于多世代目标的跟踪队列；c)针对视频监控系统实时性要求，采用生命质量竞争的方式实现快速配准；d)目标合并与分裂；e)跟踪队列的维护，最终实现多目标的稳定跟踪。
2.根据权利要求1所述的智能视频监控系统中多目标跟踪方法，其特征在于所述a) 步中，对检测到的目标提取的稳定综合特征，为在传统颜色空间特征中加入基于对比度特 征的综合特征空间。
3.根据权利要求2所述的智能视频监控系统中多目标跟踪方法，其特征在于所述综 合特征空间，为满足实时性要求，采用1 维或256维的特征维数。
4.根据权利要求1所述的智能视频监控系统中多目标跟踪方法，其特征在于所述b) 步中，基于多世代目标的跟踪队列，其中的多世代是根据每次跟踪的结果为每个跟踪对象 赋予相应的生命质量来划分；目标生命质量，是对目标稳定跟踪状况的量度。
5.根据权利要求1所述的智能视频监控系统中多目标跟踪方法，其特征在于所述b) 步中，基于多世代目标的跟踪队列，分为临时跟踪队列、稳定跟踪队列、跟踪丢失队列临时跟踪队列初始跟踪到，还未稳定跟踪的目标集合；稳定跟踪队列稳定跟踪的目标集合；跟踪丢失队列曾经稳定跟踪但多次丢失之后，目标生命周期不再满足稳定跟踪队列 要求，为待删除的目标集合，也称为目标丢失回收站。
6.根据权利要求1所述的智能视频监控系统中多目标跟踪方法，其特征在于所述c) 步中，针对智能系统采用生命质量竞争的方式实现快速配准的方式为A)多世代跟踪队列生命质量稳定跟踪队列最高，临时跟踪队列次之，跟踪丢失队列 最低；B)当前检测目标先与稳定跟踪队列和临时跟踪队列进行目标匹配bl.当临时跟踪队列和稳定跟踪队列中的目标满足配准阈值的竞争要求时，以当前帧 检测到目标的中心为起点，以速度的正比例数为长度半径选定一个区域，在临时跟踪队列、 稳定跟踪队列中寻找有关联的目标；b2.检测目标与关联跟踪目标通过综合特征进行匹配匹配成功，则执行c，否则，则执 行d;b3.对不满足竞争要求的临时跟踪队列或稳定跟踪队列中的其他目标，则检测目标直 接通过综合特征与跟踪队列目标进行匹配若匹配成功，执行c，否则，执行d ；C)临时跟踪队列、稳定跟踪队列目标生命质量周期更新；D)当前检测目标与跟踪丢失队列的目标匹配检测目标直接通过综合特征与跟踪丢 失队列中目标进行匹配若匹配成功，执行f，否则执行e ；E)增加新目标到临时跟踪队列不能和临时跟踪队列、稳定跟踪队列或跟踪丢失队列 匹配的目标，可认为是新进入场景中的目标，把其添加到临时跟踪队列；F)对多世代跟踪队列的目标生命质量更新，跟踪对象之间的竞争导致跟踪世代的更迭 如下fl.当临时跟踪队列满足稳定跟踪队列要求时，临时跟踪队列中的目标将转到稳定跟 踪队列；f2.当稳定跟踪队列不满足稳定跟踪队列要求时，则从稳定跟踪队列转到跟踪丢失队列；f3.当临时跟踪队列或跟踪丢失队列中的目标生命质量降低到目标保留时间和置信度 决定的阈值时，目标信息直接从队列中删除；f4.当跟踪丢失队列中的目标满足稳定跟踪条件时，目标信息从跟踪丢失队列转到临 时跟踪队列。
7.根据权利要求6所述的智能视频监控系统中多目标跟踪方法，其特征在于还包括， 当有异常事件发生时，运动目标的状态超过用户要求警界范围时，则为监控事件发生，向监 控者进行提示，发出警报，表示被监控目标行为异常。
8.根据权利要求1所述的智能视频监控系统中多目标跟踪方法，其特征在于所述d) 步，目标合并与分裂当两个跟踪目标同时跟一个检测目标匹配成功，通过检测两个跟踪目 标信息是否有合并的可能和目标的特征信息，判断是否存在目标合并的情况当存在目标 合并时，两个跟踪目标的特征信息维持原状；反之，则选择最匹配的跟踪目标与检测目标配 准，并更新目标特征信息。
全文摘要
本发明公开了一种智能视频监控系统中多目标跟踪方法，涉及智能视频信息处理技术，包括步骤首先采集视频数据，视频图像预处理，目标分割；然后提取具有稳定的基于传统颜色空间(color based)特征和基于对比度(contrast based)特征相结合的综合特征信息，用于目标匹配，并为跟踪目标建立多世代跟踪队列，采用生命质量竞争机制实现多世代跟踪队列的更迭，最终实现目标可靠跟踪。本发明方法对智能视频监控中多目标的跟踪结果准确而可靠，满足对高速公路等具体环境中进行多目标监控的需求，为智能视频监控的应用研究奠定了基础。
文档编号H04N7/18GK102065275SQ20091023777
公开日2011年5月18日 申请日期2009年11月17日 优先权日2009年11月17日
发明者付琨, 林殷, 石悦 申请人:中国科学院电子学研究所