级联式多摄像机接力跟踪方法及系统的制作方法
【专利摘要】本发明公开了一种无重叠视域的级联式多摄像机接力跟踪方法及系统，属于视觉监控【技术领域】。本方法包括以下步骤：一：构建分层实时监控网络硬件系统，建立监控子网和全局场景地图映射；二：对地图映射进行数学抽象建模，获得相应拓扑节点连接图；三：初始化跟踪信息，开始跟踪；四：在单摄像机视野范围内，采用基于尺度不变特征与粒子滤波的单目标跟踪策略；五：采取分层搜索、级联跟踪策略，在拓扑子网中采用联合数据关联算法；在全局拓扑地图中搜索中则采用时空关联算法；六：判定目标跟踪终止和丢失，停止跟踪。本方法依托业界现行视频监控网络，能跨场景跟踪可疑目标，系统采用分布式分层搜索方法，减小了跟踪代价，能做到实时跟踪可疑目标。
【专利说明】级联式多摄像机接力跟踪方法及系统
【技术领域】
[0001]本发明属于视觉监控【技术领域】，涉及一种级联式多摄像机接力跟踪方法及系统。【背景技术】
[0002]随着城市安全监控网络的大规模普及和发展，越来越多的商圈、社区、学校等公共活动区域的关键部位部署了视频监控。这些监控摄像头分布式独立运作，保障了城市的公共安全，提供了辅助决策信息和追溯管理凭据。因此，自动分析视频图像异常信息，实时跟踪可疑目标，以提高视频监控网络的智能性，是当前图像处理领域备受关注前沿技术，拥有巨大市场需求。
[0003]一个微型居民小区的监控网络，最少也包括数十只摄像头。这些摄像头一般通过多通道采集的方式，集中采集到小区的监控网络服务器中，并作为城市安防的最小监控单元为保障人民的安全提供了有力保障。而一个社区往往包括数十个这样的居民小区，一个行政片区又包括多个社区。简单来说，一个中等规模的行政片区拥有数百最小监控单元，数千监控摄像头，以及上百万兆的实时监控数据。同时这些最小监控单元相互独立，彼此间信息并不互联，一旦发生异常情况，如何快速地从搜索和跟踪可疑目标，是城市安全监控网络一个极具挑战的问题。
[0004]在实际应用中，多数智能监控装置的目标跟踪方法针对位置固定的单一摄像机，但是位置固定的摄像机本身具有局限性，当发现异常目标时无法凝视跟踪某一目，不能使目标处于图像中的有利位置，而这些功能可以由观察位置或者观察角度可变的动态摄像机实现。同时，单一摄像机条件下由于视野范围有限以及遮挡或者深度的影响容易产生歧义，因此多摄像机的使用不仅可以扩大视野范围而且可以从不同的视角用以解决遮挡等问题。显然，未来的运动目标跟踪系统将极大地受益于多摄像机的应用。对于大场景下多摄像机的运动目标接力跟踪研究，涉及到多摄像机或多智能体的跟踪交接和协同跟踪问题，这也是在实际应用系统中亚待解决的关键理论和技术问题。
[0005]针对智能监控跟踪应用系统的诸多不足，和现实环境中背景环境的复杂性和目标运动的不确定性，跨场景、跨区域的运动目标多摄像机接力跟踪的技术难点在于:
[0006](I)背景的复杂性:运动目标所处场景的复杂程度、稳定程度直接影响着目标跟踪的效果。背景中的干扰因素主要包括:光线亮度的变化、背景变化、相似干扰等。
[0007](2)目标遮挡难题:遮挡是目标跟踪中的常见问题也是难点问题，遮挡过程中目标信息的缺失，会使得跟踪变得不稳定。
[0008](3)多摄像机协同控制问题:需要确定在每个时刻使用哪一个摄像机，即多摄像机之间的数据关联和信息融合问题。
【发明内容】
[0009]有鉴于上述背景，本发明的目的在于提供一种多摄像机接力跟踪系统的级联式搜索方法，通过对常规的跟踪监控网络进行改进，达到对可疑目标进行更快、更精确地进行跟踪的目的。
[0010]为达到上述目的，本发明提供如下技术方案:
[0011]步骤一:构建分层实时监控网络硬件系统，获取各摄像头和监控子网的位置信息，建立监控子网和全局场景地图映射；步骤二:对监控子网和全局场景地图映射进行数学抽象建模，获得其相应拓扑节点连接图；步骤三:初始化跟踪信息，获取目标的二维图像信息、位置坐标信息和标定时间信息等数据，并确定跟踪开始；步骤四:在单摄像机视野范围内，采用基于尺度不变特征的粒子滤波算法进行单目标跟踪；步骤五:采取分层级联跟踪策略，在拓扑子网中采用联合数据关联算法协同控制各监控摄像头；在全局拓扑地图中搜索中则采用时空关联算法进行搜索；步骤六:判定目标跟踪终止和丢失等情形，并停止跟
足示O
[0012]进一步，在步骤一中，采用分层并行、独立运作的分布式硬件架构。其中，监控子网处于整个系统的底层位置，设有存储服务器本地保存多通道视频采集信息，提供24小时无损高质量监控信号，并通过刻录等手段进行定期备份。高层监控中心是整个智能视频跟踪系统的核心，通过以太网链接各个监控子网，具有协同控制、通讯调配和追溯查询等功能。对于监控子网各节点的摄像机选择，一般采用业界统一规范的静态固定摄像头，以确定其空间几何位置，从而得到稳固的监控子网地图映射。而监控子网的空间位置信息则通过地理信息系统，如百度地图等应用来获取，并以此构成全局场景地图映射。
[0013]进一步，步骤二的具体过程包括:构造监控子网拓扑图和全局场景拓扑图。对监控子网来说，将场景中摄像机抽象为拓扑图节点，利用跟踪目标的空间位置、运动特征等，将每个节点的邻接节点相对于本节点的空间方向作为连接线方向(不考虑视野重叠的情况)，形成监控子网有向拓扑连接图。对全局场景来说，将地图中监控子网的位置抽象为拓扑图节点，利用跟踪目标的空间位置、运动特征等，将每个节点的邻接节点相对于本节点的空间方向作为连接线方向，形成全局场景有向拓扑连接图。
[0014]进一步，在步骤三中，物理世界发现可疑目标时，行人或保安拍下目标图像，再通过短信或网络上传到监控中心。系统将自动记录目标的二维图像信息、位置坐标信息和标定时间信息，并将相关信息发送到该监控子网的服务器，使其进行分布式独立追踪，以减少跟踪复杂度和提高跟踪效率。
[0015]进一步，步骤四中，监控子网服务器在进行跟踪时，采用基于尺度不变的图像特征匹配方法确定目标在视域中的位置，然后采用粒子滤波对运动单目标进行快速追踪。当目标在节点摄像头视域中跟踪丢失后，结合摄像机位置信息与视角信息和目标运动轨迹，当目标离开当前节点摄像头视野或当前监控子网监控范围时，判定目标运动的可能方向，做好目标交接准备。
[0016]进一步，步骤五的具体策略是分层搜索、级联跟踪。步骤三与步骤四通过人工标定，确定了目标存在的子网区域；然后利用底层监控服务器，在监控子网的各摄像头间采用概率关联算法接力跟踪可疑目标；当目标离开子网区域，返回全局地图检索，按照时空关联方法依次匹配相邻区域；一旦确定目标出现在某一区域，再次进入监控子网进行接力跟踪。其中拓扑子网跟踪策略:利用目标运动轨迹分布，采用基于联合概率数据关联算法，建立相邻节点的交接概率；然后求取最大权匹配得到整体最优，实现跨场景的目标关联和跟踪交接。全局拓扑地图跟踪策略:通过拓扑子网的跟踪结果，得到目标运动的速度和方向信息；依靠全局地图拓扑地图的各子网互联信息，得到各子网相关联的概率关系；按时空关联概率，向各关联子网下达匹配搜索控制命令，循环匹配各监控节点的实时监控画面，直到找到目标或逾越时空约束条件。
[0017]进一步，步骤六中判定跟踪停止的基本法是:全局拓扑地图在约束时间内是否重新检测到目标。
[0018]本发明还提供了级联式多摄像机接力跟踪系统，技术方案如下:
[0019]级联式多摄像机接力跟踪系统，由高层控制中心和若干监控子网构成。高层监控中心通过以太网连接各监控子网，具有协同控制、通讯调配和追溯查询等功能；监控子网通过多通道实时采集监控画面，提供24小时无损高质量信号，具有单目跟踪、跨场景追踪等功能。
[0020]进一步，高层监控中心一般包括五个子模块，分别是人机交互模块、全局拓扑地图模块、数据关联模块、目标定位模块和通信模块。其中人机交互模块通过用户界面与机器系统交换信息，用户通过上传目标图像；全局拓扑地图模块通过地理信息映射地图，抽象出数学拓扑模型，为全局数据关联和搜索提供支持；数据关联模块采用时空关联算法，找到目标在各子网间最可能的运动路径；目标定位模块依据数据关联数据，遍历搜索目标，确定目标位置；通讯模块通过以太网连接监控中心和监控子网。
[0021]进一步，监控子网包括单目跟踪、跟踪交接、局部拓扑地图和通信设备等四个子模块。其中单目跟踪模块，采用基于尺度不变特征的粒子滤波算法进行固定场景下的单一目标跟踪，获取目标运动信息；跟踪交接模块采用联合数据关联算法(JDPA)对目标的运动信息进行概率估计，跨场景接力跟踪可疑目标；局部拓扑地图通过抽象摄像机预设信息获得，为跟踪交接模块提供数学模型；通信模块负责与监控中心进行信息传递。
[0022]本发明的有益效果在于:该视觉接力跟踪系统和方法结合局部监控子网和全局监控网络，有效提高了目标交接的精度；采用基于尺度不变特征的粒子滤波算法进行单目跟踪算法，能够准确在固定场景追踪可疑目标；将监控节点抽象成拓扑网络，减小了目标关联的时间复杂度和空间复杂度；采用联合概率数据关联和时空关联等算法，能有效保证跨摄像机和跨场景目标跟踪的可靠性。
【专利附图】
【附图说明】
[0023]为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明:
[0024]图1为本发明所述方法的流程图；
[0025]图2为本发明所述方法的微观控制流程图；
[0026]图3为本发明所述系统的结构图；
[0027]图4为本发明中所用到的拓扑映射地图；
图5为本发明中所用到的有向拓扑连接图。
【具体实施方式】
[0028]下面将结合附图，对本发明的优选实施例进行详细的描述。
[0029]图1为本发明所述方法的流程图，图2为本发明所述方法的微观控制流程图，如图所示，本方法主要包括以下步骤:
[0030]I)构建分层实时监控网络硬件系统，获取各摄像头和监控子网的位置信息、监控范围、视野角度等信息，利用地理信息地图建立监控子网和全局场景地图映射，如图4所
/Jn ο
[0031]2)为利用跟踪目标的空间位置、运动特征等，将每个节点的邻接节点相对于本节点的空间方向作为连接线方向，则拓扑模型变为一个有向拓扑连接图，如图5所示。
[0032]3)在完成构建硬件系统、并将物理模型抽象生成数学模型后，跨场景的目标跟踪问题就被简化为固定场景下的单目标跟踪问题和多摄像机协同的数据关联问题。用户通过手机或网络向监控中心提交可惜目标的图片，如监控子网Z2中节点P3的物理空间发现可疑目标Tl。系统将存储Tl的图像信息和定位信息，并在跟踪中更新运动信息(如均匀速度、运动方向、运动时间等)，然后通过通信模块向监控子网Z2的服务器传送目标信息和下达跟踪命令。
[0033]4)监控子网在接收到跟踪命令后，对目标所在节点的监控画面进行分析处理，采用基于尺度不变特征的粒子滤波算法对运动单目标进行快速追踪。该算法的核心思想是随机采样和重要性重采样。即在不知道目标在哪里的情况下，随机向场景中分散粒子，根据特征相似度计算每个粒子的重要性，然后按概率重新分配粒子权重，找出目标运动的最大概率位置，并标示目标位置；最后对监控视频每一帧重复以上步骤。监控子网Z2在采用粒子滤波算法跟踪目标后，能得到目标的实时坐标和运动方向等信息，以此更新监控中心的目标信息，同时也为跟踪交接提供保障和支持。
[0034]5)在进行跟踪交接的过程中，拓扑子网中采用联合数据关联算法协同控制各监控摄像头；全局拓扑地图中则采用时空关联算法进行搜索。利用局部子网拓扑地图，将当前节点对应邻接节点的位置设置为预置位，然后对需要进行接力摄像机进行交接判断。多摄像机交接关联方法的基本思想是联合数据关联算法，算法核心是根据目标运动规律统计目标前往相邻节点的概率，并按概率高低依次检索这些节点，直至找到目标完成交接任务。假设目标Tl在节点P3的运动轨迹已通过粒子滤波跟踪获得，其运动规律由南向北运动，则根据数据关联算法判断目标可能前往Pl和P4 ;通过Tl以往的运动轨迹P8-P6-P3判断目标前往Pl的可能性为0.7，前往P4的可能性为0.3，通过对Pl和P4画面的依次匹配检索，最后确定找到目标前往P1。全局拓扑地图的时空关联算法与此类似，所不同的是要借助目标的平均速度估算目标到达各监控子网视域的时间范围，从而协同调度各监控子网。
[0035]步骤5)采取分层搜索、级联跟踪的跟踪策略，有效减小了数据关联和视频跟踪的时间复杂度和空间复杂度。监控子网Z2利用底层监控服务器接力跟踪目标Tl，获得其运动轨迹P8-P6-P3-P1 ;当目标离开Pl (Pl为拓扑子网边缘节点)视域，子网Z2判断目标离开子网视域的可能为0.8，然后返回全局拓扑地图检索；按照时空关联方法得出目标运动的时间约束，并在此范围内依概率匹配Zl、Z3的所有节点画面，最终找到目标到达的子网区域Zl ;—经确定目标所在，立刻进入监控子网Zl重复步骤5)进行接力跟踪。
[0036]6)若在时间约束范围内全局拓扑地图检索匹配失败，则扩大时间约束范围在更大区域Z3和TA区域进行全局检索。如果仍未找到可疑目标则判定任务失败，退出目标跟踪进程，并在监控中心交互界面显示跟踪失败等字样提示。
[0037]最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。
【权利要求】
1.级联式多摄像机接力跟踪方法，其特征在于:包括以下步骤: 步骤一:构建分层实时监控网络硬件系统，获取各摄像头和监控子网的位置信息，建立监控子网和全局场景地图映射； 步骤二:对监控子网和全局场景地图映射进行数学抽象建模，获得其相应拓扑节点连接图； 步骤三:初始化跟踪信息，获取目标的二维图像信息、位置坐标信息和标定时间信息等数据，并确定跟踪开始； 步骤四:在单摄像机视野范围内，采用基于尺度不变特征与粒子滤波相结合的单目标跟踪策略； 步骤五:采取分层搜索、级联跟踪策略，在拓扑子网中采用联合数据关联算法协同控制各监控摄像头；在全局拓扑地图中搜索中则采用时空关联算法进行搜索； 步骤六:判定目标跟踪终止和丢失等情形，停止跟踪。
2.根据权利要求1所述的级联式多摄像机接力跟踪方法，其特征在于:采用分层并行、独立运作的分布式硬件架构，通过获取各摄像头和监控子网的位置信息、监控范围、视野角度等信息，建立监控子网和全局场景的地图映射。
3.根据权利要求1所述的级联式多摄像机接力跟踪方法，其特征在于:步骤二所构造的监控子网拓扑图和全局场景拓扑图，将地理信息地图中的监控节点或监控区域抽象为拓扑图节点，利用跟踪目标的空间位置、运动特征等，将每个节点的邻接节点相对于本节点的空间方向作为连接线方向(不考虑视野重叠的情况)，形成有向拓扑连接图。
4.根据权利要求1所述的级联式多摄像机接力跟踪方法，其特征在于:步骤三中，当物理世界发现可疑目标时，行人或保安拍下目标图像，再通过短信或网络上传到监控中心；监控中心确定事发位置，并存储目标的二维图像、位置坐标等信息，然后将相关信息发送到相关监控子网服务器，使其进行分布式独立追踪，以减少跟踪复杂度和提高跟踪效率。
5.根据权利要求1所述的级联式多摄像机接力跟踪方法，其特征在于:步骤四具体包括:监控子网在接收到跟踪命令后，对目标所在节点的监控画面进行分析处理，采用基于尺度不变的图像特征匹配方法确定目标在视域中的位置，然后采用粒子滤波对运动单目标进行快速追踪；同时监控子网还自动获取目标的实时坐标和运动方向等信息，以此更新监控中心的目标信息。
6.根据权利要求1所述的级联式多摄像机接力跟踪方法，其特征在于:步骤五采取分层搜索、级联跟踪的接力跟踪策略；具体为:在进行跟踪交接的过程中，拓扑子网采用联合数据关联算法协同控制各监控摄像头；全局场景采用时空关联算法进行全局搜索。
7.根据权利要求1所述的级联式多摄像机接力跟踪方法，其特征在于:步骤六中若时间约束范围内全局拓扑地图检索失败，则扩大时间约束范围在更大区域进行检索。如果仍未找到可疑目标则判定任务失败，退出目标跟踪进程。
8.级联式多摄像机接力跟踪系统，其特征在于:包括高层控制中心和若干监控子网两层结构；高层监控中心通过以太网连接各个监控子网，具有协同控制、通讯调配和追溯查询等功能；监控子网通过多通道实时采集监控画面，提供24小时无损高质量信号，具有单目跟踪、跨场景追踪的功能。
9.据权利要求8所述的级联式多摄像机接力跟踪系统，其特征在于:高层监控中心一般包括五个子模块，分别是人机交互模块、全局拓扑地图模块、数据关联模块、目标定位模块和通信模块；其中人机交互模块通过用户界面与机器系统交换信息，全局拓扑地图模块将预设地理信息地图抽象成数学拓扑模型，数据关联模块提供时空关联算法以找到目标在各子网间最可能的运动路径，目标定位模块依据数据关联概率遍历搜索目标，通讯模块通过以太网连接监控中心和监控子网。
10.据权利要求8所述的级联式多摄像机接力跟踪系统，其特征在于:监控子网包括单目跟踪、跟踪交接、局部拓扑地图和通信设备等四个子模块；其中单目跟踪模块采用基于尺度不变特征的粒子滤波跟踪算法对目标进行固定场景跟踪，跟踪交接模块则采用联合数据关联算法对目标的运动信息进行概率估计，局部拓扑地图为跟踪交接模块提供数学模型，通信模块负责与监控中心 进行信息传递。
【文档编号】H04N7/18GK104038729SQ201410185961
【公开日】2014年9月10日 申请日期:2014年5月5日 优先权日:2014年5月5日
【发明者】尹宏鹏, 柴毅, 范曲, 张迅捷 申请人:重庆大学