专利名称：视频网络处理系统及其处理方法
技术领域：
本发明涉及一种视频网络处理系统，还涉及这种视频网络系统的处理方法。
背景技术：
公知的视频网络处理系统分集中式处理和分布式处理两种。集中式处理是把多个传感器和同一个计算机相连，减少了通讯负担，但是对计算机的处理能力要求相当的高；分布式处理主要是通过多个传感器与多台计算机相连，在获取视频信号的同时由对应的计算机处理，然后把处理结果传给中央控制单元进行集中的调度分配，能够较好的减轻每个处理单元的负担，但是对于大区域的处理对带宽和中央控制单元要求很高。在处理方法方面，分为融合和协同两种情况。融合主要是通过像机的不同属性，在现有情况下得到一个更为优化的结果；而协同处理是在融合的基础上，通过反馈实现信息共享和交互，实现每个传感器的最优化，逐渐达到整体上的更优化。
参照图3。文献“A system for video surveillance and monitoringVSAM final report.Carnegie Mellon University，Technical ReportCMU-RI-TR-00-12”公开了一种分布式处理结构处理大区域的方法。该方法利用12个不同型号的摄像头，每个摄像机处理单元通过中央控制单元进行连接，每个中央处理单元实现互连，通过中央控制单元之间和中央单元与单个处理单元之间实现实时的通讯，进行信息的交互。但是在区域特别大，目标较多的时候，中央控制单元将增加，每个中央控制单元每次都将相互发送信息，这直接导致中央控制单元之间交互的信息量增加，处理的信息量增大，相应的要求传输带宽和中央控制单元的处理能力增大；在信息处理过程中，实现了数据融合处理和像机调度，构建了协同处理的框架，但是并没有实现视频处理单元对中央处理的自主请求，这很可能由于遮挡或其他原因使得单个处理单元对目标的丢失或者精度不高；对于整个监控场景中的目标并没有进行预警处理，这引起视频处理单元并不知道哪些目标即将进入自己的视野，这要求运动目标检测算法相当鲁棒。整体上，该系统对每个视频处理单元的处理性能要求很高，而视频单元的处理结果和整体的结果息息相关。
发明内容
为了克服现有技术对计算机的处理能力和带宽需求高，不能实时实现大范围的协同处理和综合显示处理结果的不足，本发明提供一种视频网络处理系统。
本发明还提供这种视频网络系统的处理方法。
本发明解决其技术问题所采用的技术方案是一种视频网络处理系统，
一种上述视频网络系统的处理方法，包括下述步骤本发明的有益效果是由于传感器处理单元与中央控制单元通过级联方式，每个中央控制单元负责少数的传感器处理单元，上级的中央控制单元负责少数的局部中央控制单元，从而控制了信息量和信息的传播范围，这使得每条线路的通讯量不随像机数目的增加和监控范围的扩大而增加，有效地抑制了整个网络中的通讯量；通过级联的方式和全局与局部重构策略，很容易实现加入其他视频处理单元，实现系统的可扩展性；视频处理单元根据自身情况实现了对中央单元的请求并采用局部与全局可重构的策略，提高了目标的检测、跟踪和识别率；整体上，本系统实现每个传感器处理单元的20帧/s，检测率由单个传感器处理单元的90％提高到99％；跟踪正确率由单个传感器处理单元的86％提高到94％，在遮挡的地方体现更为明显；识别率由单个传感器处理单元的92％提高到99％；带宽需求可以控制在1M以内。
下面结合附图和实施例对本发明进一步说明。
图1是本发明视频网络处理系统结构框2是图1中单个传感器处理单元和中央控制单元的数据流3是现有技术视频网络处理系统结构框图具体实施方式
参照图1、图2，每个传感器处理单元包括计算机、传感器等视频获取设备，每个中央控制单元通过以太网连接多个传感器处理单元，本系统包括三组各四个传感器处理单元，通过以太网与三个中央控制单元互连；中央控制单元借助以太网与上级中央控制单元实现连接。本系统主要实现了传感器处理单元、底层中央控制单元和上层中央控制单元三级连接实现12个像机协同检测、跟踪和识别。
对于大范围，每个底层中央控制单元可以与多个传感器处理单元连接，最多视中央控制单元处理能力和带宽定；每个上级中央控制单元可以与多个下级中央控制单元连接，最多视上层中央控制单元处理能力和带宽定，最终实现多级协同目标检测、跟踪和识别系统的级联。
整个系统主要包括视频获取，像机控制，视频协同检测、跟踪和识别处理，数据关联和融合，可视化，通讯，像机分配和数据同步八个主要模块。本系统主要通过一个管理模块实现对这些模块进行统一的管理。
视频获取和像机控制模块主要是利用DirectShow实现从采集卡实时获取视频流；利用Pel_D协议，并借助串口实现对像机的转动控制。
视频协同处理模块在视频单元整个检测、跟踪和识别过程中，利用每个传感器获取的信息和中央控制单元的反馈信息分别进行目标协同检测、跟踪和识别。
目标检测开始前，通过100～500帧图像在HIS空间建立混合高斯模型；然后，利用混合高斯模型实现对运动区域的检测，并且进行实时的混合高斯模型参数的更新；对于检测的区域，在HIS空间利用阴影和背景在色度信息和梯度信息的一致性，以及灰度一般较背景低的特性从运动区域中判别阴影，得到不含阴影的目标区域；最后，结合中央控制单元给出的可能含有的目标信息，进行目标区域检测结果修正。其修正的可能情况有三种，不变、目标合并和目标分裂。当检测的目标数目和中央控制单元提供的数目不一致时，要进行目标的修正。
在目标跟踪过程中，利用Kalman滤波器和MeanShift结合实现对检测的目标实现实时跟踪；当跟踪目标当前匹配分数太低时，请求中央控制单元进行支援，要进行协同监控或者提供其他像机对该目标跟踪的信息。
在目标识别过程中，通过逐级识别。首先利用光流场方法区分刚体和非刚体；对于刚体，借助神经网络和高斯海明矩进行目标识别；对于非刚体，利用运动区域水平方向灰度投影实现对人的数目的区分，从而判别人和人群。
目标定位模块结合视频处理的结果，并利用DEM数据进行目标的三维空间位置确定。对于CCD像机，定标和参照点的选择比较容易，可以直接进行。该方法的主要思想是对于给定的已标定的传感器，由传感器光心出发经过目标像点作一条射线，即视线(Viewing-line)，射线与地面的交点就是目标在三维场景中的位置。从包含传感器的所在位置开始，沿着视线的方向轮流比较视线当前经过的高程值Ex，y和视线当前的高程分量值Zx，y，直到Ex，y≥Zx，y，此时的(x，y)就是目标的位置。从而可以很简单的确定目标的3D位置。
而对于红外等其他的视频获取设备，定标或参照点选择比较难，有必要实现虚拟像机。即，通过像机拍摄的图像作一个配准，然后利用可见光的方法求解。
资然调度模块根据像机信息、目标信息和用户信息，实现传感器资然的自主调度。主要分为传感器仲裁和协同控制两个部分。并结合云台和对应协议实现对传感器的控制。传感器分配是协同计算的一种方式。在全局目标已知的情况下，为了进一步获得某目标更加清晰的图像信息，可通过调动系统中具有更佳拍摄角度的传感器来跟踪该目标。我们希望设计一种快速的分配算法，它在尽可能多地跟踪场景中目标的前提下，使得优先级较高的目标有更佳的拍摄角度。影响分配算法的因素有1)可转动传感器的最大视野范围。我们使用的传感器具有设置预置位功能，每一个预置位代表一个既定的pan/tilt/roll角度，最多可设置128个预置位。对每一个预置位定标，得到的外参数加上场景的高程数据，即可用于确定该传感器的最大视野范围。
2)目标的优先级。目标的优先级分为5级，用户可在界面中选取。优先数小代表目标越重要。
算法如下1、初始化对于所有的全局目标，以优先数作为关键码，按升序排序，得到排序后的全局目标队列Ti(i＝0，1…，n)。将所有的传感器组织成传感器链Ci(i＝0，1，…，m)。
2、从Ti(i＝0，1…，n)队列首部取出一个目标Tj。
3、搜索Ci，将目标Tj位置在视野范围内的传感器组织成临时的可用传感器链CAi(i＝0，1，…，m′)。搜索CAi，将离目标最近的传感器分配给该目标，并将该传感器从Ci中去除。
4、j＝j+1，重复步骤2，直到j＝n即所有的目标都分配完毕或Ci为空。
5、若Ci为空，结束算法。
6、从Ti(i＝0，1…，n)首部取出一个目标Tj，搜索Ci，将目标Tj位置在视野范围内的传感器都分配给Tj。
7、j＝j+1，重复步骤5。
考虑以下两种情况。若目标个数大于传感器个数，则算法必然不会执行到步骤6，此时可以保证每个传感器只跟踪一个目标，也即尽可能多地跟踪场景中的目标。且优先级高的目标首先被考虑，使其具有最佳的拍摄角度。若目标个数小于传感器个数，则算法中的步骤6可以使系统中的冗余传感器跟踪优先级较高的目标，使其被尽可能多的传感器跟踪。
通讯模块在SPU和CCU之间都需传送对应的数据，采用TCP/IP，UDP进行VPU和CCU之间的数据传输。其通讯协议具体如下1)命令类型RP_OPEN_REQ---SPU在就绪后向指定的服务器发送该命令，收到服务器发送来的CM_SENSOR_OPEN_COMMIT后开始发送数据；RP_SHUT_REQ---SPU在停止传输数据前向服务器发送该命令，收到服务器发送来的CM_SENSOR_SHUT_COMMIT命令后停止传输数据；CM_OPEN_COMMIT---CCU向SPU发送该命令表示该SPU可以发送数据；CM_SHUT_COMMIT---CCU向SPU发送该命令表示该SPU可以停止发送数据；RP_NO_COMPLETE---CCU向SPU发出某个命令时，SPU无法完成时向CCU发送；RP_YES_COMPLETE---CCU向SPU发出某个命令时，SPU完成时向CCU发送；CM_SET_SENSOR---CCU向SPU发出该命令指定SPU的信息(该包中需要有Sensor域)；RP SET SENSOR---SPU向CCU发出该命令表明该SPU的信息(该包中需要有Sensor域)；CM_SET_IDLE---CCU向SPU发出该命令指定SPU不跟踪时的状态；RP_NEW_TARGET---SPU发现新目标时向CCU发送(该包中需要有Target域)CM_TRACK_TARGET---CCU发送该命令指定SPU跟踪某个目标(该包中需要有Target域)；CM_NO_TRACK_TARGET---CCU发送命令指定SPU不要跟踪某个目标(该包中需要有Target域)；CM_SEARCH_TARGET---CCU发送该命令指定SPU搜索某一目标(该包中需要有Target域和Sensor域)；CM_NO_SEARCH_TARGET---CCU发送该命令指定SPU停止搜索某一目标(该包中需要有Target域和Sensor域)；CM_SEARCH_EVENT---CCU发送该命令指定SPU搜索某一事件(该包中需要有Event域和Sensor域)；CM_NO_SEARCH_EVENT---CCU发送该命令指定SPU停止搜索某一事件(该包中需要有Event域和Sensor域)；CM_NO_COMMAND---空命令；RP_NO_REPORT---空报告；感知器类型RGB_SENSOR普通RGB摄像机。
MONO_SENSOR单色摄像机。
INFRARED_SENSOR红外摄像机。
感知器IDSPU_IDn(其中n表示传感器编号)。
感知器状态STAT_STAND感知器不转动动不跟踪。
STAT_IDLE感知器转动不跟踪。
STAT_TRACK感知器跟踪。
STAT_SEARCH感知器搜索。
目标类型TARGET_HUMAN。
TARGET_BYCYCLE。
TARGET_CAR。
TARGET_TRUCK。
目标状态TARGET_MOVE。
TARGET_STOP。
包结构每个包中一定会有命令段，其他段的有无根据命令段的内容确定。
Pack_size整个包的大小。
Pack_ID该包的ID，由发送方唯一指定。
Src_ID该包的发送方ID。
Dst_ID该包的接受方ID。
Pack_time该包发送的时间，以GPS的时间为准。
虚拟同步为了构造一个可靠的系统，需要对已有时间点上目标信息进行分析，来估计相同时刻的目标信息。我们称估计得到的目标信息为虚拟目标信息，本协同通过时间信息实现特征的两次同步来完成虚拟目标信息的估计，也即虚拟同步。各个传感器独立获取的目标信息在时间上不完全相同，并且由于网络延时，在进行关联计算时往往得不到所需时间点上的数据。时间上的不同步性不仅对于关联算法提出了更高的要求，而且也影响了系统的整体性能。因此，考虑到系统的可靠性，在关联计算前对接收到的数据进行同步处理。本系统主要对时间和特征进行同步。时间同步上，可以采用昂贵的GPS实现精确定位，考虑性价比，MSCPS采用串口进行时间同步，其精度在1ms左右。特征同步方面，通过采用目标缓冲池链，其结构如图5所示。对于每个目标建立真实特征数据缓冲池和虚拟特征数据缓冲池。对每个固定的时间都通过真实特征数据缓冲区中的数据产生虚拟的数据。
数据关联模块主要通过颜色直方图特征、类别和三维位置特征判别不同像机中的目标是否是相同的目标，最后利用每个像机跟踪的结果实现航迹的关联。最终的航迹是通过多个像机中目标航迹的加权平均，其中权重的大小和匹配的分数成正比。系统主要通过设计接受数据的广义表存储结构进行数据接收，利用全局目标轨迹链表结构存储最终的关联结果。
场景的可视化模块在一个综合的“场景表示”中显示所有传感器的的视野范围，形象的表示出对目标的检测、跟踪和识别。这个综合场景是监控区域三维场景和二维地图场景。三维场景是事先对多个摄像机的重建的结果；地图是人工绘制。通过关联模块可以确定目标的三维位置和类别，在三维场景中可以对应的绘制。
调度和管理模块它主要是控制各个模块的数据通讯和调度。数据的互斥控制最为重要，这里主要采用以封锁机制实现，有共享锁和互斥锁。读操作可以共享资源，而写操作相互排斥。封锁粒度的主要是设置临界区锁。
全局与局部重构在目标即将离开传感器A的时候，传感器A将逐级向上级中央控制单元发送包括目标的特征、运动信息、目前三维位置等消息，由中央控制单元统一广播到各个传感器，告知即将有新的目标出现。周围这些传感器临时组建为局部单元，实现目标的协同检测、跟踪和识别，并实时的将目标信息结果反馈给上级中央控制单元；并且将最终的决策信息有选择的反馈给每个传感器，实现整个视频网络的协同检测、跟踪和识别。
并发控制该程序是一个多线程程序，为了保证数据的一致性和正确性，MSCPS并发控制以封锁机制实现，有共享锁和互斥锁。读操作可以共享资源，而写操作相互排斥。封锁粒度的主要是设置临界区锁。
权利要求
1.一种视频网络处理系统，包括传感器处理单元和中央控制单元，其特征在于多个传感器处理单元形成传感器处理单元组，多个传感器处理单元组通过以太网与中央控制单元连接，每个中央控制单元通过以太网与上一级的中央控制单元连接。
2.一种权利要求1所述视频网络处理系统的处理方法，包括下述步骤1)先对每个传感器处理单元进行目标检测、跟踪和识别处理；2)传感器处理单元根据处理结果主动判断是否需要向中央控制单元发出协作处理请求信息；如果需要协作处理，中央控制单元将根据全局目标的信息和传感器信息，对要求相关传感器单元协作该传感器处理单元实现目标协同检测、跟踪和识别或者提供对应的目标信息以协助该传感器单元实现目标检测、跟踪和识别。或者，1)中央控制单元根据每个传感器处理单元或者下级中央控制单元提供的目标信息进行关联处理；2)根据传感器信息、目标信息和用户信息，利用中央控制单元的资然调度模块进行传感器处理单元的传感器分配；3)发送消息给传感器处理单元或者下级中央控制单元进行目标的协同检测、跟踪和识别。
全文摘要
本发明公开了一种视频网络处理系统，包括传感器处理单元和中央控制单元，由多个传感器处理单元形成传感器处理单元组，多个传感器处理单元组通过以太网与中央控制单元相连，每个中央控制单元通过以太网与上级中央控制单元相连。还公开了该视频网络处理系统的处理方法，传感器处理单元根据处理结果主动向中央控制单元发出协作请求，中央控制单元根据系统情况提供相应帮助；中央控制单元根据目标和传感器信息指导传感器单元进行有效处理。由于传感器处理单元与中央控制单元级联连接，每条线路的通讯量不会随目标以及传感器数目的增加而增加，有效地抑制了整个网络的通讯量；由于传感器单元和中央处理单元协同合作，提高了目标的检测、跟踪和识别率。
文档编号H04L12/28GK1801931SQ20051012457
公开日2006年7月12日 申请日期2005年12月19日 优先权日2005年12月19日
发明者张艳宁, 胡伏原, 郑江滨, 赵荣椿, 杨兴, 杜振华, 袁金刚, 潘俊军, 肖敬若 申请人:西北工业大学