一种多摄像机目标关联的交通视频监控系统和监控方法
【专利摘要】本发明公开一种多摄像机目标关联的交通视频监控系统和监控方法，通过面向多摄像机目标关联的交通视频监控系统，提出一种新的特征，即结合ASIFT特征和颜色直方图特征来描述目标特征，进而解决相机拍摄角度略有差异问题。本发明提出采用间接特征匹配思想来解决多部相机拍摄角度完全不同问题。由中央层控制视频流量，有效的减小了中央控制层的网络带宽压力。将中央控制层的关联算法模块分布到前端处理层中，中央控制层只负责目标特征计算以及时空预测模型的计算，有效的降低了中央控制层的计算压力，并实现了目标在多部摄像机内的自动关联。
【专利说明】-种多摄像机目标关联的交通视频监控系统和监控方法
【技术领域】
[0001] 本发明涉及一种多摄像机目标关联的交通视频监控系统和监控方法。
【背景技术】
[0002] 单个摄像机拍摄区域有限，不能覆盖整个城市区域，而现实生活中，需要一个系统 来完整的对目标进行关联，获取目标在整个城市区域内的运行轨迹，进而帮助对其行为进 行分析。通过在整个城市区域范围内部署多部摄像机，使得系统监控区域能够覆盖整个城 市，通过多部摄像机的合理协作，获得目标在整个城市范围内的运动轨迹。
[0003] 传统的交通视频监控系统采用集中式处理，即将每一部摄像头的视频数据都通过 网络带宽传输到中央控制层，在中央控制层进行计算W及目标关联。
[0004] 该种体系架构将会导致W下两个主要问题：
[0005] 1、网络负载压力过大。每一部摄像机都将视频发送到中央控制层，中央控制层的 网络带宽必然成为系统瓶颈。
[0006] 2、算法模块全部都在中央控制层执行，那么中央控制层的计算能力，存储能力都 会影响整个系统的性能。
[0007] 传统的交通视频监控系统很难实现目标在多部摄像机内自动关联。主要难点可W 分为W下两类：
[0008] 1、多部摄像机拍摄背景的差异。由于拍摄背景的变化导致提取的运动目标的特征 变化，其中一个典型案例就是由于光照的变化导致运动目标颜色特征产生剧烈变化。
[0009] 2、多部摄像机拍摄角度的变化。由于摄像机在各个路口或者天桥安装角度的不 同，导致摄像机拍摄的运动目标区域不同，极端的情况就是摄像机A拍摄到了车头，而摄像 机B拍摄到了车尾，在该种情况下，传统的交通视频监控系统很难进行目标的特征匹配。
【发明内容】
[0010] 本发明提供一种多摄像机目标关联的交通视频监控系统和监控方法，可W克服现 有技术的不足，本发明通过面向多摄像机目标关联的交通视频监控系统，提出一种新的特 征，即结合ASIFT特征和颜色直方图特征来描述目标特征，进而解决相机拍摄角度略有差 异问题。本发明提出采用间接特征匹配思想来解决多部相机拍摄角度完全不同问题。由中 央层控制视频流量，有效的减小了中央控制层的网络带宽压力。将中央控制层的关联算法 模块分布到前端处理层中，中央控制层只负责目标特征计算W及时空预测模型的计算，有 效的降低了中央控制层的计算压力，并实现了目标在多部摄像机内的自动关联。
[0011] 本发明通过W下技术手段实现：
[0012] 一种面向多摄像机目标关联的交通视频监控系统，包含前端处理层、网络传输层、 中央控制层；
[0013] 所述的前端处理层包含视频采集模块、目标关联模块、前端通信模块；
[0014] 所述的视频采集模块读取监控摄像机拍摄的视频，并将所述视频传输给目标关联 模块；
[0015] 所述的目标关联模块根据中央控制层传输的目标特征W及监控视频数据对目标 进行关联；
[0016] 所述的前端通信模块将关联结果传输给网络传输层，并最终传输给中央控制层进 行显示；
[0017] 所述的网络传输包含通信控制模块，包括交换机、路由器W及UDP通信模块、TCP 通信模块；UDP通信模块用于传输视频数据，TCP通信模块用于传输控制命令；
[0018] 所述的中央控制层，包括目标特征计算模块、时空预测模块、中央通信模块W及 GIS地图显示模块；中央控制层进行全局信息维护和控制，即根据时空预测模型，确定目标 将要出现的下一部摄像机，然后将目标特征W及控制命令传输到相应的摄像机，进行下一 步的关联。
[0019] 进一步的，所述的前端处理层包含前端设备，所述的前端设备包含硬件层、系统 层、应用层；硬件层包括视频监控设备、主板、CPU、存储器、网卡、显卡，硬件层提供基础架 构，执行机械命令，为系统层提供服务，系统层包括操作系统、视频编解码器、网卡驱动、显 卡驱动，系统层将应用层的逻辑命令转换成硬件层可W解析的机器命令，交付给硬件层执 行，并将硬件层处理结果返回给应用层，应用层包括视频采集模块、目标关联模块W及前端 通信模块。
[0020] 进一步的，前端设备之间可W进行分布式并行处理，大大提高了整个系统的计算 能力。
[0021] 一种面向多摄像机目标关联的交通视频监控系统的监控方法，包含W下步骤，
[0022] S101，由中央控制层发送控制消息W及目标特征向量给前端通信模块，前端处理 层读取监控视频，每个像素点存储一个样本集，样本集中采样值是该像素点过去的像素值 和其邻居点的像素值，然后将每一个新的像素值和样本集进行比较来判断是否属于背景 点，如果某一像素点不属于背景点，那么该像素点就属于前景点，也就是运动物体，系统采 用前景像素点聚集的方法来提取运动物体；
[0023] S102,计算上一步提取的运动物体的ASIFT特征和颜色直方图特征，与本前端的 数据集进行所述ASIFT特征和颜色直方图特征比较得到运动物体的特征向量，比较运动物 体的特征向量与中央控制层传来的目标的特征向量，得到目标在本前端的运动位置；
[0024] S103,利用TLD算法对检测出的运动目标进行关联；
[00巧]S104,将目标关联结果W及目标时空信息，通过网络传输层，返回给中央控制层； 由中央控制层的时空预测模块，通知用于接力的下一部摄像机、执行下一步目标关联。
[0026] 进一步的，所述中央控制层根据时空预测模块决定接力摄像机、并发送相应命令 到该摄像机，具体过程为：
[0027] S201，中央控制层发送CAMERA_0PEN命令到某一前端A，前端A发送实时视频到中 央控制层，中央控制层显示前端A的拍摄视频；
[0028] S202,在中央控制层框选目标，计算目标的ASIFT特征和颜色直方图特征，并与当 前数据集进行特征比较，得到目标的特征向量，将目标的特征向量W及OB巧CT_TRACK命令 发送到相应前端A，前端A对目标进行关联，并将关联视频和目标时空信息返回到中央控制 层；
[0029] S203,前端A目标关联完成，中央控制层根据前端A返回的目标特征信息W及时空 信息，预测目标将要出现的下一个前端B，并将目标特征信息W及OB巧CT_TRACK命令发送 到前端B，对前端A发送OB巧CT_CANCEL命令；
[0030] S204,重复S202. S203,进而获得目标在整个城市区域内的轨迹。
[0031] 本发明与现有技术相比的优点在于：
[0032] 1、自主设计前端硬件系统，组装监控摄像头W及电子芯片设备。实现目标关联算 法的分布式执行。在现有的监控摄像头基础上，添加新的硬件设备，不需要重新部署监控摄 像头。大大减小了部署设备的费用。
[0033] 2、采用分层次的架构体系，由中央控制层控制网络负载，由分布式前端系统进行 目标关联，该样就大大减轻了中央控制层的网络带宽压力W及计算压力，提升了系统整体 的计算性能W及扩展性能。可W实现智能化的监控目标在整个城域范围内的运动轨迹。
[0034] 3、采用ViBe算法提取运动物体。ViBe为每个像素点存储了一个样本集，样本集中 采样值就是该像素点过去的像素值和其邻居点的像素值，然后将每一个新的像素值和样本 集进行比较来判断是否属于背景点。ViBe算法实现简单，算法执行效果良好，可W使用固件 方式固定在前端系统中。
[00巧]4、提出新的目标描述特征，即结合ASIFT特征和颜色直方图特征来描述物体。 ASIFT通过模拟经度与缔度实现完全的仿射不变，然后用SIFT(SIFT具有完全的尺度不变 性）算法把模拟图像进行比较，最后实现特征匹配。ASIFT特征对光照变化，尺度变化，拍摄 角度变化不敏感。但ASIFT忽略了目标颜色信息，本发明采用目标颜色直方图来补充ASIFT 该一缺点。
[0036] 5、采用间接特征匹配思想来匹配目标。在每个前端中设置一系列由本前端拍摄的 车辆所组成的样本集合，计算运动物体的ASIFT特征和颜色直方图特征，并与本前端的数 据集进行比较，得到运动物体的特征向量。不同前端的数据集指向的物体是相同的，即相同 序号的数据都指向同一个运动物体，只是拍摄的角度不同，导致数据不同而已。比较运动物 体的特征向量与目标的特征向量，W此判断运动物体是否为要匹配的目标。该样就可W解 决两个前端监控摄像头安装角度不同的问题。
[0037] 6、操作人员只需要一次框选目标，接下来的目标关联W及目标选择都由本系统自 动实现，大大减轻了操作人员的工作。
【专利附图】
【附图说明】
[0038] 图1为本发明的面向多摄像机目标关联的交通视频监控系统结构示意图；
[0039] 图2为本发明的前端处理层的体系构成图；
[0040] 图3为本发明的前端处理层中关联算法模块的工作流程图；
[0041] 图4为本发明的中央控制层中多摄像机目标关联时的工作流程图。
【具体实施方式】
[0042] W下将结合附图对本发明的具体实施过程进行详细说明。
[0043] -种多摄像机目标关联的交通视频监控系统，如图1所示，包含H层结构、走个功 能模块；所述的H层结构为即前端处理层、网络传输层、中央控制层，其中前端处理层包含 视频采集模块、目标关联模块W及前端通信模块，网络传输层包含通信控制模块，中央控制 层包含目标特征计算模块、时空预测模块W及中央通信模块。
[0044] 具体来说，所述的走个功能模块分别为：
[0045] 视频采集模块：处于前端控制层中，由架设在城域范围内的前端监控摄像机（防 护罩、摄像机、镜头、支架）等主要设备组成。用于实时采集各交通路段的视频信息，并保存 在本地存储设备中，W供中央控制层读取。
[0046] 目标关联模块：处于前端控制层中，根据中央控制层传输的运动目标特征向量与 本前端提取的运动物体特征向量进行比较，即提取本前端的运动物体的ASIFT特征和颜色 直方图特征，与本前端存储的数据集进行SIFT特征与颜色直方图特征比较得到运动物体 特征向量。确定目标在本前端的位置信息，进行目标关联，并生成关联结果视频数据。
[0047] 前端通信模块：处于前端控制层，根据中央控制层传输的目标特征W及控制命令， 控制前端控制层的操作，并将关联结果视频数据传输到中央控制层。
[0048] 网络通信模块：处于网络传输层，该模块包含两部分TCP通信模块W及UDP通信模 块，TCP通信模块主要负责接发控制命令，UDP通信模块主要负责接发视频数据。
[0049] 目标特征向量计算模块：处于中央控制层，根据操作人员框选的目标，计算该目标 的ASIFT特征和颜色直方图特征，并与当前数据集进行比较得到运动目标特征向量，用于 传输到各个前端控制层，进行目标关联。
[0050] 时空预测模块：处于中央控制层，根据前端控制层返回的目标运动信息，根据道路 网络W及高斯模型，预测目标将要出现的下一个前端设备。
[0051] 中央通信模块"处于中央控制层，根据时空预测模型的预测结果，对相应的前端发 布命令，W及接收前端返回的关联结果视频数据、目标的时空信息。
[0052] 上述H层系统结构，实现了分布式计算，实现了多摄像机目标关联。在第一层中， 本发明提出一种新的运动物体描述特征，即结合ASIFT特征和颜色直方图特征来描述运动 物体，实现特征的完全仿射不变性并包含颜色分布信息。在第H层中，本发明提出采用间接 特征匹配思想，运动物体在多部相机间行驶过程中，不直接比较运动物体在前一部相机中 特征与在下一部相机间中的特征，而是运动物体与本相机内数据集比较得到特征向量，比 较相机特征向量的相似性。实验发现，该思想可W提高多部相机目标匹配的精度。
[0053] 如图2所示，所述的前端处理层包含前端设备，由硬件层、系统层W及应用层组成 的体系结构。硬件层包括视频监控设备、主板、CPU、存储器、网卡、显卡等。硬件层提供基础 架构，执行机械命令，为系统层提供服务。系统层包括操作系统、视频编解码器、网卡驱动、 显卡驱动等。系统层将应用层的逻辑命令转换成硬件层可W解析的机器命令，交付给硬件 层执行，并将硬件层处理结果返回给应用层。应用层包括视频采集模块、目标关联模块W及 前端通信模块。应用层接收中央控制层发布的控制命令W及目标特征，将控制命令发送到 系统层，并最终交付给硬件层。根据视频采集模块采集到的视频W及目标特征进行目标关 联，并将关联结果返回给中央控制层。
[0054] 如图3所示，为本发明面向多摄像机目标关联的交通视频监控系统的监控流程 图，按如下步骤进行：
[00巧]首先由中央控制层发送控制消息W及目标特征向量给前端通信模块，前端处理层 读取监控视频，利用ViBe算法提取运动物体。ViBe为每个像素点存储了一个样本集，样本 集中采样值就是该像素点过去的像素值和其邻居点的像素值，然后将每一个新的像素值和 样本集进行比较来判断是否属于背景点。
[0056] 然后计算上一步提取的运动物体的ASIFT特征和颜色直方图特征，并与本前端的 数据集进行匹配得到运动物体特征向量。比较运动物体的特征向量与中央控制层传来的目 标特征向量，得到目标在本前端的位置。由于相机正面白摄物体时，相机的光轴方向可能发 生变化，带来扭曲。ASIFT通过模拟经度与缔度实现完全的仿射不变，然后用SIFT (SIFT具 有完全的尺度不变性）算法把模拟图像进行比较，最后实现特征匹配。但ASIFT特征匹配 的是目标轮廓特征忽略了目标颜色信息，本发明改进ASIFT特征，添加颜色信息。
[0057] 接着，利用TLD算法对检测出的运动目标进行关联。
[0058] TLD (Tracking-Learning-Detection)是英国萨里大学的一个捷克籍博 i 生Zdenek Kalal在其攻读博±学位期间提出的一种新的单目标长时间（long term tracking)关联算法。该算法与传统关联算法的显著区别在于将传统的关联算法和传统的 检测算法相结合来解决被关联目标在被关联过程中发生的形变、部分遮挡等问题。同时，通 过一种改进的在线学习机制不断更新关联模块的"显著特征点"和检测模块的目标模型及 相关参数，从而使得关联效果更加稳定、可靠。
[0059] 最后，将目标关联结果W及目标时空信息，通过通信层，返回给中央控制层。由中 央控制层的时空预测模块，通知用于接力的前端，执行下一步目标关联。
[0060] 如表1所示，本发明通信协议模块中定义的一套控制信息规则，首先定义如下符 号：
[0061] 表 1
[0062]
【权利要求】
1. 一种面向多摄像机目标关联的交通视频监控系统，其特征在于：包含前端处理层、 网络传输层、中央控制层； 所述的前端处理层包含视频采集模块、目标关联模块、前端通信模块； 所述的视频采集模块读取监控摄像机拍摄的视频，并将所述视频传输给目标关联模 块； 所述的目标关联模块根据中央控制层传输的目标特征以及监控视频数据对目标进行 关联； 所述的前端通信模块将关联结果传输给网络传输层，并最终传输给中央控制层进行显 示； 所述的网络传输包含通信控制模块，包括交换机、路由器以及UDP通信模块、TCP通信 模块；UDP通信模块用于传输视频数据，TCP通信模块用于传输控制命令； 所述的中央控制层，包括目标特征计算模块、时空预测模块、中央通信模块以及GIS地 图显示模块；中央控制层进行全局信息维护和控制，即根据时空预测模型，确定目标将要出 现的下一部摄像机，采用运动物体与本相机内数据集比较得到特征向量，比较相机特征向 量的相似性，然后将目标特征以及控制命令传输到相应的摄像机，进行下一步的关联。
2. 根据权利要求1所述的面向多摄像机目标关联的交通视频监控系统，其特征在于： 所述的前端处理层包含前端设备，所述的前端设备包含硬件层、系统层、应用层；硬件层包 括视频监控设备、主板、CPU、存储器、网卡、显卡，硬件层提供基础架构，执行机械命令，为系 统层提供服务，系统层包括操作系统、视频编解码器、网卡驱动、显卡驱动，系统层将应用层 的逻辑命令转换成硬件层可以解析的机器命令，交付给硬件层执行，并将硬件层处理结果 返回给应用层，应用层包括视频采集模块、目标关联模块以及前端通信模块。
3. 根据权利要求2所述的面向多摄像机目标关联的交通视频监控系统，其特征在于： 前端设备之间可以进行分布式并行处理，大大提高了整个系统的计算能力。
4. 根据权利要求1所述的面向多摄像机目标关联的交通视频监控系统的监控方法，包 含以下步骤， S101，由中央控制层发送控制消息以及目标特征向量给前端设备的通信模块，前端处 理层读取监控视频，每个像素点存储一个样本集，样本集中采样值是该像素点过去的像素 值和其邻居点的像素值，然后将每一个新的像素值和样本集进行比较来判断是否属于背景 点；如果某一像素点不属于背景点，那么该像素点就属于前景点，也就是运动物体；系统采 用前景像素点聚集的方法来提取运动物体； 5102, 计算上一步提取的运动物体的ASIFT特征和颜色直方图特征，与本前端设备的 数据集进行所述ASIFT特征和颜色直方图特征比较得到运动物体的特征向量，比较运动物 体的特征向量与中央控制层传来的目标的特征向量，得到目标在本前端设备的运动位置； 5103, 利用TLD算法对检测出的运动目标进行关联； 5104, 将目标关联结果以及目标时空信息，通过网络传输层，返回给中央控制层；由中 央控制层的时空预测模块，通知用于接力的下一部摄像机执行下一步目标关联。
5. 根据权利要求4所述的监控方法，其特征在于：所述中央控制层根据时空预测模块 决定接力摄像机、并发送相应命令到该摄像机，具体过程为： S201，中央控制层发送CAMERA_OPEN命令到某一前端A，前端A发送实时视频到中央控 制层，中央控制层显不如端A的拍摄视频； 5202, 在中央控制层框选目标，计算目标的ASIFT特征和颜色直方图特征，并与当前数 据集进行特征比较，得到目标的特征向量，将目标的特征向量以及〇BJECT_TRACK命令发送 到相应前端A，前端A对目标进行关联，并将关联视频和目标时空信息返回到中央控制层； 5203, 前端A目标关联完成，中央控制层根据前端A返回的目标特征信息以及时空信 息，预测目标将要出现的下一个前端B，并将目标特征信息以及OBJECT_TRACK命令发送到 前端B，对前端A发送OBJECT_CANCEL命令； 5204, 重复S202. S203,进而获得目标在整个城市区域内的轨迹。
【文档编号】H04N7/18GK104363426SQ201410685403
【公开日】2015年2月18日 申请日期:2014年11月25日 优先权日:2014年11月25日
【发明者】李超, 张兴, 盛浩, 邵文杰 申请人:深圳北航新兴产业技术研究院