专利名称：基于多摄像头数据融合的智能视频监控系统的监控方法
技术领域：
本发明属于监控系统领域，具体涉及基于多摄像头数据融合的智能视频监控系统的监控方法。
背景技术：
随着数字视频技术的发展，视频监控技术已经成为计算机视觉研究领域中的一个研究热点，对建立和谐社会、安全社会具有重要意义。目前，视频监控系统主要用于楼宇监控、道路监控、人员监控与识别、危险区域监控等众多领域，结合人脸检测技术、运动目标跟踪技术、车牌识别技术等应用，具有重要的实用价值和广阔的发展前景。但目前的视频监控系统在一些应用中还存在不足，需要完善。1、背景监控与感兴趣区域监控矛盾问题
所谓背景(监控是指利用摄像头对可视视角进行视频采集，其视频监控范围大，但对于局部感兴趣区域而言分辨率不高。感兴趣区域监控是指利用摄像头对某一感兴趣区域进行视频采集，但监控范围将大大缩小。在实际应用中，可以通过调整全景监控摄像头的焦距进行感兴趣区域监控，但将失去对大范围监控的能力。例如在道路监控过程中，有时监控到车祸事件，但由于细节不突出，难以确定肇事车辆车牌、驾驶员等信息。如果用背景摄像头去提取车祸位置细节信息，将失去对道路的全部监控，存在视频监控死角从而造成隐患。例如，如果多摄像头的数据融合智能视频监控监控系统，可根据监控得到的车祸信息调整其中的一个监控摄像头的方向和焦距获取感兴趣区域的清晰视频，即获取车祸现场人员的清晰视频，不会出现目前的疑似顶包的猜疑。采用基于多摄像头的视频监控系统，可以解决背景监控与感兴趣区域监控的矛盾问题。可以利用一个摄像头监视背景，而另一个摄像头根据背景中感兴趣区域的需求，进行感兴趣区域的选取(调整方位和焦距)和视频监控，例如可以用来提取车祸现场的感兴趣区域信息，如车型、车牌、 车内人员、车内装饰与物品等。在多摄像头数据融合智能视频监控系统下，将震慑肇事逃逸事件、酒驾顶包事件。2、背景监控与目标跟踪矛盾问题
在视频监控中，目标跟踪是一种重要的应用。目标跟踪技术主要包括目标检测、目标识另IJ、目标跟踪等技术。例如利用人脸进行人物跟踪，利用车牌对车辆进行跟踪等。如果背景监控的摄像头用于目标监控，仅能跟踪当前视角范围的目标。若进行摄像头位置控制，焦距调整等来进行目标跟踪，必然失去对原视角范围的视频监控。采用多摄像头协同工作和数据融合技术，即可一个用于背景监控，另一个摄像头用于目标跟踪，可以通过旋转摄像头和进行变焦处理，扩大目标跟踪范围，从而解决背景监控与目标跟踪矛盾问题。以目前比较严重的“飙车”行为为例，一般均以遮挡车牌来逃避处罚。如果采用双摄像头的视频监控系统，可以采用一个视频进行背景(场景)监控，对其视频进行目标检测与跟踪，并计算轨迹、速度等信息，然后调整另一感兴趣区域监控的摄像头摄像位置和焦距，可以预先监控目标将经过的区域，可以准确的获取超速车辆信息(包括驾驶员特征、车内装饰、乘客等)，特别是人脸特征，可用于和驾驶执照库匹配，用以查找违章司机。通过采用这种多摄像头监控系统，可使遮挡车牌等逃避责任行为失效，从而真正的威慑这些违法“飙车”人员，从源头上杜绝“飙车”。3、目标三维重建问题
在视频监控中，可以对目标进行三维重建。由于目标一般处于运动状态，采用一个摄像头难于准确的进行目标的三维重建。而采用多摄像头数据融合的智能视频监控系统，在同一时间可以从不同角度对目标进行视频采集，可以利用小样本图像三维重建技术进行目标的三维重建，重建效果大大提高。4、背景监控与重点防护区域监控矛盾问题
在一些重点监控区域，可以利用一个摄像头进行背景(场景)监控(大范围监控)，另一摄像头进行重点防护区域监控，即感兴趣区域监控，并根据人的行为、面部表情等与防护区域之间的距离等进行警示，进行预警，从而做到全面监控与重点监控相结合的监控措施。5、目标检索与背景监控矛盾问题
在监控系统中，可以加入目标检索功能，提高系统监控能力。用户可以通过人机接口、网络(无线、有线)进行检索目标设定，然后监控系统对实时视频进行检索，若检索到可疑目标，需进一步核实时，单摄像头的监控系统将产生场景监控和目标细节获取的矛盾。而采用多摄像头系统，在保证背景监控的前提下，可以调整另一个监控摄像头的方向和焦距，获取感兴趣区域的目标细节视频，从而可以进一步获取目标的各种信息，并实现目标的跟踪。
发明内容
为了解决现有视频监控系统在上述应用中不足的一些问题，本发明提供一种基于多摄像头数据融合的智能视频监控系统的监控方法。为实现上述发明目的，本发明所采用的技术方案是:
本发明的基于多摄像头数据融合的智能视频监控系统的监控方法，主要包括两个方面:一是总体应用程序的运行，二是视频处理算法API设计与算法封装，总体应用程序通过对视频处理算法API的调用，实现视频处理功能；
总体应用程序的流程如下:监控系统根据具体配置的功能，进入相应的处理模块，实现对监控区域的全局监控和感兴趣区域监控，其中配置信息可以通过人机交互接口、无线通信方式或有线网络进行设置；
监控系统包括数字视频输入和模拟视频输入的两种监控系统方案；如果选择数字视频输入的监控方案，监控主板接收的是已压缩的视频，可以直接存储或传输，同时对压缩视频解压缩后进行数据融合和智能视频处理；反之，对于模拟视频输入的监控方案，可以直接对采集的数字视频进行数据融合和智能视频处理，然后再进行视频压缩和存储或传输。优选的，对视频处理算法API的调用，由信号处理模块进行并行的视频处理算法应用。进一步的，所述压缩视频的存储或传输在系统中与整个视频分析应并行进行。优选的，所述监控系统所根据的具体配置的功能包括人脸检测、人脸跟踪和识别；车辆检测、车辆跟踪和识别；可疑物检测、可疑物跟踪和识别；感兴趣区域监控与预警。优选的，所述监控系统根据配置信息进行功能的切换，根据配置信息，系统可以完成以下几种监控模式:交通和可疑物监控模式、人员与环境监控模式、警戒区监控模式及基于特征的视频检索监控模式。进一步的，所述交通和可疑物监控模式具体为:两个摄像头对监控区域进行视频采集，系统并行处理两路视频，并对视频进行智能信息处理；当在一个摄像头的视频中发现可疑物或交通问题时，即通过调整另一个摄像头的方位和焦距，进行感兴趣区域视频获取和细节特征提取；在视频处理完成后，两路视频都将被压缩，然后进行存储或网络传送；若发生交通事故，则感兴趣区域视频中车牌、人物特征等信息将被提取，而且会立刻向交警发送报警信息。所述人员与环境监控模式具体为:
两个摄像头对监控区域进行视频采集，并进行人物检测；当检测到人物时，立刻调整另一个摄像头进行感兴趣区域视频获取，并进行人脸检测与识别；如果该人被授权，则只记录行为信息；如果该人未授权，则立刻报警并进行人物跟踪和行动轨迹判别、以及人脸表情和肢体语言判别，尽早预警。所述警戒区监控模式具体为:一个摄像头被设置为区域监控模式，一个摄像头被设置为感兴趣区域监控模式；系统首先处理应用于区域监控模式的视频，发现有人、物或者车辆进入监控区域后，立刻调整用于感兴趣区域监控的摄像头进行细节监控，获取进入的人、物和车辆的细节信息。如果发现如人脸被人为遮挡、车辆车牌被遮挡等问题时，通知系统进行报警。系统还对正常进入的人、物、车辆的运动轨迹进行跟踪和预测，并与预警区域比较，如有进入预警区域的90%置信区间，则调整感兴趣区域监控模式摄像头进行细节监控，提取特征，并同时进行预警。
所述基于特征的视频检索监控模式具体为:主要根据输入的人、车牌这些检索特征，对监控区域的视频进行实时检索，当发现可疑目标出现时，调整另一个摄像头进行感兴趣区域视频获取，并进行人脸匹配、人物外形匹配、车型匹配、车牌匹配这些特征匹配，如匹配成功，则对该目标进行视频跟踪并向检索方发送匹配信息和新的特征库信息。相对于现有技术，本发明的基于多摄像头数据融合的智能视频监控系统的监控方法，具有以下有益的技术效果:
1、采用多摄像头数据融合的智能视频监控系统，在交通监控系统中，可以在全局监控的前提下，根据需求进行感兴趣监控，在车祸、超速等违反交通规则事件中，提供清晰的视频信息证据，对交通违规行为进行处罚。2、采用多摄像头数据融合的智能视频监控系统，可以根据需要从不同角度获取同一目标的视频，有利于该目标的三维重建。例如在人脸识别系统中，可以建立三维人脸信息，从而提高在复杂光照环境下人脸识别的准确度。3、采用多摄像头数据融合的智能视频监控系统，可以对目标的运动轨迹进行跟踪和预判，通过预判知识调整另一摄像头的方向和焦距，可以获取感兴趣区域的目标清晰视频。该项应用即可以用于警戒区域的预警，也可以用于超速车辆特征和驾驶员清晰视频获取。4、采用多摄像头数据融合的智能视频监控系统，在目标检索过程中，既保证原监控区域不变，又可以获取到感兴趣区域目标的清晰视频和特征。该项技术将为警方工作提供很大的便利。
图1为本发明的一种基于多摄像头数据融合的智能视频监控系统的监控方 法的一个实施例的流程示意图。
具体实施例方式以下结合附图详细描述本发明的 基于多摄像头数据融合的智能视频监控系统的监控方法的体系结构，但不构成对本发明的限制。本发明的一种系统设计方案:为实现多摄像头的视频监控，实现背景监控与感兴趣区域提取、监控、目标跟踪、三维重建等功能，选用可并行工作的高性能处理芯片，根据具体要求设计以下两种处理方案。1、采取多摄像头模拟视频的处理方案:
当双摄像头直接采集模拟视频时，采用视频电缆进行视频传输，经视频采集A/D转换得到数字视频后进行处理。处理由处理模块完成，主要根据系统配置的的功能进行人脸检测、人脸跟踪和识别；车辆检测、车辆跟踪和识别；可疑物检测、可疑物跟踪和识别；区域监控与预警；视频压缩存储与传输等功能。其中双摄像头各司其职，一个进行广角的背景监控，一个按照系统根据背景监控的提取的知识，进行监控位置和焦距的调节达到感兴趣区域监控的效果。整个系统通过LAN接口接入监控网络，既可以实时传输压缩的监控视频，又可以实现监控网络的配置、查询等功用。该系统支持预警模块模块，可根据监控网络划分的预警机制进行预警，预警包括现场预警(警报、语音提示、红灯闪烁等功能)，远程预警(通知监控网络)。2、采取多摄像头数字视频的处理方案:
与模拟视频输入方案相比，主要加入一个视频压缩板，该板主要采集视频，并且对采集的数字视频进行压缩，并可以通过网络进行传输。而对于监控系统本身，前端视频处理部分主要通过网络接收视频，解压缩后再进行相应的功能处理。其中视频存储功能模块直接存储输入的压缩视频。其余功能设置与图1所示监控系统一致。本发明的一种基于多摄像头数据融合的智能视频监控系统软件功能与方案: 基于多摄像头的监控系统软件设计主要包括两个方面，一是总体应用程序设计，二是
视频处理算法API设计与算法封装，总体应用程序通过对视频处理算法API的调用(由信号处理模块进行并行的视频处理算法应用)，实现视频处理功能。总体应用程序的流程如图1所示，系统将根据具体配置的功能(如人脸检测、人脸跟踪和识别；车辆检测、车辆跟踪和识别；可疑物检测、可疑物跟踪和识别；区域监控与预警等)，进入相应的处理模块，实现对监控区域的全局监控和感兴趣区域监控。在图1所示流程图中，包括前后两个虚线表示模块，两个模块分别对应数字视频输入和模拟视频输入的两种监控系统方案。如果选择数字视频输入的监控方案，监控主板接收的是已压缩的视频，因此可以直接存储或传输，同时对压缩视频解压缩后进行数据融合和智能视频处理。反之，对于模拟视频输入的监控方案，可以直接对采集的数字视频进行数据融合和智能视频处理，然后再进行视频压缩和存储或传输。注意:压缩视频的存储或传输在系统中与整个视频分析应并行进行。在图1所示设计方案中，主要根据配置信息进行功能的切换，其中配置信息可以通过人机交互接口、无线通信方式或有线网络进行设置。根据配置信息，系统可以完成以下几种监控模式。I)交通和可疑物监控模式
当配置选择配置0时，进入该监控模式。两个摄像头对监控区域进行视频采集，系统并行处理两路视频，并对视频进行数据融合和智能信息处理。当在一个摄像头的视频中发现可疑物或交通问题时，即通过调整另一个摄像头的方位和焦距，进行感兴趣区域视频获取和细节特征提取。在视频处理完成后，两路视频都将被压缩，然后进行存储或网络传送。若发生交通事故，则感兴趣区域视频中车牌、人物特征等信息将被提取，而且会立刻向交警发送报警信息(通过网 络)。2)人员与环境监控模式
当配置选择配置I时，进入该监控模式。两个摄像头对监控区域进行视频采集，并进行人物检测(包括人脸检测)。当检测到人物时，立刻调整另一个摄像头进行感兴趣区域视频获取，并进行人脸检测与识别。如果该人被授权，则只记录行为信息。如果该人未授权，则立刻报警并进行人物跟踪和行动轨迹判别、以及人脸表情和肢体语言判别，尽早预警。整个采集的视频经压缩后可以进行存储或网络传输。3)警戒区监控模式
当配置选择配置2时，进入该监控模式。一个摄像头被设置为区域监控模式，一个摄像头被设置为感兴趣区域监控模式。系统首先处理应用于区域监控模式的视频，发现有人、物或者车辆进入监控区域后，立刻调整用于感兴趣区域监控的摄像头进行细节监控，获取进入的人、物和车辆的细节信息。如果发现有问题(如人脸被人为遮挡、车辆车牌被遮挡等问题时)，通知系统进行报警。系统还对正常进入的人、物、车辆的运动轨迹进行跟踪和预测，并与预警区域比较(系统配置)，如有进入预警区域的90%置信区间，则调整感兴趣区域监控模式摄像头进行细节监控，提取特征，并同时进行预警。整个采集的视频经压缩后可以进行存储或网络传输。4)基于特征的视频检索监控模式
当配置选择配置3时，进入该监控模式。该模式下，主要根据输入的检索特征(人、车牌等)，对监控区域的视频进行实时检索，当发现可疑目标出现时，调整另一个摄像头进行感兴趣区域视频获取，并进行特征匹配(人脸匹配、人物外形匹配、车型匹配、车牌匹配等)，如匹配成功，则对该目标进行视频跟踪并向检索方发送匹配信息和新的特征库信息。整个采集的视频经压缩后可以进行存储或网络传输。为实现多摄像头监控系统的实时性，系统主要采用多模块并行工作方式进行研发，具体硬件设计方案如下所述。I)多摄像头模拟视频输入的监控系统硬件设计方案
在采用模拟视频作为输入的多摄像头视频监控系统中，为提高系统实时视频处理能力，主要采用视频预处理模块+主控制模块+视频信号处理模块三个并行工作模块来构成。其中，视频预处理模块主要根据主控制模块的配置信息，将采集的双摄像头视频信息预处理，包括图像颜色空间转换、图像隔行/逐行转换、图像增强、直方图计算、感兴趣区域(ROI)提取等功能，然后将处理后的视频输送給主控制模块。主控制模块是整个系统的核心部分，根据用户的配置信息进行系统功能的配置。在视频处理方面，主要采集视频预处理模块输送的视频信息并存储于与信号处理模块共享的高速双口 DARAM中，然后调用信号处理模块的响应视频处理功能(必做视频压缩)，并读取视频处理结果，存储或通过网络传输压缩的视频。根据系统配置的功能和实时的视频处理结果，主控制模块会借助多摄像头的云台通过串口对两个摄像头进行控制(调整焦距、方位等)，达到感兴趣区域监控的效果，主控模块将存储或传输监控视频。例如在交通监控中，如果视频分析中发现发生疑似交通事故，主控模块会根据分析结果调整一个摄像头的方位和焦距，获取车祸现场的感兴趣区域的清晰视频并报警。如果这种监控系统应用于近期发生的深圳车祸事件现场，将清晰记录车祸现场细节，包括事故车辆内部清晰视频，将不存在调包的争议。其中主控模块和信号处理模块通信遵循客户/服务器模式规范，即主控模块仅需告之信号处理模块要进行怎样的处理(按配置信息要求)，复杂的运算过程由高速的信号处理模块进行，然后将处理结果传递给主控模块。主控模块还实现人机交互功能，其中人机交互包括触摸屏和显示屏、无线收发功能、LAN收发功能、键盘鼠标功能等，用户可以根据应用需求对系统进行配置，主控模块将相应的调整视频预处理功能和信号处理模块相应的配置信息，使系统专用化。2)多摄像头数字视频输入的监控系统硬件设计方案
在多摄像头数字视频输入的监控系统中，主要包括视频压缩板和监控主板两部分，视频压缩板根据监控主板配置的信息对采集的两路视频进行预处理，然后压缩视频。压缩的视频信息通过网络传输给监控主板。监控主板接收压缩的监控视频信息，一边存储或传送视频，一边调用信号处理模块对接收的视频进行解压缩，然后根据配置信息进行视频相应的算法分析，并将视频处理结果传递给主控模块。其中主控模块和信号处理模块通信遵循客户/服务器模式规范，即主控模块仅需告之信号处理模块要进行怎样的处理(按配置信息要求)，复杂的运算过程由高速的信号处理模块进行，然后将处理结果传递给主控模块。主控模块还实现人机交互功能，其中人机交互包括触摸屏和显示屏、无线收发功能、LAN收发功能、键盘鼠标功能等，用户可以根据应用需求对系统进行配置，主控模块将相应的调整视频预处理功能和信号处理模 块相应的配置信息，使系统专用化。上述实施例只是为了说明本发明的技术构思及特点，其目的是在于让本领域内的普通技术人员能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡是根据本发明内容的实质所作出的等效的变化或修饰，都应涵盖在本发明的保护范围内。
权利要求
1.基于多摄像头数据融合的智能视频监控系统的监控方法，其特征在于，主要包括两个方面:一是总体应用程序的运行，二是视频处理算法API设计与算法封装，总体应用程序通过对视频处理算法API的调用，实现视频处理功能； 总体应用程序的流程如下:监控系统根据具体配置的功能，进入相应的处理模块，实现对监控区域的全局监控和感兴趣区域监控，其中配置信息可以通过人机交互接口、无线通信方式或有线网络进行设置； 监控系统包括数字视频输入和模拟视频输入的两种监控系统方案；如果选择数字视频输入的监控方案，监控主板接收的是已压缩的视频，可以直接存储或传输，同时对压缩视频解压缩后进行数据融合和智能视频处理；反之，对于模拟视频输入的监控方案，可以直接对采集的数字视频进行数据融合和智能视频处理，然后再进行视频压缩和存储或传输。
2.根据权利要求1所述的基于多摄像头数据融合的智能视频监控系统的监控方法，其特征在于，对视频处理算法API的调用，由信号处理模块进行并行的视频处理算法应用。
3.根据权利要求2所述的基于多摄像头数据融合的智能视频监控系统的监控方法，其特征在于，所述压缩视频的存储或传输在系统中与整个视频分析应并行进行。
4.根据权利要求1所述的基于多摄像头数据融合的智能视频监控系统的监控方法，其特征在于，所述监控系统所根据的具体配置的功能包括人脸检测、人脸跟踪和识别；车辆检测、车辆跟踪和识别；可疑物检测、可疑物跟踪和识别；感兴趣区域监控与预警。
5.根据权利要求1所述的基于多摄像头数据融合的智能视频监控系统的监控方法，其特征在于，所述监控系统根据配置信息进行功能的切换，根据配置信息，系统可以完成以下几种监控模式:交通和可疑物监控模式、人员与环境监控模式、警戒区监控模式及基于特征的视频检索监控模式。
6.根据权利要求5所述的基于多摄像头数据融合的智能视频监控系统的监控方法，其特征在于，所述交通和可疑·物监控模式具体为:两个摄像头对监控区域进行视频采集，系统并行处理两路视频，并对视频进行数据融合和智能信息处理；当在一个摄像头的视频中发现可疑物或交通问题时，即通过调整另一个摄像头的方位和焦距，进行感兴趣区域视频获取和细节特征提取；在视频处理完成后，两路视频都将被压缩，然后进行存储或网络传送；若发生交通事故，则感兴趣区域视频中车牌、人物特征等信息将被提取，而且会立刻向交警发送报警信息。
7.根据权利要求5所述的基于多摄像头数据融合的智能视频监控系统的监控方法，其特征在于，所述人员与环境监控模式具体为:两个摄像头对监控区域进行视频采集，并进行人物检测；当检测到人物时，立刻调整另一个摄像头进行感兴趣区域视频获取，并进行人脸检测与识别；如果该人被授权，则只记录行为信息；如果该人未授权，则立刻报警并进行人物跟踪和行动轨迹判别、以及人脸表情和肢体语言判别，尽早预警。
8.根据权利要求5所述的基于多摄像头数据融合的智能视频监控系统的监控方法，其特征在于，所述警戒区监控模式具体为:一个摄像头被设置为区域监控模式，一个摄像头被设置为感兴趣区域监控模式；系统首先处理应用于区域监控模式的视频，发现有人、物或者车辆进入监控区域后，立刻调整用于感兴趣区域监控的摄像头进行细节监控，获取进入的人、物和车辆的细节信息，如果发现如人脸被人为遮挡、车辆车牌被遮挡等问题时，通知系统进行报警，系统还对正常进入的人、物、车辆的运动轨迹进行跟踪和预测，并与预警区域比较，如有进入预警区域的90%置信区间，则调整感兴趣区域监控模式摄像头进行细节监控，提取特征，并同时进行预警。
9.根据权利要求5所述的基于多摄像头数据融合的智能视频监控系统的监控方法，其特征在于，所述基于特征的视频检索监控模式具体为:主要根据输入的人、车牌这些检索特征，对监控区域的视频进行实时检索，当发现可疑目标出现时，调整另一个摄像头进行感兴趣区域视频获取，并进行人脸匹配、人物外形匹配、车型匹配、车牌匹配这些特征匹配，如匹配成功，则对该目标进行视频跟踪并向 检索方发送匹配信息和新的特征库信息。
全文摘要
本发明提出了一种基于多摄像头数据融合的智能视频监控系统的监控方法，主要包括两个方面一是总体应用程序的运行，二是视频处理算法API设计与算法封装，总体应用程序通过对视频处理算法API的调用，实现视频处理功能；总体应用程序的流程如下监控系统根据具体配置的功能，进入相应的处理模块，实现对监控区域的全局监控和感兴趣区域监控，其中配置信息可通过人机交互接口、无线通信方式或有线网络进行设置；监控系统包括数字视频输入和模拟视频输入两种监控系统方案。本发明的基于多摄像头数据融合的智能视频监控系统的监控方法，可应用于交通监控系统、门禁、安全防护或其他系统，实现背景监控与感兴趣区域提取、监控、目标跟踪、目标三维重建等功能。
文档编号G08B25/00GK103248867SQ20121029490
公开日2013年8月14日 申请日期2012年8月20日 优先权日2012年8月20日
发明者胡剑凌, 曹洪龙, 邵雷, 穆小川, 潘奇智 申请人:苏州大学