专利名称：双摄像机自动协同多目标鹰眼观测系统及其观测方法
技术领域：
本发明涉及视频监控，特别是一种双摄像机自动协同多目标鹰眼观测系统及其观测方法，该方法是通过双摄像机的自动协同控制获取大范围场景信息的同时得到指定目标的清晰细节的方法。
背景技术：
传统视频监控的缺点在于目标距离摄像机较远并且不断移动时，仅仅通过改变焦距的方式不能得到大范围场景内感兴趣目标的清晰图像；多摄像机的视频监控系统结构复杂，成本很高。发明专利200410016455. 9用多摄像机进行视频监控，采用一台全景摄像机和多台跟踪摄像机获取异常目标的全局信息和细节信息，其实现技术依赖人工干预和手动分配。中国专利200910097012. X用多摄像机实现跨摄像机的自动跟踪，每台摄像机都对目标进行跟踪聚焦。这两个专利技术采用了多摄像机的模式，多摄像机自动智能监控中的难题在于匹配摄像机视野的重叠区域并标定摄像机，在这方面，前述发明没有相关的论述。视频智能监控中，直接自动获取运动目标的感兴趣区域清晰图像难度较大，例如，获取快速行走行人的脸部图像，行驶过程中车辆的车牌的图像。难点主要在三个方面由于运动图像的失真，很难检测出目标的局部特征，并对其定位；目标快速运动时，如果同时放大其局部特征，则目标很快就脱离摄像机视野；跟踪放大后的目标，要求PTZ摄像机快速移动，普通设备不能满足这一要求。
发明内容
本发明的目的在于克服上述难点，提供一种双摄像机自动协同多目标鹰眼观测系统及其观测方法。该观测系统及其观测方法既保证目标始终处于监控场景中，同时又能在适当的时候获取最有价值的目标细节信息。当多个目标出现时，则根据目标的标识，自动选择目标进行观测。本发明的技术解决方案如下一种双摄像机自动协同多目标鹰眼观测系统，其特点在于包括硬件平台、广角摄像机、PTZ摄像机，处理机和多通道视频采集卡，所述的广角摄像机和PTZ摄像机位于所述的硬件平台上且位置相对固定不变，所述的PTZ摄像机经控制线与所述的处理机相连，所述的广角摄像机的图像和PTZ摄像机的图像经过所述的多通道视频采集卡和视频线进入所述的处理机并进行数据处理，根据数据处理结果所述的处理机对所述的PTZ摄像机实现在线协同控制。所述的PTZ摄像机是具有云台全方位(上下、左右)移动及镜头变倍、变焦控制的摄像机，所述的双摄像机自动协同多目标鹰眼观测系统的观测方法，该方法包括如下步骤1)采用静止广角摄像机和PTZ摄像机主从式结构，所述的广角摄像机和PTZ摄像机两台摄像机相对位置固定后，设定广角摄像机的重点监控区域、观测目标的类型和相应的感兴趣区域；通过标定，得到PTZ摄像机对准广角摄像机图像中重点监控区域内任一位置M(x，y)对应的要旋转角度(α，β)并存入所述的处理机。幻用改进的码本(以下称为CodeBook，参见文献Kyungnam Kim, Thanarat H. Chalidabhongse, David Harwood, Larry Davis. Real time foreground background segmentation using codebook model[J]. Realtime Imaging. 2005,11, (3) 172-185.中所述的codebook模型，本发明是在其基础上的改进。)的背景减法，从广角摄像机中检测前景目标，并对观测目标进行跟踪、数据关联和标识，选择特定目标。3)对所选特定的目标，根据目标当前状态进行分类处理广角摄像机对快速运动的目标进行缩放跟踪，获取合适大小的图像；对慢速运动的目标定位感兴趣区域并随时将摄取的有关图像输入所述的处理机，该处理机根据感兴趣区域的位置M(x，y)驱动所述的 PTZ摄像机旋转角度(α，β )，将感兴趣区域置于所述的PTZ摄像机的图像中心，然后对该区域进行放大观测，获取清晰图像，存入所述的处理机称为查找表。一般情况下，步骤1)中一次标定可以长期使用，对广角摄像机的重点监控区域、 观测目标的类型和相应的感兴趣区域的设定，也可长期使用，除非观测目标的类型和相应的感兴趣区域需要改变。因此观测目标仅需在启动观测系统后反复执行步骤2)和步骤3) 即可。所述的标定是在两台摄像机相对位置固定后，将所述的广角摄像机图像按网格划分，控制所述的PTZ摄像机旋转对准网格交点，记录网格交点的位置M(x，y)和PTZ摄像机对应的要旋转角度(α，β)，对非网格交点处做插值，建立对准广角摄像机中图像任一位置 M(x,y)和PTZ摄像机对应的要旋转角度(α，β )存入所述的处理机，形成查找表。所述的改进的CodeBook是指检测出codebook中的误检测区域，并对其进行修正， 在对codebook的背景模型更新过程中加入8-邻域部分。所述的目标跟踪、数据关联和标识，所述目标跟踪是用卡尔曼滤波或粒子滤波算法预测目标下一时刻可能出现的区域；所述数据关联是指在预测区域检测到目标则认为是同一目标；所述标识是为目标分配唯一的标识符进行区分。所述的选择目标是根据目标的标识或图像位置选定图像中要跟踪检测的目标，称为特定目标。所述的快速运动目标，是指目标的质心位置变化范围较大，所述的缩放跟踪，是指根据目标的位置，通过PTZ摄像机的旋转对准目标，根据目标尺寸大小，调整PTZ摄像机的焦距，使目标的成像的大小有利于跟踪。所述的慢速运动目标是指目标的质心位置变化范围较小；所述的感兴趣区域定位，是指从PTZ摄像机中检测特定目标的感兴趣区域的锁定。本发明采用二级模式对快速运动目标进行放大跟踪，对慢速/静止目标进行反馈放大识别感兴趣区域。具体为当包含感兴趣目标快速移动时，对其进行缩放跟踪；当目标慢速/静止时，再定位感兴趣区域进行反馈放大识别，直至感兴趣区域充满整个视场。与现有技术相比本发明具有以下特点1、本发明采用建立查找表的方法标定广角静止摄像机和窄角运动摄像机，操作方便，宜于实现。并且在两台摄像机初始相对位置固定的情况下，只需要一次标定就可以在不同场景下进行使用，通用性十分好。2、本发明采用二级模式目标快速运动时跟踪-目标慢速运动时放大观测感兴趣区域，当目标在快速运动根据目标在广角摄像机中成像大小调节PTZ摄像机对目标进行缩放跟踪，可增强PTZ摄像机对目标的捕捉能力，避免目标从PTZ摄像机视野中消失。目标慢速运动时定位目标中包含的感兴趣区域，并对感兴趣区域进行放大观测，可降低获取感兴趣区域图像的难度，同时对设备的要求降低，从而成本下降。3、本发明具有成本低，实现简单等优点，可广泛应用于机器人、智能交通、公共安全、视频监控等多目标视频跟踪领域。
图1是本发明双摄像机自动协同多目标鹰眼观测系统结构示意图。图中1-PTZ摄像机；2-广角摄像机；3-视频数据线；4_控制数据线；5_处理机。图2是本发明双摄像机自动协同多目标鹰眼观测系统的标定方法示意图。图3是本发明双摄像机自动协同多目标鹰眼观测系统对室外运动目标检测结果示意图。图4是本发明双摄像机自动协同多目标鹰眼观测系统的工作流程。图5是本发明双摄像机自动协同多目标鹰眼观测系统对室内行人观测的结果示意图。图6是本发明双摄像机自动协同多目标鹰眼观测系统对室外行人观测的结果示意图。
具体实施例方式下面结合附图对本发明的实施例作详细说明本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。先请参阅图1，图1是本发明双摄像机自动协同多目标鹰眼观测系统结构示意图， 由图可见，本发明双摄像机自动协同多目标鹰眼观测系统，包括硬件平台、广角摄像机2、 PTZ摄像机1，处理机5和多通道视频采集卡，所述的广角摄像机2和PTZ摄像机1位于所述的硬件平台上且位置相对固定不变，所述的PTZ摄像机1经控制线4与所述的处理机5 相连，所述的广角摄像机的图像和PTZ摄像机的图像经过所述的多通道视频采集卡和视频线3进入所述的处理机并进行数据处理，根据数据处理结果所述的处理机对所述的PTZ摄像机实现在线协同控制。利用双摄像机自动协同多目标鹰眼观测系统的观测方法，该方法包括如下步骤1)采用静止广角摄像机和PTZ摄像机主从式结构，所述的广角摄像机和PTZ摄像机两台摄像机相对位置固定后，设定广角摄像机的重点监控区域、观测目标的类型和相应的感兴趣区域；通过标定，得到PTZ摄像机对准广角摄像机图像中重点监控区域内任一位置M(x，y)对应的要旋转角度(α，β)并存入所述的处理机；所述标定是指获取运动的PTZ摄像机对准观察所述广角摄像机ROI区域某一位置的旋转角度，所谓广角摄像机ROI区域是指人为选择的目标可能会出现图像的像素区域。
具体实现方法为①选定广角摄像机视频监控区域中需要用PTZ摄像机重点监控的ROI区域，如图 2所示；②选择合适的间隔，将所述的广角摄像机图像ROI区域划分为网格状，得到网格交点处的像素坐标:Mn(Xl, Y1)，M12 (X1, J2)，M21 (x2, Y1)，M22 (x2, J2).③控制所述的PTZ摄像机旋转，直到PTZ摄像机的图像中心与M11重合，读取所述的PTZ摄像机当前水平方向和垂直方向的旋转角度(α，β)η，记录一组数据L[Mn(Xl， Y1)] = (α , β)η ；④对剩下广角图像ROI区域的交点处重复步骤③的操作，记录所有的L[M12 (Xl， Y2)] = (α , β)12 ； L[M21 (x2, Y1)] = (α，β)21 ； L [M22 (x2,y2)] = (α，β)22 ；统称为即 L(M(x， y)) = (α，β)；⑤对广角图像ROI区域的非网格交点S (x, y)，查找包含它的最小矩形M11M12M21M22, 用双线性插值公式(1)，求取PTZ摄像机旋转的角度
权利要求
1.一种双摄像机自动协同多目标鹰眼观测系统，其特征在于包括硬件平台、广角摄像机、PTZ摄像机，处理机和多通道视频采集卡，所述的广角摄像机和PTZ摄像机位于所述的硬件平台上且位置相对固定不变，所述的PTZ摄像机经控制线与所述的处理机相连，所述的广角摄像机的图像和PTZ摄像机的图像经过所述的多通道视频采集卡和视频线进入所述的处理机并进行数据处理，根据数据处理结果所述的处理机对所述的PTZ摄像机实现在线协同控制。
2.权利要求1所述的双摄像机自动协同多目标鹰眼观测系统的观测方法，其特征在于，该方法包括如下步骤1)采用静止广角摄像机和PTZ摄像机主从式结构，所述的广角摄像机和PTZ摄像机两台摄像机相对位置固定后，设定广角摄像机的重点监控区域、观测目标的类型和相应的感兴趣区域；通过标定，得到PTZ摄像机对准广角摄像机图像中重点监控区域内任一位置 M(x,y)对应的要旋转角度(α，β)并存入所述的处理机形成查找表；2)用改进的CodeBook的背景减法，从广角摄像机中检测前景目标，并对观测目标进行跟踪、数据关联和标识，选择特定目标；3)对所选的特定目标，根据目标当前状态进行分类处理PTZ摄像机对快速运动的目标，根据目标的质心位置M(x，y)，所述的处理机根据所述的查找表得到对应要旋转角度(α，β)，驱动所述的PTZ摄像机旋转对准目标，并将所述的快速运动的目标进行缩放跟踪，获取合适大小的图像；PTZ摄像机对慢速运动的目标，首先根据目标的质心位置M(x，y)，所述的处理机根据所述的查找表得到对应要旋转角度(α，β)，驱动所述的PTZ摄像机旋转对准目标，然后将慢速运动的目标一次放大至PTZ摄像机视野的四分之三，再定位目标的感兴趣区域，并随时将摄取的有关图像输入所述的处理机，该处理机根据感兴趣区域的位置M' (x, y)，驱动所述的PTZ摄像机旋转，将感兴趣区域置于所述的PTZ摄像机的图像中心，然后对该区域进行放大，获取清晰图像，存入所述的处理机。
3.根据权利要求2所述的观测方法，其特征在于所述的标定是在两台摄像机相对位置固定后，将所述的广角摄像机图像按网格划分，控制所述的PTZ摄像机旋转对准网格交点， 记录网格交点的位置M(x，y)和PTZ摄像机对应的要旋转角度(α，β)，对非网格交点处做插值，建立对准广角摄像机中图像任一位置M(x，y)和PTZ摄像机对应的要旋转角度(α， β)存入所述的处理机，形成查找表。
4.根据权利要求2所述的观测方法，其特征在于所述的改进的CodeBook是指检测出codebook中的误检测区域并对其进行修正，在对codebook的背景模型更新过程中加入 8-邻域部分。
5.根据权利要求2所述的观测方法，其特征在于所述的目标跟踪、数据关联和标识，所述目标跟踪是用卡尔曼滤波或粒子滤波算法预测目标下一时刻可能出现的区域；所述数据关联是指在预测区域检测到目标则认为是同一目标；所述标识是为目标分配唯一的标识符进行区分。
6.根据权利要求2所述的观测方法，其特征在于所述的选择目标是所述的处理机根据目标的标识或图像位置与处理机内设定的观测目标的类型和相应的感兴趣区域相比对，相似则选定为要跟踪检测的目标。
7.根据权利要求2所述的观测方法，其特征在于所述的快速运动目标，是指目标的质心位置变化范围较大，所述的缩放跟踪，是指根据目标的位置，通过PTZ摄像机的旋转对准目标，根据目标尺寸大小，调整PTZ摄像机的焦距，使目标的成像的大小有利于跟踪。
8.根据权利要求2所述的观测方法，其特征在于所述的慢速运动目标是指目标的质心位置变化范围较小；所述的定位感兴趣区域是指PTZ摄像机检测到特定目标的感兴趣区域，采用自动控制的技术对感兴趣区域进行锁定跟踪。
全文摘要
一种双摄像机自动协同多目标鹰眼观测系统及其观测方法，该系统包括硬件平台、广角摄像机、PTZ摄像机，处理机和多通道视频采集卡，观测方法包括以下步骤标定两台摄像机，得到运动摄像机旋转对准广角摄像机图像任一位置的角度；从广角摄像机中检测出运动目标，并进行跟踪标识；选择目标，若目标运动较快，则控制PTZ摄像机进行缩放跟踪，若目标运动较慢，则放大目标，然后定位感兴趣特征，二次放大观测感兴趣区域。本发明具有成本低，实现简单等优点，可广泛应用于机器人、智能交通、视频监控等多目标视频跟踪领域。
文档编号G06T7/20GK102291569SQ201110211549
公开日2011年12月21日 申请日期2011年7月27日 优先权日2011年7月27日
发明者孙卓金, 胡士强 申请人:上海交通大学