专利名称：大范围监控场景下异常目标检测及接力跟踪的方法及系统的制作方法
技术领域：
本发明涉及模式识别，特别涉及大范围监控场景下的异常目标检测和接力跟踪的 方法及系统。
背景技术：
随着计算机技术以及数码电子技术的迅速发展，视觉监控技术得到了越来越广泛 的应用。传统的视觉监控系统往往只能提供视频采集和存储的功能，需要监控人员在监控 室观看显示屏来发现异常情况，不但增加了监控成本，而且长时间观看显示屏导致的视觉 疲劳会使监控人员的警惕性降低，使得监控系统在某些关键时刻不能发挥应有的作用。目 前，智能视觉监控技术正在兴起，并且越来越受到媒体的关注。智能视觉监控技术就是要让 计算机代替人的大脑，让摄像头代替人的眼睛，由计算机智能地分析从摄像头中获取的图 像序列，对被监控场景中的内容进行理解，与传统视觉监控系统相比有明显的优势，能大大 减少监控人员的数量降低成本，方便资源(保安、警力等)调度。大范围监控场景下的异常 目标检测和接力跟踪技术是一种非常具有应用价值的智能视觉监控技术，通过大量的固定 摄像机，它可以实时获取园区、广场等面积较广阔的重要监控场景内的目标信息，对具有异 常行为的目标进行报警并控制云台摄像机对其进行接力跟踪，为重要区域的安全防卫提供 有力的工具。大范围监控场景下异常目标检测和接力跟踪技术的一个主要难点是如何综合 分析多个摄像机在大范围场景下各自检测到的目标信息。单个固定摄像机的目标检 测技术一般采用高斯背景建模的方法建立固定场景的背景，然后通过得到的图像与背 景图像相减的方式得到前景图像，最后对前景图像进行分析、处理得到图像中的目标 信 息(Chris Stauffer, ff. E. L Grimson. Adaptive background mixture models for real-time tracking. 1999 IEEE Computer Society Conference on Computer Vision and PatternRecognition. IEEE Comput. Soc. Part Vol. 2，1999)。但是，单个摄像机监控的视场 有限，无法实现大范围场景的监控；如果采用多个摄像机监控，会有如下问题1)同一次异 常行为出现在两个摄像机的公共视场，从而出现对同一异常行为的两次报警；2)同一个目 标依次出现在两个摄像机图像a、b之中，可能该目标在a摄像机中具有异常行为，而到了在 b摄像机中不具有异常行为，从而出现a摄像机报警，而目标运动到b摄像机监控区域却表 现为正常目标的情况；3)对于多数基于目标运动轨迹的异常行为分析方法，图像的边缘区 域的异常行为无法检测。所以，对于解决大范围监控场景下的多摄像机异常目标检测，并不 能简单扩展单摄像机的异常目标检测技术。大范围监控场景下异常目标检测和接力跟踪技术的另一个主要难点是如何实现 多个云台摄像机对同一目标的接力跟踪(Calderara S, PratiA, Vezzani R, Persistent Objects Tracking Across Multiple Non OverlappingCameras. WACV/M0TI0N ' 05, Vol.2)。由于几乎所有的接力跟踪方法涉及目标的匹配，需要提取目标的颜色、纹理、点线 等特征，对图像质量和应用场景要求较高，不适合室外大范围的目标接力跟踪。
发明内容
本发明的目的是提供一种大范围监控场景下的异常目标检测及接力跟踪的方法 和系统。按照本发明的一方面，一种大范围监控场景下的异常目标检测和接力跟踪的方 法，包括步骤视频输入和帧抽取；对图像进行亚采样；高斯背景建模；计算目标块在数字地图中的位置；对目标进行跟踪和轨迹记录；对目标异常行为进行检测；对目标进行检测与接力跟踪。按照本发明的另一方面，一种大范围监控场景下的异常目标检测和接力跟踪的系 统，包括目标检测模块，利用亚采样的图像进行高斯背景建模，获得前景图像，并计算目标 在数字地图中的坐标，然后把坐标信息发送到目标识别与跟踪控制模块；目标识别与跟踪控制模块，完成目标跟踪和轨迹记录以及目标异常行为的检测， 如果发生异常行为，据该目标坐标信息选择合适的云台摄像机，发送报警信号到主动跟踪 模块；主动跟踪模块，接收目标识别与跟踪控制模块的报警信息，根据报警信息内容控 制云台摄像机进行预置位转向，然后进行运动目标的检测与跟踪。本发明解决了大范围监控场景下，多路图像目标信息的融合。实现了同一目标的 精确、鲁棒的接力跟踪。计算量适中，可以满足实时视频处理的要求。
图1是本发明技术方案流程图；图2是某时刻数字地图中的前景目标运动轨迹；图3是高空摄像机拍摄的异常目标图像；图4是云台摄像机跟踪目标；图5是系统组成图；图6是系统信息流图；图7是模块功能图。
具体实施例方式本发明的整个技术方案流程图如附图1所示。下面对发明中所涉及到的技术细节 予以说明，最后给出某机关园区内的一次应用实例。1.视频输入和帧抽取从摄像头传输过来的数字图像序列一般为25帧/秒，而由于大范围监控场景下，需要对多路图像同时采集、处理，所以需要适当的降低帧率，减少计算量。一般可以采用隔 帧处理的方式，降低到13帧/秒的处理速度，这样保证较好的检测效果。2.图像的亚采样由于和步骤1同样的原因，需要降低图像的分辨率以提高处理速度。采用了高斯 金字塔分解的方法对图像进行亚采样，一定程度上降低了亚采样带来的图像质量的损失。 其中，g(>,n) = _i^e_7，表示高斯卷积核，o为高斯分布的标准方差，通常取
2k<T
0.85。I(x, y)和i(x，y)分别表示亚采样后的图像和原始图像的像素在(x，y)处的值。L 表示高斯卷积核的大小，r表示亚采样率。一般r取2，L取3，可以在保证图像质量的情况 下，得到亚采样的图像。3.高斯背景建模通过高斯背景建模的方法(P. KadewTraKuPong, R. Bowden, “ Animproved adaptive background mixture model for real-time tracking withshadow detection" in Proc. 2nd European fforkshp on Advanced Video-BasedSurveillance Systems, 2001.)检测图像前景。通过该方法得到的前景图像会有比较大的噪声，这里采用 中值滤波的方式消除前景图像中的椒盐噪声；然后用膨胀的方法对前景图像中分裂的目标 块进行连接，得到一幅有前景目标块的二值图像；最后得到该二值图像中所有目标块的像 素位置信息，记作集合31 = {(Xi，yi)}，表示第i路视频的前景目标信息。中值滤波器的大 小视图像质量选取3X 3或者5X 5，膨胀算子大小选取3X3。4.计算目标块在数字地图中的位置把视频前景目标块的图像像素坐标集合Sp通过透视变换矩阵映射到一张数字地 图上，得到集合S' t = {(x' j,y'」)|j = 1， !!}，表示第i路视频的当前图像中的目标 块在数字地图上的坐标集合，记S' = {S' : U S'X|x=视频路数}。数字地图 和实际的场景是完全对应的，数字地图坐标和视频图像坐标之间的透视变换矩阵礼通过式 1得到。根据式1，已知四对数字地图和视频图像中的对应点的坐标，就可以解出它们之间 的透视变换矩阵虬。(t ‘ x' , t y'，t)T = Mi (x，y，l)T(1)其中，(x，y)表示前景目标块的图像坐标，(x’，y’ )表示前景目标块在数字地图上 的坐标，t为任意常数，i表示多路视频的编号，M表示透视变换矩阵，T为矩阵转秩符号。5.目标跟踪和轨迹记录用集合0 = {(xJk, yJk) | j G (1，…N)，k G (1，…m)}表示所有历史前景目标的 轨迹集合，其中j表示不同目标的索引，k表示不同的时刻。0^k，hk)表示第j号目标k时 刻的位置。对于当前得到的前景目标块坐标的集合S' = {(x' i，y' i)|i = l， !!}，采 用最邻近法实现目标的跟踪，并在集合0中增加其记录。具体来讲，记0' = {(xJffl, yJffl) | j G (1,…N)}，表示所有历史前景目标的m时刻 轨迹点的集合。对于集合S'中的每一个元素(x' i，y' i)，计算集合0’中与其距离最近 的元素(xtm，y J，距离记为Lt，如果有Lt < T成立，则m = m+1，并且集合0中增加一个新的轨迹点，(xtm，yj ；否则，(x' i，y'》作为新目标的轨迹点加入集合0。其中，T 一般取 20，单位是像素。图2表示了某时刻的部分数字地图中的前景目标运动轨迹，图3是对应的 高空摄像机拍摄的异常目标图像，图中的异常目标用红框标注。6.目标异常行为的检测异常目标的定义因应用背景不同而多有不同，一般而言，大范围场景的监控关心 以人为主的目标是否具有越界、特定区域徘徊等的异常行为。本监测方法涉及的异常目标 指的是目标越过警戒线和目标在警戒区域徘徊。通过对目标的轨迹分析判定目标是否具有 所述的异常行为。如果目标当前轨迹点在警戒线外侧、而起始轨迹点在警戒线内侧，认为该 目标越界；如果目标轨迹点在警戒区域内超过设定时间t，认为该目标警戒区徘徊。7.目标的跟踪与接力跟踪当发生异常目标报警时，距离异常目标最近的云台摄像机根据目标在地图上的 位置，进行预置位转向，使得目标出现在云台摄像机的视场之中(需要事先设定云台的预 置位)；然后读入云台摄像机采集的视频，计算相邻图像帧的二值差分图像，当二值差分图 像非零像素个数大于常数w时(W据图像大小、视场而定，一般为2000)，计算二值差分图 像的重心(xQ，yQ)，作为异常目标的中心；最后提取目标的颜色直方图特征，采用CamShift 方法对巨标进譯亍足艮踪(Computer Vision Face Tracking For Use in aPerceptual User Interface，Intel Technology Journal，No. Q2.1998)。设异常目标出现时，a云台摄像机进行了跟踪，当该目标运动到另一个位置，更加 接近b云台摄像机，则b云台摄像机进行预置位转向，并进行运动目标的检测和跟踪，从而 实现接力跟踪。图4为云台摄像机跟踪目标的图像。以上就是本发明实施步骤的详细说明，下面以某机关办公园区异常目标检测与接 力跟踪系统为例，给出实验结果。该系统包括目标检测模块、目标识别与跟踪控制模块、主动跟踪模块。目标检测模 块由八台安装在大楼顶部的固定高空摄像机和两台目标检测主机构成；目标识别与跟踪控 制模块由一台目标识别与跟踪控制主机构成；主动跟踪模块由八台安装在地面的云台摄像 机和八台主动跟踪主机构成。系统组成图如5。系统工作流程如下，由多台(本例为八台，可根据需要多设或少设高空摄像机) 高空摄像机对整个园区进行全覆盖监控，高空摄像机视频信号接入至少一台目标检测主机 (本例为两台，可根据需要使用多于或少于两台)，进行实时智能分析，检测图像中的目标， 形成目标信息，并通过局域网发送到目标识别与跟踪控制主机；目标识别与跟踪控制主机 综合处理两台目标检测主机发送过来的目标信息，形成并分析目标的位置和运动轨迹，对 符合异常行为报警触发规则的目标，形成报警信息(包括跟踪该目标应当选择的云台摄像 机以及该云台摄像机应当进行的预置位转向)，并通过局域网发送到合适的主动跟踪主机； 多台主动跟踪主机(本例使用八台，可以根据需要使用多于八台或少于八台)根据报警信 息内容控制相应的云台摄像机进行预置位转向，使触发报警的目标出现在该摄像机视场之 内，开始进行运动目标检测、定位和主动跟踪。图6为系统信息流图。本系统共三个模块目标检测模块、目标识别与跟踪控制模块、主动跟踪模块。各 模块功能图如图7。目标检测模块的主要功能是利用亚采样的图像进行高斯背景建模，获得 前景图像，并计算目标块在数字地图中的位置；目标识别与跟踪控制模块主要完成目标跟
7踪和轨迹记录以及目标异常行为的检测；主动跟踪模块主要完成接收目标识别与跟踪控制 模块的报警信息，根据报警信息内容控制云台摄像机进行预置位转向，使触发报警的目标 显示在云台摄像机的视场中，并对图像进行运动分析，提取目标的特征信息，然后依据这些 特征控制云台转动进行目标跟踪。
权利要求
一种大范围监控场景下的异常目标检测和接力跟踪的方法，包括步骤视频输入和帧抽取；对图像进行亚采样；高斯背景建模；计算目标块在数字地图中的位置；对目标进行跟踪和轨迹记录；对目标异常行为进行检测；对目标进行检测与接力跟踪。
2.根据权利1所述方法，其特征在于采用摄像机捕捉视频。
3.根据权利1所述方法，其特征在于采用隔帧处理对视频做抽取。
4.根据权利1所述方法，其特征在于通过高斯金字塔分解的方法对图像进行亚采样。
5.根据权利4所述方法，其特征在于采用以下公式亚采样图像I{x,y) = X YjSim^η) ■ i(r ■ X + m,r ■ y + η)，其中，I(x，y)和i(x，y)分别表示亚采样后的图像和原始图像的像素在(x，y)处的值， L表示高斯卷积核的大小，r表示亚采样率，g(w^)=_L^_7，表示高斯卷积核，σ为2πσ高斯分布的标准方差。
6.根据权利5所述方法，其特征在于σ取0.85，r取2，L取3。
7.根据权利1所述方法，其特征在于通过高斯背景建模方法得到图像的前景，并对前 景图像进行中值滤波和膨胀操作，最后得到该二值图像中所有目标块的像素位置信息。
8.根据权利1所述方法，其特征在于通过透视变换矩阵M把目标的图像坐标映射为数 字地图坐标。
9.根据权利8所述方法，其特征在于数字地图坐标和图像坐标之间的透视变换矩阵M 通过如下公式得到(t · χ'，t · y'，t)T = M · (X，y,l)T其中，(x，y)表示前景目标块的图像坐标，(x’，y’ )表示前景目标块在数字地图上的坐 标，t为任意常数，M表示透视变换矩阵，T为矩阵转秩符号。
10.根据权利1所述方法，其特征在于对于所有前景目标的数字地图坐标的集合，使用 最邻近法进行跟踪，并记录轨迹。
11.根据权利1所述方法，其特征在于所述目标异常行为包括下述之一 目标当前轨迹点在警戒线外侧、而起始轨迹点在警戒线内侧；目标轨迹点在警戒区域内超过设定时间。
12.根据权利1所述方法，其特征在于所述目标跟踪包括通过计算相邻图像帧的二值差分图像检测运动目标，通过CamShift方法对目标进行足艮S宗。
13.根据权利1所述方法，其特征在于所述目标接力跟踪包括通过目标在数字地图上的位置，云台摄像机进行预置位转向，使得目标出现在所述云 台摄像机的视场中。
14.一种大范围监控场景下的异常目标检测和接力跟踪的系统，包括目标检测模块，利用亚采样的图像进行高斯背景建模，获得前景图像，并计算目标在数 字地图中的坐标，然后把坐标信息发送到目标识别与跟踪控制模块；目标识别与跟踪控制模块，完成目标跟踪和轨迹记录以及目标异常行为的检测，如 果发生异常行为，据该目标坐标信息选择合适的云台摄像机，发送报警信号到主动跟踪模 块；主动跟踪模块，接收目标识别与跟踪控制模块的报警信息，根据报警信息内容控制云 台摄像机进行预置位转向，然后进行运动目标的检测与跟踪。
15.根据权利14所述系统，其特征在于所述目标检测模块有多台摄像机和至少两台目 标检测机构构成。
16.根据权利14所述系统，其特征在于所述目标识别与跟踪控制模块由目标识别与跟 踪控制主机构成。
17.根据权利145所述系统，其特征在于所述主动跟踪模块多台云台摄像机和多台主 动跟踪主机构成。
18.根据权利要求15所述的系统，其特征在于所述多台摄像机设置在高空。
19.根据权利要求17所述的系统，其特征在于所述云台摄像机设置在地面上。
全文摘要
一种大范围监控场景下的异常目标检测和接力跟踪的系统，包括目标检测模块，利用亚采样的图像进行高斯背景建模，获得前景图像，并计算目标在数字地图中的坐标，然后把坐标信息发送到目标识别与跟踪控制模块；目标识别与跟踪控制模块，完成目标跟踪和轨迹记录以及目标异常行为的检测，如果发生异常行为，据该目标坐标信息选择合适的云台摄像机，发送报警信号到主动跟踪模块；主动跟踪模块，接收目标识别与跟踪控制模块的报警信息，根据报警信息内容控制云台摄像机进行预置位转向，然后进行运动目标的检测与跟踪。本发明解决了大范围监控场景下，多路图像目标信息的融合。实现了同一目标的精确、鲁棒的接力跟踪。
文档编号H04N7/18GK101883261SQ20101019116
公开日2010年11月10日 申请日期2010年5月26日 优先权日2010年5月26日
发明者曹黎俊, 谭铁牛, 黄凯奇 申请人:中国科学院自动化研究所