一种基于ptz摄像机巡航的智能视频分析系统及方法
【专利摘要】本发明提供了一种基于PTZ摄像机巡航的智能视频分析系统及方法，该系统包括前端PTZ摄像机和后端服务器，后端服务器包括：巡航配置模块，用于对系统的巡航组和巡航点进行设定生成巡航列表，PTZ摄像机控制模块，对巡航列表进行分析，自动生成巡航执行列表；视频分析配置模块，用于针对各个巡航点配置相关的智能视频分析算法并配置到巡航列表中；系统控制模块，为每个巡航点进行摄像机参数标定以及调用视频拼接模块，按照巡航点的执行顺序自动生成整个巡航周期的全景拼接图；智能视频分析模块，根据相关的设定进行目标检测和事件分析，并对检测到的事件产生实时告警；告警管理模块，对告警进行相应的本地管理功能。
【专利说明】一种基于PTZ摄像机巡航的智能视频分析系统及方法
【技术领域】
[0001] 本发明属于视频监控、视频分析、模式识别领域，尤其是涉及一种基于PTZ摄像机 巡航的智能视频分析系统及方法。
【背景技术】
[0002] 视频监控是安全防范系统的重要组成部分，随着视频监控技术的发展，视频摄像 机已经被广泛用来对各种环境、区域和场所进行实时监控。由于PTZ摄像机相比于固定摄 像机具有可变视角和可变焦距等优势，具有监控场景更大、跟踪目标范围更广，已经得到越 来越广泛的应用。
[0003] PTZ摄像机跟踪技术是一种利用图像处理技术，实现目标发现并控制PTZ摄像机 对运动目标在一定场景范围内进行定位，跟踪和抓拍的监控技术。这种技术可以用于路况 监控，公共场所安全监控，森林防火等多个领域。但是在目前的监控领域，通常是一台摄像 机只负责自己所监视的区域，而每台PTZ摄像机虽然可以移动，但监视范围还是很有限的， 在跟踪过程中由于PTZ摄像机的PTZ三个变量的信息需要完全依赖于跟踪算法的反馈，很 难准确的对PTZ摄像机进行控制，且目前自动PTZ跟踪算法对小目标和环境适应性较差，目 前还无法大规模普及应用。
[0004] 基于静态摄像机的目标检测跟踪算法相对成熟，但是由于单摄像机的视野域有 限，较大的监控视场需要多个摄像机才能实现覆盖，在实际的目标跟踪系统中，更多采用多 摄像机系统，在预算一定的情况下不可避免的要加大系统的成本或者降低摄像机的品质， 且由于摄像机场景固定，为了兼顾摄像机的视场覆盖，智能视频分析算法一般无法获得检 测目标的细节特征，如获取跟踪的人的脸部信息和跟踪的车辆的车牌信息。
[0005] 鉴于之前的介绍，我们发现目前常见的系统无论是基PTZ摄像机的自动跟踪系统 还是基于固定摄像机的目标检测跟踪系统都存在比较大的问题，无法满足对视频监控系统 用尽量少的摄像机，实现更大范围覆盖，进行更精确的智能视频分析效果的需求，如何充分 挖掘PTZ摄像机的特性，如何结合PTZ摄像机的特性进行智能视频分析系统的架构成为我 们要解决的核心问题。
【发明内容】
[0006] 为了解决上述问题，本发明提供了一种基于PTZ摄像机巡航的智能视频分析系 统，该系统包括前端PTZ摄像机和后端服务器，后端服务器包括：巡航配置模块，用于对系 统的巡航组和巡航点进行设定生成巡航列表，每个巡航组的巡航点对应PTZ摄像机的一个 预置位，为每个巡航组的巡航点配置巡航模式及巡航时间；PTZ摄像机控制模块，对巡航列 表进行分析，自动生成巡航执行列表，使PTZ摄像机按照预设的巡航顺序在各个预置位之 间进行巡航检测；视频分析配置模块，用于针对各个巡航点配置相关的智能视频分析算法 并配置到巡航列表中；系统控制模块，执行相关巡航点的摄像机开启功能，根据配置列表中 的各个巡航点的算法配置，来启用相关巡航点的视频分析算法，为每个巡航点进行摄像机 参数标定以及调用视频拼接模块，按照巡航点的执行顺序自动生成整个巡航周期的全景拼 接图；智能视频分析模块，根据相关的设定进行目标检测和事件分析，并对检测到的事件产 生实时告警；告警管理模块，对告警进行相应的本地管理功能。
[0007] 所述摄像机参数标定就是通过给定的参考物反向计算出投影矩阵P的全部或者 部分参数，标定后，通过其在摄像头捕获的二维图像中的二维坐标，和获取的投影矩阵Pjp 可求三维中某个目标的位置信息。
[0008] 所述智能视频分析模块进一步包括：图像预处理模块，采用小波变换的自适应快 速图像降噪算法对图像进行滤波降噪，灰度变换操作；目标检测模块，用于进行运动目标检 测，目标的特征提取，行人/车辆检测，人脸/车牌检测定位，并根据目标的特征进行目标识 别算法；目标跟踪模块，利用双向光流法进行目标跟踪；目标特征提取模块，对上一帧检测 到的目标建立基于颜色和HOG特征的联合直方图模版，这种联合直方图结合了颜色特征和 HOG的梯度特征；特征检测匹配模块，在当前帧进行搜索匹配，通过巴氏距离进行比较，即 在上一帧的目标位置的周围一定半径范围内进行搜索匹配找到最佳的匹配位置即为可能 的目标在当前帧的位置；事件检测模块，基于检测的目标位置变化来判断是否发生事件。 [0009] 所述目标检测模块是基于帧差、图像变换、混合高斯概率模型三者结合来检测目 标。
[0010] 所述行人/车辆检测采用一种光流场相对运动和Hog+SVM模型训练相结合的方法 提取指定类型的目标。
[0011] 所述视频拼接模块进一步被配置用来：进行特征点提取和特征点的匹配，具体为： 以像素点的四个主要方向上最小灰度方差表示该像素点与邻近像素点的灰度变化情况，即 像素点的兴趣值，然后在图像的局部选择具有最大的兴趣值的点作为特征点，在参考图像 的重叠部分中选取4个区域，每个区域利用Moravec算子找出特征点，选取以特征点为中心 的固定大小的区域，在搜索图中寻找最相似的匹配，利用匹配的特征区域的中心点，代入以 下方程式求解，所求的解即为两幅图像间的变换系数M :
[0012]
【权利要求】
1. 一种基于PTZ摄像机巡航的智能视频分析系统，该系统包括如端PTZ摄像机和后端 服务器，其特征在于后端服务器包括： 巡航配置模块，用于对系统的巡航组和巡航点进行设定生成巡航列表，每个巡航组的 巡航点对应PTZ摄像机的一个预置位，为每个巡航组的巡航点配置巡航模式及巡航时间； PTZ摄像机控制模块，对巡航列表进行分析，自动生成巡航执行列表，使PTZ摄像机按 照预设的巡航顺序在各个预置位之间进行巡航检测； 视频分析配置模块，用于针对各个巡航点配置相关的智能视频分析算法并配置到巡航 列表中； 系统控制模块，执行相关巡航点的摄像机开启功能，根据配置列表中的各个巡航点的 算法配置，来启用相关巡航点的视频分析算法，为每个巡航点进行摄像机参数标定以及调 用视频拼接模块，按照巡航点的执行顺序自动生成整个巡航周期的全景拼接图； 智能视频分析模块，根据相关的设定进行目标检测和事件分析，并对检测到的事件产 生实时告警； 告警管理模块，对告警进行相应的本地管理功能。
2. 根据权利要求1所述的系统，其特征在于： 所述摄像机参数标定就是通过给定的参考物反向计算出投影矩阵P的全部或者部分 参数，标定后，通过其在摄像头捕获的二维图像中的二维坐标，和获取的投影矩阵P，即可求 三维中某个目标的位置信息。
3. 根据权利要求1所述的系统，其特征在于所述智能视频分析模块进一步包括： 图像预处理模块，采用小波变换的自适应快速图像降噪算法对图像进行滤波降噪，灰 度变换操作； 目标检测模块，用于进行运动目标检测，目标的特征提取，行人/车辆检测，人脸/车牌 检测定位，并根据目标的特征进行目标识别算法； 目标跟踪模块，利用双向光流法进行目标跟踪； 目标特征提取模块，对上一帧检测到的目标建立基于颜色和HOG特征的联合直方图模 版，这种联合直方图结合了颜色特征和HOG的梯度特征； 特征检测匹配模块，在当前帧进行搜索匹配，通过巴氏距离进行比较，即在上一帧的目 标位置的周围一定半径范围内进行搜索匹配找到最佳的匹配位置即为可能的目标在当前 帧的位置； 事件检测模块，基于检测的目标位置变化来判断是否发生事件。
4. 根据权利要求3所述的系统，其特征在于所述目标检测模块是基于帧差、图像变换、 混合高斯概率模型三者结合来检测目标。
5. 根据权利要求3所述的系统，其特征在于：所述行人/车辆检测采用一种光流场相 对运动和Hog+SVM模型训练相结合的方法提取指定类型的目标。
6. 根据权利要求1所述的系统，其特征在于：所述视频拼接模块进一步被配置用来： 进行特征点提取和特征点的匹配，具体为：以像素点的四个主要方向上最小灰度方差表 示该像素点与邻近像素点的灰度变化情况，即像素点的兴趣值，然后在图像的局部选择具 有最大的兴趣值的点作为特征点，在参考图像的重叠部分中选取4个区域，每个区域利用 Moravec算子找出特征点，选取以特征点为中心的固定大小的区域，在搜索图中寻找最相似 的匹配，利用匹配的特征区域的中心点，代入以下方程式求解，所求的解即为两幅图像间的 变换系数M :
7. -种基于PTZ摄像机巡航的智能视频分析方法，其特征在于： 步骤（1)首先进行对系统的巡航组和巡航点进行设定，生成巡航列表，每个巡航组的巡 航点对应PTZ摄像机的一个预置位，为每个巡航组的巡航点配置巡航模式及巡航时间； 步骤（2)通过预置位调用，把PTZ摄像机移动到相应的巡航点上，系统控制模块针对当 前场景为每个巡航点进行摄像机参数标定，并由视频分析配置模块配置相关的智能视频分 析算法添加到巡航列表中； 步骤（3)启动系统后，PTZ摄像机控制模块通过对巡航列表的分析，自动生成巡航执行 列表，使PTZ摄像机按照预设的巡航顺序在各个预置位之间进行巡航检测； 步骤（4)系统控制模块调用视频拼接模块，按照巡航点的执行顺序自动生成整个巡航 周期的全景拼接图； 步骤（5)智能视频分析模块根据相关的设定进行目标检测和事件分析，并对检测到的 事件产生实时的告警。
8. 根据权利要求7所述的方法，其特征在于： 所述步骤（2)中摄像机参数标定就是通过给定的参考物反向计算出投影矩阵P的全部 或者部分参数，标定后，通过其在摄像头捕获的二维图像中的二维坐标，和获取的投影矩阵 P，即可求三维中某个目标的位置信息。
9. 根据权利要求7所述的方法，其特征在于所述步骤（5)进一步包括： 采用小波变换的自适应快速图像降噪算法对图像进行滤波降噪，灰度变换操作； 进行运动目标检测，目标的特征提取，行人/车辆检测，人脸/车牌检测定位，并根据目 标的特征进行目标识别算法； 利用双向光流法进行目标跟踪； 对上一帧检测到的目标建立基于颜色和HOG特征的联合直方图模版，这种联合直方图 结合了颜色特征和HOG的梯度特征； 在当前帧进行搜索匹配，通过巴氏距离进行比较，即在上一帧的目标位置的周围一定 半径范围内进行搜索匹配找到最佳的匹配位置即为可能的目标在当前帧的位置； 基于检测的目标位置变化来判断是否发生事件。
10. 根据权利要求9所述的方法，其特征在于所述目标检测是基于帧差、图像变换、混 合高斯概率模型三者结合来检测目标。
11. 根据权利要求9所述的方法，其特征在于：所述行人/车辆检测采用一种光流场相 对运动和Hog+SVM模型训练相结合的方法提取指定类型的目标。
12. 根据权利要求7所述的方法，其特征在于：所述视频拼接具体包括：以像素点的四 个主要方向上最小灰度方差表示该像素点与邻近像素点的灰度变化情况，即像素点的兴趣 值，然后在图像的局部选择具有最大的兴趣值的点作为特征点，在参考图像的重叠部分中 选取4个区域，每个区域利用Moravec算子找出特征点，选取以特征点为中心的固定大小 的区域，在搜索图中寻找最相似的匹配，利用匹配的特征区域的中心点，代入以下方程式求 解，所求的解即为两幅图像间的变换系数M :
【文档编号】H04N5/232GK104378582SQ201310359688
【公开日】2015年2月25日 申请日期:2013年8月16日 优先权日:2013年8月16日
【发明者】张永亮, 王巍, 顾威威, 肖道宽, 卢彦全 申请人:北京博思廷科技有限公司