专利名称：一种基于三维虚拟场景的智能视频监控系统的制作方法
技术领域：
本发明涉及一种智能视频监控系统，特别是一种基于三维虚拟场景的智能视频监 控系统，完成对监控区域的实时监控，适用于重点目标或区域的安防监控领域。
背景技术：
随着经济和科技的发展，人们对居住和办公环境的安全性提出了更高的要求；对 关乎经济命脉的重点设施或区域(核电站，水电站，银行、高速公路和机场等)的安全运行 和防护、名胜古迹以及文物博物馆(文字博物馆和故宫博物院等)的安防以及重点军事目 标和区域(如军械库)的安防提出了更高的要求；当重点目标和区域发生突发事件时，对现 场事件的远程分析、指挥和调度的快速性、准确性提出了更高的要求。对这些目标和区域进 行安防的一种重要手段就是视频监控，而传统的视频监控需要人的参与，要求监控人员不 停地监视屏幕，获得视频信息，通过人的理解和判断，得到相应的结论并做出决策。但传统 视频监控采用多摄像机视窗组合监控，依赖周界探测的可靠性和执勤人员的责任心，周界 探测失效或入侵者突破周界未报警，以及摄相机超过16路时，人工无法胜任目视发现目标 以及目标方位，只能通过频繁手动切换跟踪摄相机来查看，并猜测目标的位置及方位，特别 是在有多个移动目标跨界报警事件发生时，系统无法完成以目标为主线的多个摄相机通道 独立连续录制，在视频检索与回放时，需逐个手工搜索移动目标所经过的摄机通道及其留 存片段，因此传统的视频监控系统具有监控效率低、安防人员任务重，事件发生时不利于现 场指挥和实时调度，视频检索和回放效率。
为提高视频监控系统的监控效率，视频检索和回放的效率，特别是有事件发生时， 提高现场指挥和实时调度的能力，采用基于三维虚拟场景的智能视频监控系统具有重要意 义。本发明按时间段将每个摄像机监控的区域配置成布防区域或撤防区域，将二维视频中 的像素点和三维虚拟场景中的空间点间建立一一对应关系，实现运动目标在三维空间的精 确定位，三维虚拟环境实时显示多目标位置与轨迹，并为每个目标配置独立通道连续记录 目标二维视频，可有效降低安防人员的工作负荷，提高监控效率和现场指挥与调度的能力。发明内容
现有的视频监控系统的不足之处在于①采用多摄像机视窗组合监控，依赖周界 探测的可靠性和执勤人员的责任心，周界探测失效或入侵者突破周界未报警，人工无法胜 任目视发现目标以及目标方位，只能通过频繁手动切换跟踪摄相机来查看，并猜测目标的 位置及方位；②在多个移动目标跨界报警事件发生时，统无法完成以目标为主线的多个摄 相机通道独立连续录制，在视频检索与回放时，需逐个手工搜索移动目标所经过的摄机通 道及其留存片段；③安防人员任务重，事件发生时不利于现场指挥和实时调度，视频检索和 回放效率。
本发明要解决的技术问题是克服现有视频监控系统的不足，提供一种具有对报 警事件快度定位、目标视频快速检索和回放以及便于现场指挥和调度的基于三维虚拟场景的智能视频监控系统。
本发明采用的技术方案是一种基于三维虚拟场景的智能视频监控系统，其特征 在于由视频采集子系统、智能视频分析子系统、综合显示子系统、标定与定位子系统、综合 管理子系统及检索回放子系统。基于三维虚拟场景的智能视频监控系统的工作原理，其特 征在于视频采集子系统由前端设备和采集设备及其接口单元组成，前端设备包括模拟前 端和数字前端两种，支持枪机、球机、自动追踪球机和IP摄像机，采集设备及接口包括视频 服务器、硬盘录像机和网络交换机，视频采集子系统采集的视频数据通过网络传给智能视 频分析子系统；智能视频分析子系统对视频采集子系统传输来的实时视频进行自适应更新 背景、运动目标检测、运动目标识别和运动目标跟踪四个步骤的处理，实时获得运动目标的 信息，包括目标的二维位置和目标类别，并通过网络将目标视频传输给综合显示子系统和 综合管理子系统；综合显示子系统是双联屏或三联屏显示，分别显示目标二维视频和目标 管理，三维虚拟场景和运动目标及其路径，以及视频检索、编辑和回放；标定与定位子系统 对前端设备摄像机分别进行标准场标定和现场标定，获得相机的内外参数和畸变系数，建 立畸变校正模型并对视频进行畸变校正，进而建立图像二维位置到空间三维位置的转换模 型，实现图像中的目标在三维虚拟场景中定位；综合管理子系统主要功能是系统配置、防区 设置、系统布/撤防、目标视频存储、系统日志管理、系统权限管理以及报警输出；视频检索 与回放子系统对以目标为主线的视频进行检索，并将同一目标的多个视频(单相机、多相 机或跨相机)进行编辑形成一个目标运动的完成视频，进而回放目标的完整视频，并将目 标及其运动路径显示在三维虚拟场景中。本系统可兼容现有的视频监控系统，通过将运动 目标关联显示在3D虚拟场景中，充分利用空间信息，可实现对报警事件快速定位和及时处 理，以及对事件视频的快速检索和回放，有效提高安防人员的监控效率以及现场调度和指 挥的能力。
本发明的优点①无需执勤人员目视发现目标，无需猜测目标方位、频繁手动切换 跟踪摄相机，系统自动切换摄相机并自动跟踪目标；②采用三维虚拟场景显示，充分利用监 控区域的空间信息，并在三维虚拟场景空间信息与二维的视频信息间建立一一对应关系， 便于报警事件的快度定位和移动目标的路径显示；③三维虚拟环境实时显示多目标位置与 轨迹，提高现场实时调度和指挥的能力；④每个目标配置独立通道连续记录，便于目标视频 的快速检索和回放。
图1为本发明的一种基于三维虚拟场景的智能视频监控系统结构示意图2为本发明的视频采集子系统结构图3为本发明的智能视频分析子系统结构图4为本发明的综合显示子系统的硬件结构图5为本发明的综合显示子系统显示内容结构图6为本发明的标定与定位子系统结构图；‘
图7为本发明的综合管理系统结构图8为本发明的视频检索与回放子系统结构图9为本发明的一种基于三维虚拟场景的智能视频监控系统工作原理图10为本发明的综合显示子系统中的三维虚拟场景写实场景效果图11为本发明的综合显示子系统中的三维虚拟场景写意场景效果图；具体实施方式
如图1和图9所示所示，本发明由视频采集子系统、智能视频分析子系统、综合显 示子系统、标定与定位子系统、综合管理子系统及检索回放子系统组成。
如图2和图9所示，视频采集子系统由前端设备和采集设备及其接口单元组成，前 端设备包括模拟前端和数字前端两种，支持枪机、球机、自动追踪球机和IP摄像机；采集设 备及接口包括视频服务器、硬盘录像机和网络交换机，视频采集子系统采集的视频数据通 过网络传给智能视频分析子系统。
如图3和图9所示，智能视频分析子系统对视频采集子系统传输来的实时视频进 行自适应更新背景、运动目标检测、运动目标识别和运动目标跟踪四个步骤的处理，完成对 运动目标进行检测、识别和跟踪，并形成目标的位置和类别信息，通过网络将目标视频和目 标信息传输给综合显示子系统和综合管理子系统；智能分析子系统计算负载和任务分配由 综合管理子系统来完成。
如图4、图5和图9所示，综合显示子系统包括普通的屏幕显示和电视墙显示，将 VGA信号直接送给显示屏，将VGA信号转换后送给电视墙显示，综合显示子系统的显示屏采 用双联屏或三联屏显示，分别显示目标二维视频和目标管理，三维虚拟场景和运动目标及 其路径，以及视频检索、编辑和回放。三维模型采用3DMAX、AUTO CAD等建模工具以及数字 地表模型、数字高程模型和数字正射影像图等数据集进行制作，三维模型包括两种，一种是 三维模型+贴图的写实模型，如图10所示；另一种是三维模型+透视的写意模型，如图11 所示。
如图6和图9所示，标定与定位子系统对前端设备摄像机分别进行标准场标定和 现场标定，获得相机的内外参数和畸变系数，建立畸变校正模型并对视频进行畸变校正，进 而建立图像二维位置到空间三维位置的转换模型，实现图像中的目标在三维虚拟场景中定 位。
如图7和图9所示，综合管理子系统主要功能是系统配置、防区设置、系统布/撤 防、目标视频存储、系统日志管理、系统权限管理以及报警输出，其中系统配置完成系统参 数配置以及智能视频分析服务器负载计算及计算任务动态分配；防区分为禁入区、警戒区、 通道区、巡视区和扰动区，而且防区可分时段设置；目标视频存储是以目标为主线进行视频 存储，包括单相机、多相机和跨相机；系统在布防状态下与报警输出联动，在不同的防区内 有移动目标时采用不同的声音和灯光进行报警，在撤防状态下，在防区内出现移动目标时 系统不报警；目标视频存储以目标为主线进行视频存储；系统权限管理是不同级别人员对 系统可操作的权限不同。
如图8和图9所示，视频检索与回放子系统对以目标为主线的视频进行检索，并将 同一目标的多个视频(单相机、多相机或跨相机)进行编辑形成一个目标运动的完成视频， 进而回放目标的完整视频，目标及其运动路径显示在三维虚拟场景中。
本发明中用的网卡是1000M网卡，交换机为1000M交换机；视频采集子系统中的 模拟摄像机采用低照度高清摄像机(最低照度0. 04LX,水平分辨率> 540线)，视频采集子系统为16路数字硬盘录像机，智能视频分析计算机中CPU ^ 4核，内存> 4G，硬盘 ^ 500G ；智能视频显示子系统中的视频显示计算机是普通PC机或工控机，其中CPU ^ 2 核，内存> 4G，硬盘> 500G，并具有3D加速功能的独立显卡；综合管理子采用品牌服务器， CPU彡4核，内存彡4G，硬盘彡5T。
权利要求
1.一种基于三维虚拟场景的智能视频监控系统，其特征在于由视频采集子系统、智 能视频分析子系统、综合显示子系统、标定与定位子系统、综合管理子系统及检索回放子系 统组成。
2.根据权利1要求所述的一种基于三维虚拟场景的智能视频监控系统，其特征在于 所述的视频采集子系统由前端设备和采集设备及其接口单元组成，前端设备包括模拟前端 和数字前端两种，支持枪机、球机、自动追踪球机和IP摄像机；采集设备及接口包括视频服 务器、硬盘录像机和网络交换机，视频采集子系统采集的视频数据通过网络传给智能视频 分析子系统。
3.根据权利1要求所述的一种基于三维虚拟场景的智能视频监控系统，其特征在于 所述的智能视频分析子系统对视频采集子系统传输来的实时视频进行自适应更新背景、运 动目标检测、运动目标识别和运动目标跟踪四个步骤的处理，实时获得运动目标的信息，包 括目标的二维位置和目标类别，并通过网络将目标视频传输给综合显示子系统和综合管理 子系统。
4.根据权利1要求所述的一种基于三维虚拟场景的智能视频监控系统，其特征在于 所述的综合显示子系统是双联屏或三联屏显示，分别显示目标二维视频和目标管理，三维 虚拟场景和运动目标及其路径，以及视频检索、编辑和回放。
5.根据权利1要求所述的一种基于三维虚拟场景的智能视频监控系统，其特征在于 所述的标定与定位子系统对前端设备摄像机分别进行标准场标定和现场标定，获得相机的 内外参数和畸变系数，建立畸变校正模型并对视频进行畸变校正，进而建立图像二维位置 到空间三维位置的转换模型，实现图像中的目标在三维虚拟场景中定位。
6.根据权利1要求所述的一种基于三维虚拟场景的智能视频监控系统，其特征在于 所述的综合管理子系统主要功能是系统配置、防区设置、系统布/撤防、目标视频存储、系 统日志管理、系统权限管理以及报警输出，其中系统配置完成系统参数配置以及智能视频 分析服务器负载计算及计算任务动态分配；防区分为禁入区、警戒区、通道区、巡视区和扰 动区，而且防区可分时段设置；目标视频存储是以目标为主线进行视频存储，包括单相机、 多相机和跨相机三种情况；系统在布防状态下与报警输出联动，在不同的防区内有移动目 标时采用不同的声音和灯光进行报警，在撤防状态下，在防区内出现移动目标时系统不报 警；目标视频存储以目标为主线进行视频存储；系统权限管理是不同级别人员对系统可操 作的权限不同。
7.根据权利1要求所述的一种基于三维虚拟场景的智能视频监控系统，其特征在于 所述的视频检索与回放子系统对以目标为主线的视频进行检索，并将同一目标的多个视频 (单相机、多相机或跨相机)进行编辑，形成一个目标运动的完成视频，进而回放目标的完 整视频，目标及其运动路径显示在三维虚拟场景中。本系统可兼容现有的视频监控系统，通过将运动目标关联显示在3D虚拟场景中，充分 利用空间信息，可实现对报警事件快速定位和及时处理，以及对事件视频的快速检索和回 放，有效提高安防人员的监控效率以及现场调度和指挥的能力。
全文摘要
一种基于三维虚拟场景的智能视频监控系统，由视频采集、智能视频分析、综合显示、标定与定位、综合管理及检索回放等子系统组成。视频采集子系统采集监控视频；智能视频分析子系统对视频中的运动目标进行检测、识别和跟踪，进而对运动目标分类；综合显示子系统显示目标二维视频和三维虚拟场景，并在三维场景中实时叠加显示运动目标类别及其路径；标定与定位子系统在获取相机内外参数的基础上实现二维目标在三维虚拟场景中定位；综合管理子系统负责对系统配置、日志生成与检索、权限分级管理、防区配置与布/撤防、目标视频存储以及系统报警输出等任务的管理与调度；检索回放子系统对以事件为主线的目标视频进行检索、编辑和回放。
文档编号G08B13/196GK102036054SQ201010511410
公开日2011年4月27日 申请日期2010年10月19日 优先权日2010年10月19日
发明者刘卫锋, 李铁军, 牟风涛, 赵龙, 高波 申请人:北京硅盾安全技术有限公司