一种基于三维空间场景的监控视频融合系统和方法
【专利摘要】本发明提供一种基于三维场景的视频融合监控系统和方法：通过对监控视频数据流提取视频帧并将其投射到三维空间场景里，实现视频数据与三维场景数据的全时空立体融合，改变了地图应用只能静态展示的传统模式，将部署在不同地理位置的多路实时监控视频与监控区域的三维模型进行配准融合，生成大范围三维全景动态监控画面，实现监控区域整体安全态势的实时全局掌控。
【专利说明】一种基于三维空间场景的监控视频融合系统和方法
【技术领域】
[0001]本发明涉及计算机图形领域，特别涉及一种基于三维空间场景的监控视频融合的系统和方法。
【背景技术】
[0002]随着GIS技术的广泛应用，集成二维地图等空间位置信息的视频系统解决方案正逐步走向成熟。与传统的单纯获取监控目标的实时音频、视频信息的视频监控系统相比，继承了三维空间信息的三维视频监控系统在增强用户空间意识、辅助用户应急决策等方面将发挥更大的作用。
[0003]在三维视频监控方面，目前比较普遍的做法是从各地实时影像中采集出图片，以标注的形式在三维场景中进行显示。当用户想知道某地的监控影像时，点击该标注即可弹出实时监控影像截图。这种方法只是与三维平台的初步结合，并没有发挥出三维场景的直观特点，也远没有达到视频位置与周边三维信息的融合目标。
[0004]现有技术有以下几项缺点:
[0005]1.传统分镜头监控模式具有画面相互孤立、缺乏关联性的应用局限，难以直观获取监控区域的整体安全态势。
[0006]2.目前监控视频与三维场景结合仅限于提取关键视频帧以标注的形式在三维场景中显示，这种方式难以实时直观的显示视频，监控区域和监看目标的查看操作繁杂且不直观。
[0007]与直接标注的方式不同，本发明中我们采用将视频投影到三维地图空间的方法，提出一套基于三维地图场景与监控视频融合的系统，将部署在不同地理位置的多路实时监控视频，与监控区域的三维模型进行校正配准，使用三维渲染技术，将实时视频动态映射到三维模型中，生成大范围监控区域的三维全景监控画面。
【发明内容】
[0008]本发明提供一种基于三维空间场景的监控视频融合方法，可生成大范围三维全景动态监控画面，实现监控区域整体安全态势的实时全局掌控。
[0009]本发明提供一种基于三维地图场景的视频融合监控系统，其特征在于，包括:
[0010]服务器模块，用于采集并存储视频流和摄像头ID对应的属性信息；
[0011]视频处理模块，用于向服务器模块发起请求，获取视频流和摄像头ID对应的属性信息，将视频流解析成视频帧，向融合处理模块发送视频帧以及摄像头ID对应的属性信息；
[0012]三维场景模块，用于对监控区域进行三维建模，构建三维地图场景，向融合处理模块发送所述三维地图场景；
[0013]融合处理模块，用于通过纹理投影的方法将所述视频帧投射到所述三维地图场景中，使所述视频帧与所述三维地图场景进行融合。[0014]本发明所述所述的基于三维地图场景的视频融合监控系统，其特征在于，所述摄像头ID对应的属性信息至少包括摄像头的GPS位置、滚动角、倾斜角和偏航角。
[0015]本发明所述所述的基于三维地图场景的视频融合监控系统，其特征在于，所述融合处理模块为接收从视频处理模块传递过来的视频帧以及摄像头ID对应的属性信息，通过摄像头ID对应的属性信息将摄像头定位到三维地图场景中的该位置，并在该位置通过纹理投影的方法将视频帧进行投射，使视频帧与三维地图场景进行融合。
[0016]本发明所述所述的基于三维地图场景的视频融合监控系统，其特征在于，实现对所述视频帧与所述三维地图场景进行融合包括以下:
[0017]对所述视频帧进行几何校正、噪声消除、色彩亮度调整及配准；
[0018]找出所述视频帧与所述三维地图场景的最大相关，生成所述三维地图场景的变换模型，
[0019]统一视频图像与三维虚拟场景的坐标变换，通过纹理投影的方法将视频帧进行投射三维场景中，实现视频图像的融合。
[0020]本发明所述所述的基于三维地图场景的视频融合监控系统，其特征在于，所述视频帧与三维地图场景的融合视频由摄像头的滚动角、偏航角、倾斜角进行投影校正。
[0021]本发明还提供一种基于三维地图场景的视频融合监控方法，其特征在于包括以下步骤:
[0022]对监控区域进行三维建模，构建三维地图场景模型；
[0023]用摄像头采集监控区域视频流，并将所采集到的视频信息和摄像头ID对应的属性信息上传到服务器进行存储；
[0024]向服务器发起请求，获取视频流和摄像头ID对应的属性信息，并将视频流解析成视频帧；
[0025]根据摄像头ID对应的属性信息，通过GPS位置将摄像头定位到三维地图场景中的该位置，并在该位置通过纹理投影的方法将视频帧进行投射，实现视频帧与三维地图场景进行融合。
[0026]本发明所述所述的基于三维地图场景的视频融合监控方法，其特征在于，所述摄像头ID对应的属性信息至少包括摄像头的GPS位置、滚动角、倾斜角和偏航角。
[0027]本发明所述所述的基于三维地图场景的视频融合监控方法，其特征在于，实现对所述视频帧与所述三维地图场景进行融合包括以下:
[0028]对所述视频帧进行几何校正、噪声消除、色彩亮度调整及配准；
[0029]找出所述视频帧与所述三维地图场景的最大相关，生成所述三维地图场景的变换模型，
[0030]统一视频图像与三维虚拟场景的坐标变换，通过纹理投影的方法将视频帧进行投射三维场景中，实现视频图像的融合。
[0031]本发明所述所述的基于三维地图场景的视频融合监控方法，其特征在于，所述视频帧与三维地图场景的融合视频由摄像头的滚动角、偏航角、倾斜角进行投影校正。
【专利附图】
【附图说明】
[0032]以下参照附图对本发明实施例作进一步说明，其中:[0033]图1是本发明专利的实施流程图。
[0034]图2是本发明专利的具体流程图。
[0035]图3是本发明视频图像融合的流程图。
[0036]图4是本发明操作案例的将视频投影到三维空间场景中效果图。
具体实施例
[0037]下面结合附图和具体实施例对本发明作进一步的详细说明。
[0038]三维全景融合视频监控系统包括四个模块:服务器模块、视频处理模块、三维场景模块、融合处理模块。
[0039]详细的技术方案可概括为以下四个模块:
[0040]1.服务器模块:前端视频采集设备为分布在不同地理位置的多种不同型号监控摄像头，监控视频通过光纤传回网络中心的服务器中，服务器对各路视频进行物理化存储，并建立监控摄像头ID与其视频流在服务器路径、摄像头的GPS位置、滚动角、倾斜角、偏航角等的映射关系，并将其存储到数据库中。
[0041]2.视频处理模块:该模块通过网络协议访问网络中心的服务器，根据监控摄像头ID向服务器发起请求，服务器接收到请求像数据库查询该摄像头ID对应的属性信息，并将结果返回给请求方(也就是视频处理模块)，请求方在得到该摄像头的相关信息后根据视频存储路径再从服务器请求获取视频流到本地计算机，并将视频流解析成视频帧视频播放窗口进行播放，用户可以通过视频选择列表选择视频进行播放，同时，视频在播放的同时，视频帧以及该摄像头相关属性信息也会传递到三维场景中进行融合并实时显示。
[0042]3.三维场景模块:该模块提供人机交互、实现图形化界面功能操作，利用卫星图片为场景元素，采用OpenGL (—种跨平台跨语言的编程接口)技术和以及墨卡托投影算法构建三维地图场景，并在场景中构建简单模型模拟普通建筑，并针对重要建筑(例如市公安局大楼，地标式建筑)构建复杂模型，以增强场景中的立体感和现实感，并以一个独立的窗口提供给用户做人机操作。用户在三维场景中可以通过鼠标、键盘或摇杆在三维窗口中对地图场景以不同高度、不同角度进行缩放、漫游、以及查看融合后视频等等。
[0043]4.融合处理模块:包括三维全景监控视频的实时显示、融合策略的实现等。模块接收从视频处理模块传递过来的视频帧以及摄像头的相关属性信息(GPS位置，偏航角、倾斜角、滚动角等)，通过GPS位置将摄像头定位到三维地图场景中的该位置，也即是摄像头在现实地理中的位置，并在该位置通过纹理投影的方法将视频帧进行投射，使视频帧与三维地图场景进行融合。再由摄像头的滚动角、偏航角、倾斜角对融合视频进行投影校正。具体的，视频融合技术一般可以分为三个步骤(如图3所示):
[0044]I)对视频图像进行几何校正，噪声消除，色彩、亮度调整及配准等。
[0045]2)进行视频图像配准，找到视频图像与三维虚拟场景的最大相关，以消除图像在空间、相位和分辨率等方向的信息差异，达到融合更真实，信息更准确的目的。然后建立三维场景的变换模型，再统一视频图像与三维虚拟场景的坐标变换，通过纹理投影的方法将视频帧进行投射三维场景中，实现视频图像的融合。
[0046]视频图像融合根据智能度由低向高可以分为像素级、特征级、决策级融合等。像素级融合指基于图像像素进行拼接融合，是两个或两个以上的图像融合成为一个整体。特征级融合以图形的明显特征，如线条、建筑等特征为基础进行图像的拼接与融合。本发明采用的决策级融合技术使用纹理投射等图像算法进行概率决策，依此进行视频或图像融合，更适应于主观要求。
[0047]本发明通过编写程序代码，设计了一个专门针对监控摄像头视频投影到三维场景的软件。该软件实现了从服务器获取视频数据，再将视频投影到三维空间场景中。视频融合效果如图4所示。
[0048]以上所述本发明的【具体实施方式】，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。
【权利要求】
1.一种基于三维地图场景的视频融合监控系统，其特征在于，包括: 服务器模块，用于采集并存储视频流和摄像头ID对应的属性信息； 视频处理模块，用于向服务器模块发起请求，获取视频流和摄像头ID对应的属性信息，将视频流解析成视频帧，向融合处理模块发送视频帧以及摄像头ID对应的属性信息；三维场景模块，用于对监控区域进行三维建模，构建三维地图场景，向融合处理模块发送所述三维地图场景； 融合处理模块，用于通过纹理投影的方法将所述视频帧投射到所述三维地图场景中，使所述视频帧与所述三维地图场景进行融合。
2.如权利要求1所述的基于三维地图场景的视频融合监控系统，其特征在于，所述摄像头ID对应的属性信息至少包括摄像头的GPS位置、滚动角、倾斜角和偏航角。
3.如权利要求1所述的基于三维地图场景的视频融合监控系统，其特征在于，所述融合处理模块为接收从视频处理模块传递过来的视频帧以及摄像头ID对应的属性信息，通过摄像头ID对应的属性信息将摄像头定位到三维地图场景中的该位置，并在该位置通过纹理投影的方法将视频帧进行投射，使视频帧与三维地图场景进行融合。
4.如权利要求1所述的基于三维地图场景的视频融合监控系统，其特征在于，实现对所述视频帧与所述三维地图场景进行融合包括以下: 对所述视频帧进行几何校正、噪声消除、色彩亮度调整及配准； 找出所述视频帧与所述三维地图场景的最大相关，生成所述三维地图场景的变换模型， 统一视频图像与三维虚拟场景的坐标变换，通过纹理投影的方法将视频帧进行投射三维场景中，实现视频图像的融合。
5.如权利要求1所述的基于三维地图场景的视频融合监控系统，其特征在于，所述视频帧与三维地图场景的融合视频由摄像头的滚动角、偏航角、倾斜角进行投影校正。
6.一种基于三维地图场景的视频融合监控方法，其特征在于包括以下步骤: 对监控区域进行三维建模，构建三维地图场景模型； 用摄像头采集监控区域视频流，并将所采集到的视频信息和摄像头ID对应的属性信息上传到服务器进行存储； 向服务器发起请求，获取视频流和摄像头ID对应的属性信息，并将视频流解析成视频帧； 根据摄像头ID对应的属性信息，通过GPS位置将摄像头定位到三维地图场景中的该位置，并在该位置通过纹理投影的方法将视频帧进行投射，实现视频帧与三维地图场景进行融合。
7.如权利要求6所述的基于三维地图场景的视频融合监控方法，其特征在于，所述摄像头ID对应的属性信息至少包括摄像头的GPS位置、滚动角、倾斜角和偏航角。
8.如权利要求6所述的基于三维地图场景的视频融合监控方法，其特征在于，实现对所述视频帧与所述三维地图场景进行融合包括以下: 对所述视频帧进行几何校正、噪声消除、色彩亮度调整及配准； 找出所述视频帧与所述三维地图场景的最大相关，生成所述三维地图场景的变换模型，统一视频图像与三维虚拟场景的坐标变换，通过纹理投影的方法将视频帧进行投射三维场景中，实现视频图像的融合。
9.如权利要求6所述的基于三维地图场景的视频融合监控方法，其特征在于，所述视频帧与三维地图场景的融合 视频由摄像头的滚动角、偏航角、倾斜角进行投影校正。
【文档编号】H04N7/18GK103716586SQ201310682076
【公开日】2014年4月9日 申请日期:2013年12月12日 优先权日:2013年12月12日
【发明者】黄惠, 何海松, 陈宝权, 石璕, 潘长松, 潘光凡 申请人:中国科学院深圳先进技术研究院