专利名称：地理场景中移动监控目标的实时空间定位方法
技术领域：
本发明涉及视频监控和地理信息技术等领域。与传统视频监控单纯获取监控目标的实时视频信息相比，与地理信息技术相结合的视频监控系统既能发挥视频监控系统实时图像可视化的优势，又能充分发挥地理信息技术的特点，及时反馈监控目标的空间位置信息，提升安全防范工作的效率。本发明提供了一种地理场景中移动监控目标的实时空间定位方法，本方法适用于户外大范围视频监控系统中的目标空间定位，减少人工定位的工作量，提高视频监控工程应用的质量。
背景技术：
视频监控技术凭其直观、准确、及时、信息容量丰富等特点，在各个领域内得到了越来越广泛的应用，如公共安全管理、环境监测、遗产保护、景区管理、火灾监测等。在实际的工程应用中，大部分视频监控系统运营时还是以人工方法识别、发现、跟踪监控目标，系统要求监控职守人员通过看到的视频图像做出相应的响应和决策。这些监控系统多用于具有监控角度固定、覆盖范围小且已知等情况。但是，在大范围、复杂的自然地理环境中，因监控摄像头不断转动、缺少必要的地面参考物等因素，职守人员很难快速地判断和跟踪移动目标所处的即时位置。随着计算机立体视觉、摄影测量学、数字图像处理以及地理信息等技术的发展，多学科的交叉融合是解决问题的新途径。目前出现了一些解决视频图像目标空间定位的思路和方法。计算机图形学图形标准库OpenGL的透视成像与摄影测量的原理是一致的，这样可以利用OpenGL成像的逆过程求得图像目标的空间位置。利用CXD数码相机对已知点进行摄影以求取数学模型，从而确定其空间位置。将视频与地理信息结合起来，提出了地理视频概念。地理视频继承了地图具有的可量测距离和方位，空间关系明确的特点；又兼有视频数据具有实时、真实等特点，在国内外已有了一些相关研究，将每巾贞视频添加地理索引标签或元数据，实现每帧视频与位置信息关联。同时，地理视频得到初步应用:车辆导航、校园地理视频等。这种耦合方法可以实现地理环境与小范围(或具体地理对象)视频的结合，满足小区安防、交通监控等需求。然而，随着监控采集设备的性能不断提高，具有高清、透雾性能的监控摄像机监控范围达到20公里之远，在复杂大范围的户外环境监测中只需在高空布设少量的监控点，即可跟踪区域内各种移动目标的行为活动。这种情况下，如何快速、实时地发现、定位和跟踪移动目标就成为一个重要挑战。OpenGL是一种图形工业标准的开放性API库。其功能强大，通过图形变换、光照处理、纹理映射、投影变换等一系列函数，实现对现实世界中三维物体(如移动监控目标)在计算机中的模拟。OpenGL成像主要过程为:在模型空间，三维物体经过模型变换矩阵M进行旋转、平移及缩放变化，以确定其大小、位置和形状；再经过透视投影矩阵P进行透视变换，形成规则观察体；经过视口矩阵V变换，实现三维模型到屏幕影像坐标变换，实现三维模型的二维显示。OpenGL透视成像与摄影测量的原理是一致的。矩阵相乘的公式为:[x y 1]τ = V.P.M[X Y Z 1]τ(I)
OpenGL 函数 glFrustumGp Xr, Yb, Yt, Zn, Zf)实现透视投影变换，其中(X1, Yb, Zn)、(Xr, Yt, Zn)分别为视锥体中近裁剪面上的左下角和右上角坐标，Zn, Zf分别确定了投影视锥体的近远裁剪面。glFrustum所定义的投影视锥可体现摄影测量的内方位元素。假设摄影底片(CXD)的长宽分别为Lx、Ly，利用等比关系可将内方位元素(焦距f和像主点坐标x。，y0)设置到OpenGL的成像函数glFrustum各参数中，从而模拟实际摄像机投影结果,对应关系如公式2。
权利要求
1.一种地理场景中监控目标的实时空间定位方法，其特征在于，包括以下步骤: 建立监控地理区域的三维虚拟场景； 在所述三维虚拟场景中建立虚拟相机，使其空间位置和姿态与拍摄监控目标视频图像的摄像机空间位置和姿态一致； 所述虚拟相机通过模拟所述摄像机成像过程，得到仿真图像； 获取仿真图像中所对应的监控目标在每帧视频图像中的像素坐标； 根据监控目标在每帧视频图像中像素坐标和OpenGL透视投影虚拟成像的逆过程，推算出单帧视频图像中移动监控目标的坐标； 其中，所述OpenGL是计算机图形学图形标准库。
2.根据权利要求1所述的方法，其特征在于，建立监控地理区域的三维虚拟场景的步骤包括: 收集或测量监控地理区域的高精度数字高程模型和高分辨率遥感影像数据； 利用所述高精度数字高程模型和高分辨率遥感影像数据建立监控地理区域的三维虚拟场景。
3.根据权利要求1或2所述的方法，其特征在于，在所述三维虚拟场景中建立虚拟相机的步骤包括: 获取每帧视频图像拍摄时摄像机的外方位元素、内方位元素及固有参数； 利用所述的摄像机的外方位元素、内方位元素及固有参数，设置虚拟相机成像参数；其中，所述的外方位元素包括摄像机的位置和姿态，所述的内方位元素包括摄像机的焦距和像主点坐标，所述的固有参数包括单位像素在底片上的长宽和摄影底片长宽。
4.根据权利要求2所述的方法，其特征在于，所述的利用高精度数字高程模型和高分辨率遥感影像数据建立监控地理区域的三维虚拟场景的步骤包括: 采用开源三维场景绘制引擎的地形生成模块开发形成三维场景虚拟成像和视频图像目标定位系统； 所述三维场景虚拟成像和视频图像目标定位系统根据监控区域高精度数字高程模型或三维场景模型，以高分辨率遥感影像数据作为地面纹理，生成三维虚拟场景。
5.根据权利要求2或3所述的方法，其特征在于，所述的获取相机的内外方位元素的步骤包括: 监控区域每帧视频图像拍摄时相机的内外方位元素通过视频监控硬件系统中的数字云台传回焦距、摄影底片的长宽、位置和姿态等参数直接或计算得到，其中姿态包括摄像头的水平方位角、垂直俯仰角； 根据摄像机固有的焦距范围和CCD上单位像素在X、Y方向上的距离，进行摄像机标定，计算不同焦距情况下像主点的坐标值，从而建立不同焦距下像主点的坐标索引表。
6.根据权利要求2所述的方法，其特征在于:所述的虚拟相机通过模拟所述摄像机成像过程得到仿真图像的步骤包括: 根据要处理视频图像在拍摄时的内外方位元素，从所建立的像主点坐标索引表，检索出这帧视频图像的像主点坐标，然后利用OpenGL的成像函数各参数与相机的内方位元素存在明确的对应关系，计算出投影矩阵； 根据CCD摄影底片的长宽，计算模型的视口矩阵；根据外方位元素的相机位置和姿态参数，计算外参数矩阵M，然后将外参数矩阵M安置到OpenGL模型视图矩阵V ； 先指定模型视图矩阵为当前操作矩阵，将模型视图矩阵设置为单位矩阵，最后右乘以矩阵M，将外方位元素设置到虚拟相机中； 根据所述投影矩阵P、模型视口矩阵和虚拟相机，利用OpenGL透视投影成像过程，模拟实际摄像机成像过程而得到监控区域的仿真图像。
7.根据权利要求2所述的方法，其特征在于:所述的根据监控目标在每帧视频图像中像素坐标和OpenGL透视投影虚拟成像的逆过程，推算出单帧视频图像中移动监控目标的坐标的步骤包括: 将单帧视频图像中移动监控目标的像素坐标传入仿真图像，计算监控目标在仿真图像上的像素坐标，然后根据OpenGL虚拟成像的逆过程，计算目标在三维地理空间中的成像投影射线，并将射 线与三维场景求交，得到的交点即是目标的现实三维地理坐标。
8.根据权利要求7所述的方法，其特征在于=OpenGL虚拟成像的逆过程表示为OXY Z1]T = IVT1.P-1.V-1 [winX winY winZ]T ； 其中[X Y Z I]T代表监控目标齐次坐标，[winX winy winZ]T代表屏幕坐标，X，Y，Z为目标的三维地理坐标，M为模型视图矩阵，对应真实相机的外参数矩阵，P为投影矩阵，对应真实相机的内参数矩阵，V为视口矩阵，而M1、P' V1分别为其对应的逆矩阵，winX和winY为屏幕坐标，WinZ为屏幕坐标对应的深度值。
全文摘要
本发明针对视频监控系统中的目标空间定位需要人工判读，存在困难大、耗时等问题，公开了一种地理场景中移动监控目标的实时空间定位方法，包括采用三维场景建模技术，构建三维虚拟地理场景的虚拟成像和目标空间定位计算系统，对监控区域已有高精度的数字高程模型或三维场景模型进行渲染，生成三维虚拟场景；根据OpenGL透视成像与摄影测量原理的一致性关系，把每帧视频图像拍摄时相机的位置、姿态和焦距等参数设置场景中的虚拟相机参数，生成仿真图像；根据视频图像和仿真图像的一致性和透视成像的逆过程，反推出目标的三维地理坐标。利用本发明，可为大范围地理环境中利用视频监控图像实现野外移动目标的快速定位。
文档编号G06T15/00GK103226838SQ201310122289
公开日2013年7月31日 申请日期2013年4月10日 优先权日2013年4月10日
发明者王熠中, 李界光, 杜云虎, 刘先锋 申请人:福州林景行信息技术有限公司