用于将视频流配准至三维地理信息空间中的场景的方法
【技术领域】
[0001]本发明涉及图像配准领域，具体地，涉及一种用于将视频流配准至三维地理信息空间中的场景的方法。
【背景技术】
[0002]随着航空航天技术的发展，侦察卫星或航空遥感器能够实时获得目标的高清晰度图像情报。由于各传感器通过的光路不同，或成像体制不相同，图像之间可能出现相对平移、旋转、比例缩放等现象。影像镶嵌或融合不能直接进行，而必须得进行图像配准。通过空间图像配准，可以在现有遥感数据的基础上，获取质量更高、位置更精确的信息，从而扩大遥感信息应用的深度和广度。
[0003]现阶段的图像配准主要是指静态图像的配准。在三维地理信息系统中，遥感图像经几何校正后映射至三维地理信息空间中与地形数据相结合，使观察者得到直观的地理信息。但遥感图像是静止的，无法反应现在或过去某一段时间的现场状态。也即是说，现阶段的图像配准无法实现动态图像与三维地理信息空间的配准。
【发明内容】
[0004]本发明的目的是提供一种用于将视频流配准至三维地理信息空间中的场景的方法。所述方法通过对单帧视频图像与由三维地理信息系统渲染生成的二维图像进行配准，并将所述单帧视频图像中的配准点反投射至三维地理信息空间，从而实现了视频流与三维地理信息空间中的场景的配准。
[0005]为了实现上述目的，本发明提供一种用于将视频流配准至三维地理信息空间中的场景的方法。所述方法包括:接收来自视频获取装置的视频流；对所述视频流进行解码以获取一系列的单帧视频图像；获取所述视频获取装置的位置信息和/或朝向信息；根据所述位置信息和/或朝向信息设置所述三维地理信息空间中的虚拟图像获取装置；通过所述虚拟图像获取装置将所述三维地理信息空间中的场景渲染为二维图像；以及将所述单帧视频图像与所述二维图像进行配准，进而将所述单帧视频图像中的配准点反投射至三维地理信息空间，从而实现所述视频流与三维地理信息空间中的场景的配准。
[0006]优选地，所述视频获取装置和所述虚拟图像获取装置分别为摄像头和虚拟摄影机。
[0007]优选地，所述方法还包括:所述虚拟摄影机通过将所述三维地理信息空间中的场景渲染至纹理的方式生成二维图像，并记录所述二维图像所对应的模型视图矩阵、投影矩阵以及视口变换矩阵。
[0008]优选地，所述方法还包括:在保持所述虚拟摄影机的位置不变的情况下，改变所述虚拟摄影机的角度以使得所述虚拟摄影机从不同的角度拍摄一组二维图像，并记录每个二维图像所对应的模型视图矩阵、投影矩阵以及视口变换矩阵。
[0009]优选地，所述方法还包括:使用检测算子或SUSAN角点检测法提取所述单帧视频图像与所述二维图像的特征点，并将所述单帧视频图像的特征点归为第一特征点集，所述二维图像的特征点归为第二特征点集。
[0010]优选地，所述第一特征点集与所述第二特征点集之间使用双向最大相似度特征点对应策略或单向最大相似度特征点对应策略进行匹配。
[0011]优选地，所述第一特征点集与所述第二特征点集之间使用Hausdorff距离度量准则进行匹配。
[0012]优选地，根据所记录的模型视图矩阵、投影矩阵以及视口变换矩阵进行点拾取操作以得到所述第二特征点集中被匹配的特征点的三维点，则所述第一特征点集中的单个特征点在三维地理信息空间中有一组三维点与之对应，对这组三维点进行取平均以得到与所述单帧视频图像的特征点相对应的三维地理信息空间中的三维点。
[0013]优选地，根据与所述单帧视频图像的特征点相对应的三维地理信息空间中的三维点生成三角网络，并对所述第一特征点集中的特征点进行归一化，通过第一特征点集中匹配的特征点将所述单帧视频图像映射到三维地理信息空间中，从而所述视频流被逐帧映射到三维地理信息空间中以实现所述视频流与三维地理信息空间中的场景的配准。
[0014]优选地，所述特征点包括以下中的至少一者:角点、线交叉点、封闭曲线的质心、轮廓上的曲率最大点、Gabor小波检测出的局部曲率不连续点以及小波变换的局部极大值点。
[0015]通过上述技术方案，对视频流进行解码以获取一系列的单帧视频图像，并将三维地理信息空间中的场景渲染为二维图像以及对单帧视频图像与二维图像进行配准，从而实现了视频流与三维地理信息空间中的场景的配准。
【附图说明】
[0016]图1是本发明提供的用于将视频流配准至三维地理信息空间中的场景的方法的流程图。
【具体实施方式】
[0017]以下结合附图对本发明的【具体实施方式】进行详细说明。应当理解的是，此处所描述的【具体实施方式】仅用于说明和解释本发明，并不用于限制本发明。
[0018]通常现阶段的图像配准主要是指静态图像的配准，无法反应现在或过去某一段时间的现场状态。因此，本发明特提供一种用于将视频流配准至三维地理信息空间中的场景的方法。
[0019]图1是本发明提供的用于将视频流配准至三维地理信息空间中的场景的方法的流程图。如图1所示，本发明提供的用于将视频流配准至三维地理信息空间中的场景的方法包括:在步骤SlOl中，接收来自视频获取装置的视频流。具体地，所述视频获取装置通过网络将视频流传输至三维地理信息系统中的IP视频设备。在步骤S102中，对所述视频流进行解码以获取一系列的单帧视频图像。在接收到视频流后，三维地理信息系统对视频流进行解码以获取一系列的单帧视频图像。可选择地，可手动从一系列的单帧视频图像中选取清楚的单帧视频图像，并将所选取的清楚单帧视频图像保存至三维信息系统的内存中。在步骤S103中，获取所述视频获取装置的位置信息和/或朝向信息；在步骤S104中，根据所述位置信息和/或朝向信息设置所述三维地理信息空间中的虚拟图像获取装置。其中，所述视频获取装置和所述虚拟图像获取装置分别为摄像头和虚拟摄影机。具体地，在获取到现实的摄像头的位置信息和朝向信息后，三维地理信息系统根据获取到的位置信息和朝向信息设置三维地理信息空间中的虚拟摄影机。藉此，能够使视频流中的场景与三维地理信息空间中的场景的二维图像基本一致。
[0020]在步骤S105中，通过所述虚拟图像获取装置将所述三维地理信息空间中的场景渲染为二维图像。具体地，三维地理信息系统通过其中的虚拟摄影机将三维地理信息空间中的场景渲染为二维图像。更为具体地，所述虚拟摄影机通过将所述三维地理信息空间中的场景渲染至纹理的方式生成二维图像，并将生成的二维图像保存至三维地理信息系统的内存中以及记录所述二维图像所对应的模型视图矩阵、投影矩阵以及视口变换矩阵。可选择地，在保持所述虚拟摄影机的位置不变的情况下，三维地理信息系统可改变所述虚拟摄影机的角度以使得所述虚拟摄影机从不同的角度拍摄一组二维图像，并将这组二维图像保存至三维地理信息系统的内存中以及记录每个二维图像所对应的模型视图矩阵、投影矩阵以及视口转换矩阵。以上两种方式中的任意一种方式可将所述三维地理信息空间中的场景转换为二维图像。
[0021]在步骤S106中，将所述单帧视频图像与所述二维图像进行配准，进而将所述单帧视频图像中的配准点反投射至三维地理信息空间，从而实现所述视频流与三维地理信息空间中的场景的配准。具体地，三维地理信息系统使用检测算子(Moravec算子、Forstner算子或Harris算子等)或SUSAN角点检测法提取所述单帧视频图像与所述二维图像的特征点，并将所述单帧视频图像的特征点归为第一特征点集，所述二维图像的特征点归为第二特征点集。其中，SUSAN角点检测法基于角点图像亮度在方向变化时都应该比较大的思想提取角点。首先三维地理信息系统通过对图像作小波变换，计算出小波变换的模值，图像中的边缘点即对应模的局部极大值点。以上所述的两种方法均基于小波变换的多分辨分析理论。需要说明的是，以上提到的检测算子或SUSAN角点检测法均为本领域技术人员所公知的方法。
[0022]所述第一特征点集与所述第二特征点集之间使用双向最大相似度特征点对应策略或单向最大相似度特征点对应策略进行匹配。在具体的实施方式中，第一特征点集为1P，第二特征点集为2P，所述双向最大相似度特征点对应策略要求第一特征点集IP中的第i个特征点在第二特征点集2P中相似度最大值所对应的特征点为第j个特征点，同时要求满足第二特征点集2P中的第j个特征点在第一特征点集IP中相似度最