大值所对应的特征点为第i个特征点，而所述单向最大相似度特征点对应策略只要求较小点集中的特征点和较大点集中的特征点按照最大相似度量对应即可，从而便可完成两个点集中的特征点的匹配。另外，还有一种不利用点点匹配度量的方法，而是直接搜索对应。例如，所述第一特征点集与所述第二特征点集之间使用HausdorfT距离度量准则进行匹配。这种方法不需要点点精确相关，对局部非相似变形不敏感。对于上述提到的一组二维图像(三维地理信息空间中的场景渲染成的二维图像)中的每个二维图像按照上述方法进行图像的特征点的对应。
[0023]在完成两个点集中的特征点的匹配后，三维地理信息系统根据所记录的模型视图矩阵、投影矩阵以及视口变换矩阵进行点拾取操作以得到所述第二特征点集中被匹配的特征点的三维点，则所述第一特征点集中的单个特征点在三维地理信息空间中有一组三维点与之对应。单帧视频图像中的单个特征点在一组二维图像(三维地理信息空间中的场景转换成的二维图像)中有一组特征点与之对应，而这组特征点中的每个特征点在三维地理信息空间中有三维点与之对应，藉此，单帧视频图像中的单个特征点在三维地理信息空间中有一组三维点与之对应。对这组三维点进行取平均以得到与所述单帧视频图像的单个特征点相对应的三维地理信息空间中的三维点。简而言之，这个过程可称为反投射过程。反投射过程是指图形学中通过屏幕坐标得到空间中对应点三维坐标的过程。可选择地，当两个点集中匹配的特征点过少或者两个点集匹配的过程中有明显的错误时，可通过人工的方式添加能够被匹配的特征点或修正匹配的特征点。
[0024]三维地理信息系统根据与所述单帧视频图像中的单个特征点相对应的三维地理信息空间中的三维点生成三角网络，并对所述第一特征点集中的特征点进行归一化，通过第一特征点集中匹配的特征点将所述单帧视频图像映射到三维地理信息空间中，从而所述视频流被逐帧映射到三维地理信息空间中以实现所述视频流与三维地理信息空间中的场景的配准，即视频流实现空间转换。然后，便可在三维地理信息空间中的场景下逐帧播放视频。
[0025]其中，所述特征点包括以下中的至少一者:角点、线交叉点、封闭曲线的质心、轮廓上的曲率最大点、Gabor小波检测出的局部曲率不连续点以及小波变换的局部极大值点。
[0026]上述步骤S105-S106可概括为基于特征的图像配准。基于特征的图像配准一般先从基准图像和待配准图像中提取相同的特征，然后利用相似性度量找到匹配的特征对。进而，通过特征对找到图像间的变换关系进行图像变换，从而达到图像间的配准。该方法提取了图像的显著特征，大大压缩图像的信息量，使得计算量小，速度较快，而且它对图像灰度的变化具有鲁棒性，目前被较为广泛的应用。
[0027]可替换地，可使用全人工配准方式替换基于特征的图像配准。首先，操作人员通过鼠标或触控设备选中存储在三维地理信息系统的内存中的单帧图像中的控制点，并在三维地理信息空间的场景中选择与之对应的点便可。这样需要人工选取大量控制点，极其耗时。但配准的精确度高。
[0028]本发明通过对视频流进行解码以获取一系列的单帧视频图像，并将三维地理信息空间中的场景转换为二维图像以及对单帧视频图像与二维图像进行配准，从而实现了视频流与三维地理信息空间中的场景的配准，达到三维地理信息空间中的场景与视频流的完美全士么云口口 ο
[0029]以上结合附图详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种简单变型，这些简单变型均属于本发明的保护范围。
[0030]另外需要说明的是，在上述【具体实施方式】中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。
[0031]此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明的思想，其同样应当视为本发明所公开的内容。
【主权项】
1.一种用于将视频流配准至三维地理信息空间中的场景的方法，其特征在于，所述方法包括: 接收来自视频获取装置的视频流； 对所述视频流进行解码以获取一系列的单帧视频图像； 获取所述视频获取装置的位置信息和/或朝向信息； 根据所述位置信息和/或朝向信息设置所述三维地理信息空间中的虚拟图像获取装置； 通过所述虚拟图像获取装置将所述三维地理信息空间中的场景渲染为二维图像；以及 将所述单帧视频图像与所述二维图像进行配准，进而将所述单帧视频图像中的配准点反投射至三维地理信息空间，从而实现所述视频流与三维地理信息空间中的场景的配准。2.根据权利要求1所述的用于将视频流配准至三维地理信息空间中的场景的方法，其特征在于，所述视频获取装置和所述虚拟图像获取装置分别为摄像头和虚拟摄影机。3.根据权利要求2所述的用于将视频流配准至三维地理信息空间中的场景的方法，其特征在于，所述方法还包括: 所述虚拟摄影机通过将所述三维地理信息空间中的场景渲染至纹理的方式生成二维图像，并记录所述二维图像所对应的模型视图矩阵、投影矩阵以及视口变换矩阵。4.根据权利要求2所述的用于将视频流配准至三维地理信息空间中的场景的方法，其特征在于，所述方法还包括: 在保持所述虚拟摄影机的位置不变的情况下，改变所述虚拟摄影机的角度以使得所述虚拟摄影机从不同的角度拍摄一组二维图像，并记录每个二维图像所对应的模型视图矩阵、投影矩阵以及视口变换矩阵。5.根据权利要求3或4所述的用于将视频流配准至三维地理信息空间中的场景的方法，其特征在于，所述方法还包括: 使用检测算子或SUSAN角点检测法提取所述单帧视频图像与所述二维图像的特征点，并将所述单帧视频图像的特征点归为第一特征点集，所述二维图像的特征点归为第二特征点集。6.根据权利要求5所述的用于将视频流配准至三维地理信息空间中的场景的方法，其特征在于，所述第一特征点集与所述第二特征点集之间使用双向最大相似度特征点对应策略或单向最大相似度特征点对应策略进行匹配。7.根据权利要求5所述的用于将视频流配准至三维地理信息空间中的场景的方法，其特征在于，所述第一特征点集与所述第二特征点集之间使用Hausdorff距离度量准则进行匹配。8.根据权利要求6或7所述的用于将视频流配准至三维地理信息空间中的场景的方法，其特征在于，根据所记录的模型视图矩阵、投影矩阵以及视口变换矩阵进行点拾取操作以得到所述第二特征点集中被匹配的特征点的三维点，则所述第一特征点集中的单个特征点在三维地理信息空间中有一组三维点与之对应，对这组三维点进行取平均以得到与所述单帧视频图像的特征点相对应的三维地理信息空间中的三维点。9.根据权利要求8所述的用于将视频流配准至三维地理信息空间中的场景的方法，其特征在于，根据与所述单帧视频图像的特征点相对应的三维地理信息空间中的三维点生成三角网络，并对所述第一特征点集中的特征点进行归一化，通过第一特征点集中匹配的特征点将所述单帧视频图像映射到三维地理信息空间中，从而所述视频流被逐帧映射到三维地理信息空间中以实现所述视频流与三维地理信息空间中的场景的配准。10.根据权利要求5-9中任意一项权利要求所述的用于将视频流配准至三维地理信息空间中的场景的方法，其特征在于，所述特征点包括以下中的至少一者:角点、线交叉点、封闭曲线的质心、轮廓上的曲率最大点、Gabor小波检测出的局部曲率不连续点以及小波变换的局部极大值点。
【专利摘要】本发明公开了一种用于将视频流配准至三维地理信息空间中的场景的方法。所述方法包括：接收来自视频获取装置的视频流；对所述视频流进行解码以获取一系列的单帧视频图像；获取所述视频获取装置的位置信息和/或朝向信息；根据所述位置信息和/或朝向信息设置所述三维地理信息空间中的虚拟的图像获取装置；通过所述虚拟的图像获取装置将所述三维地理信息空间中的场景渲染为二维图像；以及将所述单帧视频图像与所述二维图像进行配准，进而将所述单帧视频图像中的配准点反投射至三维地理信息空间，从而实现所述视频流与三维地理信息空间中的场景的配准。
【IPC分类】G06T7/00
【公开号】CN105118061
【申请号】CN201510512369
【发明人】刘朔, 刘卫华
【申请人】刘朔
【公开日】2015年12月2日
【申请日】2015年8月19日