本发明属于电子地图领域，更具体地，涉及一种建立虚拟三维地图的方法。
背景技术：
电子地图(electronicmap)，即数字地图，是利用计算机技术，以数字方式存储和查阅的地图。早期的电子地图使用位图式储存，地图比例不能放大或缩小，使用不便。随着计算机技术的发展，各种绘图、压缩技术的进步，目前的电子地图已经能够以矢量图像的方式储存，地图比例可放大、缩小或旋转而不影响显示效果。
随着用户需求的多样化，网络三维电子地图不仅通过直观的地理实景模拟表现方式，为用户提供地图查询、出行导航等地图检索功能，同时集成生活资讯、电子政务、电子商务、虚拟社区、出行导航等一系列服务，为政府机关、企事业单位、商家企业提供宣传互动的快速通道，并以全新的人性化界面表现，为人们的日常生活、网上办事和网络娱乐等活动提供便捷的解决方案，从而生动真实地实现了网上数字城市，让人们真正感受到自己生活在一个信息化的城市里。可以说，网络三维电子地图成为了互联网业务发展的新的亮点。
目前，网络三维电子地图分为实景三维地图与虚拟三维地图两种。
实景三维地图最初仅用于军事或局部，直至google将卫星遥感地图资源和三维电子地图技术以及互联网结合起来，才推动实景三维地图走向民用及生活领域。在国内，一些公司借助于webgis技术，利用飞艇、飞机和汽车等交通工具，从不同的角度进行拍摄，把整个地区都拍一遍，通过数据库和地图上每个具体地点联系起来，获得这个地区的实景地图。但是，这种方式还是受交通工具的限制，只有交通工具可以到达的地方才可以进行数据采集，故实景三维地图给出的信息还是有限的。例如，城市实景地图主要采用汽车为交通工具，所以很多政府机关、科研院所、社区小院无法拍到。
虚拟三维地图是以虚拟现实的方式呈现，通常没有实景三维地图对拍摄要求高，因此比实景三维地图运用更广泛。以地理信息系统(gis)平面地图的建设为例，经过专业训练的工作人员拍摄到楼宇3个面以上的照片，并尽可能获得楼宇的真实名称。之后，将采集回的数据、表格和照片还原到一个模型的环境，再利用开发的后台管理软件将各个孤立的单视角3d模型无缝集成在一起后，移植到虚拟三维地图，使用者就可以通过浏览器进行交互式的访问。但是，由于人工逐楼拍摄效率低下，且对拍摄人员要求极高，人工成本及时间成本极高。并且依靠人工走访所有政府机关、科研院所、社区小院进行拍照也不现实。
因此，亟需简便易行、易于建立较为完整的三维地图的方法。
技术实现要素：
针对现有技术的以上缺陷或改进需求，本发明提供了一种建筑物视觉定位方法及设备，其利用航拍获取的建筑物视频提取出建筑物的视频帧，对视频帧进行匹配从而获取建筑物图像匹配点的二维点坐标，进而转换为建筑物图像匹配点的三维坐标、实施建筑物三维重建，再将建筑物三维图像移植到卫星地图或者二维地图或者既有三维地图中的对应位置，建立虚拟三维地图，从而解决现有技术中因拍照难造成的三维地图不完整的问题。
为实现上述目的，本发明提供了一种建立虚拟三维地图的方法，包括如下步骤：
步骤1：获取目标地区内目标建筑物的航拍视频，航拍视频包含同步记录的相机在世界坐标系下的坐标信息；
步骤2：按照时间顺序将航拍视频分割为视频帧，获取相机坐标系下其中拍摄角度不同且存在交叉区域的至少两帧图像之间的建筑物图像匹配点的二维坐标；
步骤3：根据相机的内部参数和外部参数，结合相机在世界坐标系下的坐标信息对选取的至少两帧图像内的建筑物图像匹配点的二维坐标进行转换，获得建筑物图像匹配点在世界坐标系下的三维坐标，从而对建筑物图像进行三维重建，获得建筑物三维图像；
步骤4：将建筑物三维图像移植到卫星地图或者二维地图或者既有三维地图中的对应位置，获得包含该目标建筑物的虚拟三维地图。
进一步地，步骤2中，获取相机坐标系下拍摄角度不同的三帧图像，该三帧图像的视角覆盖目标建筑物除底面外的所有面，对该三帧图像两两匹配，获取该三帧图像中建筑物图像匹配点的二维坐标；
步骤3中，将步骤2获取的所有建筑物图像匹配点的二维坐标转换为世界坐标系下的三维坐标，对于坐标重复的匹配点，仅保留一个，从而对建筑物图像进行三维重建，获得建筑物三维全景模型；
步骤4中，将目标建筑物的三维全景模型按照其三维坐标移植到卫星地图或者二维地图或者既有三维地图中的对应位置，从而获得包含目标建筑物的三维全景地图。
进一步地，步骤2中，按照时间顺序将航拍视频分割为连续的原始视频帧，从原始视频帧中选择相邻帧，获取相机坐标系下相邻帧之间的建筑物图像匹配点的二维坐标；或者，从原始视频帧中每隔δ帧或每隔t时刻或每隔θ角度选取一帧图像按照时间顺序排列组成待匹配帧集合，获取相机坐标系下待匹配帧集合中相邻帧之间的建筑物图像匹配点的二维坐标；或者，先从原始视频帧或待匹配帧集合中选取两个有交叉区域的帧作为第一帧和第二帧，再从原始视频帧或待匹配帧集合的剩余帧中选择能够覆盖第一帧和第二帧未覆盖区域的第三帧，且第三帧与第一帧和第二帧中的至少一个存在交叉区域，则第一帧、第二帧和第三帧互为相邻帧，获取相机坐标系下存在交叉区域的相邻帧的建筑物图像匹配点的二维坐标。
步骤3中，将所有的相邻帧匹配得到的多组图像匹配点的相机坐标系下的二维坐标转换为世界坐标系下的三维坐标，将所有建筑物图像匹配点按照其三维坐标组装至世界坐标系中，对于其中坐标重复的建筑物图像匹配点，仅保留一个，从而获得目标建筑物的三维全景模型；
步骤4中，将目标建筑物的三维全景模型按照其三维坐标移植到卫星地图或者二维地图或者既有三维地图中的对应位置，从而获得包含目标建筑物的三维全景地图。
进一步地，获取相机坐标系下相邻帧之间的建筑物图像匹配点的二维坐标包括如下子步骤：
步骤2.1：分别提取相邻帧建筑物图像的方向梯度直方图特征；
步骤2.2：分别利用相邻帧建筑物图像方向梯度直方图特征训练svm支持向量机，使用训练后的svm支持向量机去除相邻帧建筑物图像的背景区域，然后分别转至步骤2.3和步骤2.4；
步骤2.3：步骤2.2去除背景区域后，使用sift算法提取相邻帧建筑物图像中的不变局部特征，从而获取相邻帧建筑物图像的匹配特征点及其二维坐标值；
步骤2.4：步骤2.2去除背景区域后，分别提取出相邻帧建筑物图像的轮廓，并将相邻帧建筑物图像的轮廓进行匹配，获得相邻帧建筑物图像轮廓匹配点的二维坐标值。
进一步地，步骤2.1中提取相邻帧建筑物图像的方向梯度直方图特征的方法如下：
步骤2.1.1：对分别对相邻帧建筑物图像进行灰度处理；
步骤2.1.2：采用gamma校正法对灰度处理后的图像进行颜色空间的归一化处理，计算归一化的灰度图像中每个像素的梯度；
步骤2.1.3：将归一化的灰度图像划分成多个单元，统计每个单元的梯度直方图，形成每个单元的描述子；将每3×3个单元组成一个块，一个块内所有单元的特征描述子串联起来得到该块的方向梯度直方图特征描述子；最后，将所有块的方向梯度直方图特征描述子串联起来，得到相邻帧建筑物图像的方向梯度直方图特征描述子，从而提取出相邻帧建筑物图像的方向梯度直方图特征。
进一步地，步骤2.3中获取相邻帧建筑物图像的匹配特征点及其二维坐标值的方法如下：
步骤2.3.1：通过建立相邻帧建筑物图像的尺度空间进行dog局部极值点检测，通过去除低对比度的极值点和边缘响应进行关键点精确定位；
步骤2.3.2：基于区域梯度直方图确定关键点的主方向和辅方向，对关键点周围的图像区域分块，基于块内梯度直方图确定关键点的特征向量；
步骤2.3.3：通过计算相邻帧建筑物图像中对应关键点的方向梯度直方图特征描述子的欧氏距离来进行相邻帧建筑物图像关键点的匹配，从而获取相邻帧建筑物图像的匹配特征点及其二维坐标值。
进一步地，步骤2.4包括如下子步骤：
步骤2.4.1：使用canny算子提取相邻帧建筑物图像轮廓；
步骤2.4.2：通过设置阈值，检索相邻帧建筑物图像中的所有连通区域，使用区域生长算法将连通区域面积小于设定阈值的孔洞和小区域去除，得到修正后的相邻帧建筑物图像轮廓；
步骤2.4.3：使用hough变换分别从修正后的相邻帧建筑物图像轮廓中提取直线，将提取出的直线作为相邻帧建筑物图像的匹配基准，进行修正后的相邻帧建筑物图像轮廓的匹配；
步骤2.4.4：获取匹配后的相邻帧建筑物图像轮廓上的二维点的坐标，其中包括提取出的直线上的二维点的坐标。
进一步地，步骤2.4.2中，采用四邻域检测法去除孔洞，采用八邻域检测法去除小区域。
进一步地，对于任意区域，对该区域内所有目标建筑物重复步骤1～4，从而获得该区域的包含目标建筑物的虚拟三维地图。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有如下有益效果：
1、本发明提供的建立虚拟三维地图的方法，通过从航拍视频中提取帧作为待匹配图像，可以在短时间内快速获取大量图像素材，大大降低了对拍摄人员的专业性需求，降低人力成本；航拍不受地点限制，可以自由拍摄任意建筑物外观，从而可以对指定区域的任意建筑进行拍摄进而建模，易于获得完整的区域三维地图，也可用于对既有三维地图缺失建筑进行快速补充，大大提升了虚拟三维地图的完整性及实用性。
2、获得建筑物三维模型可以在获取匹配点时使用的所有帧覆盖的范围内进行旋转查看，当选取的帧覆盖整个建筑物(底面除外)时，则获得建筑物的三维全景图像，可以在地图上的任意角度旋转查看；根据使用环境的不同，两帧匹配虽然可旋转范围较小，但适用于小数据流量场合，例如一般手机都有流量限制，可以通过在线查阅两帧匹配图像的方式节约流量；而对于离线地图包或者不限流量(如wifi、宽带、不限量套餐)用户，虚拟三维全景地图使用更为方便。
附图说明
图1是本发明的主要流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
请参阅图1，本发明提供的建立虚拟三维地图的方法，主要包括如下步骤：
步骤1：获取目标地区内目标建筑物的航拍视频，航拍视频包含同步记录的相机在世界坐标系下的坐标信息；
步骤2：按照时间顺序将航拍视频分割为视频帧，获取相机坐标系下其中拍摄角度不同且存在交叉区域的至少两帧图像之间的建筑物图像匹配点的二维坐标；
步骤3：根据相机的内部参数和外部参数，结合相机在世界坐标系下的坐标信息对选取的至少两帧图像内的建筑物图像匹配点的二维坐标进行转换，获得建筑物图像匹配点在世界坐标系下的三维坐标，从而对建筑物图像进行三维重建，获得建筑物三维图像；
步骤4：将建筑物三维图像移植到卫星地图或者二维地图或者既有三维地图中的对应位置，获得包含该目标建筑物的虚拟三维地图。
下面，结合几个实施例对上述步骤进行详细介绍。
本发明的第一实施例用于对既有三维地图中因拍摄困难导致缺失的建筑，例如政府机关、科研院所、社区小院等区域的楼栋外观进行补充，该方法包括如下步骤：
步骤1：利用无人飞行器搭载高清相机对缺失的楼栋进行航拍，同时在无人飞行器上搭载陀螺仪、gps模块、激光测距模块；陀螺仪用于测定相机的光轴在竖直方向上的倾斜角度；gps模块用于对相机定位，获得相机在水平方向的坐标数据；激光测距模块发射出的激光始终垂直于地面，用于测量无人飞行器的飞行高度，进而根据摄像机的相机坐标系原点(即光轴与成像平面交点)与激光发射接收点的距离换算出相机坐标系原点距离地面的高度；
将航拍时同步获取的gps定位数据、相机高度以及光轴的倾斜角度信息实时录入航拍视频或后期整合，获得包含同步记录的相机在世界坐标系下的坐标信息的航拍视频；如果相机始终垂直于地面拍摄则无需记录光轴的倾斜角度。
步骤2：按照时间顺序将航拍视频分割为视频帧，获取相机坐标系下其中拍摄角度不同且存在交叉区域的两帧图像之间的建筑物图像匹配点的二维坐标；
具体地，在本实施例中，按照时间顺序将航拍视频分割为连续的原始视频帧，由于通常拍摄视频获得的相邻帧必然存在交叉区域，可以直接从原始视频帧中选择任意两个相邻帧，获取相机坐标系下相邻帧之间的建筑物图像匹配点的二维坐标；
获取相机坐标系下相邻帧之间的建筑物图像匹配点的二维坐标包括如下子步骤：
步骤2.1：分别提取相邻帧建筑物图像的方向梯度直方图特征，具体步骤如下：
步骤2.1.1：对分别对相邻帧建筑物图像进行灰度处理；
步骤2.1.2：采用gamma校正法对灰度处理后的图像进行颜色空间的归一化处理，调节图像的对比度，降低图像局部的阴影和光照变化所造成的影响，同时可以抑制噪音的干扰；计算归一化的灰度图像中每个像素的梯度，以捕获轮廓信息，同时进一步弱化光照的干扰；
步骤2.1.3：将归一化的灰度图像划分成多个单元，统计每个单元的梯度直方图，形成每个单元的描述子；将每3×3个单元组成一个块，一个块内所有单元的特征描述子串联起来得到该块的方向梯度直方图特征描述子；最后，将所有块的方向梯度直方图特征描述子串联起来，得到相邻帧建筑物图像的方向梯度直方图特征描述子，从而提取出相邻帧建筑物图像的方向梯度直方图特征。
步骤2.2：分别利用相邻帧建筑物图像方向梯度直方图特征训练svm支持向量机，使用训练后的svm支持向量机去除相邻帧建筑物图像的背景区域，然后分别转至步骤2.3和步骤2.4；在本实施例中，为了进一步提升svm支持向量机对建筑物的识别能力，从原始视频帧中每隔20帧挑选一帧，共挑选300帧图像，从中提取出5000个训练样本，其中2000个正样本(即建筑物)，3000个负样本(非建筑物，例如树木、绿化带、汽车、天空等)。利用正负样本对svm支持向量机进行训练，建筑物识别准确率率达到97％。
步骤2.3：步骤2.2去除背景区域后，使用sift(scale-invariantfeaturetransform)算法提取相邻帧建筑物图像中的不变局部特征，从而获取相邻帧建筑物图像的匹配特征点及其二维坐标值，具体步骤如下：
步骤2.3.1：通过建立相邻帧建筑物图像的尺度空间进行dog局部极值点检测，通过去除低对比度的极值点和边缘响应进行关键点精确定位；
步骤2.3.2：基于区域梯度直方图确定关键点的主方向和辅方向，对关键点周围的图像区域分块，基于块内梯度直方图确定关键点的特征向量；
步骤2.3.3：通过计算相邻帧建筑物图像中对应关键点的方向梯度直方图特征描述子的欧氏距离来进行相邻帧建筑物图像关键点的匹配，从而获取相邻帧建筑物图像的匹配特征点及其二维坐标值。
步骤2.4：步骤2.2去除背景区域后，分别提取出相邻帧建筑物图像的轮廓，并将相邻帧建筑物图像的轮廓进行匹配，获得相邻帧建筑物图像轮廓匹配点的二维坐标值，具体步骤如下：
步骤2.4.1：基于相邻帧建筑物图像的匹配特征点，使用canny算子提取相邻帧建筑物图像轮廓；
步骤2.4.2：通过设置阈值，检索相邻帧建筑物图像中的所有连通区域，使用区域生长算法将连通区域面积小于设定阈值的孔洞和小区域去除，得到修正后的相邻帧建筑物图像轮廓；在本实施例中，采用四邻域检测法去除孔洞，采用八邻域检测法去除小区域。
步骤2.4.3：使用hough变换分别从修正后的相邻帧建筑物图像轮廓中提取直线，将提取出的直线作为相邻帧建筑物图像的匹配基准，进行修正后的相邻帧建筑物图像轮廓的匹配；
步骤2.4.4：获取匹配后的相邻帧建筑物图像轮廓上的二维点的坐标，其中包括提取出的直线上的二维点的坐标。
步骤3：根据相机预先标定好的内部参数和外部参数，结合相机在世界坐标系下的坐标信息(包括光轴倾斜角度、gps定位数据、相机坐标系原点高度)对选取的两帧图像内的建筑物图像匹配点的二维坐标进行转换，获得建筑物图像匹配点在世界坐标系下的三维坐标，从而对建筑物图像进行三维重建，获得建筑物三维图像；
步骤4：将建筑物三维图像移植到卫星地图或者二维地图或者既有三维地图中的对应位置，获得包含该目标建筑物的虚拟三维地图。
本实施例的方法仅采用两个相邻帧进行图像提取，因此只能在两帧覆盖范围内进行单一方向的旋转，其优势在于制作速度快，存储容量小，适用于流量有限的移动端浏览，或者用于各类客户端的快速预览。
下面介绍本发明的第二实施例，第二实施例与第一实施例的主要区别如下：
步骤2中，获取相机坐标系下拍摄角度不同的三帧图像，该三帧图像的视角覆盖目标建筑物除底面外的所有面，对该三帧图像两两匹配，获取该三帧图像中建筑物图像匹配点的二维坐标；两两匹配的具体操作与第一实施例中相邻帧的匹配方法相同，不再赘述。
步骤3中，将步骤2获取的所有建筑物图像匹配点的二维坐标转换为世界坐标系下的三维坐标，对于坐标重复的匹配点，仅保留一个，从而对建筑物图像进行三维重建，获得建筑物三维全景模型。坐标重复的匹配点只保留一个，可以大大减少三维全景模型的数据存储量。由于三维全景模型包括了建筑物的全部外观，可以从任意视角进行查看。
步骤4中，将目标建筑物的三维全景模型按照其三维坐标移植到卫星地图或者二维地图或者既有三维地图中的对应位置，从而获得包含目标建筑物的三维全景地图。
下面介绍本发明的第三实施例，第三实施例的主要目的在于精细化建模，其与第一实施例的区别主要在于：
步骤2中，对原始视频帧进行逐帧扫描，对所有的相邻帧进行匹配，获得目标建筑物的多组图像匹配点；具体匹配方法与第一实施例相同。
在其他实施例中，为减小匹配计算量，也可以从原始视频帧中每隔δ帧或每隔t时刻或每隔θ角度选取一帧图像按照时间顺序排列组成待匹配帧集合，获取相机坐标系下待匹配帧集合中相邻帧之间的建筑物图像匹配点的二维坐标；其中，δ、t、θ的选取保证相邻帧之间存在交叉区域即可。
步骤3中，将所有建筑物的图像匹配点在相机坐标系下的二维坐标转换为世界坐标系下的三维坐标，并按照其三维坐标组装至世界坐标系中，对于其中坐标重复的建筑物图像匹配点，仅保留一个，从而获得目标建筑物的三维全景模型；利用本方法得到的三维全景模型，匹配点数量最多，细节最丰富，可以精确表现出建筑物楼顶或大门上镶嵌的文字。
步骤4中，将目标建筑物的三维全景模型按照其三维坐标移植到卫星地图或者二维地图或者既有三维地图中的对应位置，从而获得包含目标建筑物的三维全景地图。
本发明的第四实施例相比于前三个实施例，主要针对全新的三维地图制作。对于任意区域，对该区域内所有目标建筑物重复步骤前三个实施例的步骤1～4，即可获得该区域的包含目标建筑物的虚拟三维地图。或者，将前三个实施例作为现有技术中难取景建筑的建模补充手段，与现有技术中的任意地图绘制方式进行组合亦可。
在其他实施例中，步骤2也可以先从原始视频帧或待匹配帧集合中选取两个有交叉区域的帧作为第一帧和第二帧，再从原始视频帧或待匹配帧集合的剩余帧中选择能够覆盖第一帧和第二帧未覆盖区域的第三帧，且第三帧与第一帧和第二帧中的至少一个存在交叉区域，则第一帧、第二帧和第三帧互为相邻帧，按照第一实施例的方法获取相机坐标系下存在交叉区域的相邻帧的建筑物图像匹配点的二维坐标，进而转换为三维坐标，建立目标建筑物的三维全景模型。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。