专利名称：基于gps信息对大量建筑物侧立面图像快速分类的方法
技术领域：
本发明涉及一种图像自动分类的方法，尤其涉及一种基于GPS信息对大量建筑物侧立面图像快速分类的方法。
背景技术：
在城市三维建模的实际应用中，使用数字摄像机高速采集图像的方式得到越来越广泛的使用。这种采集方式会产生大量城市街区图像，因此如何将这些图像与图像中所包含的建筑物进行快速而准确的对应已经成为了 一个很重要的问题。需要一个行之有效的方法对图像进行快速分析，从而建立图像与建筑物之间的对应关系。
当前将GPS与图像采集系统整合的方法主要如下
张琪在0忖200410084213.3发明专利申请公开说明书中提出了一种使用0 8对数码相片进行拍摄位置定位的方法。这种方法在拍摄数码相片的同时使用GPS接收机记录拍摄者的轨迹日志，将记录在GPS接收机中的带有时间和地理位置信息的轨迹日志与带有时间信息的数码相片进行互相匹配，这种匹配是通过GPS轨迹日志中的时间信息和数码相片中的时间信息间的相似度比较来完成的。这种方法简单可行，但是由于缺乏拍摄方向，因此无法进行进一步的筛选，同时使用最近匹配方法可能会导致精度不足。
林辉全在CN200610023767.1发明专利申请公开说明书中提及了一种储存与共享GPS照片的方法与系统。该系统当使用者上传数字照片的中继数据内含定位坐标时，由解析模块撷取数字照片中的名称及坐标信息存入对应表后，再将该上传的照片存入影像数据库中；在下次接收到使用者输入一定位坐标时，即可根据该定位坐标寻找对应表中相关的数字照片档案。这种方法使用数据库来储存照片的信息，可以提高寻找速度，这个方法也缺乏拍摄方向。
在城市建模技术中，存在一个重要的技术需求即对路面采集得到的大量建筑物侧立面图像基于图像中所包含的建筑物侧面进行分类。
利用雷达以及激光扫描仪获取三维信息的方法可以将建筑物基于图像中所包含的建筑物侧面进行良好的分类，然而这些系统成本均很高，不便于大规模使用。因此一种成本低但能显著的增进建模质量的方法对于当前的城市建模应用将起到较大的帮助。而在当前的图像采集应用中，已经出现了许多将GPS与图像采集系统整合, 以提供图像采集时的位置信息的方法。因此我们考虑使用GPS这一成本低廉效 果良好的工具完成如上所述的分类工作。为了达成这个目标，我们需要每张采 集得到的图像的位置以及镜头主光轴方向，以及相机的内部参数，便可以还原 相机的视野。
然而背景技术1.及2.中所述的利用GPS作为位置来源信息的方法不能直接 在城市建模应用中被使用。首先由于此类方法仅记录了图像的位置信息，但是 由于缺乏图像的朝向信息，因此不能还原该图像的视野，从而无法对图像进行 进一步筛选；其次由于前述方法直接使用从GPS输出的位置信息作为图像的位 置信息，这种做法在图像采集速度较低的系统中是简单可行的，但是在图像采 集速度超过GPS的采样率(一般为1HZ)的系统中，如果依然直接使用从GPS 输出的位置信息作为图像的位置信息，必然导致多张图像的位置信息重合，从 而使得结果不准确。本专利可以得到每张图像获取的时刻较为准确的摄像机位 置及朝向信息，填补了此类技术的空缺。
发明内容
针对背景技术中存在的不足，本发明的目的在于提出一种基于GPS信息对 大量建筑物侧立面图像快速分类的方法，使用GPS提供位置以及朝向信息的源 数据，经过变换后得到每张图像的拍摄位置及镜头主光轴朝向，将其作为图像 的附加信息用以辅助大量图像自动快速归类的方法。
为达到上述目的，本发明采取的技术方案包括以下步骤
a) 在数字照相机或摄像机的移动平台上固定GPS接收器，用于获得移动平 台的实时位置与方向；保持图像采集设备镜头的主光轴水平且与移动平台前进 方向保持相同的夹角，同时确保GPS接收器、图像采集设备和移动运载装置三 者之间的位置保持相对固定，并记录下GPS接收器与数字照相机或摄像机的相 对位移以及数字照相机或摄像机镜头主光轴方向与移动平台前进方向的夹角；
b) 当移动平台在道路上前进时，移动平台上的数字照相机或摄像机将拍摄道 路一侧建筑物侧立面图像；记录每张图像拍摄时刻的GPS接收器的位置及移动 方向，使用所记录的GPS接收器与数字照相机或摄像机的相对位移变换GPS接 收器的位置得到侧立面图像数据采集时的摄像机位置信息，使用GPS的移动方 向与数字照相机或摄像机镜头主光轴方向与移动平台前进方向的夹角得到侧立 面图像采集时的摄像机方向；
c) 从卫星遥感图像、航拍图像及城市规划图的俯视图上抽取建筑物的水平轮
5廓线，并记录组成建筑物的水平轮廓线的线段上每个顶点的经度与纬度；
d) 对于每个建筑物的水平轮廓线，均通过水平轮廓线上每个顶点的经度与纬 度，选择所有与水平轮廓线的距离小于50 150m值的建筑物侧立面图像数据；
e) 对于与水平轮廓线的距离小于50 150m值的建筑物侧立面图像中的每张 图像，使用侧立面图像数据采集时刻的摄像机位置、镜头朝向以及数字照相机 或摄像机的水平视角和垂直视角信息还原出拍摄该建筑物侧立面图像时的视 野，并检测水平轮廓线是否位于该视野内；
f) 如果水平轮廓线位于上述视野内，则能得出该张建筑物侧立面图像与该建 筑物水平轮廓线之间存在对应关系；在计算出该图像与所有的水平轮廓线的对 应关系后，使用基于扫描线Z缓冲算法的筛选算法对被遮挡的水平轮廓线进行 剔除，当剔除了所有被遮挡的水平轮廓线后，如果水平轮廓线没有被剔除，则 该张建筑物侧立面图像被分类于该水平轮廓线所对应的集合中。
所述检测水平轮廓线是否位于该视野内，是根据每张建筑物侧立面图像拍 摄时刻的摄像机位置、镜头朝向信息及己知的摄像机内参还原摄像机的视野， 使用等腰三角形模拟摄像机视野，该等腰三角形以摄像机位置为顶点，数字照 相机或摄像机的水平视角为顶角，高的取值与d)步骤中使用的距离值相同，顶 点到底边的中垂线方向与镜头主光轴的方向一致；如果等腰三角形包含建筑物 水平轮廓线或者与建筑物水平轮廓线相交，那么建筑物水平轮廓线的全部或部 分包含于该建筑物侧立面图像的视野中，否则建筑物水平轮廓线便不包含于该 建筑物的侧立面图像的视野中。
所述基于扫描线Z缓冲算法的筛选算法对水平轮廓线进行遮挡剔除，是对
于指定的建筑物侧立面图像，首先找出在f)步骤中确定的所有与这张图像所对应 的建筑物水平轮廓线，并构造一条与数字照相机/摄像机的镜头主光轴垂直，同
时平行于地平面的线段，线段中心位于镜头主光轴上，线段长度为2&an(^)，其
中^为数字照相机或摄像机的水平视角，d为该线段与数字照相机或摄像机位置 的距离，d的取值可为任意正值，并对线段建立n等分；将所有与这张图像所对 应的建筑物水平轮廓线以数字照相机或摄像机的位置为视点透视投影到该线段
6上，并在每个线段等分间隔上记录下投影至该等分间隔的水平轮廓线中距镜头
距离最短的水平轮廓线的编号；在投影完成后，便可得到每条轮廓线的等分间 隔数，再乘以等分间隔的单位长度，得到每条水平轮廓线在投影线段上的可见 长度的近似值，可见长度即--条水平轮廓线在投影至投影线段时不受到其他水 平轮廓线遮挡的长度，同时使用同样的方法单独投影该条水平轮廓线至线段上， 得到该条水平轮廓线在线段上的透视投影长度，用该条水平轮廓线的近似可见 长度除以透视投影长度，便得到该条水平轮廓线的可见比例的近似值；如果近 似值小于用户给定阈值，则该水平轮廓线被遮挡，在选择结果中去除，否则该
水平轮廓线可见，在选择结果中保留。
本发明与背景技术相比，具有的有益效果是
本发明针对使用GPS定位摄像机位置的传统技术中信息不完备(不具备朝 向信息)及在高速采集应用下精度不足的缺点，提出了一种对于城市建模中以 一定方式所获取的图像序列进行优化的，取得序列中每张图像拍摄坐标及朝向， 并利用这些信息对图像自动进行归类的方法。本发明不需要雷达、激光扫描仪 之类特殊昂贵的硬件设备，数据采集方式也相当方便，经实践证明具有良好的 对应效果。该方法成本低，交互便捷，对于大部分目标建筑都能对具备附加信 息的图像进行自动归类。
图l是本发明的流程图。.
图2是用以模拟摄像机视野及摄像机主光轴的示意图。 图3是基于扫描线Z缓冲算法的筛选算法示意图。
具体实施例方式
下面结合附图和实施方式对本发明做进一步说明。
本发明提出了一种基于GPS信息对大量建筑物侧立面图像快速分类的方 法，包括如下步骤在图像采集设备的移动平台上放置GPS接收器，用于获取 移动平台的位置与方向。在采集建筑物侧立面图像数据同时通过GPS接收器获 取摄像机信息。另外从顶视图抽取建筑物的水平轮廓线。对于每个建筑物，选 择所有与其水平轮廓线的距离小于定值的侧立面图像。而后还原每张图像的视
7野，并检测水平轮廓线是否位于视野内，从而判断此图像是否包含该建筑物。 在获取了 一张图像包含的所有建筑物水平轮廓线后，通过筛选算法对这些建筑 物的水平轮廓线进行遮挡剔除，以去除被遮挡的建筑物水平轮廓线。 具体流程如图l所示，现具体介绍每一步的实现细节。
1、 在数字照相机/摄像机的移动平台上固定GPS接收器，用于获得移动平 台的实时位置与方向。保持图像采集设备镜头的主光轴水平且与移动平台前进 方向保持固定夹角，同时确保GPS接收器、图像采集设备和移动运载装置三者 之间的相对位置保持相对固定，并记录下GPS接收器与数字照相机/摄像机的相 对位移以及数字照相机/摄像机镜头主光轴方向与移动平台前进方向的夹角e ， 当主光轴方向位于移动平台前进方向左侧时e为正值，位于移动平台前进方向 右侧时e为负值。
2、 建筑物侧立面图像数据的采集和每张图像摄像机位置、镜头朝向的记录
利用移动平台上的摄像机对建筑物侧立面进行连续拍摄，并记录下拍摄每张照
片的时间，同时使用GPS连续获取并记录在拍摄过程中的GPS位置信息与瞬时 运动方向信息，同样为每个GPS信息加上时间戳。在一段图像序列采集完成后， 使用如下算法获取这段图像序列中的每张图像拍摄时的位置和朝向。
对于每张图像，根据该图像的拍摄时间"在记录下的GPS位置信息与瞬时 运动方向信息中，寻找出GPS位置信息化A与朝向信息《，"2，使得对应的时间 满足^""作^"" 且P"^是连续的两条位置信息，《，毛是连续的两条朝 向信息。
该图像的位置P与朝向d可以由如下公式计算得到
<formula>formula see original document page 8</formula>
由于拍摄平台的运动一般较为平稳，因此使用如上公式进行一阶线性插值 足以得到较为精确的图像拍摄时刻的位置与朝向。
3、 使用Canny边缘检测对卫星遥感图像、航拍图像及城市规划图的俯视图
进行预处理，得到卫星遥感图像、航拍图像及城市规划图的俯视图的边缘；随 后使用Hough变换对卫星遥感图像、航拍图像及城市规划图的俯视图的边缘进行预处理，得到初始的建筑物轮廓，然后对结果不理想的部分进行人工交互修 正，得到建筑物的水平轮廓线。这条水平轮廓线上每个顶点的经纬度将被记录， 以确定三维建筑模型的位置以及水平结构。并获取这条水平轮廓线上所有顶点
经纬度的最大值与最小值丄。"max , ￡训mm , _ , m,n ，并使用这些值构造一个
矩形，它的顶点为A 她，丄"鹏)A 咖x ，丄"隨)，该矩形能将这条水平
尸3 (Zo" min , Za/ min )户4 (Zo" max ，丄",min )
轮廓线包含在其中，将该矩形作为该轮廓线的包围盒B。
4、 当需要对一条水平轮廓线进行图像自动对应的时候，首先获取该条水平 轮廓线所对应的包围盒B，然后对长宽都加上一个取值由建筑物到街道的最大距 离所确定的数值Ad，实际应用中，200米对于Ad是一个较为合适的取值。这 样，扩展过的包围盒B'
n… AJ i" , △"、 n,/r ^ , , A^、
尸,(丄。"脆—丁，丄^ max + Y)2 ( 鹏+ Y， 鹏+ 丁)
尸3 (丄0" min 一 丁， L" min — 丁) P4 (丄。"鹏+ 丁 ，丄"'min — 丁) 便可用于在所有图像构成的集合中选择所有在此条水平轮廓线附近拍摄的图像 所构成的子集。
5、 对于4、处理后得到的图像子集，首先对于每张图像，使用侧立面图像
数据采集时刻的摄像机位置、镜头朝向以及数字照相机/摄像机的水平视角和垂 直视角信息还原出拍摄该建筑物侧立面图像时的视野，在本应用中由于相交检 测对象为水平轮廓线，因此可以将视锥投影至地平面上以简化模型。这样便可
以使用等腰三角形构造出一个基本的视锥模型(如图2所示)。该等腰三角形以 摄像机位置为顶点，数字照相机/摄像机的水平视角为顶角，高的取值为50 150m的经验值且与使用的50 150m的经验值相同，顶点到底边的中垂线方向 与镜头主光轴的方向一致。如果等腰三角形包含建筑物水平轮廓线或者与建筑 物水平轮廓线相交，那么建筑物水平轮廓线的全部或部分包含于该建筑物侧立 面图像的视野中，否则建筑物水平轮廓线便不包含于该建筑物的侧立面图像的 视野中。在剔除了不包含于建筑物的侧立面图像的视野中的图像后，再剔除与 该等腰三角形中垂线不相交的建筑物水平轮廓线，因为一般而言，如果建筑物 与等腰三角形中垂线(即摄像机主光轴)不相交，那么该张图片上建筑物的比例必然较小，在接下来的应用中所起的效果不大，因此可以剔除。
6、在计算出某张图像与所有的水平轮廓线的对应关系后，使用基于扫描线 Z缓冲算法的筛选算法对所有的水平轮廓线进行遮挡剔除，当剔除了被其他水平 轮廓线所遮挡的水平轮廓线后，如果某条水平轮廓线没有被剔除，则这条水平 轮廓线与该张建筑物侧立面图像是对应的。图3是使用基于扫描线Z缓冲算法 的筛选算法对所有的水平轮廓线进行遮挡剔除的示意图，其中，a是一张在某个 时刻，移动平台上的数字照相机或摄像机所拍摄到的某张图像中所包含的建筑 物所对应的水平轮廓线与镜头的位置的俯视图。首先找出在之前步骤中确定的 所有与这张图像所对应的建筑物水平轮廓线，并构造一条与数字照相机/摄像机 的镜头主光轴垂直，同时平行于地平面的线段，如图3中b所示，线段中心位
于镜头主光轴上，长度为2c/tanf^，其中e为数字照相机/摄像机的水平视角，d
为该线段与数字照相机/摄像机位置的距离，d的取值可为任意正值，并n等分 这条线段。将所有水平轮廓线以数字照相机/摄像机的位置为视点透视投影到该 线段上，并在每个线段等分间隔上记录下投影至该等分间隔的水平轮廓线中距 镜头距离最短的水平轮廓线的编号。在所有水平轮廓线的投影完成后，遍历所 有线段等分间隔并统计所有水平轮廓线编号在线段等分间隔上出现的次数，便
可得到每条轮廓线的等分间隔数。，再乘以等分间隔的单位长度^tanf^1，得到
每条水平轮廓线在投影线段上的可见长度的近似值^tanf要)(可见长度即一条
水平轮廓线在投影至投影线段时不受到其他水平轮廓线遮挡的长度)，如图3中 C所示；同样可以使用同样的方法单独投影该条水平轮廓线至线段上，得到该条 水平轮廓线在线段上的透视投影长度，如图3中d,e，f所示。用该条水平轮廓线
1的近似可见长度除以透视投影长度，便得到该条水平轮廓线的可见比例的近似 值。如果可见比例的近似值小于用户给定阈值，则可认为该水平轮廓线被遮挡， 在选择结果中去除，否则该水平轮廓线可见，在选择结果中保留。
权利要求
1、一种基于GPS信息对大量建筑物侧立面图像快速分类的方法，其特征在于包括以下步骤a)在数字照相机或摄像机的移动平台上固定GPS接收器，用于获得移动平台的实时位置与方向；保持图像采集设备镜头的主光轴水平且与移动平台前进方向保持相同的夹角，同时确保GPS接收器、图像采集设备和移动运载装置三者之间的位置保持相对固定，并记录下GPS接收器与数字照相机或摄像机的相对位移以及数字照相机或摄像机镜头主光轴方向与移动平台前进方向的夹角；b)当移动平台在道路上前进时，移动平台上的数字照相机或摄像机将拍摄道路一侧建筑物侧立面图像；记录每张图像拍摄时刻的GPS接收器的位置及移动方向，使用所记录的GPS接收器与数字照相机或摄像机的相对位移变换GPS接收器的位置得到侧立面图像数据采集时的摄像机位置信息，使用GPS的移动方向与数字照相机或摄像机镜头主光轴方向与移动平台前进方向的夹角得到侧立面图像采集时的摄像机方向；c)从卫星遥感图像、航拍图像及城市规划图的俯视图上抽取建筑物的水平轮廓线，并记录组成建筑物的水平轮廓线的线段上每个顶点的经度与纬度；d)对于每个建筑物的水平轮廓线，均通过水平轮廓线上每个顶点的经度与纬度，选择所有与水平轮廓线的距离小于50～150m值的建筑物侧立面图像数据；e)对于与水平轮廓线的距离小于50～150m值的建筑物侧立面图像中的每张图像，使用侧立面图像数据采集时刻的摄像机位置、镜头朝向以及数字照相机或摄像机的水平视角和垂直视角信息还原出拍摄该建筑物侧立面图像时的视野，并检测水平轮廓线是否位于该视野内；f)如果水平轮廓线位于上述视野内，则能得出该张建筑物侧立面图像与该建筑物水平轮廓线之间存在对应关系；在计算出该图像与所有的水平轮廓线的对应关系后，使用基于扫描线Z缓冲算法的筛选算法对被遮挡的水平轮廓线进行剔除，当剔除了所有被遮挡的水平轮廓线后，如果水平轮廓线没有被剔除，则该张建筑物侧立面图像被分类于该水平轮廓线所对应的集合中。
2、 根据权利要求1所述的一种基于GPS信息对大量建筑物侧立面图像快速 分类的方法，其特征在于所述检测水平轮廓线是否位于该视野内，是根据每 张建筑物侧立面图像拍摄时刻的摄像机位置、镜头朝向信息及已知的摄像机内 参还原摄像机的视野，使用等腰三角形模拟摄像机视野，该等腰三角形以摄像机位置为顶点，数字照相机或摄像机的水平视角为顶角，高的取值与d)步骤中 使用的距离值相同，顶点到底边的中垂线方向与镜头主光轴的方向一致；如果 等腰三角形包含建筑物水平轮廓线或者与建筑物水平轮廓线相交，那么建筑物 水平轮廓线的全部或部分包含于该建筑物侧立面图像的视野中，否则建筑物水 平轮廓线便不包含于该建筑物的侧立面图像的视野中。
3、根据权利要求1所述的一种基于GPS信息对大量建筑物侧立面图像快速分类的方法，其特征在于所述基于扫描线Z缓冲算法的筛选算法对水平轮廓线进行遮挡剔除，是对于指定的建筑物侧立面图像，首先找出在f)步骤中确定的所有与这张图像所对应的建筑物水平轮廓线，并构造一条与数字照相机/摄像机的镜头主光轴垂直，同时平行于地平面的线段，线段中心位于镜头主光轴上，线段长度为2rftanf^),其中6为数字照相机或摄像机的水平视角，d为该线段与 数字照相机或摄像机位置的距离，d的取值可为任意正值，并对线段建立n等分；将所有与这张图像所对应的建筑物水平轮廓线以数字照相机或摄像机的位置为 视点透视投影到该线段上，并在每个线段等分间隔上记录下投影至该等分间隔的水平轮廓线中距镜头距离最短的水平轮廓线的编号；在投影完成后，便可得 到每条轮廓线的等分间隔数，再乘以等分间隔的单位长度，得到每条水平轮廓 线在投影线段上的可见长度的近似值，可见长度即一条水平轮廓线在投影至投 影线段时不受到其他水平轮廓线遮挡的长度，同时使用同样的方法单独投影该 条水平轮廓线至线段上，得到该条水平轮廓线在线段上的透视投影长度，用该 条水平轮廓线的近似可见长度除以透视投影长度，便得到该条水平轮廓线的可 见比例的近似值；如果近似值小于用户给定阈值，则该水平轮廓线被遮挡，在 选择结果中去除，否则该水平轮廓线可见，在选择结果中保留。
全文摘要
本发明公开了一种基于GPS信息对大量建筑物侧立面图像快速分类的方法。在图像采集设备的移动平台上固定GPS接收器，用于获取移动平台的位置与方向。在采集建筑物侧立面图像数据同时通过GPS接收器获取摄像机信息。另外从顶视图抽取建筑物的水平轮廓线。对于每个建筑物，选择所有与其水平轮廓线的距离小于定值的侧立面图像。随后还原每张图像的视野，并检测水平轮廓线是否位于视野内，从而判断此图像是否包含该建筑物。本发明不需要雷达、激光扫描仪之类特殊昂贵的硬件设备，数据采集方式也相当方便，经实践证明具有良好的对应效果。该方法成本低，交互便捷，对于大部分目标建筑都能对具备附加信息的图像进行自动归类。
文档编号G06K9/62GK101510311SQ20091009650
公开日2009年8月19日 申请日期2009年3月5日 优先权日2009年3月5日
发明者治 何, 炜 华, 吴智宁, 鲍虎军 申请人:浙江大学;杭州镭星科技有限公司