用于产生正射纠正瓦片的方法和设备的制作方法

专利名称：用于产生正射纠正瓦片的方法和设备的制作方法
技术领域：
本发明涉及一种用于产生正射纠正瓦片(orthorectifiedtile)的方法。本发明进一步 涉及一种承载正射纠正瓦片的处理器可读存储媒体、 一种用于产生正射纠正瓦片的计算 机布置。此外，本发明涉及一种从通过陆地用相机捕获的至少一个基于陆地的图像序列 的源图像收集位置准确的水平信息和位置准确的垂直信息两者的方法，以及一种从通过 陆地用相机获得的至少一个源图像收集位置准确的水平信息和位置准确的对象信息的 方法，其中所述对象可视地附接到地面。
背景技术：
需要为导航系统和类似系统中使用的数字地图数据库收集大量水平道路信息，例如 分道线、道路中心线等等。此信息可通过解译高分辨率的航空正射纠正图像而获得。正 射纠正图像是经"比例校正"的图像，其描绘在地面特征的准确地面位置从上方所见的 所述地面特征，其中由相机和飞行特性以及高程位移(relief displacement)引起的失真 已使用摄影测量技术移除。正射纠正图像是一种航空照片，其已经过几何校正("正射 纠正")以使得照片的比例均匀，这意味着照片可视为等同于地图。正射纠正图像可用 于测量真实距离，因为其是地球表面的准确表示，其己针对地形起伏、透镜失真和相机 倾斜而调整。正射纠正视图不同于透视图之处在于正射纠正视图相对于参照平面以直角 投影，而透视图从单个固定位置或观看点从表面向参照平面投影。正射纠正图像可通过 任何合适的地图投影而获得。地图投影可为通过表面的投影，例如圆柱投影、伪圆柱投 影、混合投影、圆锥投影、伪圆锥投影或方位角投影。投影也可为通过保留度量性质的 投影。地图投影的共同之处在于其为正交投影，这意味着每个像素均表示沿着垂直于参 照平面的表面的线所见的所述参照平面的表面(近似于地球形状的椭圆体)上的一点。 因此，地球表面的正射纠正图像的每个像素大致对应于沿着垂直于所述近似于地球形状 的椭圆体的线所见的地球表面的视图。
除了以上的投影约束以外，正射纠正图像包括元数据，所述元数据使一算法能够将 正射纠正图像的任一像素参照于地理坐标参照系中的一点。由于每一像素在所述近似于 地球形状的椭圆体上的准确位置是已知的，因此可从正射纠正图像检索地面特征的位置 和大小(例如，水平道路信息)，且可计算出高度准确的距离和地球坐标。经地理编码
6的正射纠正图像的元数据定义投影坐标参照系以便为每一像素确定在所述地理坐标参 照系中的对应位置。这些高分辨率正射纠正图像应具有低于25cm的像素大小。用航空 或卫星摄影术获得这些图像是非常昂贵的，且不能保证捕捉到所有的道路水平信息。
可从航空图像中非常高效地获得正射纠正图像。然而，常常会引入误差，其可导致 地理位置数据的不准确的测绘。主要问题在于通常航空图像不是完全垂直于地球表面而 拍摄。即使当一图片是接近于此条件而拍摄，也仅仅是图片的中心完全垂直。为了正射 纠正此图像，必须另外获得地形高度信息。航空图像中的对象缺乏准确的高度信息以及 用于确定正射纠正图像的三角测量过程可导致这些图像的不准确度高达数十米。可通过 拍摄重叠图像且比较从来自相同航空相机的后续图像获得的相同表面来改进准确度。但 仍然存在所获得准确度对成本的限制。
此外，需要为导航系统和类似系统中使用的数字地图数据库收集"垂直"道路信 息，例如速度限制、方向路标等等。在此应用中，术语"水平"数据或信息对应于具有 平行于地球表面的表面的对象。术语"垂直"数据或信息对应于定位于地球表面上且可 以平行于地球表面的观察轴观察的对象。垂直道路信息无法从典型的俯视航空或卫星图 像获得。当今，可通过分析和解译由移动收集装置收集的水平图片图像和其它数据来获 得垂直道路信息。作为基于陆地的车辆(例如汽车或货车)的移动测绘车辆用于收集移 动数据以增强数字地图数据库。增强的实例是交通标志、路线标志、交通灯、展示街道 名称的街道标志灯的位置。
移动测绘车辆具有许多相机，可能其中一些是立体照像的且其全部是经准确地理定 位的，因为所述货车上载有精密GPS和其它位置与定向确定设备(例如，惯性导航系统 一INS)。在道路网上行驶时，捕获经地理编码的图像序列。经地理编码意味着通过GPS 接收器且可能通过INS计算的位置且可能还有与图像相关联的航向均联系到图像的元数 据。
移动测绘车辆记录对象(例如，建筑物或道路表面)的一个以上图像序列，且对于 一图像序列的每一图像，地理坐标参照系中的地理位置是连同图像序列相对于所述地理 位置的位置和定向数据一起确定的。具有对应的地理位置信息的图像序列将称为经地理 编码的图像序列。也可同时地且以类似的地理编码方式通过其它传感器收集其它数据。
如果在数字地图数据库中，需要水平和垂直数据两者来支持导航应用或类似应用， 那么与所述数据相关的地理位置应准确。然而，对应于从航空图像获得的水平数据的所 确定地理位置并不总是与对应于从移动数据图像获得的垂直数据的所确定地理位置匹 配。经解译的地理位置不同，因为使用了两个不同的数据源，其通过不同的工具分析和解译。这可在来自所述两个数据源的信息将集成到相同的数字地图数据库中的情况下导 致不正确的数据放置或解译。另外，这将在导航系统或类似系统中同时显示水平与垂直 数据两者的情况下导致混淆情形。此外，两种类型数据源的使用消极地影响了数字地图 数据库的制作成本。
正射纠正图像使我们能够丰富导航系统的功能性。可从正射纠正图像准确确定道路 和对应车道的尺寸和地理位置。关键是以具成本效率的方式产生用于导航系统的数据
库。正射纠正图像的使用可促进安全性且保护车辆及其乘客免于遭受不期望的事件，例 如在错误的车道上行驶或驶离道路。通过组合车辆的GPS位置与道路表面的地理位置， 可确定车辆相对于道路表面的位置，且只要驾驶员接近道路或车道边界或当驾驶员在错 误车道上行驶时便可通知驾驶员。 定义
坐标指定一点在W维空间中的位置的"个数字的序列中的一个数字； 坐标转换基于一对一关系从一个坐标参照系向基于相同数据的另一坐标参照系的 坐标改变；
坐标参照系通过数据与现实世界相关的坐标系； 坐标系用于指定如何向点指派坐标的数学规则的集合； 数据定义一坐标参照系的原点位置、比例和定向的参数或参数集合； 椭圆坐标系(大地坐标系)通过与一个或一个以上地理坐标参照系相关联的大地 纬度、大地经度和(三维情况下)椭圆体高度来指定位置的坐标系；
地理坐标参照系使用椭圆坐标系且基于接近地球形状的椭圆体的坐标参照系； 地图投影从一椭圆坐标系到一平面的坐标转换；
正射纠正视图 一点的从一所选参照表面沿着所述点中垂直于所述表面的线观察的 视投影坐标参照系通过应用地图投影且使用笛卡儿(Cartesian)坐标系从二维地理 坐标参照系导出的坐标参照系。

发明内容
本发明试图提供一种产生正射纠正瓦片的改进方法。
根据本发明，所述方法包括
检索借助于陆地用相机获得的源图像序列；
检索与所述源图像相关联的位置数据，其中所述位置数据包含定义与所述车辆上所
8述相机的位置与所述移动车辆的预定义位置的关系的恒定位置参数以及在地理坐标参 照系中对应于所述预定义位置的实际位置的可变位置参数；
检索与所述源图像相关联的定向数据，其中所述定向数据包含与所述相机相对于所 述车辆的参照定向的定向具有关系的恒定定向参数以及在所述地理坐标参照系中对应
于所述车辆的所述参照定向在所述坐标参照系中的定向的可变定向参数；
借助于对应位置数据和定向数据转换源图像以获得所述正射纠正瓦片和对应的元 数据，所述元数据定义所述正射纠正图像中像素坐标向所述地理坐标参照系中的位置的 转换。
本发明是基于在地球表面上行驶的移动测绘车辆用陆地用相机记录表面收集的地 理位置图像序列的认识。所述图像序列中的一些包含车辆前方的道路。大体上，车辆的 行驶方向大致平行于车辆前方道路的表面。此外，相机相对于车辆且因此相对于道路表 面的位置和定向已知。借助于GPS接收器和惯性测量装置(例如陀螺仪)确定车辆的位 置和定向。所有位置和定向信息使我们能够借助于三角法将源图像转换为正射纠正瓦 片，其表示准确近似一正射纠正视图的视图。根据本发明的正射纠正视图对应于以垂直 于预定义平面或表面的观察轴从上方看的视图。正射纠正瓦片是其中图像中的每个点都 好像是从正上方观看的图像。
由于陆地用相机与记录的道路表面之间的距离有限，且借助于车载定位系统(例如， 基于GPS的接收器)和可能另外的位置与定向确定设备而准确知道相机的地理位置，因 此可准确确定每一正射纠正瓦片的地理位置。这些正射纠正瓦片使我们能够通过基于存 储在元数据中的对应地理位置叠加正射纠正瓦片而获得一道路段的准确的地理定位正 射纠正镶嵌。本发明的正射纠正镶嵌使我们能够捕获无法从一单个正射纠正瓦片捕获的 水平道路信息，例如高速公路的车道数目或相应车道的宽度。这减少了各个源图像的解 译的成本且减少了由于源之间的差异误差引起的混淆的可能性。可容易解译的道路信息 包含车道信息、道路标志(位置和属性)、车道连接性属性以及道路中心线。
在又一实施例中，所述方法进一步包括
依据与所述源图像相关联的所述位置和定向数据而估计对应于地球表面的平面；以
及
使用所述平面进行转换以转换源图像而获得所述正射纠正瓦片。所述位置和定向数 据使我们能够确定车辆下方的道路表面的位置和定向。这使我们能够估计源图像中所见 的道路表面的平面。随着道路的斜率逐渐改变，车辆下方道路表面的平面可用作对源图 像中所见的车辆前方道路表面的近似。源图像序列以及相关联的位置和定向数据使我们能够选择与当车辆位于先前捕获的源图像中所见的道路表面时捕获的源图像相关联的 位置和定向数据。以此方式，可准确估计源图像中所见的道路表面的位置和定向，从而 使我们能够改进正射纠正瓦片的准确度。
在本发明的又一实施例中，正射纠正瓦片对应于相对于陆地用相机或移动测绘车辆 具有预定义位置的预定义水平区域。此特征使我们能够限制源图像的将在正射纠正瓦片 中使用的区域，其减少了获得正射纠正瓦片需要的所要处理能力。另一优点在于所有正 射纠正瓦片可具有相同分辨率，其非常有助于正射纠正镶嵌的产生，因为来自相同相机 的正射纠正瓦片可立即叠加而不用任何縮放。
在本发明的又一实施例中，正射纠正瓦片包括像素，且转换源图像包含 确定所述源图像中对应于所述正射纠正瓦片的像素的至少一个像素； 从所述源图像中的所述至少一个像素的值确定所述正射纠正瓦片的所述像素的值。 此特征使实践本发明的工程师能够高效地确定正射纠正瓦片中的像素的值。首先，使用 正射纠正瓦片中的像素的位置计算在源图像中的对应位置。其次，确定正射纠正瓦片中 的像素的值。所述值可为源图像中位置最靠近源图像中所计算位置的像素的副本。然而， 所述值也可为源图像中邻近像素的平均值或基于源图像中的对象辨识的值。
在本发明的又一实施例中，所述预定义正射纠正瓦片的形状是矩形。此特征使我们 能够获得具有相同大小的正射纠正瓦片，其进一步改进了正射纠正瓦片的对准以获得正 射纠正镶嵌。可通过对在两个图像中不同地定位的相同对象进行叠加或匹配来对准正射 纠正瓦片。
在本发明的实施例中，通过安装于在地球表面上移动的车辆上的相机而获得所述源 图像序列，所述定向数据包含与所述车辆的经定义定向与所述车辆的行驶方向之间的角 度具有关系的可变定向参数。此特征使我们能够考虑由于车辆的悬挂系统而引起的相机 相对于道路表面的倾斜和横摇。这使我们能够准确执行从源图像到正射纠正瓦片的转 换，这又使我们能够容易叠加正射纠正瓦片以便获得正射纠正镶嵌。
在本发明的实施例中，通过安装于在地球表面上移动的车辆上的相机而获得所述源 图像序列，所述定向数据包含与由道路表面定义的平面与水平面之间的角度具有关系的 可变定向参数。所述水平面对应于由地理坐标参照系定义的近似于地球形状的形状。这 些特征使我们能够针对道路斜率和道路横向坡度进行校正，这使我们能够获得道路表面 的更准确的正射纠正视图，其中每一像素的观察轴与重力向量重合，或垂直于地球的近 似平面。在又一实施例中，可变定向参数与由所述移动车辆下方的所述道路表面定义的 平面与水平面之间的角度具有关系。在此实施例中，考虑了由于弹簧而引起的汽车的移动。可变定向参数可由汽车纵摇和汽车横摇定义。这些参数使我们能够更准确地产生正 射纠正瓦片。
在本发明的实施例中，转换包含
校正所述源图像中的几何失真；
对所述相机的焦点执行3D旋转以便获得垂直图像； 将所述垂直图像转换为正射纠正瓦片。
这些特征使我们能够首先针对所有恒定变化进行校正且随后针对所有可变变化进 行校正。
本发明的又一方面涉及一种用于产生正射纠正镶嵌的方法，其包括 借助于根据本发明的产生正射纠正瓦片的方法从借助于陆地用相机获得的源图像 产生正射纠正瓦片和对应的元数据；
从所述正射纠正瓦片和对应的元数据产生所述正射纠正镶嵌和元数据。 在本发明的实施例中，产生所述正射纠正镶嵌包含-
从位置数据定义用于所述正射纠正镶嵌的投影坐标参照系；
借助于所述投影坐标参照系和对应于所述正射纠正瓦片的元数据确定所述正射纠 正镶嵌中的正射纠正瓦片区域；
将正射纠正瓦片的所述确定区域的像素转换为正射纠正镶嵌的像素。
使用此实施例使我们能够产生正射纠正镶嵌。起初，定义用于正射纠正镶嵌的投影 坐标参照系。投影坐标参照系定义正射纠正镶嵌的像素的地理位置。随后，对于正射纠 正镶嵌中的每一像素或区域，确定对应的正射纠正瓦片和区域，且使用正射纠正瓦片中 所述区域的值来获得正射纠正镶嵌中的对应值。以此方式，正射纠正镶嵌是作为若干正 射纠正瓦片的至少若干部分的镶嵌。
本发明的又一方面涉及 一种处理器可读存储媒体，其承载通过根据权利要求书所 述的方法获得的正射纠正镶嵌； 一种计算机程序产品，其包括当加载到计算机布置上时 允许所述计算机布置执行根据权利要求书所述的方法中的任一者的指令；以及一种处理 器可读媒体，其承载当加载到计算机布置上时允许所述计算机布置执行根据权利要求书
所述的方法中的任一者的计算机程序产品。
本发明的又一方面涉及一种从通过安装于在地球表面上行驶的移动车辆上的陆地 用相机获得的至少一个基于陆地的图像序列的源图像收集位置准确的水平信息和位置 准确的垂直信息两者的方法，所述方法包括
检索源图像检索与所述源图像相关联的位置数据，其中所述位置数据包含定义与所述车辆内参 照位置的关系的恒定位置参数以及在地理坐标参照系中对应于所述车辆的参照位置在 所述坐标参照系中的坐标位置的可变参数；
检索与所述源图像相关联的定向数据，其中所述定向数据包含与所述相机相对于所 述车辆的参照定向的定向具有关系的恒定定向参数以及在所述地理坐标参照系中对应 于所述车辆的所述参照定向在所述坐标参照系中的定向的可变定向参数；
从所述源图像检索水平信息和对应位置，其中通过借助于与所述源图像相关联的位 置数据和定向数据至少部分转换至少部分包括所述水平信息的源图像以获得所述水平 信息的正射纠正表示而获得所述位置，所述正射纠正表示包括图像数据和元数据，所述 元数据定义所述正射纠正表示的像素坐标向所述地理坐标参照系中的位置的转换；
从至少一个源图像检索垂直信息且借助于与所述源图像相关联的所述位置数据和 定向数据定位所述垂直信息的位置；以及
存储所述垂直和水平信息以及相关联位置以用于地图数据库。
本发明的此方面使我们能够从一个数据源检索水平信息和垂直信息两者。对于所述 两种类型的信息，存在至少部分包括所述信息的一个源图像。此图像使得可准确确定水 平信息以及垂直信息的地理位置。垂直信息(例如，标志杆)通常在一个图像中可见， 而水平信息(例如，十字路口之前的车道)在若干图像上延伸。因此，可需要来自一个 以上源图像的像素以及位置和定向信息以获得水平信息的准确位置。水平和垂直信息的 准确地理位置使得能够准确构造一透视图像，所述图像具有垂直数据(例如道路标志) 和水平数据(例如中心线)两者，其全部具有其相应位置数据的相同参照平面。使用仅 一个数据源来确定水平数据和垂直数据两者。由于所有数据是从一个数据源提取，因此 可获得非常准确的相对位置测量值。此外，与从航空图像提取水平数据和从基于陆地的 图像提取垂直数据的成本相比，提取垂直和水平数据的成本较低。
本发明的又一方面涉及一种从通过安装于在地球表面上行驶的移动车辆上的陆地 用相机获得的至少一个源图像收集位置准确的水平信息和位置准确的对象信息两者的 方法，其中所述对象可见地附接到地面的附接点在所述至少一个源图像的至少一个像素 中可见，所述方法包括
检索所述至少一个源图像；
检索与所述至少一个源图像相关联的位置数据，其中所述位置数据包含定义与所述 车辆内参照位置的关系的恒定位置参数以及在地理坐标参照系中对应于所述车辆的参 照位置在所述坐标参照系中的坐标位置的可变参数；检索与所述至少一个源图像相关联的定向数据，其中所述定向数据包含与所述相机 相对于所述车辆的参照定向的定向具有关系的恒定定向参数以及在所述地理坐标参照 系中对应于所述车辆的所述参照定向在所述坐标参照系中的定向的可变定向参数；
从所述至少一个源图像检索水平信息和在所述地理坐标参照系中的对应位置，其中 通过借助于与所述至少一个源图像相关联的所述位置数据和定向数据确定关联于水平 信息的至少一个源图像像素的正射纠正位置而获得所述位置；
从所述至少一个源图像检索对象信息；
确定对应于所述对象对地面的所述附接点的所述至少一个像素，且借助于与所述至 少一个源图像相关联的所述位置数据和定向数据确定对应于所述对象对地面的所述附 接点的至少一个像素在所述地理坐标参照系中的正射纠正位置；
存储所述对象信息和水平信息以及在所述地理坐标参照系中的相关联位置以用于 地图数据库。
本发明的此方面使我们能够非常准确地导出水平信息和对象信息两者的地理位置 以用于数字地图。借助于本发明，可准确确定对应于地面的像素的位置。因此，准确确 定可与地面和对象两者相关联的像素的位置，且因此准确知道所述对象的位置。
可使用软件、硬件或软件与硬件的组合来实施本发明。当以软件实施本发明的全部 或部分时，所述软件可驻存在处理器可读存储媒体上。适当的处理器可读存储媒体的实 例包含软盘、硬盘、CD ROM、 DVD、存储器IC等等。当系统包含硬件时，所述硬件 可包含输出装置(例如，监视器、扬声器或打印机)、输入装置(例如，键盘、指向装 置和/或麦克风)以及与输出装置通信的处理器和与处理器通信的处理器可读存储媒体。 处理器可读存储媒体存储能够对处理器进行编程以执行用于实施本发明的动作的代码。 本发明的过程也可在可经由电话线或其它网络或因特网连接而接入的服务器上实施。


下文将参看附图使用若干示范性实施例更详细论述本发明，其中 图1展示源图像转换为正射纠正瓦片的一般原理的侧视图； 图2展示源图像转换为正射纠正瓦片的一般原理的正射纠正视图； 图3展示立体图像对转换为两个正射纠正瓦片；
图4展示通过组合图3中的两个正射纠正瓦片而获得的正射纠正镶嵌； 图5展示一立体图像对序列的正射纠正镶嵌的组成的第一实例； 图6展示一立体图像对序列的正射纠正镶嵌的组成的第二实例；图7展示移动测绘车辆和正射纠正瓦片的正射纠正视图； 图8是根据本发明的方法的示范性实施方案的方框图； 图9是用于实施正射纠正镶嵌产生器的示范性硬件系统的方框图； 图IO是移动测绘车辆的正射纠正视图； 图11是在道路上行驶的移动测绘车辆的侧视图； 图12是在道路上行驶的移动测绘车辆的后视图； 图13展示说明图像经过角度aX的3D旋转；以及 图14示意性展示水平信息和垂直信息的产生。
具体实施例方式
图1展示源图像转换为正射纠正瓦片的一般原理的侧视图。相机或CCD相机202 (图2中展示)中的图像传感器101记录一源图像序列。源图像表示通过陆地用相机记 录的或多或少的垂直图像。源图像可为通过静态图片相机记录的静态图片序列，所述相 机每当位移例如IO米便被触发。包括图像传感器的相机具有视角a。视角a是通过相机 的透镜的焦距102确定。视角a可在45。 < ot < 180。的范围内。此外，相机具有观察轴 103，其在视角的中心。在图1中，观察轴103平行于水平面104。图像传感器101垂直 于观察轴103而安装。在此情况下，图像传感器101记录"纯"垂直源图像。如果进一 步已知图像传感器相对于一水平面(例如，地球表面)的高度，那么由图像传感器101 记录的图像可转换为表示所述水平面的正射纠正视图的经縮放版本的正射纠正瓦片。为 了获得在水平方向上具有合适分辨率的水平图像，使用图像传感器的有限区域。图l展 示图像传感器101的部分106，其对应于水平面中的部分108。正射纠正瓦片的最小可 接受分辨率决定图像传感器与水平面中的最远点之间的最大距离。通过三角法，从陆地 用相机检索的源图像可转换到任何虚拟平面。即使观察轴相对于水平面成一已知角度， 也可从源图像获得正射纠正瓦片。
图2展示源图像转换为正射纠正瓦片的一般原理的正射纠正视图。观看角度a、观 察轴218以及相机202之间的距离决定水平面的由图像传感器101记录的部分。原理上， 当源图像转换为正射纠正瓦片时，对应于源图像的正射纠正瓦片具有三角形的形状。正 射纠正瓦片的边界由参考符号210指示。然而，本发明特别关注获得道路表面的正射纠 正镶嵌(mosaic)以用于收集导航系统或类似系统中使用的数字地图的属性。应注意在 原理上，正射纠正瓦片已经是正射纠正镶嵌，然而在当前描述中，正射纠正镶嵌是若干 正射纠正瓦片的组成物。导航系统和类似系统必要的属性和准确度的收集要求正射纠正
14镶嵌的预定义最小分辨率。这些要求限制了水平面的可从源图像获得的部分。相机焦点 208相对于水平面的位置与水平面区域的边界之间的最大距离206决定了分辨率。此外， 实际上，最大距离206可受到在特定道路上行驶时两辆汽车之间的最小距离的限制。通 过如此限制最大距离，其具有的优点在于在多数情况下，正射纠正瓦片中的道路表面不 包括在移动测绘车辆前方行驶的汽车的背面。此外，最大距离206与最小距离204之间 的差决定了相机的后续图像记录之间的最大可允许距离。这可限制车辆的最大行驶速 度。水平面的矩形对应于在源图像中近似具有梯形形状的区域。在一实施例中，正射纠 正瓦片210对应于16m宽度220且16m长度222的区域。为进一步处理正射纠正瓦片， 有利的是具有矩形形状的正射纠正瓦片。
在转换源图像以获得每一像素216的正射纠正瓦片的实施例中，在具有距观察轴的 距离214和距焦点208的距离204的情况下，通过下文将更详细描述的角度测量法来确 定源图像中的对应位置。
图3在上部侧展示一对立体图像。在下部侧展示两个对应的经转换的正射纠正瓦片。 可通过首先借助于三角法或三角测量确定源图像中的对应位置且其次复制源图像中最 近像素的值来导出正射纠正瓦片中一像素的值。也可通过在四个或9个最近像素之间的 内插来获得所述值。在使用对象辨识工具来分析源图像的情况下，可在源图像中检测道 路表面区域以及路边或路肩。在所述情况下，所述值可对应于指派给对应区域的值。虚 线302和304指示源图像的用于获得正射纠正瓦片的区域。在优选实施例中，正射纠正 瓦片是矩形。立体相机的使用将导致具有相对大的重叠区域的两个正射纠正瓦片序列。 图4展示通过组合图3中的两个正射纠正瓦片而获得的正射纠正镶嵌。所述组合可基于 相应正射纠正瓦片的地理位置，或在正射纠正瓦片的叠加和匹配之后。正射纠正瓦片的 地理位置可从来自移动车辆的GPS位置、汽车的行驶方向或定向、移动车辆上的相机的 位置以及移动车辆上的相机的定向导出。正射纠正镶嵌的左区域402和右区域406分别 是从图3中的左正射纠正瓦片和右正射纠正瓦片获得。正射纠正镶嵌的中间区域404可 为左正射纠正瓦片或右正射纠正瓦片的对应区域的区域的副本。中间区域404也可为左 正射纠正瓦片和右正射纠正瓦片中的对应像素值的平均值。使用前方的一立体相机或两 个相机的优点在于可获得较大/较宽的正射纠正镶嵌，因为两个相机可在比所述相机中仅 一者大的角度上记录图像。类似地，使用与侧面观察相机组合的正面观察相机使我们能 够从非常宽的道路或有人行道的街道获得准确的正射纠正镶嵌。
应注意，在以上对本发明的描述中，水平面对应于道路表面。之所以这么做，是为 了简要描述本发明的将垂直图像转换为水平或正射纠正图像的一般原理。这在从源图像
15的图像空间到正射纠正图像的图像空间存在一对一关系时是可能的。这使我们能够将源 图像的一像素投影于正射纠正图像的一像素上。然而，在现实中道路表面并不对应于近 似于地球形状的椭圆体。道路表面可相对于所述椭圆体表面具有任何高度，且可相对于 所述椭圆体具有一斜率。下文将描述本发明的这些方面。由MMS捕获的位置和定向数 据使我们能够在地理坐标参照系中准确确定相机的位置和定向。此外，位置和定向数据 使我们能够准确确定MMS的行驶方向的向量。通过假定道路表面平行于所述向量，知 道道路表面在地理坐标参照系中的3D位置。以上给出的实例揭示了如何将源图像投影 于近似于道路表面的平面上。所属领域的技术人员知道如何将在地理坐标参照系中具有 已知3D位置的道路表面投影于一正射纠正图像上，所述图像具有定义所述图像的投影 坐标参照系的元数据。
下文将借助于示范性实施方案更详细描述根据本发明的方法。借助于如图10所示 的移动测绘车辆1000收集输入数据。移动测绘车辆IOOO配备有定位传感器1002(例如， GPS接收器和可能另外的惯性传感器和推算定位传感器)和定向传感器1004 (例如，陀 螺仪和距离测量单元)。这些传感器是通常已知的。通过这些传感器可非常准确地确定 车辆在地理坐标参照系中的位置和定向。此外，移动测绘车辆配备有若干相机。两个相 机1006可安装在汽车的前方以记录车辆前方的图像。这两个相机1006可经布置以产生 立体图像对的序列。此外，相机1008可安装在左侧和右侧以获得汽车的侧视图，且相 机1010可安装在车辆的后部以记录从车辆后部所见的现实世界。如果相机安装在车辆 的所有侧面上，那么可获得围绕车辆的所有方向上的连续视图。在前方和在后部的相机 使我们能够获得相同道路表面但来自相反方向的两个图像序列。这使我们能够从相同道 路表面获得两个源图像序列，其可用于消除或检测表示相同道路表面的正射纠正瓦片中 的误差。图像序列可为具有预定义帧速率的视频流。在一有利实施例中，相机是静止数 字图片相机，每当车辆已行进--预定距离其便经触发以记录一图片。在一实施例中所述 预定距离为10米。
将用于产生正射纠正镶嵌的输入数据可划分为两个群组。第一数据群组是在用于每 一相机的整个移动测绘服务(MMS)会话过程中的恒定参数。其与相机在车辆的局部坐 标系中的位置、校准和定向相关。
恒定参数为
cam—dist =从GPS接收器中心到相机焦点的距离； cam—pos—rot =相机位置相对于车辆的长度轴的旋转； cam—look—angle =相机观察方向的基底旋转；cam_dist—params =在源图像的几何失真校正中使用的一组参数； cam—rot—x =在角度X中的局部相机旋转； cam_r0t—y =在角度Y中的局部相机旋转； cannot—z =在角度Z中的局部相机旋转； cam—f:相机焦点的焦距；
cam—dpx=CCD图像传感器的分辨率(像素/米)； cam—dpy=CCD图像传感器的分辨率(像素/米)； cam_h =相机在道路表面上方的高度； in_bmp—width =CCD传感器的一行中的像素数目； in—bmp—height = CCD传感器的一列中的像素数目； trans—bmp—width =正射纠正瓦片的 一行中的像素数目； trans—bmp—height =正射纠正瓦片的 一 列中的像素数目； trans—real—width =水平面中正射纠正瓦片的宽度大小； trans—real—height =水平面中正射纠正瓦片的深度大小； trans—min—z =距相机焦点208的可见像素的最小距离； out_width =正射纠正镶嵌的一行中的像素数目； outjieight:正射纠正镶嵌的一列中的像素数目； out—resolution =正射纠正镶嵌的分辨率。
可变参数为
car—lat =车辆在WGS84坐标系中的讳度；
car—Ion =车辆在WGS84坐标系中的经度；
car—heading =车辆航向角；
car_rolI =车辆的横摇；
car—cross—fall =道路的横向坡度；
car—pitch =车辆的纵摇；
car—slope =道路的斜率；
in—bmp—bytes =表现源图像的字节。
WGS84坐标系是世界大地坐标系(WGS)，其定义地球的固定全球参照系，用于大 地测量学和导航。最新修正是日期为1984年的WGS 84，其有效期将到约2010年。WGS84 是地理坐标参照系。在原理上本发明可用于任何地理坐标参照系。
正射纠正镶嵌的产生是基于三个阶段。第一阶段的主要目标是校正源图像中的几何失真。几何失真可为相机中的透镜系统的光学象差以及相机的光敏元件(例如，CCD传 感器)中的不规则性。第二阶段是将经校正源图像转换为正射纠正瓦片，且最后阶段是 从正射纠正瓦片产生正射纠正镶嵌，以便获得特定道路段的道路表面的地图。
在第二阶段中，经校正源图像首先经3D处理以获得中间图像，其对应于车辆的垂 直于地面平面的图像。在此阶段中，使用恒定定向参数cam_rot—x、 cam—rot一y、 cam—rot—z 和cam j以及恒定位置参数cam—dpx和cam—dpy来处理经校正图像以获得中间图像。使 用通常已知的角度测量公式来执行3D处理。在此阶段中以角度cam_rot—x、 cam—rot—y、 cam—rot—z、分辨率cam—dpx和cam—dpy以及焦距cam—f来对焦点执行图像3D旋转。
图像3D旋转可借助于以下等式执行
cos
J NEW0
—sin "
50
0 sin "y
1 0
0 cos"r
0 0
1 0
0 cos"》
0 sin ax
0 0
0
一 sin ax 0
0
0sin 2
00
10
一 sin ar2 0 0
cos "z 0 0
0 1 0
0 0 1
/ i
其中Xfc-距图像中心的X距离，
1Vc-距图像中心的Y距离，
/ =以像素数为单位的焦距(cam_f),
ax = cam—rot—x,
aY = cam—rot—y，
otz — ctim—rot—z,
=距3D旋转图像的中心的X距离， }^，=距3D旋转图像的中心的Y距离， 1V-距图像中心的Y距离。
图13展示说明经过角度c^的旋转。源图像1302中的像素Pdc,i^〗将变为中间图 像1304中的像素/YXW￡W,YWEJ。为了获得准确的正射纠正瓦片，应以大约0.1度的精度 确定cam_rot_x、 cam—rot—y和cam—rot_z。以所述精度安装相机几乎不可能。因此，在 安装相机之后确定固定校准参数cam_rot—x、 cam—rot_y和cam_rot_z，且用于计算中间 图像。
随后，中间图像从垂直图像转换为正射纠正瓦片。在此特殊情况下，"垂直"意味 着图像垂直于地面平面或车辆的行驶平面。
首先，通过以下等式确定正射纠正瓦片的分辨率
18加ra — — vv!'舰
re51 — y =
fra似—Z ， — vW舰
加 w — — / e/g似 加ra — 6m/ — /ze一f
其次，使用关于汽车的可变转换参数car—roll、 car—pitch、 car—slope、 car—cross—fall 来计算局部图片角度。参数car—slope和car—cr0ss_fall的值定义在地理坐标系中道路表 面相对于近似于地球表面的椭圆体表面的角度，而参数car—roll和car_pitch的值取决于 车辆的加速度/减速度、车辆的速度和道路的曲率、以及道路的表面。图U展示移动测 绘车辆1100的侧视图以解释某些转换参数。恒定转换参数cam—rot—x 1102由在车辆保 持静止的情况下相机1106的观察轴1104与车辆下方的道路表面1108之间的角度定义。 在图11中，假定在车辆保持静止时车辆的底板平行于道路表面。可变定向参数car—pitch 是车身的底板与水平面116之间相对于行驶方向的实际角度。应注意，根据本发明，水 平面对应于由地理坐标参照系定义的近似于地球形状的表面。在上文所述的实施例中， 假定道路表面是在所述近似的地球形状上。然而，情况将通常并非如此。此外，为了使 源图像能被准确转换成正射纠正瓦片，必须考虑car—slope 1114。 car_slope 1114是在行 驶方向上道路表面1108相对于水平面1116的倾斜角度。在行驶期间，car_slope和 car—pitch的值由于车辆的加速和减速而不同。差lllO对应于车辆在宽度轴1112上的旋 转。此旋转是由车辆IIOO的加速和减速引起。所属领域的技术人员知道可如何从GPS、 惯性系统和距离测量仪器(DMI)捕获的位置和定向数据直接导出car_slope 1114。可通 过对车辆的质量-弹簧特性进行建模的函数来近似差1110。对此函数的输入是车辆航向 方向上的加速度，其可从DMI系统获得。此外，可从car—slope 1114与车辆底板的实际 定向之间的差导出car—pitch 。
图12展示移动测绘车辆1200的后视图以解释某些其它转换参数。恒定转换参数 cam—rot—z 1202由在车辆保持静止的情况下相机1206的源图像的水平线1204与车辆下 方的道路表面1208之间的角度定义。在图12中，假定在车辆保持静止时车辆的底板平 行于道路表面。可变定向参数car一roll是车身的底板与水平面1216之间垂直于行驶方向 的实际角度。此外，为了使源图像能被准确地转换成正射纠正瓦片，必须考虑 car—cross—fall 1214。 car—cross_fall或倾角1214是由道路1208的两侧相对于水平面1216 的标高之差定义。通常道路的倾角帮助车辆更容易地沿一曲线前进。在行驶期间，car—roll和car—cross—fall的值由于车辆的倾斜而不同。差1210对应于车辆在车辆1200的长度轴 1212上的旋转。此旋转是由以弹簧系统产生弯曲而引起。所属领域的技术人员知道可如 何从GPS、惯性系统和距离测量仪器(DMI)捕获的位置和定向数据直接导出car一roll。 可通过对车辆在弯路中的质量-弹簧特性进行建模的函数来确定差1210。对此函数的输 入是车辆在垂直于车辆航向方向的加速度，其可从惯性导航系统获得或可从车辆的行进 路线和速率(可从DMI系统获得)获得。以此方式，可通过从car—roll减去差1210而 确定倾角1214。对于直的道路，可通过在50米范围取car—roll的平均值来近似 car—cross—fall 1214。以此方式，可减少由于道路表面的颠簸引起的汽车横摇所导致的正 射纠正图像上的投影误差。所属领域的技术人员将认识到用于导出车辆相对于车辆下方 道路表面的横摇的其它直接解决方案，例如同时测量车辆弹簧的长度。 以下等式用于从可变转换参数确定局部图片角度
Ara// 二 car—r。〃 - car—c/"。i\y_yaZ/， △p"c/i = car- car e，
在以上给出的等式中，参数car—roll、 car—cross—fall、 car_pitch禾B car_slope是在相 同的时刻确定，且与一源图像(或一立体对情况下的多个图像)相关联。这可在移动测 绘车辆正在相对平坦的道路上行驶的情况下进行。在所述情况下，移动测绘车辆下方的 car—cross—fall禾卩car—slope大致类似于源图像中道路的car—cross—fall和car—slope。参数 △pitch 1110对应于车辆在宽度轴1112上的旋转角度，且参数Aroll 1210对应于车辆在长 度轴1212上的旋转角度。
然而在移动测绘车辆正在不平的道路表面(例如，老城市和建造在山上的城市中的 桥)上行驶的情况下，移动测绘车辆通过源图像记录的道路表面航向的car_Cr0SS_fall 和car—slope可显著不同于在记录源图像的时刻移动测绘车辆下方的道路表面的 car—cross_fall和car_slope。在所述情况下，可通过使用在移动测绘车辆处于道路表面上 对应于源图像中将用于获得对应正射纠正瓦片的区域的位置处的时刻登记的 car—cross jail和car—slope来改进源图像向正射纠正瓦片的转换。在此情况下，为获得正 射纠正瓦片而借助于对应位置数据和定向数据对源图像的转换使用在不同时刻获得的 定向数据。如果例如使用静态图片相机来获得源图像且每10米便以对应位置数据和定向数据记录一图片且正射纠正瓦片对应于在移动测绘车辆前方从5米直到25米的道路 表面，那么对于转换可使用两个后续源图像的car一slope和car_cross_fall。甚至可使用两 个后续源图像的car—slope和car—cross—fall的平均值来近似车辆前方的car—slope和 car—cross一fall。以此方式，定义近似于道路表面的平面在地理坐标参照系中的位置和定 向，这使我们能够将所述平面正确投影于正射纠正瓦片上。
图11和12阐明了为了获得正射纠正瓦片，依照与源图像相关联的位置和定向数据 而对源图像中所见的对应于地球表面的平面做出估计。位置和定向数据使我们能够确定 车辆下方的道路表面的位置和定向。对于车辆下方的道路表面的对应在一实施例中是对 源图像中所见的车辆前方的平面的近似。随着道路的斜率逐渐改变，这在多数情况下是 良好近似。在另一实施例中，与在车辆位于先前捕获的源图像中所见的道路表面处时捕 获的源图像相关联的位置和定向数据用于近似道路表面的平面。以此方式，可更准确地 估计在源图像中所见的道路表面的位置和定向，从而使我们能够改进正射纠正瓦片的准 确度。
随后针对正射纠正瓦片210的每一像素216，确定虚拟水平面中的距相机焦点208 的距离212 (pt—dist—z)和距相机观察轴218的距离214 (pt—dist_x)。 res一x、 res—y、 trans—min—z、 trans—bmp—width禾口 trans—bmp一height的值。
借助于以下等式计算垂直图像的像素的Y坐标(src—temp_y)和X坐标(src—temp_x):
,emp — x — raf = arctan
cam
awn — /
+ /oca/ raf _ x
cam — / .— d!'W — a;
■src _ femp _ x =.
其中在CCD上src—temp—y禾B src—temp—x的单位是米。可变src—temp_x定义CCD 上距图像中心的以米为单位的X轴距离。借助于src_temp—y 、 src—temp—x和local—rot_z 的值，CCD上以米为单位的X、 Y源坐标(src—x—m， src—y_m)可用以下等式确定最终，在本发明的实施例中，垂直图像的对应于正射纠正瓦片的一像素的位置的像 素的图片坐标通过以下等式确定.-
ire—x^p义二 /"_J mp—vv"d/ / 2 +/7oor /jrc一x—m*cam—d/wc)
在本发明的实施例中，将来自中间垂直图像的(src—x—px, src—y—py)像素的RGB值复 制到正射纠正瓦片的(dst—x, dst—y)像素中。如果在中间垂直图像中没有正射纠正瓦片的 像素的对应像素，那么正射纠正瓦片中的像素将获得一预定义值。优选地，所述预定义 值对应于一黑像素(=RBG(0，0，0))。在此实施例中，正射纠正瓦片的像素的值是中间垂 直图像中的所确定对应像素的值的副本。
在另一实施例中，srcj一m和src—y—m的值可用于确定中间垂直图像中的四个最邻 近像素。正射纠正瓦片中的像素的值可随后例如通过取所述四个值的平均值或通过内插 而从所述四个最邻近像素的值导出。
图5展示一立体图像对序列的正射纠正镶嵌的组成的第一实例。图5中的正射纠正 镶嵌是通过组合三个后续立体图像对502、 504、 506而获得。因此已使用六个图像来获 得正射纠正镶嵌。某些像素值可从仅一个正射纠正瓦片获得。其它像素值可从一个以上 正射纠正瓦片获得。在所述情况下当叠加正射纠正瓦片时，存在重叠区域503、 505。存 在获得重叠区域中的像素值的若干方法。像素值可从仅一个正射纠正瓦片获得，或像素 值可例如通过取平均值而从所有重叠像素导出。
图6展示一立体图像对序列的正射纠正镶嵌的组成的第二实例。尽管在图5的实例 中在车辆正在笔直向前行驶时获得后续图像，但在图6的实例中在车辆沿着道路中的弯 路前进时获得后续图像。汽车的方向由602指示。图6展示四个后续的正射纠正瓦片604、 606、 608和610。从图6可见每一正射纠正瓦片的定向在正射纠正镶嵌中改变。可通过 使用包括对应于每一图像的地理参照数据的元数据来适当叠加正射纠正瓦片，所述元数 据描述从图像坐标系到地理坐标参照系的一对一关系。在图6中给出的实例中，正射纠 正镶嵌的某些像素的值可从三个不同的正射纠正瓦片获得。由612和614指示的两个区 域包括所述像素。
应注意，为了执行垂直到正射纠正瓦片的转换，不必具有如给定实例中所示的立体 图像对。只要相机定向校准和位置测量是正确的且经转换道路点与汽车在同一平面中，正射纠正瓦片就是正确的。
为了从正射纠正瓦片获得正射纠正镶嵌，使用以下算法。首先产生一局部坐标投影。 所述局部坐标投影可基于来自MMS收集的会话数据的地理参照数据。局部坐标投影也 可由具有坐标的用户定义区域来定义，所述用户定义区域定义与地理坐标参照系中的地 理位置的一对一关系。局部坐标投影定义正射纠正一像素在镶嵌中的位置与地理位置之 间的关系。对于每个正射纠正瓦片，确定正射纠正瓦片在正射纠正镶嵌中的位置。首先， 通过使用car_lon、 car—lat x、 y的值确定正射纠正镶嵌中的汽车位置。其次，通过使用 与水平帧相关联的car—heading 702、 cam—dist 704、 cam—pos—rot 706、 camjook一angle 708、 trans—min_z 710确定正射纠正瓦片700在正射纠正镶嵌中的基底位置712。图7展示移 动测绘车辆以及正射纠正瓦片和对应参数的俯视图。应注意，图7中相机相对于车辆的 定向对于获得道路表面的正射纠正镶嵌来说并非理想的。当前的图7阐明了相应参数的 定义。在图7将展示其中相机安装在车辆前方且记录车辆前方的路面的相机理想定向的 情况下，某些参数将不清楚。参数car—heading是汽车的行驶方向701与预定义参照方 向703之间的角度。预定义参照方向703可为指向北极的方向。参数car—pos—rot 706由 汽车方向701与线704之间的角度定义。线704对应于参数cam—dist，其为相机与汽车 的位置x，y之间的距离。位置x，y对应于通过GPS接收器获得的汽车的位置。参数 cam—look_angle 708由相机的观察轴710与汽车方向701之间的角度定义。
第三，通过使用与正射纠正瓦片相关联的trans—bmp—width、 trans_bmp—height、 trans—real—width和trans—real—height的值来确定正射纠正瓦片的隅角在正射纠正镶嵌中 的位置。第四，选择有至少一个属于由正射纠正镶嵌定义的区域内的像素的正射纠正瓦 片，且通过使用在第三动作中确定的隅角的位置以及参数out_width、 out—height和 out—resolution来确定正射纠正镶嵌中对应于属于由正射纠正镶嵌定义的区域内的像素 区域的像素区域。借助于所确定的区域，产生用于正射纠正镶嵌的镶嵌，其中每一片镶 嵌均表示一整个正射纠正瓦片或一正射纠正瓦片的至少一部分。最后，使用若干片镶嵌 来建立正射纠正镶嵌。每一片镶嵌对应于一正射纠正瓦片的区域。本发明的高效实施方 案是在局部投影(例如，高斯-克里格(Gauss-Krieger)投影，其中基线经度设定为行进 路线的中间)中正射纠正单个瓦片时。正射纠正瓦片的所述区域的像素可在正射纠正瓦 片的适当线性转换之后使用以获得正射纠正镶嵌的像素值。所述线性转换由向例如 WGS-84的全球坐标系的给定局部投影的转换参数定义。为加速转换而假定线性，此假 定引入的潜在误差比像素大小低若干因数。
经由正射纠正瓦片的镶嵌获得的正射纠正镶嵌使得能够容易地解译至少以下内容车道信息、水平标志、车道连接性属性、道路线和道路宽度。
图8是根据本发明的方法的示范性实施方案的方框图。在道路上行驶的移动测绘车 辆借助于若干相机记录车辆的周围环境，尤其是道路表面。此外，同时记录移动测绘车 辆的地理位置。所述记录是在移动测绘系统3D会话期间执行。首先将记录的数据供应 到执行垂直到水平转换的转换过程。术语垂直意味着相机的观察角度不限于平行于道路 表面，其意味着观察角度可为不垂直于道路表面的任何合理的观察角度，只要其至少部 分涵盖道路表面即可。转换过程从移动测绘系统3D会话检索位置和定向数据以借助于 MMS定位系统和算法产生恒定和可变参数。
此外，通过MMS数据读取器检索记录的图像序列。将图像序列连同恒定和可变参 数一起供应到一转换步骤，其将垂直相机图像转换为经地理上定向的正射纠正瓦片。在 一实施例中，将正射纠正瓦片存储为图像序列，例如所属领域的技术人员已知的视窗 气avi格式，且将x坐标、y坐标和高度坐标连同图像的定向一起存储在XYH帧位置和 定向文件中，其形成与正射纠正瓦片相关联的元数据。
将包括正射纠正瓦片的AVI帧文件以及包括XYH帧位置和定向文件的元数据供应 到镶嵌产生过程，其处理供应的文件以获得正射纠正镶嵌。通过将若干正射纠正瓦片组 合为单个合成图片而获得正射纠正镶嵌。首先，通过AVI和XYH读取模块检索AVI和
XYH帧文件。其次，将在XYH文件中发现的地理信息转换到投影坐标系，且确定从正 射纠正瓦片的像素到正射纠正镶嵌的像素的转换。确定用于产生若干片正射纠正镶嵌的 镶嵌。帧到响应镶嵌插入模块计算来自对应AVI帧的相应若干片镶嵌的像素的值。且最 后，保存模块组合所有片镶嵌以获得正射纠正镶嵌且将正射纠正镶嵌存储在存储器中。 所述存储器可为任何处理器可读存储媒体，例如快闪存储器、RAM、光盘以及硬盘。应 注意，使用正射纠正镶嵌可容易地基于每一有用的地理坐标参照系、投影坐标系或局部 空间坐标系而产生地图。坐标系定义拟执行的转换。也可通过转换正射纠正镶嵌而非常 容易地获得鸟瞰地图。
图14展示通过陆地用相机获得的源图像序列1401。源图像1400包括水平信息和垂 直标志信息两者。在源图像序列1401下方展示的是相关联的正射纠正镶嵌1407。图像 1400中的虚线梯形1404指示正射纠正瓦片1409的对应边界。源图像中的水平信息对应 于具有中心线和边界线的道路表面1406。源图像1400中的垂直标志信息对应于指示限 速80千米/小时的道路标志1410。使用根据本发明的方法来获得正射纠正瓦片1409。正 射纠正瓦片1409具有相关联的位置信息以使工程师能够针对每一像素确定在坐标参照 系中的对应相对和/或绝对位置坐标。
24通过处理正射纠正瓦片1409以及从其它源图像产生的正射纠正瓦片而获得正射纠 正镶嵌1407。此外，产生相关联的位置信息以使工程师能够针对正射纠正镶嵌1407的 每一像素确定对应的相对和/或绝对位置坐标。所述相关联的位置信息可由正射纠正镶嵌 1407的所有隅角的地理位置定义。在另一实施例中，所述相关联的位置信息可由图像相 对于正射纠正镶嵌1407的预定义参照像素1408的地理位置的水平与垂直分辨率以及正 射纠正镶嵌相对于预定义参照定向轴(未指示)的定向来定义。
从正射纠正镶嵌1407提取水平道路信息，且相对于正射纠正镶嵌1407的参照位置 而确定相关联的位置。在一实施例中，将所提取的水平信息存储为线。所提取的水平信 息可存储在临时数据库1430中。
可以手动或自动方式检测道路标志。在检测到道路标志1410之后，可通过众所周 知的摄影测量方法从其中所述标志可见的图像对中识别其位置。如果道路标志在源图像 中没有通过一结构(例如，柱、建筑物墙壁)可见地附接到地面，那么一对图像使工程 师能够确定位置。如果道路标志通过(例如)柱而可见地附接到地面，那么源图像中所 述柱接触地面处的像素可用于准确确定所述标志杆在地理坐标参照系中的位置。此外， 道路标志的标准化特性可用于确定道路标志的位置。举例来说，图像中道路标志的大小 可用于确定相机与道路标志之间的距离。位置可相对于正射纠正瓦片的参照位置，或相 对于源图像中水平信息的位置，例如中心线的特定位置。在一实施例中，将提取的标志 信息存储为一具有对应标志类型指示符的点。标志类型指示符可为一指向包括道路标志 的图形表示的数据库的指针，其中所述指针指代检测到的道路标志类型。提取的垂直标 志信息可存储在临时标志数据库1440中。
提取的水平道路信息和相关联的位置数据以及提取的垂直标志信息和相关联的位 置数据可最终存储在数字地图数据库1450中。水平道路信息和垂直标志信息以及其相 应位置数据可在导航系统中用于产生道路的包括水平道路信息和垂直标志信息的图形 表示。由于水平道路信息和垂直标志信息两者是从相同数据源(借助于陆地用相机获得 的源图像序列)检索，因此所述两种类型信息相对于彼此的相对位置非常准确。
上文给出的描述假定将捕获的水平信息扩展到一个以上源图像。应清楚，对于在一 个源图像中可见的水平信息，不必产生正射纠正镶嵌以获得在地理坐标参照系中的位 置。因此，完全包括水平信息和垂直信息的源图像可用于准确确定水平与垂直信息两者 的位置。将源图像中垂直信息接触地面(=虚拟水平面)处的附接点的像素的x，y位置 转换为正射纠正图像中的x，y位置。正射纠正图像的元数据使我们能够计算对应的地理 位置。
25图9说明可用于实施执行上文所述方法的正射纠正镶嵌产生器的计算机系统的高级 方框图。
图9的计算机系统包括处理器单元912和主存储器914。处理器单元912可含有单 个微处理器，或可含有多个微处理器以用于将计算机系统配置为多处理器系统。主存储 器914部分存储用于供处理器单元912执行的指令和数据。如果本发明的方法完全或部 分地以软件实施，那么主存储器914在操作中时存储可执行代码。主存储器914可包括 动态随机存取存储器(DRAM)以及高速缓冲存储器的存储体。
图9的系统进-步包括大容量存储装置916、外围装置918、输入装置920、便携式 存储媒体驱动器922、图形子系统924以及输出显示器926。为了简单，将图9所示的 组件描绘为经由单个总线928而连接。然而，所述组件可通过一个或一个以上数据输送 构件连接。举例来说，处理器单元912和主存储器914可经由局部微处理器总线而连接， 且大容量存储装置916、外围装置918、便携式存储媒体驱动器922以及图形子系统924 可经由一个或一个以上输入/输出(I/O)总线而连接。可以磁盘驱动器或光盘驱动器实 施的大容量存储装置916是用于存储数据的非易失性存储装置，所述数据例如为相应相 机的经地理编码的图像序列、相机的校准信息、恒定和可变位置参数、恒定和可变定向 参数、正射纠正瓦片和正射纠正镶嵌，以及用于处理器单元912使用的指令。在一个实 施例中，大容量存储装置916存储用于实施本发明的系统软件或计算机程序以便加载到 主存储器914。
便携式存储媒体驱动器922结合例如软盘、微型驱动器和快闪存储器的便携式非易 失性存储媒体操作，以将数据和代码输入到图9的计算机系统以及从图9的计算机系统 输出数据和代码。在一个实施例中，用于实施本发明的系统软件存储在呈此便携式媒体 的形式的处理器可读媒体上，且经由便携式存储媒体驱动器922输入到计算机系统。外 围装置918可包含任何类型的计算机支持装置(例如输入/输出(I/O)接口)以向计算 机系统添加额外功能性。举例来说，外围装置918可包含用于将计算机系统介接到网络 的网络接口卡、调制解调器等等。
输入装置920提供用户接口的一部分。输入装置920可包含用于输入字母数字和其 它按键信息的字母数字式小键盘，或例如鼠标、跟踪球、触笔或光标方向键的指向装置。 为了显示文本和图形信息，图9的计算机系统包含图形子系统924和输出显示器926。
输出显示器926可包含阴极射线管(CRT)显示器、液晶显示器(LCD)或其它合 适的显示装置。图形子系统924接收文本和图形信息，且处理所述信息以用于输出到显 示器926。输出显示器926可用于报告路径查找确定的结果、显示正射纠正镶嵌、显示方向、显示确认信息和/或显示作为用户界面的一部分的其它信息。图9的系统还包含音 频系统928，其包含麦克风。在一个实施例中，音频系统928包含一从麦克风接收音频 信号的声卡。另外，图9的系统包含输出装置932。合适的输出装置的实例包含扬声器、 打印机等等。
图9的计算机系统中含有的组件是通用计算机系统中通常存在的组件，且用以表示 此项技术中众所周知的广泛类别的此类计算机组件。
因此，图9的计算机系统可为个人计算机、工作站、微型计算机、主计算机等等。 计算机还可包含不同的总线配置、网络连接平台、多处理器平台等等。可使用各种操作 系统，包含尤尼克斯(UNIX)、索拉力斯(Solaris)、哩呐克斯(Linux)、视窗(Windows)、 麦金塔操作系统(Macintosh OS)以及其它合适的操作系统。
上文描述的方法可自动执行。可能碰巧图像使得图像处理工具和对象辨识工具需要 某种校正。举例来说，正射纠正瓦片在其它正射纠正瓦片上的叠加或部分产生的正射纠 正镶嵌可导致正射纠正镶嵌中的不希望的可见失真。在所述情况下所述方法包含一些验 证和手动调适动作以实现确认或调适中间结果的可能性。这些动作也可适合于接受正射 纠正镶嵌产生的中间结果或最终结果。
已为说明和描述目的呈现了本发明的具体实施方式
。不希望其为详尽的或将本发明 限于所揭示的精确形式，且显然鉴于以上教示，许多修改和变化是可能的。举例来说， 本发明还适合于准确确定源图像中可检测到的任何种类对象的位置。选择所描述的实施 例以便最佳地解释本发明的原理及其实践应用，进而使所属领域的技术人员能够在各种 实施例中且用适于预期特定用途的各种修改来最佳地利用本发明。希望本发明的范围由 所附的权利要求书定义。
权利要求
1. 一种用于产生正射纠正瓦片的方法，其包括检索通过安装于在地球表面上行驶的移动车辆上的陆地用相机获得的源图像序列；检索与所述源图像相关联的位置数据，其中所述位置数据包含定义与所述车辆内的参照位置的关系的恒定位置参数以及在地理坐标参照系中对应于所述车辆的参照位置在所述坐标参照系中的坐标位置的可变参数；检索与所述源图像相关联的定向数据，其中所述定向数据包含与所述相机相对于所述车辆的参照定向的定向具有关系的恒定定向参数以及在所述地理坐标参照系中对应于所述车辆的所述参照定向在所述坐标参照系中的定向的可变定向参数；借助于对应位置数据和定向数据转换源图像以获得所述正射纠正瓦片和对应的元数据，所述元数据定义所述正射纠正图像中像素坐标向所述地理坐标参照系中的位置的转换。
2. 根据权利要求1所述的方法，其中所述方法进一步包括依据与所述源图像相关联的所述位置和定向数据而估计对应于所述地球表面的 平面；以及使用所述平面进行转换以转换源图像而获得所述正射纠正瓦片。
3. 根据权利要求2所述的方法，其中所述正射纠正瓦片包括像素，且所述转换包含确定所述源图像中对应于所述正射纠正瓦片的像素的至少一个像素； 从所述源图像中所述至少一个像素的值确定所述正射纠正瓦片的所述像素的值。
4. 根据权利要求2或3所述的方法，其中所述预定义正射纠正瓦片的形状是矩形。
5. 根据前述权利要求中任一权利要求所述的方法，其中通过安装于在地球表面上移动 的车辆上的相机获得所述源图像序列，所述定向数据包含与所述车辆的经定义定向 与所述车辆的行驶方向之间的角度具有关系的可变定向参数。
6. 根据前述权利要求中任一权利要求所述的方法，其中通过安装于在地球表面上移动 的车辆上的相机获得所述源图像序列，所述定向数据包含与由道路表面定义的平面 与水平面之间的角度具有关系的可变定向参数。
7. 根据权利要求6所述的方法，其中可变定向参数与由所述移动车辆下方的所述道路 表面定义的平面与水平面之间的角度具有关系。
8. 根据前述权利要求中任一权利要求所述的方法，其中转换包含校正所述源图像中的几何失真；对所述相机的焦点执行3D旋转以便获得垂直图像； 将所述垂直图像转换为正射纠正瓦片。
9. 一种用于产生正射纠正镶嵌的方法，其包括-借助于根据权利要求1到8中任一权利要求所述的方法从通过安装于在地球表面 上行驶的移动车辆上的陆地用相机获得的源图像产生正射纠正瓦片； 从所述正射纠正瓦片和对应的元数据产生所述正射纠正镶嵌和元数据。
10. 根据权利要求9所述的方法，其中产生所述正射纠正镶嵌包含-从位置数据定义用于所述正射纠正镶嵌的投影坐标参照系；借助于所述投影坐标参照系和对应于所述正射纠正瓦片的元数据确定所述正射 纠正镶嵌中的正射纠正瓦片区域；将所述正射纠正瓦片的所述确定区域的像素转换为所述正射纠正镶嵌的像素。
11. 一种用于执行根据权利要求1到8中任一权利要求所述的方法的计算机布置，所述 设备包括输入装置；处理器可读存储媒体；以及处理器，其与所述输入装置和所述处理器可读存储媒体通信； 输出装置，其与所述处理器通信；所述处理器可读存储媒体存储用以对所述处理器进行编程以执行包括以下动作 的方法的代码检索通过安装于在地球表面上行驶的移动车辆上的陆地用相机获得的源图像序 列；检索与所述源图像相关联的位置数据，其中所述位置数据包含定义与所述车辆内的参照位置的关系的恒定位置参数以及在地理坐标参照系中对应于所述车辆的参照位置在所述坐标参照系中的坐标位置的可变参数；检索与所述源图像相关联的定向数据，其中所述定向数据包含与所述相机相对于 所述车辆的参照定向的定向具有关系的恒定定向参数以及可变……；借助于对应位置数据和定向数据转换源图像以获得正射纠正瓦片和对应的元数 据，所述元数据定义像素坐标向所述地理坐标参照系中的位置的转换； 从所述正射纠正瓦片产生正射纠正镶嵌和对应的元数据；以及 将所述正射纠正镶嵌和相关联的元数据存储在存储媒体上。
12. —种处理器可读存储媒体，其承载通过根据权利要求9到IO中任一权利要求所述 的方法获得的正射纠正镶嵌。
13. —种计算机程序产品，其包括当加载到计算机布置上时允许所述计算机布置执行根 据权利要求1到IO所述的方法中的任一者的指令。
14. 一种处理器可读媒体，其承载当加载到计算机布置上时允许所述计算机布置执行根 据权利要求1到IO所述的方法中的任一者的计算机程序产品。
15. —种从通过安装于在地球表面上行驶的移动车辆上的陆地用相机获得的至少一个 基于陆地的图像序列的源图像收集位置准确的水平信息和位置准确的垂直信息两 者的方法，所述方法包括检索源图像；检索与所述源图像相关联的位置数据，其中所述位置数据包含定义与所述车辆内 的参照位置的关系的恒定位置参数以及在地理坐标参照系中对应于所述车辆的参 照位置在所述坐标参照系中的坐标位置的可变参数；检索与所述源图像相关联的定向数据，其中所述定向数据包含与所述相机相对于 所述车辆的参照定向的定向具有关系的恒定定向参数以及在所述地理坐标参照系 中对应于所述车辆的所述参照定向在所述坐标参照系中的定向的可变定向参数；从所述源图像检索水平信息和在所述地理坐标参照系中的对应位置，其中通过借 助于与所述源图像相关联的位置数据和定向数据至少部分转换至少部分包括所述 水平信息的源图像以获得所述水平信息的正射纠正表示而获得所述位置，所述正射 纠正表示包括图像数据和元数据，所述元数据定义所述正射纠正表示的像素坐标向 所述地理坐标参照系中的位置的转换；从至少一个源图像检索垂直信息且借助于与所述源图像相关联的所述位置数据 和定向数据定位所述垂直信息的位置；以及存储所述垂直和水平信息以及相关联位置以用于地图数据库。
16.<image>image see original document page 4</image>
17. —种从通过安装于在地球表面上行驶的移动车辆上的陆地用相机获得的至少一个 源图像收集位置准确的水平信息和位置准确的对象信息两者的方法，其中所述对象 附接到地面的附接点在所述至少一个源图像的至少一个像素中可见，所述方法包 括检索所述至少一个源图像；检索与所述至少一个源图像相关联的位置数据，其中所述位置数据包含定义与所 述车辆内的参照位置的关系的恒定位置参数以及在地理坐标参照系中对应于所述车辆的参照位置在所述坐标参照系中的坐标位置的可变参数；检索与所述至少一个源图像相关联的定向数据，其中所述定向数据包含与所述相 机相对于所述车辆的参照定向的定向具有关系的恒定定向参数以及在所述地理坐 标参照系中对应于所述车辆的所述参照定向在所述坐标参照系中的定向的可变定 向参数；从所述至少一个源图像检索水平信息和在所述地理坐标参照系中的对应位置，其 中通过借助于与所述至少一个源图像相关联的所述位置数据和定向数据确定与水 平信息关联的至少一个源图像像素的正射纠正位置而获得所述位置；从所述至少一个源图像检索对象信息；确定对应于所述对象对地面的所述附接点的所述至少一个像素，且借助于与所述 至少一个源图像相关联的所述位置数据和定向数据确定对应于所述对象对地面的 所述附接点的至少一个像素在所述地理坐标参照系中的正射纠正位置；存储所述对象信息和水平信息以及在所述地理坐标参照系中的相关联位置以用 于地图数据库。
全文摘要
本发明涉及一种用于产生正射纠正瓦片的方法。所述方法包括检索借助于陆地用相机获得的源图像；检索与所述源图像相关联的位置数据；检索与所述源图像相关联的定向数据；以及借助于对应位置数据和定向数据转换源图像以获得所述正射纠正瓦片。正射纠正瓦片用于产生正射纠正镶嵌。借助于本发明，使用由陆地用相机记录的图像来产生具有对应道路标志的道路表面地图。
文档编号G01C11/00GK101523157SQ200780037630
公开日2009年9月2日 申请日期2007年10月9日 优先权日2006年10月9日
发明者沃伊切赫·托马什·诺瓦克, 马尔钦·米夏尔·克米奇克 申请人:电子地图有限公司