专利名称：产生多视点全景图的方法及设备的制作方法
技术领域：
本发明涉及一种产生多视点全景图的方法。本发明进一步涉及一种从多视点全景 图产生路边全景图的方法。本发明进一步涉及一种用于多视点全景图的设备、 一种计 算机程序产品及一种携载所述计算机程序产品的处理器可读媒体。本发明进一步涉及 一种使用所述路边全景图的计算机实施的系统。
背景技术：
当今，人们使用导航装置来沿道路对自己进行导航或使用因特网上的地图显示。 导航装置在其显示器中显示位置的平面透视、有角透视(鸟瞰图)或可变比例的"2D" 地图。所述显示器中仅显示关于道路的信息或一些关于区域(例如，湖泊及公园)的 简单属性信息。此种信息实际上是位置的抽象表示且并不显示位于所述显示器中所示 (实际地或虚拟地)的位置处的人或相机可看到的事物。 一些因特网应用显示从卫星 或飞机上拍摄的俯视图片且仍很少地显示从道路拍摄的有限的一组照片，可能在用户 的位置(真实的或虚拟的)附近且面向用户打算看向的大致相同的方向。
在未来的导航装置及因特网应用中需要更准确且更现实的路边视图。所述路边视 图使得用户能够看到在特定位置可看到的事物且在驾驶时非常容易地检验导航装置是 否使用正确的位置或检验在因特网上询问的所关心的地方真正是其想去的地方或仅仅 因为娱乐或商业原因而更详细地观看所述区域。在所述显示器中，用户则可立即看到 在显示器上看到的建筑物是否对应于其可在路边看到的建筑物或根据记忆或其它描述 想象的建筑物。将从自不同的观点捕获的图像产生的全景图像视为多视点或多视角的。 另一种类型的全景图像是缝隙扫描全景图。在其最简单的形式中，条带全景图沿水平 轴展现正射投影，且沿垂直轴展现透视投影。
从阿什姆阿加瓦拉(Aseem Agarwala)等人的以多视点全景图拍摄长景物 (Photographing long scenes with multi-viewpoint panoramas) (ACM图形学、汇干lj (SIGGRAPH 2006学报)，2006年)知道用于产生多视点全景图的系统。用于产生 长、大致平面的景物(例如，沿城市街道的建筑物的正面)的多视点全景图的系统从 使用手持式照相机捕获的相对稀疏的一组照片产生。用户必须识别所拍摄的景物的主 平面。然后，系统使用马可夫随机场优化自动计算全景图。
用于描绘周围事物的现实图像的另一种技术是开发区域的全3D模型且然后将现 实纹理应用到每一建筑物的外部尺寸。应用(例如，导航单元中或因特网上的应用)则可使用3D再现软件来构造周围对象的现实图片。
发明内容
本发明试图提供一种产生多视点全景图的替代方法及一种以接近照片的质量提 供表示虚拟表面的一组高质量的易于理解的图像的替代方式，所述图像易于操纵以获 得伪现实透视图像而不存在开发3D模型的增加的成本及复杂性。
根据本发明，所述方法包含
获取通过安装在移动车辆上的激光扫描仪获得的一组激光扫描样本，其中每一样 本与位置数据相关联；
获取至少一个图像序列，其中已借助安装在所述移动车辆上的基于陆地的相机获 得每一图像序列，其中所述至少一个图像序列中的每一图像与位置及定向数据相关联;
从所述组激光扫描样本中抽取表面且依据与所述激光扫描样本相关联的所述位 置数据确定所述表面的位置；
依据所述表面的所述位置及与所述图像中的每一者相关联的所述位置及定向数 据从所述至少一个图像序列产生所述多边形的多视点全景图。
本发明是基于辨识移动测绘车辆，所述移动测绘车辆行驶在地球表面上、用基于 陆地的相机记录表面收集的地理位置图像序列。此外，所述移动测绘车辆记录激光扫 描样本，所述激光扫描样本使得软件能够根据来自所述激光扫描仪样本的距离信息产 生所述移动测绘车辆的环境的3D表示。借助GPS接收器及惯性测量装置(例如，一 个或一个以上回转仪及/或加速计)确定车辆的位置及定向。此外，已知相机相对于车 辆且因此相对于环境的3D表示的位置及定向。为能够产生视觉上有吸引力的多视点 全景图，必须知道相机与全景图的表面之间的距离。所述全景图可表示路边的视图， 其从建筑物表面一直变化为街道的路边全景图。此可通过现有图像处理技术完成。然 而，此需要大量的计算机处理能力。根据本发明，通过处理激光扫描仪数据来确定所 述表面。此比仅使用图像处理技术需要少得多的处理能力来确定表面的位置。随后， 可通过将所记录的图像或图像的段投影到所确定的表面上来产生多视点全景图。
借助车载定位系统(例如，GPS接收器)及其它额外位置与定向确定装备(例如， 惯性导航系统-INS)准确地知道相机及激光扫描仪的地理位置。
本发明的另一个改进是在没有计算3D模型所必需的处理时间也没有再现全3D 模型所必需的处理时间的情况下提供显示某种写实性3D图像的影像的能力。3D模型 包含多个多边形或表面。再现全3D模型需要针对多边形中的每一者评价在从特定侧 观看所述3D模型时所述多边形是否可被看到。如果可看到多边形，那么所述多边形 将投影在所述影像上。根据本发明的多视点全景图仅为整个临街面的一个表面。
本发明的其它实施例已界定于所附权利要求书中。
在本发明的一个实施例中，产生包含检测在所述至少一个图像序列中的所有图像中阻碍观看所述表面的一部分的一 个或一个以上障碍物；
将所述一个或一个以上障碍物中的一者的视图投影到多视点全景图。激光扫描仪 样本使我们能够针对每一图像检测哪些障碍物在相机的前方且在将要产生的多视点全 景图的平面的位置之前。这些特征使我们能够检测所述平面的哪些部分在所述图像中 的任一者中不可见且应填满障碍物。此允许我们最小化在正面前方在所述全景图中可 见的障碍物的数量且从而从多视点全景图中排除尽可能多的障碍物以便在所有所述图 像中不阻碍观看所述表面的一部分。此使我们能够提供具有良好的视觉质量的临街面 的多视点全景图。
在本发明的另一个实施例中，产生进一步包含
针对所检测的障碍物中的每一者确定其是否在所述图像中的任一者中完全可见； 如果所检测的障碍物在至少一个图像中完全可见，那么将所述所检测对象的视图
从所述至少一个图像中的一者投影到多视点全景图。这些特征允许我们减少将部分地
显像于所述全景图中的障碍物的数量。此改善所述多视点全景图的吸引力。
在本发明的一个实施例中，优选地从图像中具有最垂直于多边形的相关联视角的
部分图像产生多视点全景图。此特征使我们能够从所述图像产生质量最好的多视点全景图。
在本发明的一个实施例中，通过组合多视点全景图来产生路边全景图。针对路边 全景图确定平行于线(例如，道路的中心线)但距所述线一定距离的共用表面。将具 有与所述共用表面不同的位置的多视点全景图投影在所述共用表面上以便就像在等于 所述表面与所述线之间的距离的距离处看到所述多视点全景图中的每一者那样表示所 述多视点全景图中的所述每一者。相应地，产生全景图，所述全景图显像具有与所述 共用表面不同的位置的多视点全景图中的对象，现在就像从相同的距离看到那样。已 从所述多视点全景图中移除尽可能多的障碍物以获得最好的视觉质量，产生其中将不 显像沿道路的许多障碍物的路边全景图。
根据本发明的路边全景图提供显示街道的某种写实性3D视图的影像的能力，而 不存在再现沿所述街道的建筑物的全3D模型所必需的处理时间。使用所述街道的3D 模型提供所述街道的3D视图需要针对沿所述街道的每一建筑物或每一建筑物的部分 确定其能否被看到且随后将所述建筑物或其部分的每一 3D模型再现为3D视图。可容 易地通过根据本发明的路边全景图提供显示街道的某种写实性3D视图的影像。所述 路边全景图表示当投影到共用表面上时沿所述街道的建筑物。可容易地通过依序(以 具有距离观看位置最远的位置的像素列开始一直到具有距离观看点最近的位置的像素 列)将所述路边全景图的像素列投影在所述3D视图上将所述表面变换为伪透视图像。 以此方式，可针对左及右路边全景图的表面产生现实的透视图像，从而产生街道的伪 现实视图。当使用沿街道的建筑物的3D模型时，仅需要表示两个表面的两个图像替 代多个多边形。
7可使用软件、硬件或软件与硬件的组合来实施本发明。当本发明的全部或部分在 软件中实施时，所述软件可驻存于处理器可读存储媒体上。适当的处理器可读存储媒 体的实例包括软磁盘、硬磁盘、CDROM、 DVD、存储器IC等。当系统包括硬件时， 所述硬件可包括输出装置(例如，监视器、扬声器或打印机)；输入装置(例如， 键盘、指向装置及/或麦克风)；及处理器，其与所述输出装置通信；以及处理器可读 存储媒体，其与所述处理器通信。所述处理器可读存储媒体存储代码，所述代码能够 编程所述处理器以执行所述动作从而实施本发明。本发明的过程还可在可经由电话线 或其它网络或因特网连接存取的服务器上实施。
下文将使用多个实例性实施例参照附图更详细地论述发明，所述附图打算图解说 明本发明而非限制其由所附权利要求书及其等效实施例界定的范围，附图中
图1显示具有相机及激光扫描仪的MMS系统； .图2显示位置及定向参数的图示；
图3显示本发明可借助其执行的计算机布置的框图4是根据本发明用于产生道路信息的过程的实例性实施方案的流程图5显示基于激光扫描样本的直方图6显示多边形检测的实例性结果；
图7显示源图像在虚拟平面上的投影的透视图8显示源图像在虚拟平面上的投影的俯视图9显示源图像在虚拟平面上的投影的侧视图IO显示在不同位置的记录同一平面的两个相机的俯视图ll显示来自图IO中所示的情形的透视图12图解说明从两个图像构成全景图的过程；
图13显示在不同位置的记录同一平面的两个相机的俯视图14显示来自图13中所示的情形的透视图15a-d显示全景图的应用，
图16a-e图解说明在源图像中找到产生多视点全景图的区域的第二实施例， 图17显示用以分派源图像中将要选择的部分源图像的算法的流程图；及 图18显示路边全景图的另一个实例。
具体实施例方式
图1显示采用汽车1形式的MMS系统。汽车1具有一个或一个以上相机9 (i) (i=l，2，3,...I)及一个或一个以上激光扫描仪3 (j) (j-l，2，3,…J)。视角或所述 一个或一个以上相机9 (i)可在相对于汽车l的驾驶方向的任何方向上且因此可以是前视相机、侧视相机或后视相机等。优选地，汽车1的行驶方向与相机的视角之间的
角度在任一侧上在45度到135度的范围内。汽车1可由驾驶员驾驶着沿感兴趣的道路
行驶。在实例性实施例中，两个侧视相机安装在汽车1上，其中所述两个相机之间的
距离是2米且所述相机的视角垂直于汽车1的行驶方向且平行于地球表面。在另一个 实例性实施例中，两个相机已安装在汽车1上，所述相机具有与所述汽车的一个侧的 水平视角及向前视角，其分别为约45。及135。。另外，具有45。的向上视角的第三侧视 相机可安装在所述汽车上。此第三相机用于捕获路边的建筑物的上部部分。
汽车l具有多个车轮2。此外，汽车1具有高准确性位置确定装置。如图1中所 示，所述位置确定装置包含以下组件
GPS (全球定位系统)单元，其连接到天线8且经布置以与多个卫星SLi (i = 1， 2,3,...)通信且根据从卫星SLi接收的信号计算位置信号。所述GPS单元连接到微处 理器^P。基于从所述GPS单元接收的信号，所述微处理器可确定将显示于汽车1 中的监视器4上的合适的显示信号，从而告知驾驶员汽车的所在位置及所述汽车可能 正沿哪个方向行进。替代GPS单元，可使用差分GPS单元。差分全球定位系统(DGPS) 是对全球定位系统(GPS)的增强，其使用固定的基于地面的参考站网络来广播由卫 星系统所指示的位置与已知的固定位置之间的差异。这些站广播所测量的卫星伪距与 实际(在内部计算的)伪距之间的差异，且接收器站可将其伪距校正相同量。
DMI (距离测量器具)。此器具是通过感测车轮2中的一者或一者以上的旋转 次数来测量汽车1行进的距离的计程仪。所述DMI还连接到微处理器hP以允许所述 微处理器)iP考虑由所述DMI测量的距离，同时依据来自所述GPS单元的输出信号计 算显示信号。
IMU (惯性测量单元)。此种IMU可实施为3个回转仪单元，其经布置以测 量沿3个正交方向的旋转加速度及平移加速度。所述IMU还连接到微处理器以允 许所述微处理器pP考虑所述DMI的测量结果，同时依据来自所述GPS单元的输出信 号计算显示信号。所述IMU还可包含航位推算传感器。
应注意，所属领域的技术人员可找到全球卫星导航系统与车载惯性与航位推算系 统的许多组合以提供车辆的准确位置及定向且因此提供装备(其以参照所述车辆的已 知位置及定向安装)的准确位置及定向。
如图1中所示的系统为所谓的"移动测绘系统"，其(举例来说)通过借助安装 在汽车1上的一个或一个以上相机9 (i)拍摄图片来收集地理数据。所述相机连接到 微处理器pP。所述汽车前方的相机9 (i)可以是立体相机。所述相机可经布置以产生 图像序列，其中已以预界定的帧速率捕获了图像。在实例性实施例中，所述相机中的 一者或一者以上为照相机，其经布置以在汽车1的每个预界定位移或每个时间间隔捕
获图片。所述预界定位移经选择以使得在垂直于行驶方向的预界定距离处的位置捕获 为侧视相机的至少两个连续图片。举例来说，可在每行进4米之后捕获图片，从而在 平行于行驶方向的平面的每一图像中在5米距离处产生重叠。当汽车l正沿路边的建筑物行驶时，激光扫描仪3 (j)扫描激光样本。其还连接 到微处理器gP且将这些激光样本发送到微处理器pP。
通常想要从3个测量单元GPS、 IMU及DMI尽可能准确地提供位置及定向测量。 当相机9 (i)拍摄图片且激光扫描仪3 (j)扫描激光样本时，测量这些位置及定向数 据。存储所述图片及激光样本以供稍后联合在拍摄这些图片的同时收集的汽车l的对 应的位置及定向数据用于的合适的存储器中。所述图片包括关于道路信息的信息， 例如，道路的中心、路面边缘及道路宽度。由于从同一位置确定装置获得与所述激光 样本及图片相关联的位置及定向数据，因此可在所述图片与激光样本之间进行精确的 匹配。
图2显示哪些位置信号可从图1中所示的三个测量单元GPS、 DMI及IMU获得。 图2显示微处理器经布置以计算6个不同参数，即，相对于预定坐标系统中的原 点的3个距离参数x、 y、 z及分别是cox、 coy、 C0z的3个角参数，其分别表示绕x轴、 y轴及z轴的旋转。z方向与重力向量的方向一致。总体UTM坐标系统可用作预定坐 标系统。
通常想要从3个测量单元GPS、 IMU及DMI尽可能准确地提供位置及定向测量。 当相机9 (i)拍摄图像且激光扫描仪3 (j)扫描激光样本时测量这些位置及定向数据。 存储所述图像及所述激光样本两者以供稍后联合在拍摄这些图片及激光样本的时刻汽 车1的对应的位置及定向数据以及相机及激光扫描仪相对于汽车1的位置及定向用于 微处理器的合适的存储器中。
所述图片及激光样本包括关于路边的对象(例如，建筑物块正面)的信息。在一 个实施例中，激光扫描仪3 (j)经布置以产生具有最小50Hz及l度的分辨率的输出 以便产生用于所述方法的足够密集的输出。由SICK生产的激光扫描仪(例如，MODEL LMS291-S05)能够产生此种输出。
汽车l中的微处理器及存储器9可实施为计算机布置。图3中显示此种计算机布 置的实例。
在图3中，给出计算机布置300的概略图，其包含用于实施算术运算的处理器311。 在图1所示的实施例中，所述处理器将是微处理器^P。
处理器311连接到多个存储器组件，包括硬磁盘312、只读存储器(ROM) 313、 电可擦除可编程只读存储器(EEPROM) 314及随机存取存储器(RAM) 315。未必 需要提供所有这些存储器类型。此外，这些存储器组件无需在物理上接近于处理器311 定位而是可远离处理器311定位。
处理器311还连接到用户用来输入指令、数据等的构件，如键盘316及鼠标317。 也可提供所属领域的技术人员已知的其它输入构件，例如触摸屏、轨迹球及/或声音转 换器。
提供连接到处理器311的读取单元319。读取单元319经布置以从可移除数据载 体或可移除存储媒体(如软磁盘320或CDROM 321)读取数据及可能在其上写入数据。其它可移除数据载体可以是磁带、DVD、 CD-R、 DVD-R、存储器棒等，如所属 领域的技术人员已知。
处理器311可连接到打印机323以在纸张上以及向显示器318打印输出数据，所 述显示器例如监视器或LCD (液晶显示器)屏幕或所属领域的技术人员已知的任何其 它类型的显示器。
处理器311可连接到扩音器329。
此外，处理器311可借助I/0构件325连接到通信网络327,例如，公共交换电 话网络(PSTN)、局域网(LAN)、广域网(WAN)、因牛寺网等。处理器311可经 布置以通过网络327与其它通信布置通信。I/O构件325进一步适于将位置确定装置 (DMI、 GPS、 IMU)、相机9 (i)及激光扫描仪3 (j)连接到计算机布置300。
数据载体320、 321可包含数据及指令形式的计算机程序产品，所述计算机程序 产品经布置以给处理器提供执行根据本发明的方法的能力。然而，此种计算机程序产 品或者可经由电信网络327下载。
处理器311可实施为独立系统，或实施为多个各自经布置以实施较大计算机程序 的子任务的并行操作处理器，或实施为具有若干子处理器的一个或一个以上主处理器。 本发明的部分功能性甚至可由通过电信网络327与处理器311通信的远程处理器实施。
图3的计算机系统中所含有的组件为通常在通用计算机系统中找到的那些组件， 且打算表示在所属技术中众所周知的这些计算机组件的宽广种类。
因此，图3的计算机系统可以是个人计算机、工作站、小型计算机、大型计算机 等。所述计算机还可包括不同的总线配置、联网平台、多处理器平台等。可使用各种 操作系统，包括UNIX、 Solaris、 Linux、 Windows、 Macintosh OS及其它合适的操作 系统。
为对通过相机9 (i)及激光扫描仪3 (j)拍摄的图像及扫描以及位置/定向数据进 行后处理，将使用与图3中的布置类似的布置，但此布置将不位于汽车1中而是可方 便地位于建筑物中用于离线后处理。将通过相机9 (i)及扫描仪3 (j)拍摄的图像及 扫描以及相关联的位置/定向数据存储在一个或一个以上存储器312-315中。此存储可 通过首先将所述图像及扫描以及所述相关联位置/定向数据存储在DVD、存储器棒或 类似物上或从存储器9中传输其(可能无线地)完成。可将界定汽车1的轨迹的相关 联位置及定向数据存储为原始数据，包括时间戳。此外，每一图像及激光扫描仪样本 具有时间戳。所述时间戳使我们能够准确地确定相机9 (i)及激光扫描仪3 (j)在分 别捕获图像及激光扫描仪样本时的位置及定向。以此方式，所述时间戳界定图像中所 示的视图与激光扫描仪样本之间的空间关系。也可将相关联的位置及定向数据存储为 由所使用的数据库架构与相应的图像及激光扫描仪样本链接的数据。
在本发明中，通过使用相机9 (i)所拍摄的图像及激光扫描仪3 (j)所扫描的扫 描两者来产生多视点全景图。所述方法使用来自图像处理及激光扫描技术两个领域的 独特的技术组合。本发明可用于产生从建筑物的临街面变化为街道的整个路边视图的图4显示根据本发明用于产生路边信息的过程的实例性实施方案的流程图。图4 显示以下动作
A. 动作42:激光点地图创建
B. 动作44:从激光点地图中抽取对象的平面坐标
C. 动作46:源图像部分选择(使用阴影地图)
D. 动作48:从选定的源图像部分构成全景图下文将详细阐释这些动作。 A,动作42:激光点地图创建
用于找到平面点的好方法是使用直方图分析。直方图包含激光扫描仪3 (j)在某 一距离处扫描的如在垂直于MMS系统行进的轨道的方向上看到且沿汽车1行进的某 一距离相加的激光扫描样本的数量。所述激光扫描仪可在垂直于地球表面的表面中在 (举例来说)跨越180。的角方向上扫描。例如，所述激光扫描仪可扫描180个样本， 每一样本从其邻近样本偏离1°。此外，至少每20cm制作激光扫描样本片。通过一秒 旋转75次的激光扫描仪，汽车行驶速度不应快于54 km/h。在大多数时间，MMS系 统将沿行沿一条线的路线，所述线沿某条道路引导(仅当由于某个原因改变车道或拐 弯时，所行进的路径将显示从此路线的偏离。
激光扫描仪3 (j)在一个实施例中是2D激光扫描仪。2D激光扫描仪3 (j)提供 一组三个数据(所谓的激光样本)，其包含测量时间、测量角度及从激光扫描仪3 (j) 到在此角度上可见的最近的固体的距离。通过组合汽车l位置及定向(其由所述汽车 中的位置确定装置捕获)、激光扫描仪相对于汽车1的相对位置及定向及激光样本， 创建如图5中所示的激光点地图。通过在垂直于所述汽车的行驶方向的方向上扫描的 激光扫描仪获得图5中所示的激光点地图。如果使用多于一个激光扫描仪产生所述激 光点地图，那么所述激光扫描仪可具有(举例来说)45°、 90°及/或135。的角度。如果 仅使用一个激光扫描仪，垂直于行驶方向进行扫描的激光扫描仪在激光点地图空间中 提供用于找到平行于行驶方向的垂直平面的最好分辨率。
在图5中，显示两个直方图
1. 距离直方图61-此直方图61显示在某一行进距离(例如，2米)上相加的依 据到汽车1的距离的激光扫描样本的数量，包括接近于汽车1的样本。当每 20 cm制作激光扫描片时，将计及IO片的激光扫描样本。图中显示接近于 汽车1的峰值，其指示接近于汽车1的激光"回波"。由于激光扫描进行的 角度扫掠，此峰值与接近于汽车l存在的许多回波相关。此外，较大距离处 存在第二峰值，其与在距离汽车1的所述较大距离处识别的对象的垂直表面 相关。
2. 距离直方图63仅显示距离汽车1的某一距离处的第二峰值，其指示仅一个 对象。由于激光扫描的角分布，通过消除汽车l的直接附近区域中的较高密 度的激光扫描样本来实现此直方图。此消除的作用是某人将更好地看到远离汽车1的某一距离处的对象，即，建筑物65的正面。所述消除进一步具有 在所述直方图中减小障碍物的影响的作用。此减小障碍物将错误地被辨识为 垂直平面的机会。
直方图63上的峰值指示平行于汽车行进方向的平坦固体表面的存在。可通过任 何可用方法确定汽车1与正面65之间的大约距离。举例来说，共用待决专利申请案 PCT/NL2006/050264中所阐释的方法可用于所述目的，所述专利申请案以引用方式并 入本文中。或者，可比较指示汽车1行进的轨道的GPS (或其它)数据与显示建筑物 的占地面积的位置的数据，且从而再现汽车1与正面65之间的大约距离数据。通过分 析某一区域内关于此大约距离的直方图数据，将此区域内的局部最大峰值识别为是正 面65的基点。将在(举例来说)此局部最大峰值之前0.5m的垂直距离内的所有激光 扫描样本视为正面65的建筑细节且标记为"平面点"。丢弃具有比最大峰值大的垂直 距离的激光扫描样本或可将其标记为"平面点"。所有其它样本是具有在局部最大峰 值的位置与汽车1的位置之间的位置的激光扫描样本，将其视为"鬼点"并这么标记。 应注意，0.5m的距离仅作为实例给出。如果需要，可使用其它距离。
沿汽车l的轨迹，每2米执行一次直方图分析。以此方式，激光点地图划分成2 米的片。在每个片中，直方图确定是否将激光扫描样本标记为"平面点"或"鬼点"。
B.动作44:从激光点地图中抽取对象的平面坐标
标记为"平面点"的激光样本用于从激光点地图中抽取平面坐标。本发明在3D 空间中对表示临街面(通常是建筑物正面)的表面进行处理。通过其中所述表面是多 边形(其是表示建筑物正面的垂直矩形)的实例阐明本发明。应注意，所述方法可应 用于任何'垂直'表面。因此，下文说明中的术语"多边形"不应限于由笔直侧限定 的闭合平面图，而是原则上可以是任何"垂直"表面。'垂直'表面意指相机可看到 的任何共用构造的表面。
从标记为"平面点"的激光扫描仪数据中抽取多边形。许多现有技术可用于找到 平面或表面，包括基于RANSAC (随机取样一致性)算法的方法。
简单的RANSAC算法直接用于标记为"平面点"的3D点上。对于仅垂直平面， 本发明的简化的实施例首先通过丢弃3D点的高度值将所有非地面点投影在某一水平 平面上。然后对所述水平平面的2D点使用RANSAC或霍夫变换(Hugh transform) 来检测线。这些线用于导出平面沿所述线的下部及上部位置。
上文所述的算法需要额外处理来找到限制平面的多边形。已知用于找到限制平面 的多边形的现有技术方法。在一个实例中，将来自所述平面的低于给定阈值的所有激 光点投影在平面上。此平面类似于可对其应用聚类技术及图像分割算法以获得表示(举 例来说)建筑物正面的边界的多边形的2D图像。图6显示多边形检测的实例性结果。 通过组合来自两个激光扫描仪的激光扫描仪样本获得图6中所示的激光扫描仪地图。 一个具有与汽车1的行驶方向45。的角度且另一个具有与汽车1的行驶方向135°的角 度。因此，可紧在建筑物的前正面600的平面的多边形之后抽取侧正面602、 604的平面的两个多边形。对于每一所检测的平面，通过平面坐标描述多边形，所述平面坐标 是预定坐标系统中平面的拐角的3D位置。
应注意，也可使用关于建筑物的地理参考3D位置(可从商业数据库获得)检索
平面的多边形且确定来自激光扫描仪地图的激光扫描仪样本是否是"平面点"或"鬼点"。
应注意，当针对仅一个建筑物的临街面产生多视点全景图时，所述临街面的基点 的定向可未必平行于行驶方向。
临街面的多视点全景图可用于产生路边多视点全景图。路边全景图是建筑物的多 个多视点全景图的组合物。根据本发明的路边全景图的特性是-
全景图表示虚拟的共用构造的垂直表面；
全景图的每一像素列表示距离汽车的轨迹、街道的中心线或沿街道的线的任何其 它表示的预定垂直距离处的垂直表面，及
全景图的每一像素表示表面的区域，其中所述区域具有固定高度。
如果产生街道的路边全景图，那么通常认为所述全景图的表面平行于行驶方向、 沿道路延伸的道路的中心线或任何其它特征。因此，弯曲的街道的路边全景图的表面 将遵循所述街道的曲率。认为所述全景图的每一点就像垂直于所述表面的定向看到的 那样。因此，对于街道的路边全景图，在激光扫描仪地图中搜寻一直到最共用表面的 距离或已给予所述距离预界定的值。此距离界定所述全景图在水平及垂直方向上的像 素分辨率。所述垂直分辨率取决于所述距离，而所述水平分辨率取决于所述距离与沿 所述街道的线的曲率的组合。然而，汽车的行驶方向与通过直方图分析找到的垂直表 面的基点之间的垂直距离可包含不连续。此可在两个相邻建筑物不具有相同的建筑物 线(即，不在同一平面上排成一行)时发生。为获得上文定义的路边全景图，每一建 筑物表面的多视点全景图将变换为就像从一直到最共用表面的距离看到建筑物表面那 样的多视点全景图。以此方式，每一像素将表示具有相等高度的区域。
在已知全景图中，具有相同大小但在不同距离处的两个对象在全景图中将以不同 大小显示。根据本发明的实施例，将产生路边全景图，其中具有相对于行驶方向的不 同垂直距离的两个类似对象在所述多视点全景图将具有相同大小。因此，当产生所述 路边全景图时，每一正面的全景图将按比例縮放，使得所述路边全景图的每一像素将 具有相同的分辨率。因此，在通过上述方法产生的路边全景图中，在5米的距离处的
具有IO米的实际高度的建筑物在所述路边全景图中将具有与在IO米的距离处具有10
米的实际高度的建筑物相同的高度。
具有上述特性的路边全景图显示沿街道的建筑物的正面，就像建筑物具有相同的 建筑物线，而实际上其将不具有相同的建筑物线。全景图的重要视觉对象在同一平面 中。此使得我们能够将前视全景图变换为透视图，而不存在令人烦恼的视觉变形。此
具有所述全景图可用于在如图3中所示的系统上或具有最小的图像处理能力的任何种
类的移动装置(例如，导航装置)上运行的应用程序中的优点。借助全景图(其中平行于街道的方向的建筑物的正面按比例縮放以具有相同的建筑物线)，可从任何观看 角度呈现全景图的近现实视图。近现实视图是可表示现实但不对应于现实的易于理解 的视图。
C，动作46:源图像部分选择(使用阴影地图)
通过本发明获得的多视点全景图由来自通过相机9 (i)获得的图像序列的一组图 像构成。每一图像具有相关联的位置及定向数据。未公开的专利申请案 PCT/NL2006/050252中所描述的方法用于确定哪些源图像具有观看窗口 ，所述观看窗 口包括在动作44中确定的表面的至少一部分。首先，从通过相机产生的至少一个源图 像序列中选择具有包括必须为其产生全景图的表面的至少一部分的观看窗口的源图 像。此可以完成，因为每一源图像具有捕获所述源图像的相机的相关联位置及定向。
在本发明中，表面对应于大致垂直的平面。知道相机的位置及定向以及观看角度 及观看窗口，可确定所述观看窗口在表面上的投影。知道测角术数学的所属领域的技 术人员能够将未公开的申请案PCT/NL2006/050252中所述的正射纠正方法重写为用于 将具有任意观看角度的观看窗口投影在任意表面上的方法。通过三个操作执行多边形 或表面区域在具有任意位置及定向两者的相机的观看窗口上的投影相机焦点上的旋 转，按比例縮放及平移。
图7显示源图像700的投影的透视图，其等于在虚拟表面702上的相机观看窗口 。 虚拟表面702对应于多边形且具有坐标(xtl，ytl，ztl) 、 (xt2，yt2, zt2) 、 (xt3, yt3， zt3) 及(xt4,yt4,zt4)。参考706指示相机的焦点。相机的焦点706具有坐标(xf,yf，zf)。 源图像700的边沿界定相机的观看窗口。穿过相机的焦点706的直线穿过观看窗口与 虚拟表面702两者的交叉点界定从虚拟表面702的像素在源图像700的像素上的投影。 此外，穿过相机的焦点706的直线与虚拟表面702的交叉点及标记为"鬼点"的激光 扫描仪样本界定在观看窗口中不能够看到的虚拟平面的点。以此方式，障碍物704的 阴影708可投影在虚拟表面702上。障碍物的阴影是虚拟表面(例如，正面)前方的 一组邻接像素。由于所述虚拟表面的位置对应于临街面的位置，因此所述阴影可准确 地投影在所述虚拟表面上。应注意，从临街面一直延伸0.5米的阳台被认为是共用结 构表面的部分。因此，源图像中所述阳台的透视图在的细节将投影在多视点全景图上。 所述透视图的细节是阳台的侧垂直于所述临街面，所述侧将不显像于建筑物的纯前视 图像中。
以上投影方法用于选择观看表面的至少一部分的源图像。在选择观看所述表面的 至少一部分的源图像之后，在激光扫描仪地图中，选择具有在相机的焦点的位置与所 述表面的位置之间的位置的激光扫描仪样本。这些是标记为"鬼点"样本的激光扫描 仪样本。选定的激光扫描样本表示妨碍相机记录虚拟表面702所表示的对象的障碍物。 通过已知的算法将选定的激光扫描仪样本聚类以形成一个或一个以上固体障碍物。然 后，在虚拟表面702上产生所述障碍物的阴影。此通过将穿过焦点706及所述固体障 碍物的直线一直延伸到虚拟表面702的位置来完成。沿障碍物的边界的线撞击虚拟表面702的位置对应于所述障碍物的阴影的边界点。
从图7中可看到，在图像中看到对象704 (即，树)在表面702前方。如果知道 对象704相对于虚拟表面702及相机的焦点706的位置，那么可容易地确定对象704 在虚拟表面702上的阴影708。
根据本发明，使用从激光扫描仪地图检索的表面或来自商业数据库的关于建筑物 正面的3D信息创建所述表面的地理定位多视点全景图。根据本发明的方法组合相机9 (i)位置及定向的3D信息、图像的焦距及分辨率(=像素大小)、所检测平面的3D 信息及激光扫描仪地图的鬼点样本的3D位置。相机的位置及定向信息与激光扫描仪 地图的组合使得所述方法能够针对每一个别图像确定
1) 相机所捕获的源图像是否包括表面的至少一部分；及
2) 哪个对象妨碍相机显像将处于所述表面的所述部分的图像信息。 所述组合的结果使得所述方法能够确定虚拟平面所表示的正面在所述图像的哪
些部分上可见。因此确定哪些图像可用于产生多视点全景图。将丢弃具有原本可捕获 虚拟表面的至少一部分但由于相机前方的巨大障碍物而不能够捕获所述虚拟表面的任 何部分的观看窗口的图像。表面的位置与相机位置之间的"鬼点"投影在源图像上。 此使得所述方法能够找到障碍物在所述源图像上可见且因此在最终的多视点全景图上 可见的表面或区域(阴影带)。
应注意，用以阐明本发明的实例使用多边形作为虚拟表面。已使用简单的实例减 小所述实例的复杂性。然而，所属领域的技术人员将立即认识到本发明并不限于平坦 表面而是可用于任何平滑表面，举例来说，垂直的弯曲表面。
图8及9分别显示将障碍物806投影在源图像800上及虚拟表面804上的俯视图 及侧视图。从激光扫描仪地图获得障碍物806的位置。因此，根据本发明，不通过对 多于一个图像使用图像分割及三角化算法以检测并确定平面及障碍物在图像中的位置 的复杂的图像处理算法获得对象的位置，而是通过结合相机的位置及定向数据使用来 自激光扫描仪地图的3D信息。结合相机的位置及定向数据使用激光扫描仪地图提供 在图像中确定障碍物的位置的简单且准确的方法，所述障碍物妨碍相机显像在所述障 碍物后方的对象的表面的区域。使用测角术来确定障碍物806在源图像800上的阴影 802以及障碍物806在虚拟表面804上的阴影808，所述虚拟表面描述对象(即，建筑 物正面)的临街面的位置及定向。虚拟表面上的阴影808在本发明的以下说明中将称 作阴影带。
通过找到源图像的以最好的方式显像已在激光扫描仪地图中找到的表面的区域 且将所述区域投影在多视点全景图上来构成多视点全景图。应选择所述源图像的显像 障碍物或在多视点全景图上显像具有最小阴影(-区域)的障碍物的区域并将其组合以 获得多视点全景图。
将揭示用于找到所述源图像中用以产生多视点全景图的部分源图像的两个可能 的实施方案。第一实施例用于找到所述区域。
在所述第一实施例中已通过针对显像表面的一部分的每一源图像产生阴影地图 实现以上目的。阴影地图是二进制图像，其中所述图像的大小对应于源图像的当投影 在平面上时显像所述平面的区域且其中针对每一像素指示其在所述源图像中是否显像 所述表面或障碍物。随后，将所有阴影地图叠置在对应于所述表面的主阴影地图上。 以此方式，针对所述表面且因此针对将要产生的多视点全景图制作了一个主阴影地图。
在一个实施例中，产生主阴影地图，其中此主阴影地图中的阴影带指示选定的源 图像中的至少一者在所述至少一个选定源图像的对应于所述阴影带的区域投影在多视 点全景图上时显像障碍物。换句话说，此主阴影地图识别正面的哪些区域在所述图像 中不被任何障碍物阻挡。应注意，主阴影地图的大小及分辨率类似于将要产生的多视 点全景图的大小及分辨率。
所述主阴影地图用于将多视点全景图分成若干段。通过找到最好的"锯割路径" 将所述主阴影地图切割为所述段来获得所述段，其中所述主阴影地图上的路径不将阴 影带划分为两个部分。分割界定必须如何构成全景图。应注意，锯割路径总是跨越主 阴影地图的已通过至少两个图像的阴影地图的叠置获得的区域。使所述路径在阴影带 之间确保全景图中段之间的接缝在正面的可见部分中且不可能在将投影在所述正面上 的障碍物的区域中。此使得所述方法能够选择用于将对应于段的区域投影在所述全景 图上的最好图像。所述最好的图像可以是在对应于所述段的区域中不具有阴影带的图 像或具有最小阴影带区域的图像。确定"锯割路径"的最好位置的额外标准可以是至 少两个图像相对于将要产生的全景图的平面的定向的视角。由于所述至少两个图像具 有不同的位置，因此相对于正面的视角将不同。已发现最垂直的图像将在全景图中提 供最好的视觉质量。
可将每一段定义为多边形，其中通过预界定坐标系统中的3D位置界定多边形的 边缘。由于"锯割路径"跨越在所有所述至少两个源图像中显像对应于所述平面的表 面的像素，因此此允许所述方法在两个段之间创建平滑区。所述平滑减小多视点全景 图中的视觉干扰。稍后将阐明本发明的此方面。所述平滑区的宽度可用作用于找到最 好的"锯割路径"的另一个标准。所述平滑区的宽度可用于界定锯割路径与阴影带之 间的最小距离。如果两个阴影带的边沿线之间的最近距离小于预界定的距离，那么将 创建具有两个阴影带的段。此外，源图像的用于所述平滑区的像素不应表示障碍物。 用于所述平滑区的像素是阴影周围的像素的边沿。因此，所述平滑区的宽度界定阴影 带的边沿线与界定包含所述阴影带的段的多边形之间的最小距离。应注意，如果导致 所述阴影带的障碍物在图像中部分可见，那么阴影带的边沿线与界定所述段的所述多 边形之间的距离可为零。
通过组合源图像中与所述段相关联的部分源图像来产生多视点全景图。为获得多 视点全景图的最佳显像，对于每一段，我们必须选择以最适当的方式显像对象的产生 多视点全景图所必须针对的所述段的源图像。
17以以下方式确定源图像的必须用于产生全景图的对应段的区域
1. 选择具有显像段的整个区域的区域的源图像；
2. 从先前动作中的源图像中选择在与源图像相关联的阴影地图中的相关联段中 包含最少数量的标记为阴影的像素的所述源图像。
第一动作确保仅从一个源图像中取源图像的对应于段的像素。此减小可见干扰的 数量，例如部分地显像障碍物。举例来说，停放在建筑物的区域前方的汽车对应于可 在三个图像中看到的段， 一个显像前端， 一个显像后端且一个显像整个汽车，那么在 所述情况下将取来自显像整个汽车的图像的段。应注意，选择其它图像可产生显像将 要通过全景图表示的对象的在选定图像中隐藏在汽车后方的更多细节的全景图。已发 现，人们发现完全显像障碍物的图像比部分显像所述障碍物的图像更具吸引力。应进 一步注意，可存在显像整个区域而不存在汽车的图像，然而其观看角度不如其它三个 图像有利。在所述情况下，将选择此图像，因为其在与所述图像相关联的阴影地图中 的相关联段中包含最少数量(零)的标记为阴影的像素。
此外，当存在显像整个区域而不存在任何对象(=零个标记为阴影的像素)的两 个图像时，将选择具有最近的垂直观看角度的图像用于在多视点全景图中显像所述区 域。
第一动作之后的第二动作确保选择显像通过全景图表示的对象的大部分的源图 像 。因此，对于每一段，选择在对应于所述段的区域中显像最小阴影带区域的源图像。
如果不存在显像对应于段的整个区域的任何图像，那么必须将所述段锯割为子 段。在所述情况下，可使用图像边界作为锯割路径。将对所述子段重复先前的步骤以 选择具有最有利区域的图像，以用于在多视点全景图中显像所述区域。确定所述最有
利区域的参数是标记为阴影的像素的数量及观看角度。
换句话说，以以下方式组合用于多视点全景图的源图像-
1. 当主阴影地图中的阴影带间断时，在多视点全景图的位于所述主阴影地图所界 定的阴影带之间的部分中执行拼接；
2. 当在投影在多视点全景图上的选定源图像中可见的障碍物的阴影带重叠或间 断时，通过以下规则将所述多视点全景图的区域分成若干部分
a) 选择包含全阴影带的源图像放入多视点全景图中。当存在包含全阴影带的多 于一个源图像时，选择以最接近于垂直向量的视角显像所述段的源图像。换句话说， 显像所述段的前视源图像优选地为以上角度观看的源图像；
b) 当不存在覆盖全阴影带的任何图像时，从显像所述段的源图像中的最垂直的 部分源图像中取所述段。
第二实施例用于找到所述区域。
将通过图16a-f阐明所述第二实施例。图16a显示两个相机位置1600、 1602及表 面1604的俯视图。位于在两个相机位置1600、 1602与表面1604之间的是第一障碍物 1606及第二障碍物1608。可在两个相机位置的观看窗口中看到第一障碍物1606且仅可通过第一相机位置1600看到第二障碍物1608。可通过将所述障碍物的阴影投影在 表面1604上来导出三个(阴影)区。通过从第一相机位置1600将所述第二障碍物的 阴影投影在所述表面上来获得区1610。已通过分别从所述第二及第一相机位置将所述 第一障碍物的阴影投影在所述表面上获得区1612及区1614。将分别针对从第一及第 二相机位置1600、 1602捕获的源图像产生阴影地图。针对源图像的显像表面1604的 一部分的每一部分，将产生阴影地图。此阴影地图(在与将要产生的表面1604的多视 点全景图相同的坐标系统中参考)针对每一像素指示像素是否显像表面1604或由于障 碍物而不显像所述表面。
图16b显示对应于从第一相机位置1600捕获的源图像的左阴影地图1620及对应 于从第二相机位置1602捕获的源图像的右阴影地图1622。所述左阴影地图显示表面 1604的显像于所述源图像中的哪些区域不包含表面1604的视觉信息。区域1624是对 应于第二障碍物1608的阴影且区域1626是对应于第一障碍物1606的阴影。可看到， 第一障碍物1606高于第二障碍物1608。右阴影地图1622仅显示一个区域1628，区域 1628不包含表面1604的视觉信息。区域1628对应于第一障碍物1606的阴影。
组合所述阴影地图以产生主阴影地图。主阴影地图是与必须针对其产生多视点全 景图的表面相关联的地图。然而，根据第二实施例，对于所述主阴影地图中的每一像 素，确定其是否可通过至少一个源图像来显像。所述主阴影地图的目的是找到所述全 景图的不显像所述表面但将显像所述表面前方的障碍物的区域。
图16c显示已通过组合阴影地图1620与1622获得的主阴影地图1630。可准确地 进行此组合，因为准确地记录了每一相机的位置及定向。区域1640是表面1604的不 能够通过从第一相机位置1600或第二相机位置1602捕获的任一源图像显像的区域。 此区域1640的像素是临界的，因为其将总是显示障碍物且从不显示表面1604。区域 1640中的像素获得对应的值，例如"临界"。区域1640在表面1604的多视点全景图 中将显示第一障碍物1606的一部分或第二障碍物1608的一部分。其它像素中的每一 者将获得值，所述值指示多视点全景图的相关联像素的值可从至少一个源图像获得以 显像所述表面。在图16c中，区域1634、 1636及1638指示对应于相应源图像的阴影 地图中的区域1624、 1626及1628的区域。所述区域1634、 1636及1638获得值，所 述值指示多视点全景图的相关联像素的值可从至少一个源图像获得以显像所述表面。
主阴影地图1630随后用于针对每一源图像产生使用地图。使用地图具有与所述 源图像的阴影地图相等的大小。所述使用地图针对每一像素指示
1) 源图像中对应像素的值是否应该用于产生多视点全景图，
2) 源图像中对应像素的值是否不应该用于产生多视点全景图，及
3) 源图像中对应像素的值是否可用于产生多视点全景图。
可通过针对源图像的阴影地图中的每一阴影带检验主阴影地图中的对应区域是
否包含指示像素不能够通过所述源图像中的任一者显像多视点全景图中的表面1604 的至少一个像素来产生此地图。如果是，对应于整个阴影带的区域将标记为"应使用"。如果否，对应于整个阴影的区域将标记为"不应使用"。剩余像素将标记为"可使用"。
图16d显示已通过组合阴影地图1620中的信息与主阴影地图1630获得的左使用地图 1650。区域1652对应于第二障碍物1608的阴影。此区域1652已获得值"应使用"， 因为阴影地图1620中的区域1624在主阴影地图中具有一个或一个以上标记为"临界" 的对应像素。此意指，如果区域1652的一个像素必须用于产生多视点全景图，那么必 须使用所述区域的所有其它像素。区域1654对应于第一障碍物1606的阴影。所述区 域1654已获得值"不应使用"，因为对应阴影地图1620中的区域1626在所述主阴影 地图中的对应区域1636中不具有标记为"临界"的任何像素，此意指可通过在通过第 二相机1602捕获的源图像中选择对应的区域来从多视点全景图中移除第一障碍物 1606。因此，源图像中对应于区域1654的区域不应该用于产生表面1604的多视点全 景图。已通过组合阴影地图1622中的信息与主阴影地图1630获得图16d的右使用地 图1656。区域1658对应于第二障碍物1606的阴影。此区域1658己获得值"应使用"， 因为阴影地图1622中的区域1628在主阴影地图中具有一个或一个以上标记为"临界" 的对应像素。此意指，如果区域1658的一个像素必须用于产生多视点全景图，那么必 须使用所述区域的所有其它像素。
使用地图1650及1656来选择源图像中的哪些部分必须用于产生多视点全景图。 将给出用以分派源图像中将要选择的部分源图像的算法的一个实施例。所属领域的技 术人员应清楚，可使用其它可能的算法。图17中显示所述算法的流程图。所述算法以 检索空选择地图开始，所述空选择地图针对多视点全景图的每一像素指示哪个源图像 应该用于产生表面1604的多视点全景图及与每一源图像相关联的使用地图1650、 1656。
随后选择1704尚未向其分派源图像的选择地图的像素。在动作1706中，搜索在 其相关联使用地图中具有标记为"应使用"或"可使用"的对应像素的源图像。优选 地，如果所有使用地图中的对应像素标记为"可使用"，那么选择具有相对于所述像 素的最垂直观看角度的源图像。此外，为优化全景图中的表面1604的可见性，在使用 地图中的一者中的对应像素标记为"必须使用"的情况下，优选地借助主阴影地图， 选择在使用地图中具有标记为"必须使用"的最小区域的源图像，其覆盖主阴影地图 中标记为"临界"的区域。
在选择所述源图像之后，在动作1708中，使用选定图像的使用地图来确定所述 源的在所述选定像素周围的哪一区域应该用于产生全景图。此可通过增长算法完成。 举例来说，通过选择使用地图中标记为"应使用"及可使用的所有相邻像素(且其中 尚未将源图像分派给选择地图中的对应像素)。
下一动作1710确定是否己向所有像素分派源图像。如果否，通过选择尚未向其 分派源图像的像素来再次执行动作1704且将重复随后的动作直到将向每一像素分派 源图像。
图16e显示两个图像，所述两个图像识别选择源图像中的哪些部分用于产生表面1604的多视点全景图。所述部分源图像的组合显示于图16f中，其对应于表面1604 的多视点全景图的选择地图1670。图16e的左图像1660对应于通过第一相机1600捕 获的源图像且右图像1662对应于通过第二相机1602捕获的源图像。选择地图1670 的左段1672中的像素被分派到从第一相机位置1600捕获的源图像中的对应区域，此 区域对应于图16e的左图像1660中的区域1664。选择地图1670的右段1674中的像 素被分派到从第二相机位置1602捕获的源图像中的对应区域。此区域对应于图16e 的右图像1662中的区域1666。
当应用上述算法时，在选择地图的左部选择像素，例如左上像素。所述像素仅存 在于一个源图像中。在动作1708中，相邻区域可增长直到其由选择地图的边沿及标记 为"将不使用"的像素限定。以此方式，选择区域1664且在选择地图1670中，向段 1672的像素分派第一源图像。随后，选择尚未向其分派源图像的新像素。此像素位于 区域1666中。随后，选择所述像素的相邻区域。区域1666的边沿由源图像边沿及选 择地图1670中已分派到其它源图像(即，分派到通过第一相机捕获的图像)的己经分 派的像素界定。
从源图像中选择对应于段1672及1674的像素将产生多视点全景图，其中第一障 碍物1606不可见且第二障碍物安全可见。
在图16e的右图像中，区域1668识别哪些对应的像素可用于产生表面1604的多 视点全景图的区域。可通过按照以下标准扩展动作1708来获得此区域当与其它源图 像的重叠边沿的宽度超过预界定的阈值(例如，7个像素)或在使用地图中标记为"应 使用"或"不应使用"的像素处时，所述增长过程停止。区域1668是此种重叠边沿。 此在图16e中由区域1676图解说明。此区域可用作平滑区。此使得所述方法能够掩饰 两个相邻源图像之间的不规则性，例如图像之间的色彩差异。以此方式，色彩可从第 一图像的背景色彩平滑地变为第二色彩的背景色彩。此减小正常应具有相同色彩的区 域中突发色彩改变的数量。
用于选择源图像部分的上述两个实施例针对多视点全景图产生地图，其中每一像 素被分派到源图像。此意指，将通过将对应的源图像部分投影在多视点全景图上来获 得在多视点全景图中可见的所有信息。两个实施例尝试通过选择源图像中显像表面而 不是障碍物的部分源图像消除尽可能多的障碍物。如果仅应用源图像部分的像素在全 景图上的投影，那么表面的一些部分不在任何源图像中显像且因此将显像障碍物或障 碍物的部分。然而，所述两个实施例可适于首先导出所述表面的不能够从所述源图像 中的任一者看到的区域的特征。这些区域对应于所述第二实施例的主阴影地图中的阴 影。可导出的一些特征是高度、宽度、形状、大小。如果区域的特征与预界定的标准 匹配，那么多视点全景图中对应于所述区域的像素可从多视点全景图中包围所述区域 的像素中导出。举例来说，如果所述区域的宽度在多视点全景图中不超过预定的像素 数量(例如，街灯柱的阴影)，那么可通过分派相邻像素的平均值或插入来获得所述 像素值。应清楚，可应用其它阈值函数。此外，可应用决定所产生的障碍物是否显著得足以以某一保真度重新产生的算 法。举例来说，挡住正面的树显示在两个图像中，在一个图像中在图像的边沿处仅看 到一小部分且在另一个图像中看到整棵树。所述算法可经布置以确定在全景图中包括 所述小部分是否不会看起来愚蠢。如果是，则显示所述小部分，从而产生显像正面的 最大部分的全景图及由于所述树而产生的小的视觉不规则性。如果否，那么将包括整 棵树，从而产生显露正面的较小部分的全景图，但不存在关于所述树的视觉不规则性。 以这些方式，可进一步减小可见障碍物的数量及在多视点全景图中的对应大小。此使 得所述方法能够提供具有最好的视觉效果的全景图。可对相应的阴影地图执行所述函 数。
D.动作48:从选定的源图像部分构成全景图
在产生对应于多视点全景图的段地图并针对每一段选择源图像(其应该用于投影 所述源图像中对应于所述段的区域)之后，将所述源图像中与所述段相关联的区域投
影在全景图上。此过程可与未公开的专利申请案PCT/NL2006/050252中所述的正射纠 正方法比较，所述正射纠正方法可描述为对源图像的区域执行三个操作，g卩，相机全 焦点上的旋转、按比例縮放及平移，此均为图像处理中众所周知的算法。所有段一同 形成组合图画，其是多视点全景图，因为使用具有不同位置的图像(=多视点)。
可通过沿两个段的边界界定平滑区来减小或消除从一个段到另一个段的交叉点 处的视觉不规则性。
在一个实施例中，通过对第一及第二源图像中的对应像素的值求平均来获得所述 平滑区的像素的值。在另一个实施例中，通过以下公式获得所述像素值value,-ax value imagel+ (1—a) x valueimage2，其中valuepan、 valueimagel及valueimage2分另U是多丰见 点全景图、第一图像及第二图像中的像素值且a是在O到1的范围内的值，其中当所 述平滑区触及所述第一图像时a = 1且当所述平滑区触及所述第二图像时a = 0， a可 从所述平滑区的一个侧线性地改变到另一个侧。在所述情况下，value^是所述平滑区 的中部第一及第二图像的值的平均值，所述中部通常是拼接的地方。应注意，参数a 在从0到1变化时可具有任何其它合适的过程。
在图像处理技术领域中，已知用以获得从一个段到另一个段的平滑交叉的许多其 它算法。
将通过一些简单的实例阐明上述方法。
图10显示在不同位置A、 B上且记录同一平面1004的两个相机1000、 1002的 俯视图。所述两个相机IOOO、 1002安装在移动的车辆(未显示)上且所述车辆从位置 A向位置B移动。箭头1014指示行驶方向。在所述给出的实例中，源图像序列仅包 括显像平面1004的两个源图像。当车辆在位置A处时从第一相机1000获得一个源图 像。当车辆在位置B时从第二相机1002获得另一个源图像。图11显示来自图10中 所示的情形的透视图像。所述左及右透视图像分别对应于通过第一相机1000及第二相 机1002捕获的源图像。两个相机具有相对于车辆的行驶方向的不同的视角。图10显示障碍物1006，举例来说位于位置A及B与平面1004之间的圆柱。因此平面1004 的部分1008在通过第一相机1000捕获的源图像中不可见且平面1004的部分1010在 通过第二相机1002捕获的源图像中不可见。
与通过相机1000捕获的源图像相关联的阴影地图在右半边具有阴影且与通过相 机1000捕获的源图像相关联的阴影地图在左半边具有阴影。图10显示平面1004的主 阴影地图的俯视图。所述阴影地图包含两个间断的阴影1008及1010。根据本发明， 拼接所述主阴影地图的地方1012在所述两个阴影1008与1010之间。在图11中，多 边形1102及1104表示其中划分平面1004的两个段。
如上所述，根据本发明的方法针对每一段分析每一源图像的阴影地图中的对应区 域。将选择以最小的阴影区域显像所述段的源图像。在所述给出的实例中，将选择在 对应段中不包含阴影的源图像来表示所述区段。因此，将从通过第一相机1000捕获的 图像中获得由图11中的多边形1102指示的平面1004的左部分且将从通过第一相机 1002捕获的图像中获得由图11中的多边形1104指示的平面1004的右部分。
图12图解说明在针对每一段选择用以显像对应的段的对应的源图像之后从图11 中所示的两个图像构成图10中的平面1004的全景图的过程。在一个实施例中，将多 边形1102及1104所界定的段投影在平面1004的多视点全景图上。
所述两个段在拼接的地方1202处不能完美地匹配。原因可能是所述两个源图像 在拼接的地方1202处在分辨率、色彩及其它视觉参数上的差异。当所述两个段在拼接 的地方1202的两个侧处的像素值是直接从相应图像中的仅一者中导出时，用户可在全 景图中注意到所述不规则性。为减小所述缺陷的可见性，可在拼接的地方1202周围界 定平滑区1204。
图B及14显示与上文给出的用于阐明本发明的实例类似的另一个简单实例。在 此实例中，另一个障碍物阻碍显像平面1304。图13显示在不同位置C、 D上且记录 同一平面1304的两个相机1300、 1302的俯视图。所述两个相机1300、 1302安装在移 动的车辆(未显示)上且所述车辆从位置C向位置D移动。箭头1314指示行驶方向。 在所述给出的实例中，源图像序列仅包括显像平面1304的两个源图像。当车辆在位置 C处时从第一相机1300获得一个源图像。当车辆在位置D时从第二相机1302获得另 一个源图像。图14显示来自图13中所示的情形的透视图像。图14中所示的左及右透 视图像分别对应于通过第一相机1300及第二相机1302捕获的源图像。两个相机具有 相对于车辆的行驶方向的不同的视角。图13显示障碍物1306，举例来说，位于位置C 及D与平面1004之间的圆柱。因此平面1308的部分1304在通过第一相机1300捕获 的源图像中不可见且平面1310的部分1304在通过第二相机1302捕获的源图像中不可 见。
图13显示与平面1304相关联的主阴影地图的俯视图。所述主阴影地图显示具有 重叠区域的阴影1008与1010。因为仅存在显像平面1304的两个图像，因此不能够在 所述图像中的任一者中看到与所述阴影相关联的平面的对应于所述重叠的区域。因此
23平面1304的全景图中对应于所述重叠的区域将显像障碍物1306的对应部分。现在，
可将所述主阴影地图划分为三个部分，其中一个部分包含所述阴影。界定包含所述阴 影的段的多边形的边沿线优选地以最小距离与所述阴影的边沿线间隔开。此允许我们
界定平滑区。参考1312及1316指示所述段的左及右边沿线。当两个源图像完全显像 所述段(在图14中可容易地看到的情景)时，将从具有相对于所述平面的最垂直的视 角的源图像中取所述段。在所述给出的实例中，将从通过第二相机1302拍摄的源图像 中取所述段。当将从同一源图像中取包含障碍物的段及所述平面的最右边部分时，可 移除具有参考1316的边沿线且不必在那里界定平滑区。因此，最终剩下两个段构成平 面1304的全景图。在图14中，多边形1302及1304表示源图像的用于构成平面1304 的两个段。参考1312指示可在那里界定平滑区的边沿线。
上述方法自动地执行。可能碰巧多视点全景图的质量使得执行本发明的图像处理 工具及对象辨识工具需要某一校正。举例来说，在激光扫描仪地图中找到的多边形对 应于两个邻近的建筑物，而对于每一建筑物正面，必须产生全景图。在所述情况下， 所述方法包括一些验证及手动调适动作以实现确认或调适中间结果的可能性。这些动 作还可适于接受道路信息产生的中间结果或最终结果。此外，表示建筑物表面的多边 形及/或关于一个或一个以上连续源图像的阴影地图的叠置可用于请求人来执行验证。
通过本发明产生的多视点全景图与合适的坐标系统中的相关联位置及定向数据 一同存储在数据库中。所述全景图可用于测绘出伪现实、易于理解的视图及在如谷歌 地球(Google Earth)、谷歌街景(Google Street View)及微软虚拟地球(Microsoft's Virtual Earth)等应用中产生世界各地的城市的视图或可方便地存储或安排在导航装置上。
如上所述，多视点全景图用于产生路边全景图。
图15a-15d显示通过本发明产生的路边全景图的应用。所述应用增强当前导航系 统及因特网上的导航应用的视觉输出。执行所述应用的装置不需要专用的图像处理硬 件来产生输出。图15a显示街道的伪透视图，其可在不使用路边的建筑物的复杂3D 模型的情况下容易地产生。己通过处理所述街道的左及右路边全景图及两个多视点全 景图之间的道路表面(地球表面)的图生相似性(map generated likeness)获得所述伪 透视图。所述地图及两个图像可能已通过处理已在移动测绘活动时间期间记录的图像 序列及位置/行进方向数据获得，或可能己使用虚拟平面的图像且将其与从数字地图数 据库中导出的数据组合。图15b显示街道的左侧的路边全景图且图15c显示街道的右 侧的路边全景图。图15d显示从地图数据库或也可从街道的经正射纠正的图像(也从 移动测绘车辆收集)扩展的段。可看出，可借助非常有限数量的平面产生街道的伪现 实视图。参考1502及1506分别指示已通过制作图15b及15c的全景图的伪透视图获 得的图像的部分。所述部分1502及1506可容易地通过将图15b及15c的全景图变换 为透视图像来产生，所述变化是通过依序(以具有距离观看位置最远的位置的像素列 开始一直到具有距离观看点最近的位置的像素列)将所述路边全景图的像素列投影在 所述伪现实视图上进行的。参考1504指示已通过制作地图数据库或道路表面的经正射纠正的图像的透视图的扩展获得的图像的部分。
应注意，在伪透视图像中，道路的一侧的所有建筑物具有相同的建筑物线且因此 其不能是完全透视图。实际上，每一建筑物可具有其自己的建筑物线。在通过缝隙扫 描相机捕获的全景图中，所述建筑物则将具有不同的大小。在本应用中使用此类型的 的全景图将产生看起来奇怪的透视图像。建筑物与道路之间的不同垂直距离在透视图 像中将解释为建筑物的不同高度及大小。在此种情况下，本发明能够以更完全的3D
表示所需要的处理能力的一小部分产生相当现实的视像。根据根据本发明的方法， 在两个步骤中产生街道的路边全景图。首先，对于沿街道的建筑物，将制作一个或一 个以上多视点全景图。其次，通过将所述一个或一个以上多视点全景图投影在一个共 用平滑表面上来产生路边全景图。在一个实施例中，所述共用平滑表面平行于沿所述 道路的线，例如，汽车的轨迹线、中心线、边沿线。"平滑"意指所述表面与沿所述 道路的线之间的距离可变化，但不突发地变化。
在所述第一个动作中，针对沿路边的每一平滑表面产生多视点全景图。可通过具 有相同建筑物线的一个或一个以上相邻建筑物正面形成平滑表面。此外，在此动作中， 将移除所述表面前方尽可能多的障碍物。障碍物的移除可仅在表面的所确定位置对应 于建筑物的正面的实际位置时准确地进行。所述表面沿所述道路的定向可变化。此外， 道路的方向与沿街道的两个相邻多视点全景图的表面之间的垂直距离可变化。
在第二个动作中，从在第一个动作产生的多视点全景图产生路边全景图。假设所 述多视点全景图是沿所述道路的平滑表面，其中认为每一像素表示就像从垂直于表面 的所界定距离看到的所述表面。在根据本发明的路边全景图中，所述路边全景图的每 一像素的垂直分辨率是类似的。举例来说，像素表示具有5cm的高度的矩形。所述应
用中所使用的路边全景图是虚拟表面，其中沿所述路边的建筑物的每一多视点全景图 按比例縮放使得其在所述虚拟表面处具有类似的垂直分辨率。相应地，将在全景图中 显像具有具有相等临街面但具有不同建筑物线的房屋的街道，就像房屋具有相同建筑
物线及类似临街面那样。
对于上述路边全景图，深度信息可沿全景图的水平轴相关联。此使得在具有某一 强大的图像处理硬件的系统上运行的应用能够根据建筑物的实际位置从全景图产生
3D表示。
在当前的数字地图数据库中，街道及道路存储为道路段。可通过在数据库中使左 及右路边全景图及任选地所述街道的道路表面的经正射纠正的图像与每一段相关联来 改善使用数字地图的本应用的视觉输出。在所述数字地图中，可通过绝对坐标或关于 段的预界定坐标的坐标来界定多视点全景图的位置。此使得所述系统能够准确地确定 输出中的全景图的伪透视图相对于所述街道的位置。
将通过若干段表示具有交叉点或汇合点的街道。所述交叉点或汇合点将是段的开
始点或结束点。当数据库针对每一段包含相关联的左及右路边全景图时，可容易地通 过制作与可见且在合理的距离处的街道的段相关联的左及右路边全景图的透视图来产生如图15a中所示的透视图。图15a是针对汽车具有平行于街道的方向的行驶方向的 情形产生的透视图像。箭头1508指示汽车在道路上的定向及位置。当针对最共用的平 面产生全景图时，全景图将以最左边的建筑物开始且以对应于道路段的路边的最右边 的建筑物结束。因此，交叉点处的建筑物之间的空间不存在全景图。在一个实施例中， 所述透视图像的这些部分将不与信息一同归档。在另一个实施例中，透视图像的这些 部分将与全景图的与连接到交叉点或汇合点的段相关联的对应部分及扩展的地图数据 或经正射纠正的表面数据一同归档。以此方式，交叉点的拐角处的建筑物的两个侧将 显示在透视图像中。
在不具有专用图像处理硬件的导航系统中，当驾驶汽车时，仍可依据行进的距离 频繁地刷新显示器，例如每一秒。在所述情况下，透视图每一秒将基于导航装置的实 际GPS位置及定向产生并输出。
此外，根据本发明的多视点全景图适合在用于容易地提供街道、地址或所关心的 任何其它点的周围的伪现实视图的应用中使用。举例来说，输出呈现线路规划系统可 容易地通过添加根据本发明的地理参考路边全景图而增强，其中建筑物的正面已按比 例縮放以使建筑物的像素的分辨率相等。此种全景图对应于街道的全景图，其中沿所 述街道的所有建筑物具有相同的建筑物线。用户搜寻位置。然后，对应的地图呈现在 屏幕上的窗口中。随后，在屏幕上的另一个窗口中(或临时在同一窗口上)，根据对 应于所述位置的垂直于道路的定向的路边呈现图像(像15b或15c的图像)。在另一 个实施方案中，屏幕上的地图的方向可用于界定应以何种定向给出全景图的透视图。 认为路边全景图的所有像素表示路边全景图的表面的位置处的临街面。所述路边全景 图仅包含假设在所述表面上的视觉信息。因此，可针对路边全景图的任何任意观看角 度容易地制作伪现实透视图。通过系统的旋转功能，所述地图可在所述屏幕上旋转。 同时，可产生对应于所做的旋转的对应的透视伪现实图像。举例来说，当街道的方向 是从屏幕的左侧到右侧表示数字地图的对应部分时，将仅显示如图15b中所示的全景 图的一部分。可在无需变换所述图像的情况下显示所述部分，因为假设所述显示表示 路边视图，其垂直于街道的方向。此外，所示部分从用户选择的位置对应于左及右全 景图的预定区。当所述街道的方向是从屏幕的底部到顶部，那么将通过组合左及右路 边全景图及任选地道路表面的经正射纠正的图像产生像图15a那样的透视图。
所述系统还可包含翻转功能，以通过一个指令在180。上旋转所述地图及观看街道 的另一侧。
系统的扫视功能可用于沿地图上的街道的方向行走且同时依据屏幕上的地图的 定向显示街道的对应显像。每当将伪现实图像呈现为所使用的图像时，左及右路边全 景图及经正射纠正的道路表面图像(如果需要)表示经纠正的图像。经纠正的图像是 其中每一像素表示建筑物正面的纯前视图及道路表面的俯视图的图像。
图15b及15c显示街道的路边全景图，其中所有的房屋具有相同的地平面。然而， 对于所属领域的技术人员显而易见的是，上述方法通常将产生其中具有不同地平面的
26房屋在路边全景图中将显示为不同高度的路边全景图。图18显示此种路边全景图。在 所述路边全景图中，在显示器上应仅显示对应于表示多视点全景图的表面的像素。因 此，当在显示器上重新产生所述路边全景图时，不应计及区域1802及1804中的像素。 优选地，将给予所述区域1802及1804能够检测沿所述路边的对象的区域的边沿线在 哪里的值、图案或纹理。举例来说，所述区域1802及1804中的像素将获得图像中通 常不存在的值，或在每一像素列中，所述像素的值以第一预界定的值开始且以具有第 二预界定的值的像素结束，其中所述第一预界定的值不同于所述第二预界定的值。应 注意，山上的建筑物可具有其中地平面具有坡度的临街面。则此也将在临街面的多视 点全景图及包含所述多视点全景图的路边全景图中看到。
存在当在屏幕上产生数字地图的透视图像时显像道路的高度信息的应用。如图18 中所示的路边全景图非常适合在用以提供街道的伪现实透视图的那些应用中使用。道 路表面的高度在大多数情况下将与临街面的地平面匹配。可能已将临街面的多视点全 景图投影在与路边全景图相关联的表面上。在所述情况下，道路表面的高度可能不与 临街面的地平面的高度匹配。可给所述应用提供检测道路表面的高度与多视点全景图 中的临街面的地平面之间的差异的算法。因此，所述应用经布置以通过检测区域1802 的顶部像素的位置来在每一像素列中确定对应于所述路边全景图所表示的对象的像素 的最低位置的垂直位置。由于每一像素表示具有预定高度的区域，因此可确定道路表 面与地平面之间在高度上的差异。随后使用沿街道的此差异来校正全景图中的临街面 的高度且产生道路表面与路边的伪透视图像，其中所述道路表面的高度与所述临街面 的地平面的高度匹配。
存在使用不包含道路的高度的地图的应用。因此，其仅适于产生水平地图的透视 图。图18的路边全景图的组合将产生透视图像，其中建筑物的地平面沿所述道路变化。 此不一致性可能看起来不现实。将给出其中这些应用可提供伪现实透视图像的两个实 施例。
在第一个实施例中，所述应用将从路边全景图中导出高度信息且使用所述高度信 息增强水平地图的透视图。因此，所述应用经布置以通过检测区域1802的顶部像素的 位置来在每一像素列中确定对应于所述路边全景图所表示的对象的像素的最低位置的 垂直位置。由于每一像素表示具有预定高度的区域，因此可确定沿街道在高度上的差 异。随后使用沿街道的此差异产生道路表面的伪透视图像，其显像沿所述街道在高度 上的对应差异。以此方式，可组合所述路边全景图与道路表面，其中在所述伪现实透 视图像中，所述道路表面与路边视图的表面将是邻接的。对于所属领域的技术人员显 而易见的是，如果必须根据图18中所示的临街面地平面产生具有不同高度的道路表 面，那么应产生逐渐增大/减小的道路表面。优选地，向从路边全景图导出的沿街道的 地平面应用平滑功能。应用此平滑功能的结果是道路表面的高度平滑地改变，此是道 路表面的更加现实的视图。
在第二实施例中，与第一实施例相反，所述应用将从路边全景图中移除区域1802且使用由此获得的图像与水平地图组合。区域1802的移除将产生与图15c中所示的路
边全景图类似的图像。通过从所述路边全景图中移除高度信息，产生伪现实透视图像， 表示其中沿道路的建筑物全部具有相同的地平面的水平道路表面。在所述情况下，路
边全景图中的正面的地平面具有坡度，可通过门及窗户的视觉矩形性的扭曲在伪现实 透视图像中看到所述坡度。
出于例示及说明目的，上文已提供了对本发明的详细说明。并不打算穷尽列举本 发明的形式或将本发明限于所揭示的确切形式，且显然鉴于以上教示许多修改及变化 均可行。举例来说，替代使用两个或多于两个相机的源图像，可仅使用一个相机的图 像序列来产生建筑物表面的全景图。在所述情况下，对于在垂直于移动车辆的轨迹的
预界定距离处的正面，两个连续图像应具有足够的重叠，举例来说，>60%。
为最好地阐释本发明的原理及其实际应用，因此选择所述实施例，以使所属领域 的技术人员能够最好地利用各个实施例中的本发明且通过所涵盖的适用于特定用途的 各种修改来最好地利用本发明。本发明的范围既定由所附权利要求书予以界定。
权利要求
1、一种产生路边的多视点全景图的方法，其包含获取通过安装在移动车辆上的至少一个基于陆地的激光扫描仪获得的一组激光扫描样本，其中每一样本与位置数据及定向数据相关联；获取至少一个图像序列，其中借助安装在所述移动车辆上的基于陆地的相机获得每一图像序列，其中所述至少一个图像序列中的每一图像与位置及定向数据相关联；从所述组激光扫描样本中抽取表面且依据与所述激光扫描样本相关联的所述位置数据确定所述表面的位置；依据所述表面的所述位置及与所述图像中的每一者相关联的所述位置及定向数据从所述至少一个图像序列产生所述表面的多视点全景图。
2、 根据权利要求l所述的方法，其中产生包含-检测在所述至少一个图像序列中的第一图像中阻碍观看所述表面的一部分的障 碍物；选择第二图像的显像所述表面的所述部分的区域；及 使用所述第二图像的所述区域产生所述多视点全景图的所述部分。
3、 根据权利要求1所述的方法，其中产生包含-检测在所述至少一个图像序列中的所有图像中阻碍观看所述表面的一部分的一 个或一个以上障碍物；将所述一个或一个以上障碍物中的一者的视图投影到所述多视点全景图。
4、 根据权利要求3所述的方法，其中产生进一步包含针对所述所检测的障碍物中的每一者确定其是否在所述图像中的任一者中完全 可见；如果所述所检测的障碍物在至少一个图像中完全可见，那么将所述所检测对象的 视图从所述至少一个图像中的一者投影到所述多视点全景图。
5、 根据权利要求1到4中任一权利要求所述的方法，其中优选地从图像中具有 最垂直于所述表面的相关联视角的部分产生所述全景图。
6、 根据权利要求1所述的方法，其中产生包含 产生所述表面的主阴影地图； 依据所述主阴影地图产生所述多视点全景图。
7、 根据权利要求6所述的方法，其中产生主阴影地图包含 选择具有包括所述表面的至少一部分的观看窗口的图像；通过投影在所述表面前方显像于对应的选定图像中的障碍物的阴影来产生每一选定图像的阴影地图；及组合所述选定图像的所述阴影地图以获得所述主阴影地图。
8、 根据权利要求6或7所述的方法，其中产生进一步包含 将所述主阴影地图分成若干段；针对每一段确定在其相关联观看窗口中不具有障碍物的对应图像；及 使用所述对应图像将与所述段相关联的区域投影在所述多视点全景图上。
9、 根据权利要求8所述的方法，其中产生进一步包含如果尚未找到段的对应图像，那么使用在其相关联观看窗口中具有整个障碍物的 图像。
10、 根据权利要求8或9所述的方法，其中产生进一步包含如果尚未找到段的对应图像，那么使用具有最垂直于所述表面的相关联视角的所 述图像。
11、 根据权利要求1、 2或3所述的方法，其中通过对所述组激光扫描样本执行直方图分析来抽取所述表面。
12、 一种产生路边全景图的方法，其包含-检索可能已通过权利要求1到10中任一权利要求及相关联的位置信息产生的多 个多视点全景图；确定所述路边全景图的虚拟表面的位置；及 将所述多个多视点全景图投影在所述虚拟表面上。
13、 一种用于执行根据权利要求1到11中任一权利要求所述的方法的设备，所 述设备包含输入装置；处理器可读存储媒体；及处理器，其与所述输入装置及所述处理器可读存储媒体通信； 输出装置，其用以实现与显示器单元的连接；所述处理器可读存储媒体存储代码，所述代码用以编程所述处理器以执行包含以 下动作的方法获取通过安装在移动车辆上的至少一个基于陆地的激光扫描仪获得的一组激光 扫描样本，其中每一样本与位置数据及定向数据相关联；获取至少一个图像序列，其中借助安装在所述移动车辆上的基于陆地的相机获得 每一图像序列，其中所述至少一个图像序列中的每一图像与位置及定向数据相关联；从所述组激光扫描样本中抽取表面且依据与所述激光扫描样本相关联的所述位 置数据确定所述表面的位置；依据所述表面的所述位置及与所述图像中的每一者相关联的所述位置及定向数 据从所述至少一个图像序列产生所述表面的多视点全景图。
14、 一种包含指令的计算机程序产品，当加载于计算机布置上时所述计算机程序 产品允许所述计算机布置执行根据权利要求1到11所述的方法中的任一者。
15、 一种携载计算机程序产品的处理器可读媒体，当加载于计算机布置上时所述计算机程序产品允许所述计算机布置执行根据权利要求1到11所述的方法中的任一 者。
16、 一种携载多视点全景图的处理器可读媒体，所述多视点全景图已通过执行根 据权利要求1到11所述的方法中的任一者获得。
17、 一种在屏幕上同时提供地图及街道中的选定位置以及来自所述位置的伪现实视图的计算机实施的系统，其包含包含所述选定位置的地图；根据权利要求11所述的至少一个路边全景图；用于在屏幕上以可变定向显示包括街道中的所述选定位置的显示地图的地图产 生组件；及用于依据所述可变定向从所述至少一个路边全景图产生所述选定位置的伪现实 视图的视图产生组件。
18、 根据权利要求17所述的计算机实施的系统，其中所述地图与所述伪现实视 图组合为一个伪透视图。
全文摘要
本发明揭示一种产生路边的多视点全景图的方法。所述方法包含获取通过安装在移动车辆上的至少一个基于陆地的激光扫描仪获得的一组激光扫描样本，其中每一样本与位置数据及定向数据相关联；获取至少一个图像序列，其中借助安装在所述移动车辆上的基于陆地的相机获得每一图像序列，其中所述至少一个图像序列中的每一图像与位置及定向数据相关联；从所述组激光扫描样本中抽取表面且依据与所述激光扫描样本相关联的所述位置数据确定所述表面的位置；依据所述表面的所述位置及与所述图像中的每一者相关联的所述位置及定向数据从所述至少一个图像序列产生所述表面的多视点全景图。
文档编号G06T15/10GK101681525SQ200780053247
公开日2010年3月24日 申请日期2007年6月28日 优先权日2007年6月8日
发明者拉法尔·扬·格利什琴斯基, 沃伊切赫·托马什·诺瓦克 申请人:电子地图有限公司