用于从基于陆地的移动测绘数据检测对象的方法和设备的制作方法

专利名称：用于从基于陆地的移动测绘数据检测对象的方法和设备的制作方法
技术领域：
本发明涉及一种从基于陆地的移动测绘数据检测对象的方法，其中所述基于陆地的 移动测绘数据已借助于具有行驶方向的在道路上行驶的基于陆地的移动测绘运载工具 来捕获，所述移动测绘数据包含激光扫描仪数据、由至少一个相机获得的源图像以及所 述运载工具的位置和定向数据，其中所述激光扫描仪数据包含若干激光点，每一激光点 具有相关联的位置和定向数据，目.每一源图像包含相关联的位置和定向数据。本发明进 一步涉及一种用丁-从基于陆地的移动测绘数据捕获供地图数据库中使用的对象的装置、 一种计算机程序和一种携载所述计算机程序的处理器可读媒体。
技术背景需要为导航系统和类似系统中所使用的数字地图数据库收集大量"垂直"道路信息， 例如道路标志、速度限制、方向路标、公告牌等。术语"垂直"指示道路信息的信息平 面人体上平行于重力向量。"垂直道路信息"的特征在于，它们大体上是平面的。现今， 可通过分析并解释移动收集装置所收集到的垂直图片图像和其它数据来获得垂直道路 信息。作为基f陆地的运载工具的移动测绘运载工具(例如汽车或货车)用于收集移动 测绘数据以增强数字地图数据库。增强的实例是交通标志、道路标志、交通灯、展示街 道名称的街道标志等的位置。可将这些对象的地理空间位置添加到地图数据库，这些对 象在图像内的位置还可进 一 步用于提取所述标志上所呈现的信息。移动测绘运载工具具有许多相机，其中一些是立体照相的。所述相机由于货车随车 携带精确G P S以及其它位置和定向确定装各而被准确地地理定位。在沿道路网络行驶的 同时，捕获图像序列。移动测绘运载工具记录对象(例如，建筑物或道路表面)的一个以上图像序列，且 针对图像序列的每一图像，连同所述图像序列的定向数据一起准确地确定地理位置。具 有对应地理位置信息的图像序列将被称为经地理编码的图像序列。也可同时地且以类似 的地理编码方式通过其它传感器收集其它数据。举例来说，激光扫描仪可用于收集激光 扫描仪数据。高分辨率激光扫描仪提供这样的激光扫描仪数据其使得工程师能够自动 地从所述激光扫描仪数据中检测对象。高分辨率激光扫描仪具有0.1度的沿扫描平面的分辨率和300 Hz的扫描频率。然而，高分辨率激光扫描仪是昂贵的，这阻止其在常见陆地测量中的使用。由于大量数据要处理的缘故，所以图像序列的分析是非常耗时的且花费许多处理功 率。此外，高分辨率激光扫描仪数据仅适合于通过形式、形状或位置来检测对象。 发明内容本发明设法提供-1巾自动地从基于陆地的移动测绘数据检测对象的经改进方法，所 述移动测绘数据包括可由低分辨率激光扫描仪装置获得的激光扫描仪数据。 根据本发明，所述方法包含 检索运载工具的位置和定向；依据运载工具的位置和定向而过滤激光扫描仪数据，以获得对应于关注区的激光点；检索与运载工具的位置和定向相关联的源图像；将对应亍关注区的激光点映射到源图像的图像坐标，以产生辨识掩模； 将辨识掩模与源图像进行组合，以获得表示所述关注区的候选3D图像；以及 从所述候选3D图像检测对象群组。本发明基于以卜.认识由数码相机拍摄的图像的像素的颜色对应于在相机的直接视 野中的^ -虽近表liu点的颜色，EL来自激光扫描仪装置的激光数据对应于激光扫描仪装 置与反射激光束的表面点之间的距离。通常，当今相机中所使用的透镜具有数种分辨率 和焦距，其以约0.01到0.1度每像素的角分辨率拍摄图片。针对其所指向的每一方向， 激光扫描仪装置检测并讣算激光扫描仪装置与障碍物的反射激光束的表面点之间的距 离。本发明的激光扫描仪装置的角分辨率为约1度。数码相机的输出(像素的颜色)和 激光扫描仪装置的输出(激光扫描仪与表面点之间的距离)两者已经由表面点与传感器 之间的最短路径来测量。因此，可组合所述输出以通过考虑由激光扫描仪装置获得的相 应像素的3维(3D)位置信息来改进对源图像中的对象的辨识。可从激光扫描仪数据形 成所捕获表面的3D表示。移动测绘运载工具所捕获的图像和激光数据包含坐标参考系 中的相关联的位置和定向数据两者。这使得我们能够从已在不同吋刻拍摄的个别激光点 产生运载工具正在上面行驶的道路的环境的3D表示。因为相机和选定激光点的位置和 定向使用同一坐标参考系。所以选定激光点可借助于三角法而投影在图像的坐标系上。 以此方式，3D激光扫描仪点可投影到图像空间。此外，道路标志、速度限制、交通灯、 方向路标等应11J从道路看到tl在预定义的道路廊道内。预定义的道路廊道界定激光数据 屮的关注区。所述关注区可通过从激光扫描仪数据排除肯定不能关联到关注对象的激光扫描仪样本来获得。关注对象可为道路标志、交通灯、方向路标、公告牌等。举例来说， 道路标志始终至少在地面上方0.5 m到6 m之间。此外，相对于数码相机的位置，可认 为关注对象始终位十相机左侧和右侧10m处，且为了识别源图像中的道路标志的类型， 道路标志必须位于相机前方0.5到30m内。此认知使得我们能够将过滤器界定为仅从激 光扫描仪数据选择可能对应于我们正在寻找的对象的激光点。所述过滤减少了待进一步 处理的激光点的量。通过识别源图像中的关注区，可极大地减少待分析以辨识对象的图 像数据的量。过滤激光数据和仅分析图像中对应于关注区的像素两者减少了用以处理在 移动测绘吋间期间所捕获的所有数据的时间。此外，激光扫描仪数据可用于分割源图像， 其中每一片段对应于一邻接或流畅表面。这改进了辨识过程且降低了对象被错误地检测 的可能性。在木发明的另一实施例中，组合包含依据辨识掩模而分割源图像，以获得中间候选图像；将对应于关注区的激光点的深度信息添加到所述中间候选图像的对应像素，以获得 候选3D图像。这匙特征使得我们能够非常高效地处理源图像。所述源图像被分裂成多个图像，所 述多个图像只.有非常有限量的像素且包含深度信息。借助于深度信息，可非常高效地将 所述候选3D图像按比例缩放到真实世界大小。此外，深度信息使得我们能够计算所述 候选3 D图像所表小的对象的真实世界大小。在本发明的另--实施例中，检测包含针对每一候选3D图像依据所述深度信息而确定候选3D图像的大小和形状；如果大小和形状是根据预定义值的，那么依据深度信息而确定所述候选3D图像表 面的深度一致性；如果候选3D图像表面是深度-'致的，那么依据深度信息而确定候选3D图像与行 驶方向的垂直性；如果候选3D图像表面不是深度一致的，那么依据前一源图像而确定候选3D图像 与行驶方向的垂直性；依据与对象群组的垂直性而添加候选3D图像。这些特征使得实践本发明的工程师能够非常高效地确定候选3D图像是否对应于道路标志。在本发明的另-^实施例中，过滤包含依据行驶方向和激光扫描仪数据的局部深度 一 致性而选择关注区中对应丁-表面的8激光点；丑组合包含依据辨识掩模而分割源图像，以获得中间候选图像；将对应十与所述表面对应的激光点的深度信息添加到所述中间候选图像的对应像 素，以获得候选3D图像。这些特征使得我们能够在非常早的阶段中确定激光样本簇是 否对应于关注对象，这导致被处理的激光点进一步减少。这随后减少了中间图像的量。 这尤其是通过考虑关注对象的表面相对于运载工具行驶方向的垂直性来实现的。运载工 具的行驶方向充当对道路方向的近似表示。计算工作被进一步减少，因为一片段包含有 限量的像素，片段数S被减少，且不必执行任何对中间图像所表示的对象的定向的检验。在本发明的另一实施例中，检测包含针对每一候选3D图像依据所述深度信息而确定候选3D图像的大小和形状；依据大小和形状而将候选3D图像添加到对象群组。此特征使得实践木发明的工程 师能够高效地按比例缩放候选3D图像以获得所述对象的真实世界大小和形状。随后， 测量所述形状，且仅将具有对应形状和大小的候选3D图像添加到对象群组，所述群组 可存储在数据库中。在一实施例中，仅检测具有平坦表面的对象。在本发明的另一实施例中，所述方法包含所述方法包含 检索运载工具的位置和定向；依据运载工具的位置和定向而过滤激光扫描仪数据以获得对应于获得第一关注区的激光点；检索与运载工具的位置和定向相关联的源图像；将对应于第一关注区的激光点映射到源图像的图像坐标，以产生第一辨识掩模； 将第一辨识掩模与源图像进行组合，以获得表示第一关注区的第一候选3D图像； 依据行驶方向rffj从第1义选3D图像检测第-对象群组；依据运载「具的位置和定向以及激光扫描仪数据的局部深度一致性而过滤激光扫描仪数据，以获得对应于第二关注区的激光点将对应于第二关注区的激光点映射到源图像的图像坐标，以产生第二辨识掩模； 将第二辨识掩模与源图像进行组合，以获得表示第二关注区的第二候选3D图像；从第二候选3D图像检测第二对象群组；以及将第一和第二对象群组进行组合。此实施例使得我们能够改进从移动测绘数据检测 对象的速率。本发明可使用软件、硬件或软件与硬件的组合来实施。当本发明的全部或部分以软说明书第5/19页
件实施时，所述软件可驻留在处理器可读存储媒体上。适当的处理器可读存储媒体的实例包括软盘、硬盘、CD ROM、 DVD、存储器IC等。当系统包括硬件时，所述硬件可包括输出装置(例如，监视器、扬声器或打印机)、输入装置(例如，键盘、指点装置和/或麦克风)以及与输出装置通信的处理器和与处理器通信的处理器可读存储媒体。所述处理器可读存储媒体存储能够对处理器进行编程以执行用以实施本发明的动作的代码。本发明的过程还可在服务器上实施，所述服务器可经由电话线或者其它网络或因特网连接来接入。


F文将参看附图使用许多示范性实施例来更详细地论述本发明，在附图中
图1展示激光扫描仪数据在世界坐标巾的表示；
图2展示与图1中的表示相关联的图像；
图3是根据本发明的方法的实施例的流程图4展示激光点到相机空间的投影的俯视图5展示激光点到图像像素变换；
图6展示覆盖有图1的投影激光点的图2的图像；
图7展示覆盖有加宽投影的关注激光点的图2的图像；
图8仅展示图2的图像中的关注区；
图9说明对激光扫描仪数据的后续处理步骤的中间结果；图IO说明组合本发明的两个实施例的优点；
图11说明可用于实施根据本发明的方法的计算机系统的高级框图；图12展示具有相机和激光扫描仪的MMS系统；以及图13展示位置和定向参数的图。
具体实施例方式
图12展示采取汽车20的形式的MMS系统。汽车20具备一个或一个以上相机29(i)(i=l、 2、 3、……、I)和一个或一个以上激光扫描仪23①(j=l、 2、 3、……、J)。观
察角度或所述--个或--个以上相机29(i)可在相对于汽车21的行驶方向的任何方向上，且因此可为前部观察相机、侧部观察相机或后部观察相机等。相机29(i)的观看窗口覆盖运载工具前方的整个道路表面。优选地，汽车21的行驶方向与相机的观察角度之间的角度在任-侧t在-45度到45度的范围内。汽车21可由驾驶员沿关注道路驾驶。
汽车21具备多个轮子22。此外，汽车21具备高准确度位置确定装置。如图12中所示，位置确定装置包含以下组件
GPS (全球定位系统)单元，其连接到天线28,且经布置以与多个卫星SLi (i=l、2、 3、……)通信并从自卫星SLi接收到的信号计算位置信号。所述GPS争元连接到微处理器uP。 J^于从所述GPS单元接收到的信号，微处理器yP可确定待在汽车1中的监视器24上显示的合适的显示信号，从而告知驾驶员汽车所在的位置以及可能汽车正行进的方向。代替GPS单元，可使用差分GPS单元。差分全球定位系统(DGPS)是全球定位系统(GPS)的增强形式，其使用基于固定地面的参考站的网络来广播卫星系统所指示的位置与已知固定位置之间的差异。这些站广播测量到的卫星伪距离与实际(内部计算出的)伪距离之问的差异，且接收器站可将其伪距离校正相同量。
DMI (距离测量仪器)。此仪器足通过感测轮子22中的一者或一者以上的旋转数目来测量汽车21所行进的距离的里程表。DMI也连接到微处理器wP以允许微处理器y P在从来自GPS单元的输出信号计算显示信^的同时考虑如由DMI测量到的距离。
IMU (惯性测量单元)。此IMU可实施为三个陀螺仪单元，其经布置以沿三个正交方向测量旋转加速度和平移加速度。所述IMU也连接到微处理器y P以允许微处理器PP在从来自GPS单元的输出信号计算显示信号的同时考虑DMI的测量结果。IMU还可包含航位推算传感器。
将注意到，所属领域的技术人员可找到全球导航卫星系统与车载惯性和航位推算系统的许多组合来提供运载工具且因此装备(其参考运载工具的参考位置和定向以已知位置和定向安装)的准确位置和定向。
如以数字21展示的系统是所谓的"移动测绘系统"，其例如通过用安装在汽车21十.的一个或一个以十.相机29(i)拍摄图片来收集地理数据。相机29(i)连接到微处理器"P。位于汽车前方的相机29(i)可为立体相机。所述相机可经布置以产生图像序列，其中已经以预定义的帧速率来捕获图像。在示范性实施例111，所述相机屮的'者或者以上为静止图片相机，其经布置以在汽车21的每个预定义位移或每个时间间隔捕获图片。相机29(i)将图像发送到y P。在一实施例中，移动测绘运载工具包含三个相机，即一个前部观察相机以及位于每 一 侧的相对于运载工具的航向方向具有在3 0到6 0度范围内且优选为45度的观察轴的相机。在所述情况下，前部观察相机捕获道路表面上方的尤其适合于检测道路方向的图像，且侧部观察相机捕获尤其适合于检测沿道路的对象(例如道路标志)的图像。
此外，在汽车21正沿关注道路行驶的同时，激光扫描仪23(j)获取激光样本。因此，所述激光样本包含与同这些关注道路相关联的环境有关的数据，且可包括与建筑块，与树目、交通标志、停放的汽车、人、方向路标等有关的数据。激光扫描仪23(j)也连接到微处理器U P，且将这些激光样本发送到微处理器H P。
一般希望从所述三个测量单元GPS、 IMU和DMI提供尽可能准确的位置和定向测量结果。在相机29(i)拍摄图片且激光扫描仪23(i)获取激光样本的同时，测量这些位置和定向数据。所述图片和激光样本两者结合汽车21的对应位置和定向数据而存储在所述yP的合适存储器中以供稍后使用，所述位置和定向数据在拍摄这些图片的同时被收集。所述图片包括例如关于建筑块，关于树木、交通标志、停放的汽车、人、方向路标等的视觉佰息。激光扫描仪23G)提供激光扫描仪点云，其足够密集以在沿道路信息(例如建筑块、树木、交通标志、停放的汽车、人、方向路标等)的3D表示中显现。在一实施例中，激光扫描仪23(j)经布置以产生具有最小50Hz和1度分辨率的输出，以便为所述方法产生足够密集的输出。例如由SICK生产的MODEL LMS291-S05等激光扫描仪能够产生此输出。
图2展示可从图1中所示的三个测量单元GPS、 DMI和IMU获得哪些位置信号。图2展示微处理器nP经布置以计算六个不同参数，即相对于预定坐标系中的原点的三个距离参数x、 y、 z以及分别表示围绕x轴、y轴和z轴的旋转的三个角参数w、 C0y和co2。优选地，z方向与重力向量的方向重合。全球UTM或WGS84坐标系可用作预定坐标参考系。应注意到，根据本发明的方法可与局部坐标参考系一起使用，所述局部坐标参考系例如是NAD83和其它国家网格系统。所述六个不同参数提供6度自由度，其是及时跟踪运载工具的位置和定向所需要的。所述相机和激光扫描仪相对于汽车21具有固定的位置和定向。这使得我们能够从所述六个参数准确地确定在拍摄图像的时刻每--激光样木在坐标参考系中的位置以及相机在坐标参考系中的位置和定向。
罔1展示激光扫描仪数据在真实世界坐标中的表示。激光扫描仪检测并计算激光扫描仪与第障碍物之间的距离。激光扫描仪使激光束旋转，且每次在旋转过预定义角度之后获得一样本。旋转速度结合取样速率界定了激光扫描仪数据的角分辨率。在本发明中，激光扫描仪具有1度的沿扫描平面的分辨率和75 Hz的扫描频率。这在15 m距离处导致25 cm的激光扫描仪垂直分辨率，所述15 m距离对应于到标志的平均距离。激光扫描仪数据包含由三元组(t,d，a)给出的样本，其中t是样本的时间，d是到最近表面的距离，且a是激光在测量时的角度。激光扫描仪优选安装在移动测绘运载工具前面。激光扫描仪的旋转轴优选平行于道路表面。为了获得对具有平坦表面的对象的最优检测，己发现旋转轴优选相对于所述平坦对象具有45度的角度。本发明的土要目标是从移动观ij绘数据提取道路标志和方向路标。移动测绘数据包括由移动测绘运载」:具中的移动测绘系统记录的所有数据。道路标志和方向路标是具有垂直于道路的轴的平坦表面的对象。因此，用以检测所述关注对象的激光扫描仪的最佳安装是与移动测绘运载工具的行驶方向成45度。
移动测绘运载T.具装备有定位平台，其包含定位传感器，例如GPS接收器和可能额外的惯性和航位推算传感器以及定向传感器，例如陀螺仪、加速计和距离测量单元。这些传感器是通常已知的。通过这些传感器，可非常准确地确定并记录运载工具的位置和定向。此外，移动测绘运载工具装备有许多相机以记录图像序列。两个相机可安装在运载工具前方以记录运载工具前方的图像。这两个相机可经布置以产生立体图像对序列。此外，相机可安装在左侧和右侧以从运载工具获得侧视图，且相机可安装在运载工具后方以记录从运载工具后方看到的活动中世界。如果相机安装在运载工具的所有侧上，那么可获得围绕所述运载工具的所有方向上的连续视图。位于前方和后方的相机使得我们能够(但从相反方向)获得同一道路表面的两个图像序列。
所有所记录的数据源均使用同--时间参考，所述数据源至少包含定位和定向数据、激光扫描数据和图像序列。定位平台使得我们能够非常准确地确定移动测绘运载T.具的位置和定向。此外，激光扫描仪安装在运载工具上的已知位置处且相对于运载工具的行驶方向K.有已知定向。通过组合运载工具的位置和定向、激光扫描仪相对于运载工具位置的位置和定向以及以二元组记录的扫描仪数据，可将激光扫描仪数据变换成3D世界坐标。这在运载工具移动的给定方向上给出最近点网。图1展示将激光扫描仪数据的三元组变换成3D世界坐标的结果。图1中所表示的激光数据已由两个激光扫描仪获得。所述激光扫描仪中的每一者具有180度的测量窗口，且具有平行于运载工具的行驶方向的旋转轴。此描述中的所有图式均使用激光扫描仪的所述配置。在此应用中，行驶方向是对道路方向的近似表示。因为道路标志通常相对于行驶方向以5度的角度而非垂直于行驶方向放置，所以可llj具有平行于行驶方向的旋转轴的激光来检测道路标志(这是针对图1而收集的数据的配置)。然而，已发现，具有相对于行驶方向具有45度的角度的旋转轴的激光扫描仪提供更适合于检测对象(例如道路标志和建筑立面)的激光数据。图1中的样本的暗度表示激光扫描仪与反射表面之间的距离。
图2展示与图1中所给出的表示相关联的源图像。所述源图像表示由基于陆地的相机记录的或多或少的垂直图像。所述源图像可为借助于静止图片相机记录的静止图片序列，所述静止阁片相机每隔(例如)IO米的位移被触发一次。包含图像传感器的相机具有视伯u 。视角a由相机的透镜的焦距决定。视角a可在45°< a < 180。的范围内。此外，所述相机具有观察轴，其在所述视角的中心处。所述观察轴，行于水f面，例如道路表面。在图2的实例中，观察轴平行于运载工具的运动方向。通常，图像传感器被安 装成垂直于观察轴。在此情况下，图像传感器记录"纯"垂直源图像。另外，图像传感 器相对于水平面(例如，地球表面)的高度是己知的。借助于三角法，可将从基于陆地 的相机检索到的源图像转换为任何虚拟平面。即使观察轴相对于水平面成己知角度，也 可针对源图像获得虚拟平面。
静止图片相机所拍摄的图像是在相机视野内的最近表面点的颜色的表示。像素的值 对应于将经由测量所述像素的颜色的图像传感器的光敏元件从相机的焦点看到的表面 的颜色。通常，当今相机中所使用的透镜具有数种分辨率和焦距，其以约0.01到0.1度 每像素的角分辨率记录图片。
静止图片相机的角分辨率比来自激光扫描仪的角分辨率精细约10到100倍。当前 在移动测绘运载工具上所使用的相机具有0.05度的像素分辨率，其比所使用的激光扫描 仪的角分辨率精细20倍。
本发明组合激光扫描仪数据和源图像两者以从移动测绘数据提取关注对象。本发明 的特征在于，在不同时刻捕获激光扫描仪数据，且在特定时刻捕获源图像。运载工具的 位置和定向数据对于能够将激光样本在绝对或相对地理坐标参考系中的3D位置投影在 源图像的x,y像素位置上来说是必不可少的。与运载工具的位置和定向数据、相应的源 图像和激光扫描仪数据相关联的时间参考使得微处理器能够针对每 一 源图像而确定界 定在坐标参考系11'的参考位置和定向的兀数据，且针对每激光样本时确定在所述坐标 系中的位置。这使得我们能够将激光扫描仪样本投影到图像空问中。
本发明的第 一 实施例包含以下动作
1. 选择激光扫描点的关注区；
2. 将关注激光「义.映射到图像，从而产生辨识掩模；
3. 分割关注区；
4. 根据大小和形状特征来过滤片段；
5. 确定片段是否被遮蔽；
5a.使用6度Q由度定向系统来计算任何被遮蔽片段的定向 5b.从激光数据计算未遮蔽片段的定向；
6. 借助于过滤来选择垂直片段。 在本发明的第—:实施例中，所述方法包含以下动作 1.选择激光扫描点的关注区
7. 从关注区提取垂宵.表面；8. 将垂直表面映射到图像；
9. 对对应于表面的图像执行颜色分离；
10. 借助于过滤来根据大小和形状选择表面。 下文将更详细地论述第一和第二实施例的相应动作。
图3是根据本发明的方法的第三实施例的流程图。在第三实施例中，第一和第二实 施例已被组合。左侧路径对应于第一实施例，且右侧路径对应于第二实施例。已发现， 第一实施例和第—:实施例执行未经相关的过程。根据第一实施例的方法(其基于对平而
对象的基f图像的辨识)使得我们能够检测98%的对象，其屮假正率大约为0.01%。根 据第二实施例的方法(其基于对激光扫描仪数据中的平面对象的辨识)使得我们能够以 类似的假正率检测80%的对象。因为辨识过程未经相关，所以辨识结果未经相关。因此， 第二方法将找到第 一方法未检测到的对象的80%,且第一过程将找到第二方法未检测到 的对象的98%。因此，通过组合第一和第二方法的结果，可实现对99.6%的对象的辨识。 此性能使得所述过程能够自动进行。组合所述两个实施例的优点在图11屮说明。
以下描述将更详细地揭示第 一 实施例的动作。
动作l.选择激光扫描点的关注区。
在此动作中，针对每一图像，过滤激光点以提供关注区。区是由一组点表示的激光 扫描仪数据的一部分。每一图像具有相关联的位置和定向数据。激光点也具有相关联的 位置和定向数据。滤出肯定不对应于关注对象的表面的所有激光扫描仪点。此过滤器的 实例可为
在移动测绘运载工具的位置的左侧和/或右侧远于10m的所有点； 在道路表面卜.方低于0.5 m且/或高于6.0 m高度的所有点； 在相机或移动测绘运载工具前方0.5m到30 m外的所有点。
此动作显著限制了待针对每- 图像而处理的激光点的量。对应于图像的关注区的激 光点因此仅包含尚未滤出且可能来自尚待辨识的对象的激光点。因此，对应于图像的关 注区的激光点为激光扫描仪数据的子集。
动作2.将关注激光区映射到图像，从而产生辨识掩模；
在此动作中，将应对其执行辨识的每一图像的关注区的激光点映射到图像坐标。可 进行此动作，因为每,片的焦点的位置是已知的，且相机的定向是已知的。相机的图 像空间由观看轴以及水平和垂直观看角界定。图4展示实例激光点到相机空间的投影的 俯视图。只有位于相机观看角内的激光点被投影到图像空间中。在图4中，来自左侧的 一个点和来自右侧的三个点是不会被投影到图像空间的点。图5展示激光点(Xp, Yp， Zp)
15到图像像素(Xs, Ys)的变换。(Xp,Yp, Zp)是激光点在世界坐标中的坐标，(Xc,Yc,Zc) 是相机的焦点在世界坐标中的坐标，且(Xs, Ys)是图像空间中的坐标。虚线对应于相 机的观察轴。
在」实施例中，将相机的世界坐标指配给每一所捕获的图片。此外，借助移动测绘 平台的位置和定向传感器，非常准确地知道相机和激光扫描仪相对于运载工具的参考定 向的所有旋转。结合及时测量到的位置和行驶方向，可确定激光点相对于相机的观看轴 的真实世界坐标。这使得我们能够非常准确地选择激光点并将其投影到图像空间，这对 于本发明来说是关键的。这是特别重要的，因为来自激光扫描仪的点可在不同于图像被 收集时的时间获取，且必须准确地考虑平台的位置和定向以获得本发明所需的精确配准 水平。图6揭不图2的图像，其中将激光点投影到所述图像的图像空间。然而，只有尚 未被第-动作过滤且因此可能来自对象的激光点用于产生掩模，所述掩模使得我们能够 非常高效地仅选择来自源图像的对应像素。所述掩模具有对应于源图像的图像空间。这 使得我们能够界定掩模像素与源图像像素之间的一对一关系。
由于激光扫描装置与相机的分辨率差异的缘故，激光点通常将在掩模中导致个别圆 点。因此，激光扫描仪点在掩模中将具有稀疏出现。为了在掩模中产生邻接区域，借助 于众所周知的基T形态学图像的过滤器来加宽对应于激光点的像素。在简单实施例中， 所有激光点由具有固定长度和高度(以像素数目计)的正方形K域替代，所述固定长度 和高度粗略地从其分辨率和几何学特征屮导出。图7揭示在对激光点应用关注区过滤器 且加宽所述掩模的对应于所过滤激光点的像素之后已获得的图像。
实验结果显不上述操作使得我们能够丢弃源图像像素的85%到95%,从而仅留 —F被怀疑表示道路标志的那些"有价值"像素。通过将源图像中待检査的像素减少为仅 剩有价值像素，对应于对象的错误检测的假正的数目以与有价值像素与总像素的比率成 比例的方式减少。此外，后续处理步骤中处理图像的速度以相同比率减小。
应注意，深度信息可仅附接到具有对应激光扫描仪样本的像素。在一实施例中，掩 模的其它像素的深度信息的值将对应于"非深度信息"。因此，深度信息在图像空间中 将只.有稀疏出现。在另一实施例中，与加宽过程同时地，指配深度信息。以此方式，掩 模的所有像素将具有深度信息。
动作3.分割关注区；
在此动作中，选择对应于动作2中所产牛的掩模的源图像的像素。随后，对选定像 素执行"生长"算法以分割选定像素。生长算法使得所属领域的工程师能够产生片段或 候选3D图像。因此，源图像中作为所述片段的相邻像素的所有像素均具有在预定义阈值外的颜色距离，且所述片段的所有像素均具有在预定义阈值内的颜色距离。在此步骤 中，使用掩模图像来产生候选3D图像，其中每一候选3D图像对应于一个片段。举例 来说，指示速度限制为80的限速标志将被分割成7个片段，从而导致7个候选3D图像， 其中一个片段用于红色边界， 一个片段用于数字周围的白色背景， 一个片段用于8标志 的黑色区域且一个区域用于0标志的黑色区域，并且两个片段用于8标志中的ft色区域 且一个片段用于-0标志中的白色区域。候选3D图像的每一像素包含来O源图像的颜色 信息和来S掩模的相关联深度信息。在文献中，此像素被称为体素。
在实施例屮，像素的深度信息是真实世界坐标中相机的焦点与包含同所述像素相 关联的激光扫描仪点的垂直于相机观察轴的平面之间的最小距离。在另一实施例中，像 素的深度信息是真实世界坐标中相机的焦点与同所述像素相关联的激光扫描仪点之间 的距离。
所述候选3D图像中的每一者将在后续处理动作中被处理。请注意，辨识仅存在所 述标志的'个主要片段关乎标志信息的进一步处理。主要片段是具有最高数目的像素或 特有预定义形状和大小的片段。举例来说，对于欧洲限速标志，其将为具有内部的红色 圆圈对于警告标志，其将为具有内部的红色三角形，等等。
在另一实施例中，将掩模的像素用作源图像中的开始像素。对源图像执行生长算法 以获得候选3D图像。此实施例对于以下情形是有利的其中方向路标的一部分在--些 扫描期间由i-1敫光扫描仪之间的对象时被遮蔽，但整个路标在图像屮是可见的。应淸楚， 可使用其它算法来从掩模和源图像的组合中获得候选3D图像。
动作4.根据人小和形状特征来过滤片段
在此动作中，对每一候选3D图像应用大小和形状过滤器。使用深度信息来按比例 缩放候选3D图像的像素区域，其具有与对应的真实世界位置中的真实世界大小类似的 深度信息。如果一片段与多个深度相关联，那么针对每一深度，确定对应区域的大小。 所确定的大小用于确定候选3D图像是否具有预定大小。滤出大于或小于关注对象的候 选3D图像。在本发明的实施例中，去除具有小于0.5X0.5米和大于1.2X1.2米的大小 的候选3D图像。
因此对于上文的80 km限速标志实例，红色边界和白色背景的候选3D图像将通过 此大小过滤器。所有其它候选3D图像(例如黑色8、黑色0、 0内的白色补块等)将太 小且将被滤出。在最终步骤中，所述两个通过候选者将被辨认为位于同一距离处且在图 片的同 一区域中，所以它们将被视为同一标志。
接着将剩余候选3D图像应用r形状公式以确定空间形状系数，例如布莱尔-布利斯与哈兰里科(Blair-Bliss & Haralick)，所述系数在检测道路标志中是最有力的。形状系 数允许我们滤出不具有对应于关注对象形状的形状的对象。
存在可使用的许多形状系数。可将其划分成两个群组
快速且容易计算。
较精确区分对象，但较慢
优选的是，确定来Q第二群组的两个形状系数。 通过以F等式来确定布莱尔-布利斯形状系数
其中
S—候选3D图像的面积 n—距形状质心的第i个像素距离 i一形状像紊指数。
哈兰里科形状系数由以下等式确定:
其'l':
d,—距形状质心的第i个像素距离
n—轮廊像素计数
i一形状像素指数
借助于所述形状系数，可高效地选择具有圆圈、二角形和矩形形式的形状。
应注意，根据其形状特征来选择片段是图像处理领域中作为标准进行的标准现有技 术动作。通常，如果在没有仅对图像源数据进行进一步推理的情况下执行此动作，那么 假正率在少数百分比(1%到10%)的范围内。
然而，还应注意，将深度信息附接到候选3D图像使得我们能够确定真实世界大小。 核对真实世界大小是额外的检验步骤，其在仅考虑图像源数据的情况下不容易执行。平 均起来，所述额外检验步骤使假正数目减少10倍。
动作5.确定片段是否在激光扫描仪数据中被遮蔽；
此动作在动作4之后执行以确定候选3D图像的深度一致性。候选3D图像可包含 具有不同深度的像素或不包含任何深度信息。可通过简单的众所周知的边缘检测过滤器
18来检测不同深度。借助于所述过滤器，确定深度一致性。如果(例如)在激光扫描数据 中树木部分地遮挡了道路标志且在源图像中树木没有遮挡道路标志，那么候选3D图像 可能具有不同深度。因而，候选3D图像的一些区域可不包含深度信息，或可包含对应 于道路标志后面的对象的深度信息。甚至可能发生以下情况候选3D图像不包含任何 深度倍息，这在激光扫描仪与道路标志之间的大树完全遮挡住激光束使其无法到込道路 标志时发生。
动作5a.从图像数据计算被遮蔽片段的a向；
在此步骤屮，使用图像处理技术来确定候选3D图像相对十移动测绘运载工具的定 向或行驶方向的定向。使用6度自由度定向装置来测量移动测绘运载工具的定向和行驶 方向。测量到的运载工具的定向和行驶方向用于在相机捕获到对应于候选3D图像的源 图像时计算相机的定向和绝对或相对位置。可通过三角测量技术来获得对象的定向。如 果对应于候选3D图像的原始源图像正来自立体相机，那么立体图像对的其它图像可用 于执行三角测量且确定候选3D图像的定向。在另一实施例中，在原始源图像之前的源 图像用于执行三角测量以计算距离且确定对象的定向。每隔10米距离，捕获一源图像。 因此，前一源图像足在当前源图像前10米处被捕获的。因此，前一源将包含所述候选 3D图像的表示，然而多了 IO米的距离且因此比在当甜源图像中小。借助于三角测量， 可确^对应于候选3D图像的对象的定向。
动作5b.从激光数据计算未遮蔽片段的定向；
如果候选3D图像的像素的深度信息对应于光滑表面(优选的是，具有预定义深度 一致件的平坦表面)，那么在动作4之后执行此动作。这在候选3D图像的深度信息不包 含借助于对象相对于移动测绘运载工具的行驶方向的定向的定向中的深度信息来表示 的相邻像素之间的较大变化时发生。
随后，使用候选者的像素的深度信息来确定所述表面相对于移动测绘运载工具的行 驶方向的定向。所述对定向的确定由通常已知的算法执行。
动作5a与动作5b之间的主要差异在于，在动作5a中，仅使用图像源信息结合运 载工具的相关联位置和定向数据以及移动方向来确定候选3D图像所表示的对象是否相 对^行驶方向具有预止义定向，而在动作5b中，仅使用呈深度信息形式的激光扫描数 据来确定对象的定向。
此外，应注意，实际上100个对象中约有1个上出现遮蔽。因此，主要处理流将经 过动作5b而非动作5a。与在动作5a中基于图像信息而确定每一候选3D图像的定向相 比，在动作5b中基T深度信息而确定候选3D图像的定向较精确且导致较少的假正(10倍)。此外，与动作5a相比，动作5b需要较少的处理功率。 动作6.借助于过滤来选择垂直片段。
最后，在动作6中，使用定向来选择哪些候选3D图像必须被添加到对象数据库以 供进一步处理以获得被检测对象的更多特征。进一步处理的实例是辨识道路标志的类型 (例如80 km限速标志)和计算道路标志的位置，所述两者经确定以供数字地图数据库 中使用。
已发现，,平坦表面的定向(其在上文所提及的关注R内找到)在移动运载工具的 方向的近似+ / -10度的范兩内时，平面对象最有可能是道路标志。 以下描述将更详细地揭示本发明的第二实施例的后续动作。 动作l.选择激光扫描点的关注区；
类似于第一实施例，执行第一动作1以在激光数据中获得关注区。图9a揭示相对 于特定绝对或相对位置在预定义区域中的所有所收集激光点的3D表示的实例，且图9b 揭示在执行动作1之后的剩余激光点。可看到，所有靠近地面的激光点都被从所收集激 光点去除。
7.从关汁:区提取垂直表面；
在此步骤中，使用关注区的所有激光点來通过确定相邻激光点是否形成光滑的平坦 表而而确定深度一致性。图9c展示对应于在图％的结果中所检测到的平坦表而的激光 点的实例。闪为必须检测道路标志，所以所使用的算法寻找几乎垂直f移动测绘运载工 具的移动方向的表面。对指配给关注区的激光扫描仪点执行所述算法。随机取样 一 致 (RANSAC)算法用于寻找平面。所述算法在随机的3个激光点处进行选择。从那些点 产生平面等式。随后，所述算法将以给定公差寻找接近所述平面的激光点，且对接近激 光点的数目进行计数。通过重复所述步骤，所述算法能够找到具有落入所述公差内的最 高数目的激光点的平面。可通过去除对应于具有最高数目的激光点的平面的激光点且对 剩余激光点重复所述算法来重复此程序。以此方式，可找到激光数据中的所有候选平面。 RANSAC算法的有效性取决于属于所述平面的激光点与属于待分析的关注区的激光点 的总数目的比率。h述关系由以下等式给出
P = (l-(Pg)3)L
其'卜
P w是未找到平面A的概率，
Pg是随机点适合平面A的概率(接近所述平面的点与所有点的比率)，且 L是循环迭代的数目。因此，所述方法的最佳使用是将关注区细分为若干子区，且对子区应用此算法。在 本发明的实施例中，关注区的空间被划分为在移动运载工具的方向上具有1 m深度的子 区。
随后，针对通过所述算法找到的候选平面中的每一者，确定所述候选平面相对于运 载丄具的行驶方向的定向。图9d说明具有不同定向的两个平面。第 一平面950对应于 建筑物的墙壁，且第二平面960对应于具有标杆的道路标志。最后，将对应于具有预定 义a向的平坦表面的激光点分组成若干相干区块以进一步减小关注区。为了检测道路标 志，已发现当平坦表面的定向在移动运载工具的方向的近似十/-10度的范围内时，平坦 对象几乎总是为道路标志。图9e说明在选择具有预定义定向的对象之后的结果。所述 标志的标杆也在图像中可见，因为无法确定标杆相对于运载工具的行驶方向的定向，但 标杆的位置类似于经适当定向的对象的表面。此情形将对附接到借助于表面检测算法无 法判断是单独表而的表面的所有对象而发生。
此动作的结果是对应于在激光扫描仪数据屮找到的平面的候选平面。在进一步动作 中，单独处现所述候选平面中的每一者以检测对象。
动作8.将垂直表面映射到图像。
此动作类似于动作2且因此不再进一步详细描述，且依据候选平面而产生掩模图像。 动作9.对对应于表而的图像执行颜色分离。
在此动作'l'，使汁j动作8屮所产生的掩模图像来分割对应于候选平面的源图像的像 素。动作3中所描述的分割算法用于分割对应于掩模的区域。因为先前动作己经极大地 减少了待分析的像素的数H，所以可使用较低阈值来获得片段。通过已经执行的动作， 候选平[M的确是所需对象的机会增加，且因此可以较小的准确性来执行根据颜色的分 割。此外，因为片段数目是有限的，所以动作9不仅产生对应于片段的候选3D图像， 而且产生作为个或--个以上片段的组合的候选3D图像。由于此动作，对应于图9e中 所示的激光点的掩模图像将导致以下候选3D图像用于标志的一个候选3D图像，用 于标志上方的标杆的一个候选3D图像和用于标志下方的标杆一个候选3D图像，用于 标志与标志卜.方的标杆的组合的一个候选3D图像，用于标志和标志下方的标杆的 一个 候选3D图像，等等。
内rfn，所述图像(其己被假定为包含所需对象)的任何不3颜色分割均通过产生作
为片段组合的候选3D图像而至少部分地被校正。以此力—式，由于遮光物而引起的对(例 如)标志的红色边界的不当分割通过提供作为阳光下的红色边界的片段与阴影中的红色 边界的片段的组合的候选3D图像而被校正。以此方式，检测到无法在本发明第一实施例中检测到的对象，在第一实施例中，红色边界的每一片段将进一步被独立处理，且因 此由于不正确的大小或形状而不作为道路标志被检测到。 动作10.借助十根据大小和形状的过滤来进行选择。
在此动作中，应用动作4中所描述的大小和形状过滤器。大小和形状过滤器将滤出 关于标杆的候选3D图像。图9f展不与选定候选3D图像相关联的激光点。最后，选择 具有所需形状和大小的候选3D图像，并将其添加到对象数据库以供进一步处理以获得 被检测对象的更多特征。
应注意，选择构建连续平坦表面的激光点是现有技术算法。在此操作之后，选定点 云(例如，道路标志的标杆的激光点)中剩下少量错误选定的激光点。需要进一步处理 动作来去除那些错误选定的激光点。可使用的典型现有技术动作是对激光数据进行分析 以借助于形状特征来将其去除。然而，考虑到激光数据的不良垂直和水平分辨率，即使 在此分析之后，仍存在少数百分比的假正率。通过激光扫描仪数据与阁像数据处理的此 组合，可获得对假正率的平均达ioo倍的改进。
此外，应注意，经执行以从激光扫描仪数据中选择激光点的过滤器包含被考虑到的 一匙规则。在动作1的实施例中，所述规则界定其中可能存在待检测的对象的道路廊道。 举例来说，道路廊道包含在移动测绘运载工具的轨道的左侧不超过10 m和在移动测绘 运载工具的轨道的右侧不超过10 m的所有激光点以及沿道路表面在运载工具的轨道0.5 m以上且10.0 m以下的激光点。对应于所述道路廊道的激光点被存储以供进一步处理。 随后，将对应于所述道路廊道的激光点分裂成沿移动测绘运载工具的轨道的若干5米子 区。动作1的输出于是为关注子区序列，其中每一关注子区在运载工具的轨道上具有一 参考点。优选的是，参考点是对应7区中沿运载工具轨道的第一位置。接着，处理源图 像。在对源图像执行其它动作之前，使用源图像的相关联位置来选择具有最接近源图像 的相关联位置的参考点的子区。在此实施例中，仅将一子区的激光点投影在图像空间上 以获得辨识掩模。此实施例允许减少产生关注区所需的处理功率。在动作1中， 一次性 处理整个激光扫描仪数据，且对应于关注子区产生许多组激光点。随后，针对每一源图 像，必须选择道路廊道的位于运载工具甜方的最近关注了区。待选择的了区的数目取决 丁-运载工具前必须被考虑的距离。举例来说，如果所述距离为30m，那么必须选择最初 6个5 m子区。
图3展示本发明实施例的流程图。所述流程图中的左侧路径对应于上文所描述的第 一实施例，且右侧路径对应于本发明的第二实施例。所述两个实施例的结果可在构成关 注对象的数据库的一个数据库中分组在一起。此外，通过仅对片段或候选3D图像执行大多数的图像处理，极大地减少了待处理 的像素的量，这导致比基于全图像的处理快约5倍的检测速度。
图11说明可用于实施执行上述方法的对象检测器的计算机系统的高级框图。
图9的计算机系统包括处理器单元912和主存储器914。处理器单元912可含有单 个微处理器，或可含有多个微处理器以用于将所述计算机系统配置为多处理器系统。主. 存储器914部分地存储供处理器单元912执行的指令和数据。如果本发明的方法全部或 部分地以软件实施，那么主存储器914当在操作中时存储可执行代码。主存储器914可 包括动态随机存取存储器(DRAM)以及高速度高速缓冲存储器的存储体。
图9的系统进一步包含大容量存储装置916、外围装置918、输入装置920、便携式 存储媒体驱动器922、图形子系统924和输出显示器926。出于简单性目的，将图9中 所示的组件描绘为经由单个总线928连接。然而，所述组件可通过一个或一个以上数据 输送构件连接。举例来说，处理器单元912和主存储器914可经由局部微处理器总线连 接，且大容量存储装置916、外围装置918、便携式存储媒体驱动器922和图形子系统 924可经由--个或 一个以上输入/输出(I/O)总线连接。大容量存储装置916 (其可用磁 盘驱动器或光盘驱动器实施)是用于存储数据的非易失性存储装置，所述数据例如是相 应相机的经地理编码的图像序列、相机的校准信息、恒定和可变位置参数、恒定和可变 定向参数、被检测对象的候选3D图像、任何中间结果和供处理器单元912使用的指令。 在'个实施例屮，大容量存储装置916存储用于实施本发明的系统软件或计算机程序以 用于加载到主存储器914的冃的。
便携式存储媒体驱动器922结合便携式非易失性存储媒体(例如软盘、微驱动器和 快闪存储器)而操作，以将数据和代码输入到图9的计算机系统以及从图9的计算机系 统输出数据和代码。在一个实施例中，用于实施本发明的系统软件存储在呈此便携式媒 体形式的处理器可读媒体上，且经由便携式存储媒体驱动器922输入到计算机系统。外 围装置918可包括仟何类型的计算机支持装置，例如输入/输出(I/O)接口，以向计算 机系统添加额外功能件。举例来说，外围装置918可包括网络接n卡，其用于将计算机 系统介接到网络、调制解调器等。
输入装置920提供用户接口的一部分。输入装置920可包括用于输入字母数字和其 它按键信息的字母数字小键盘，或指点装置，例如鼠标、跟踪球、铁笔或光标方向键。 为了显示文本和图形信息，图9的计算机系统包括图形子系统924和输出显示器926。
输出显不器926可包括阴极射线管(CRT)显示器、液晶显不器(LCD)或其它合 适的显示装置。图形子系统924接收文本和图形信息，且处理所述信息以供输出到显示器92 6 。输出显示器92 6可用于报告对象检测过程的中间结果且/或作为用户接口的 一 部 分显示其它信息。图9的系统还包括音频系统928，其包括麦克风。在一个实施例中， 音频系统928包括声卡，其从麦克风接收音频信号。另外，图9的系统包括输出装置932。 合适的输出装置的实例包括扬声器、打印机等。
图9的计算机系统中所含有的组件是通常在通用计算机系统中找到的那胜组件，且 既定表示此项技术中众所周知的广泛种类的此类计算机组件。
因此，图9的计算机系统可为个人计算机、工作站、小型计算机、大型计算机等。 所述计算机还可包括不同的总线配置、联网平台、多处理器平台等。可使用各种操作系 统，其中包括UNIX、索拉里斯(Solaris)、哩纳克斯(Linux)、视窗(Windows)、麦金 托什(Macintosh) OS和其它合适的操作系统。
卜:文所描述的方法可O动执行。可能发生以K情况图像使得图像处理工具和对象 辨识工具需要某种校正。在所述情况下，所述方法包括一些检验和亍动调适动作以允许 确认或调适屮间结果的可能性。这些动作还可适合于接受被检测对象的屮间结果或最终 结果。
己出于说明和描述的目的而呈现了前述对本发明的详细描述。不希望所述描述是详 尽的或将木发明限于所揭示的精确形式，且显然，鉴于以上教示，许多修改和变化是可 能的。举例来说，本发明还适合于准确地确定可在源图像中检测到的任何种类对象的位 置。选择所描述的实施例是为了最佳阐释本发明的原理和其实际应用，以进而使得所属 领域的技术人员能够在各种实施例中且以适合于所预期的特定使用的各种修改来最佳 利用本发明。希望本发明的范围由所附权利要求书界定。
权利要求
1. 一种从基于陆地的移动测绘数据中检测对象的方法，其中已借助于在道路上行驶的具有行驶方向的基于陆地的移动测绘运载工具而捕获到所述基于陆地的移动测绘数据，所述移动测绘数据包含激光扫描仪数据、由至少一个相机获得的源图像以及所述运载工具的位置和定向数据，其中所述激光扫描仪数据包含若干激光点，每一激光点具有相关联的位置和定向数据，且每一源图像包含相关联的位置和定向数据，所述方法包含检索所述运载工具的位置和定向；依据所述运载工具的所述位置和定向而过滤所述激光扫描仪数据，以获得对应于关注区的激光点；检索与所述运载工具的所述位置和定向相关联的源图像；将对应于关注区的所述激光点映射到所述源图像的图像坐标，以产生辨识掩模；将所述辨识掩模与所述源图像进行组合，以获得表示所述关注区内的可能对象的候选3D图像；以及从所述候选3D图像中检测对象群组。
2. 根据权利要求1所述的方法，其中组合包含依据所述辨识掩模而分割所述源图像，以获得中间候选图像； 将对应于关注区的所述激光点的深度信息添加到所述中间候选图像的对应像素， 以获得所述候选3D图像。
3. 根据权利要求2所述的方法，其中添加深度信息包含使用由所述移动测绘运载工具的位置和定向传感器捕获的所述位置和定向数据， 以将激光点坐标准确地变换成源图像的图像坐标；依据所述激光点坐标以及所述位置和定向数据而确定所述图像坐标的深度信息 以及将所述深度信息添加到具有所述图像坐标的像素。
4. 根据权利要求2或3所述的方法，其中检测包含针对每一候选3D图像依据所述深度信息而确定候选3D图像的大小和形状；如果大小和形状是根据预定义值的，那么依据所述深度信息而确定所述候选3D 图像表面的深度一致性；如果候选3D图像表面是深度一致的，那么依据所述深度信息而确定所述候选3D图像朝所述行驶方向的定向；如果候选3D图像表而不是深度一致的，那么依据前一源图像而确止所述候选3D 图像朝所述行驶方向的定向；依据所述所确定的定向而将候选3D图像添加到所述对象群组。
5. 根据权利要求1所述的方法，其中过滤包含依据所述行驶方向和所述激光扫描仪数据的局部深度一致性而选择所述关注区 中对应于表面的激光点；且组合包含依据所述辨识掩模而分割所述源图像，以获得中间候选图像；将对应于5所述表面对应的所述激光点的深度信息添加到所述中间候选图像的 对应像素，以获得所述候选3D图像。
6. 根据权利要求5所述的方法，其中检测包含针对每一候选3D图像依据所述深度信息而确定所述候选3D图像的大小和形状； 依据大小和形状而将候选3D图像添加到所述对象群组。
7. 根据权利要求4、 5或6中仟一权利要求所述的方法，其中表面的深度一致性是所述表面的平i—y.性的度量。
8. -种从基于陆地的移动测绘数据中检测对象的方法，其中已借助于在道路卜.行驶的 具有行驶方向的基于陆地的移动测绘运载工具捕获到所述基于陆地的移动测绘数 据，所述移动测绘数据包含激光扫描仪数据、由至少一个相机获得的源图像以及所 述运载工具的位置和定向数据，其中所述激光扫描仪数据包含若干激光点，每一激 光点具有相关联的位置和定向数据，且每一源图像包含相关联的位置和定向数据，所述方法包含检索所述运载工具的位置和定向；依据所述运载工具的所述位置和定向而过滤所述激光扫描仪数据，以获得对应于 第一关注区的激光点；检索与所述运载工具的所述位置和定向相关联的源图像；将对应于所述第 一 关注区的所述激光点映射到所述源图像的图像坐标，以产生第 一辨识掩模；将所述第辨识掩模与所述源图像进行组合，以获得表示所述第-'关注区的第 候选3D图像；依据所述行驶方向而从所述第一候选3D图像中检测第一对象群组； 依据所述运载工具的所述位置和定向以及所述激光扫描仪数据的局部深度一致性而过滤所述激光扫描仪数据，以获得对应于第二关注区的激光点；将对应于所述第二关注区的所述激光点映射到所述源图像的图像坐标，以产生第 二辨识掩模；将第二辨识掩模与所述源图像进行组合，以获得表示所述第二关注区的第二候选 3D图像；从所述第二候选3D图像中检测第二对象群组；以及 将所述第一和第二对象群组进行组合。
9. 根据权利要求1或8所述的方法，其中所述运载工具的所述位置和定向数据己由定位平台确定。
10. —种用于捕获对象以供地图数据库中使用的设备，所述设备包含输入装置；处理器可读存储媒体；以及处理器，其与所述输入装置和所述处理器可读存储媒体通信； 输出装臂，其用以实现'J显示争元的连接；所述处理器可读存储媒体存储用以对所述处理器进行编程以执行从基于陆地的 移动测绘数据中检测对象的代码，其中已借助于在道路卜.行驶的具有行驶方向的基 于陆地的移动测绘运载工具捕获到所述基于陆地的移动测绘数据，所述移动测绘数 据包含激光扫描仪数据、由至少一个相机获得的源图像以及所述运载工具的位置和 定向数据，其中所述激光扫描仪数据包含若干激光点，每一激光点具有相关联的位 置和定向数据，且每一源图像包含相关联的位置和定向数据，所述方法包含检索所述运载工具的位置和定向；依据所述运载工具的所述位置和定向而过滤所述激光扫描仪数据，以获得对应于 关注区的激光点；检索与所述运载工具的所述位置和定向相关联的源图像；将对应于关注区的所述激光点映射到所述源图像的图像坐标，以产生辨识掩模； 将所述辨识掩模与所述源图像进行组合，以获得表示所述关注区内的可能对象的 候选3D图像；从所述候选3D图像'l'检测对象群组；以及 将所述对象群组存储在存储媒体上以用于表征所述对象。
11. 一种计算机程序，其在加载于计算机布置上时，经布置以执行根据权利要求1到9 所述的方法中的任一方法。
12. —种携载计算机程序的处理器可读媒体，所述计算机程序在加载于计算机布置卜. 时，经布置以执行根据权利要求1到9所述的方法中的任一方法。
全文摘要
本发明涉及一种从基于陆地的移动测绘数据中检测对象的方法，其中已借助于在道路上行驶的具有行驶方向的基于陆地的移动测绘运载工具捕获到所述基于陆地的移动测绘数据，所述移动测绘数据包含激光扫描仪数据、由至少一个相机获得的源图像以及所述运载工具的位置和定向数据，其中所述激光扫描仪数据包含数若干激光点，每一激光点具有相关联的位置和定向数据，且每一源图像包含相关联的位置和定向数据。所述方法包含检索所述运载工具的位置和定向；依据所述运载工具的所述位置和定向而过滤所述激光扫描仪数据，以获得对应于关注区的激光点；检索与所述运载工具的所述位置和定向相关联的源图像；将对应于关注区的所述激光点映射到所述源图像的图像坐标，以产生辨识掩模；将所述辨识掩模与所述源图像进行组合，以获得表示所述关注区内的可能对象的候选3D图像；以及从所述候选3D图像中检测对象群组。通过组合图像辨识与激光扫描仪辨识，可使检测速率增加到非常高的百分比，进而实质上减少人力。此外，在所述激光数据中产生关注区实现了在所述图像中检测所述对象所需的处理功率和/或处理时间的显著减少。
文档编号G06T7/00GK101523439SQ200780037620
公开日2009年9月2日 申请日期2007年10月30日 优先权日2006年10月30日
发明者卢卡什·彼得·塔博罗维斯基, 拉法尔·扬·格利什琴斯基, 阿尔卡迪乌什·维索茨基, 马尔钦·米夏尔·克米奇克 申请人:电子地图有限公司