用于图像中的平面对象的识别和位置确定的方法和设备的制作方法

专利名称：用于图像中的平面对象的识别和位置确定的方法和设备的制作方法
技术领域：
本发明涉及识别源图像中的平面对象的方法。本发明进一步涉及用于从源图像识别 并确定平面对象的位置以用于地图数据库中的设备。
背景技术：
需要收集大量"垂直"道路信息(例如，道路标志、速度限制、方向路标、公告牌 等)以用于导航系统和类似系统中使用的数字地图数据库。术语"垂直"指示道路信息 的信息平面大体上平行于重力向量。垂直道路信息(例如，停止标志上的STOP) —般 写在平面标志上，所述平面标志通常是安装在柱子上的金属板。因此，"垂直道路信息" 的特性在于其可从平面的平面提取。如今，可通过分析并解译由移动收集装置收集到的 垂直图片图像和其它数据而获得垂直道路信息。移动测绘车辆(其是基于陆地的车辆， 例如汽车或货车)用于收集移动数据以用于增强数字地图数据库。增强的实例是交通标 志、路线标志、交通灯、展示街道名称的街道标志、出口标志等的位置。可将这些对象 的地理空间位置添加到地图数据库，这些对象在图像内的位置还可进一步用于提取标志 上所呈现的信息。
移动测绘车辆具有许多相机，其中的某些相机是立体照相的。由于货车具有车载的 精密GPS和其它位置和定向确定装备，所以相机被准确地地理定位。当在道路网上行驶 时，俘获图像序列。
移动测绘车辆记录对象的一个以上图像序列，例如标志或建筑物或道路表面，且对 于图像序列中的每一图像，地理位置以及图像序列的定向数据被准确地确定。具有对应 地理位置信息的图像序列将被称作经地理编码图像序列。位置和定向数据被存储为与每 一源图像相关联的元数据。也可同时地且以类似的地理编码方式通过其它传感器收集其 它数据。
由于巨量待处理的数据的缘故，分析图像序列是非常耗时的，且花费大量处理功率。 对于现代地图数据库应用，具有路边标志和对应的准确位置信息较为重要。俘获路 边标志信息的一种方式是使用安装在装备有准确位置确定系统的移动测绘车辆上的相 机。立体对的相机用于取得位置信息。然而，当车辆移动得较靠近标志时，此类系统难 以取得充分的图像覆盖。此类系统还需要复杂的算法和大量处理功率来分析立体对的图像。

发明内容
本发明寻求提供一种自动识别源图像中的平面对象的改进方法。 根据本发明，所述方法包含
检索由第一基于陆地的相机获得的第一源图像； 检索由第二基于陆地的相机获得的第二源图像； 检索与所述第一和第二源图像相关联的位置数据； 检索与所述第一和第二源图像相关联的定向数据；
凭借相关联的位置数据和定向数据对所述第一和第二源图像的至少一部分执行组 合的观察轴旋转变换和径向对数空间变换，以获得第一和第二径向对数数据图像，其中 观察轴旋转变换对应于将第一和第二源图像变换为表示具有等同观察轴的图像的第一 和第二中间图像；
检测在第一和第二径向对数数据图像中具有类似尺寸的区域；以及
将所述区域识别为平面对象。
本发明基于以下认识当相机沿着其观察轴移动时，由相机俘获的图像中的静止对 象的长度和宽度与相机焦点与对象之间的距离成反比例地改变，例如，当到对象的距离 减半时，对象的高度将加倍。通过移动相机，对象沿着图像空间中的直线行进。S卩，对 象中的任何像素将沿着其在图像空间中的确切直线行进。换句话说，相机的移动对应于 放大或縮小对象。此特性仅适用于平面对象，其中平面几乎垂直于相机的观察轴。非平 面的任何对象具有不处于同一深度的点。由于不同深度的缘故，沿着图像空间中的直线 的行进速度将不同。这导致对象在图像空间中变形。
沿着地球表面行驶的移动测绘车辆使用基于陆地的相机记录表面收集的地理定位 的图像序列。所述图像中的某些图像包含沿着道路旁边的在车辆前方的平面垂直对象。 然而，即使在笔直的道路上，相机也不是沿着其观察轴移动。已知相机相对于车辆的位 置和定向，且由于集成在移动测绘车辆中的准确的位置和定向传感器，准确地知道车辆 相对于地理坐标参考系(包括重力向量)的位置和定向。接着凭借三角测距法，可将源 图像变换为表示已通过沿着观察轴移动相机而俘获的图像的图像。当对所述图像执行径 向对数空间变换时，从图像空间中的观察轴开始的直线被变换为径向对数空间中的直水 平线。根据上文，我们已了解，具有垂直于观察轴的平面表面的对象的像素将沿着其在 图像空间中的确切直线行进。因此，所述对象将在径向对数图像中具有类似大小和形状。此特征使得工程师能够对两个图像执行简单的匹配算法，以在所述图像中检测具有拥有 类似大小和特性的对象的区域。所检测的区域对应于具有平面表面的对象，所述平面表 面近似垂直于第一和第二中间图像的观察轴。
本发明使用简单和有效的过程来获得图像，其中平面对象具有类似尺寸，其使得工 程师能够使用相对简单的图案匹配算法来检测所述图像中的平面对象。在找到平面对象 之后，仅必须分析对应于平面对象的区域以识别平面对象的特性，例如道路标志的类型， 或路标上的方向。通过使用本发明，与现有技术相比，用以从图像序列俘获平面对象的 处理功率可显著减少。
在本发明的又一实施例中，所述方法进一步包含
检测第一源图像或第一中间图像的对应于潜在平面对象的一部分；其中己通过对第 一中间图像的对应于潜在平面对象的所述部分执行对数空间变换而获得第一径向对数 数据图像，且已通过对第二中间图像的一部分执行对数空间变换而获得第二径向对数数 据图像，其中通过第二中间图像中的观察轴的位置以及第一 中间图像的对应于潜在平面 对象的对应部分来界定所述部分。这些特征减少了将要处理的图像数据的量。首先确定 源图像或经观察轴变换的图像中的平面对象的潜在区域。然后对于每一区域，产生对应 的第一径向对数空间图像，且还产生对应于第二中间图像中的其中可存在潜在平面对象 的部分的第二径向对数空间图像。此外，仅将必须分析相对小的第一和第二径向对数数 据图像以检测并识别平面对象。
在本发明的又一实施例中，第一和第二中间图像的观察轴平行于水平平面。此特征 使得工程师能够实践本发明来检测平行于重力向量的平面。这非常适合地用以检测垂直 道路信息(例如，道路标志和方向路标)，其一般是笔直定位的，这意味着平行于重力 向量。
在本发明的一实施例中，第一和第二中间图像中的所识别平面对象的性质满足以下 等式
A w2 H2
其中
R^第一中间图像中的观察轴的位置与对象的位置之间的距离； R2二第二中间图像中的观察轴的位置与对象的位置之间的距离；W^第一中间图像中的对象的宽度； W^第二中间图像中的对象的宽度； H^第一中间图像中的对象的高度； H^第二中间图像中的对象的高度。
这些特征使得我们能够验证所识别对象的表面是否垂直于观察轴。 给定用于在第一中间图像中适当位置的对象的简单透视等式，可观测到
z义 z y
其中
f二相机的焦距
Z二从平面对象到相机的距离
y二对象在相机的观察轴上方的高度
x二对象到相机的观察轴的侧距
Xb第一图像中从对象到观察轴的沿着X轴的距离
yl-第一图像中从对象到观察轴的沿着y轴的距离
R^第一中间图像中的观察轴的位置与对象的位置之间的距离；
因此
/ &
类似地，对于第二中间图像中的对象，可导出
<formula>formula see original document page 8</formula>
d i S t =第 一 中间图像和第二中间图像的焦点的位置之间的距离。 在本发明的一实施例中，检测动作包括-
执行图案匹配算法以检测第一和第二径向对数数据图像中的类似区域。由于径向对数空间变换的特性，不需要縮放图像，且可能在第一和第二径向对数数据图像中搜索到 类似区域。
在本发明的又一实施例中，图案匹配算法包括-
将第一径向对数数据图像分段为若干区段，以获得潜在平面对象的区域； 与潜在对象的区域一起执行扫描算法，以检测第二径向对数数据图像中的类似区域。
这些特征使得我们能够有效地处理数据图像。普遍已知的分段算法可用于将图像分 段为若干区域。径向对数空间变换的性质在于，静止平面对象在此些图像中相对于角度 轴具有类似位置，且相对于径向对数轴具有不同位置。因此，扫描算法可用于有效地找 到第二径向对数数据图像中类似于在第一径向对数数据图像中找到的潜在平面对象的 区域的区域。必须仅沿着第二图像的径向对数轴来移位第一图像的区域以找到匹配区 域。
在本发明的一实施例中，执行扫描算法包括
使用第一径向对数图像和第二径向对数图像的潜在对象的区域之间的rgb距离的最 小差来确定潜在平面对象的区域的水平位移；且所述方法进一步包括
依照水平位移、位置和定向数据来计算平面对象的位置。此特征使得我们能够检测 径向对数图像中的类似区域，且通过测量所述两个区域的水平位移，准确地确定所述区 域相对于相机的位置。
在本发明的又一实施例中，执行扫描算法进一步包括
将潜在对象的区域划分为至少两个部分；
使用第一径向对数图像和第二径向对数图像中的一部分的区域之间的rgb距离的最 小差来确定所述至少两个部分中每一者的水平位移；
验证所述至少两个部分中每一者的水平位移是否类似。这些特征使得我们能够具有 额外测试来验证潜在对象的垂直性。
在本发明的又一实施例中，如果第一径向对数图像和第二径向对数图像中的潜在对 象的区域之间的rgb距离的最小差小于预定阈值，则将所述区域识别为平面对象。此特 征使得我们能够通过验证区域是否具有所需的类似程度而进一步减小错误肯定的数目。
在本发明的--实施例中，计算平面对象的位置执行以下等式
<formula>formula see original document page 9</formula>其中
Z-第二中间图像中的相机的焦点与观察轴和对应于平面对象的平面的交点之间的距
离，
width-对数空间图像宽度， dist-现实世界中两个相机位置的距离，
offset-径向对数图像空间中的对象位置之间的水平位移。这些特征使得我们能够确 定相机与对象之间的距离。
可使用软件、硬件或软件与硬件的组合来实施本发明。当本发明的全部或部分以软 件实施时，所述软件可驻留于处理器可读存储媒体上。恰当的处理器可读存储媒体的实 例包括软盘、硬盘、CD ROM、 DVD、存储器IC等。当系统包括硬件时，所述硬件可 包含输出装置(例如，监视器、扬声器或打印机)、输入装置(例如，键盘、指向装置 和/或麦克风)以及与输出装置通信的处理器和与处理器通信的处理器可读存储媒体。所 述处理器可读存储媒体存储能够对处理器进行编程以执行用以实施本发明的动作的代 码。本发明的过程还可实施在服务器上，可经由电话线或者其它网络或因特网连接来访 问所述服务器。
应注意，WO01048683Al教示一种方法，其中具有重叠场景的所记录图像可被变换 为图像的定性圆球立体对(QCSP)。类似于径向对数空间变换的变换产生"径向"立体 对。仅在图像与行进方向对准的情况下，即在行进方向上指向的情况下，此变换工作良 好。WO01048683Al不揭示一种方法，其中不与行进方向对准的图像可用于获得包括所 需特性以允许较不复杂的图像辨识算法的"径向"图像立体对。此外，所述文献不教示 可从此"径向"立体对来确定对象相对于相机的位置。


下文将参考附图使用众多示范性实施例来更详细地论述本发明，附图中 图1展示本发明的一实施例的流程图2展示将源图像进行观察轴旋转变换成为具有类似观看角度的图像的一般原理的 俯视图3展示相机的对应于图2a的图像； 图4展示相机的对应于图2b的图像； 图5展示两个后续源图像； 图6展示变换图5的图像的结果；图7说明经变换图像的特性；
图8说明现实世界空间中的变换的特性；
图9展示对图6的图像应用径向对数变换的结果；
图IO展示相关函数输出；
图11说明在经全变换的图像的径向对数空间中，第一径向对数图像中的道路标志 的位置与第二对数图像中的所检测位置之间的位移； 图12说明从图像空间到世界坐标的变换；
图13是用于实施根据本发明的方法的示范性硬件系统的方框图； 图14展示具有相机的MMS系统；以及 图15展示位置和定向参数的图。
具体实施例方式
图14展示采取货车21形式的MMS系统。所述货车21具备一个或一个以上相机 29 (i) (i=l、 2、 3、……、I)和一个或一个以上激光扫描器23 (j) (j-l、 2、 3、……、 J)。观察角度或所述一个或一个以上相机29 (i)可在相对于货车21的行驶方向的任何 方向上，且可因此为前方观察相机、侧部观察相机或后方观察相机等。所述相机29(i) 的观看窗口覆盖车辆前方的整个道路表面。优选的是，货车21的行驶方向与相机的观 察角度之间的角度在任一侧上在-45度到45度的范围内。驾驶员可沿所关注的道路驾驶 货车21。
货车21具备多个车轮22。此外，货车21具备高准确度位置确定平台。如图14所 示，位置确定平台包括以下组件中的至少某些组件
GPS (全球定位系统)单元，其连接到天线28且经布置以与多个卫星SLi (i=l、
2、 3.......)通信并根据从卫星SLi接收的信号计算位置信号。所述GPS单元连接到微
处理器pP。基于从所述GPS单元接收的信号，微处理器nP可确定将要在货车21中的 监视器24上显示的合适显示信号，从而告知驾驶员货车位于何处以及其可能正在哪个 方向上行进。代替GPS单元，可使用差分GPS单元。差分全球定位系统(DGPS)是全 球定位系统(GPS)的增强形式，其使用基于固定地面的参考站的网络来广播卫星系统 所指示的位置与已知固定位置之间的差异。这些站广播所测量的卫星伪距离与实际(内 部计算的)伪距离之间的差异，且接收器站可将其伪距离校正相同量。
DMI (距离测量仪器)。此仪器是通过感测车轮22中的一者或一者以上的旋转数 来测量货车21所行驶的距离的里程表。DMI也连接到微处理器以允许微处理器pP在根据来自GPS单元的输出信号计算显示信号的同时考虑DMI所测量的距离。
IMU (惯性测量单元)。此IMU可实施为三个陀螺仪单元，其经布置以沿三个正 交方向测量旋转加速度和平移加速度。所述IMU也连接到微处理器以允许微处理器 ^P在根据来自GPS单元的输出信号计算显示信号的同时考虑DMI所进行的测量。IMU 还可包括航位推算传感器。
将注意到，所属领域的技术人员可找到全球导航卫星系统与车载惯性和航位推算系 统的许多组合来提供车辆和因此装备(其参考车辆的参考位置和定向以已知位置和定向 安装)的准确位置和定向。
图14中所展示的系统是所谓的"移动测绘系统"，其例如通过用安装在货车21上 的一个或一个以上相机29 (i)拍摄图片来收集地理数据。相机29 (i)连接到微处理器 HP。位于货车前方的相机29 (i)可为立体相机。所述相机可经布置以产生其中已以预 定义帧速率俘获了所述图像的图像序列。在示范性实施例中，所述相机中的一者或一者 以上是静止图片相机，其经布置以在货车21的每个预定义位移或每个时间间隔俘获图 片。相机29 (i)将图像发送到^P。在一实施例中，移动测绘车辆包括三个相机 一个 前方观察相机以及位于每一侧的相对于车辆的航向方向具有在30到60度范围内且优选 为45度的观察轴的相机。在所述情况下，前方观察相机俘获尤其适合于检测道路表面 上方的道路方向的图像，且侧部观察相机俘获尤其适合于检测沿道路的物体(例如道路 标志)的图像。
一般需要从所述三个测量单元GPS、 IMU和DMI提供尽可能准确的位置和定向 测量。在相机29 (i)拍摄图片时测量这些位置和定向数据。所述图片与货车21的对应 位置和定向数据相关联地存储在所述的合适存储器中以供稍后使用，所述位置和定 向数据是在拍摄这些图片的同时收集的。所述图片包含例如关于建筑物区块、树、交通 标志、停放的汽车、人、方向路标等的视觉信息。
图15展示可从图14中所展示的三个测量单元GPS、 DMI和IMU获得哪些位置信 号。图15展示微处理器pP经布置以计算六个不同参数，即预定坐标系中相对于原点的 三个距离参数x、 y、 z以及各自三个角参数cox、 coy和coz，其分别指示围绕x轴、y轴和 z轴的旋转。优选的是，z方向与重力向量的方向重合。全球UTM或WGS84坐标系可 用作预定坐标参考系。应注意到，根据本发明的方法可与局部坐标参考系一起使用，所 述局部坐标参考系例如为NAD 83和其它国家网格系统。所述六个不同参数提供6个自 由度，需要其来及时跟踪车辆的位置和定向。相机和激光扫描器相对于货车21或位置 确定平台上的参考位置和定向具有固定的位置和定向。这使得我们能够准确地从所述六数确定在拍摄图像的时刻每一激光样本在坐标参考系中的位置以及所述相机在坐 标参考系中的位置和定向。
根据本发明的方法涉及检测道路标志、方向路标和其它平面对象。这些对象是静止 的且通常具有垂直于道路轴的平面表面，其中道路信息写在所述平面表面上。 一般来说， 道路轴是水平的且在交通流的方向上。已发现，道路标志不是确切地放置成垂直于道路 轴，而是朝向道路旋转约5度，使得在道路上驾驶的驾驶员将具有对道路标志的几乎垂 直的观看。此外，此较小的旋转改进了夜晚中的可见性，因为平面表面将把车辆光更佳 地反射到驾驶员。
将揭示一种变换，其将从不同位置获得且具有不同观察轴的两个图像中可见的对象 变换为具有类似大小和形状、在经变换图像中可见的对象。
图l展示本发明的过程的流程图。变换(其为组合的观察轴旋转和径向对数空间变 换)的输入信号是第一图像和第二图像以及相机在俘获第一和第二图像时的位置和定 向。所述定向表示相机的观察轴相对于参考定向的角度。在一实施例中，参考定向对应 于移动测绘车辆或定位确定平台的航向方向。源图像表示由基于陆地的相机记录的或多 或少的垂直图像。所述源图像可为凭借静态图片相机记录的静态图片序列，所述相机在 例如每IO米位移被触发。包含图像传感器的相机具有观看角ou由相机的透镜组合的焦 距确定观看角(x。观看角a可在45。 < a < 90°的范围内。此外，相机具有观察轴，其在 观看角的中心。相机观察轴平行于水平平面，例如道路表面。通常，图像传感器安装成 垂直于观察轴。在此情况下，图像传感器记录"纯"垂直源图像。此外，已知图像传感 器相对于水平平面(例如，地球表面)的高度。凭借三角测距法，可将从基于陆地的相 机检索的经地理编码源图像转换到任何虚拟平面。即使观察轴相对于水平平面成一已知 角度，也可从源图像获得所述虚拟平面。
由静态图片相机拍摄的图像是相机视野中的最近表面点的颜色的表示。像素值对应 于表面的颜色，将经由图像传感器的测量所述像素颜色的光敏感元件从相机的焦点看到 所述表面的颜色。通常，用于当今相机中的透镜具有给予图片每像素约0.01 -0.1度的角 度分辨率的分辨率和焦距。
移动测绘车辆装备有定位平台，其包含定位传感器，例如GPS接收器和可能的额外 惯性和航位推算传感器以及定向传感器，例如陀螺仪、加速度计和距离测量单元。这些 传感器是普遍已知的。通过这些传感器，可非常准确地确定并记录车辆的位置和定向。 此外，移动测绘车辆装备有许多相机以记录图像序列。两个相机可安装在汽车前方以记 录车辆前方的图像。这两个相机可经布置以产生立体图像对序列。此外，相机可安装在左侧和右侧以从汽车获得侧视图，且相机可安装在车辆后方以记录从车辆后方看到的活 动世界。如果相机安装在车辆的所有侧上，那么可获得围绕所述车辆的在所有方向上的 连续或接近连续的视图。位于前方和后方的相机使得我们能够而且从相反方向获得同一 道路的两个图像序列。
所有记录的数据源(至少包括定位和定向数据和图像序列)使用相同的时间参考。 定位平台使我们能够非常准确地确定移动测绘车辆在坐标参考系中的位置和定向。可从 来自定位平台的数据和各自相机相对于定位平台的所确定位置和定向的固定位置和定 向来导出相机的准确位置和定向。所述位置可为准确的绝对位置或至少一准确的相对位 置。可从安装在移动车辆的两个不同位置处的两个相机或图像序列的两个后续图像获得 第一和第二图像。优选的是，由相同的静态图片相机俘获第一和第二图像，其中第一与 第二图像之间的距离是10米。
相对于在俘获第一和第二图像时的定位平台的参考位置和定向的定位平台的位置 和定向以及相机的位置和定向经处理以提取将是变换数据的径向观看参数。变换数据控 制第一和第二图像到第一和第二径向对数数据图像的变换。下文将揭示关于变换的更多 细节。由于在两个径向对数数据图像中的垂直对象的大小和形状是类似的，所以可呈普 遍已知的图案匹配算法形式的简单扫描算法用于匹配两个径向对数数据图像中的类似 垂直对象。
己发现，根据本发明的方法能够识别具有+/-10度的角度偏差的垂直平面对象。径 向对数空间中的对应误差小于图像的噪声。
当用于选择道路标志时，例如首先应用大小过滤器来选择仅具有不小于0.5x0.5米 且不大于1.2x1.2米的现实世界大小的对象。具有所需大小范围内的大小的对象被添加 到数据库以供进一步处理。所关注的垂直对象可与指派给每一像素的对应位置一起存储 为小图像。在一个实施例中，小图像包括对应于源图像中的平面对象的像素。所述进一 步处理可为辨识道路标志的类型、方向路标上的各自标志或可从图像或小图像提取的任 何其它类型信息。可将信息最终存储在地图数据库中，所述地图数据库可用于导航系统 中，以在屏幕上显示驾驶员前方道路的改进表示或基于从标志俘获的信息给予改进的方 向。
在以下段落中，将以可区分的子变换描述变换。应注意，可在一个步骤中执行所述 变换而没有中间结果，如下文将描述。
图2展示将源图像进行观察轴旋转变换成为具有类似观察轴的图像的一般原理的俯 视图。图2a展示第一相机202和第二相机204，其两者均安装在观测对象216的汽车206、 208上。第一相机202具有第一观察轴210，且第二相机具有第二观察轴214。两 个相机均具有其各自的观看角。第一和第二相机两者均在其观看角中具有对象216。图 3的上部图片展示具有使用第一相机俘获的对象310的第一图像，且图3的下部图片展 示具有使用第二相机俘获的相同对象312的第二图像。在距对象20米的距离处俘获第 二图像，而在距对象10米的距离处俘获第一图像。此对应于移动测绘车辆中的图像的 记录，所述移动测绘车辆凭借一个相机沿着道路每10米位移俘获一源图像，其中相机 的观察轴相对于行驶方向成一角度。
图2b展示观测对象216的相同第一相机202和第二相机204。与图2a的差异在于， 第一和第二相机两者的观察轴实际上已被旋转。第二相机204的观察轴214a与第一相 机202的观察轴210b成一直线。图4的上部图片展示具有使用具有虚拟观察轴的第一 相机302俘获的对象410的第一图像，且图4的下部图片展示具有使用具有相同虚拟观 察轴的第二相机204俘获的相同对象412的第二图像。在两个图中，由十字指示虚拟观 察轴在图像中间的位置。两个图像中的梯形指示图3中的图像在图像的虚拟旋转变换之 后的轮廓。
虚拟观察轴对应于道路的水平方向。如果由一个相机记录图像，则可由车辆在从俘 获第一图像的时刻俘获第二图像的时刻行驶时的水平行驶方向来近似虚拟观察轴。必须 从相同时刻处的定向数据导出用于各自图像的观察轴的旋转。如果由两个不同相机俘获 图像，则必须使用关联到各自图像的位置和定向数据来确定观察轴的旋转，以获得相对 于彼此平行的两个虚拟观察轴，且随后图像中的一者必须被平移以使虛拟观察轴的位置 彼此成一直线。如果由移动测绘车辆中的定位平台产生的位置和定向数据不足够准确地 使虚拟观察轴彼此成一直线，则径向对数图像将不足够准确地使扫描算法能够找到第一 和第二径向对数图像中的匹配。应进一步注意，可通过具有不同观看角的两个相机获得 第一和第二图像。在那种情况下，观察轴旋转变换应进一步经布置以获得具有以每像素 度数为单位的相同角度分辨率的图像。
图5展示使用安装在移动车辆上的一个相机获得的两个后续图像的实例。首先俘获 下部图像，且在左侧展示道路标志510。在车辆移动特定距离后俘获上部图像，且再次 展示道路标志512。
图6展示通过实际旋转图像的观察轴来变换图5的图像的结果。以此方式，己使用 等同的观察轴获得两个图像。可凭借与两个图像相关联的位置和定向数据来执行观察轴 旋转变换。此外，观察轴602、 604的位置在图像中是等同的。在上部和下部图像中还 指示由图像中的标志的上部像素和下部像素形成的角度606、 608。可见，角度606、 608是类似的。应注意，图像关于所界定轴的旋转是现有计算机图形卡的内建功能，且因此 不相对于旋转图像以获得具有等同观察轴的图像来给出进一步细节。
图7说明图4中的经变换中间图像的特性。图7是图4的上部和下部图像的组合。 图4的图像中的与第一经变换中间图像相关联的观察轴以及与第二经变换中间图像相关 联的观察轴成一直线。此外，两个图像中的观察轴的位置是相同的。参考标志702指示 其中与两个经变换中间图像相关联的观察轴交叉的像素。因此，可通过覆盖来组合图像。 从所述图像可认为第一和第二经变换中间图像对应于已通过使相机沿着观察轴移动而 俘获的图像。假定已在距对象距离D1处俘获第一经变换中间图像，且已在两倍于距离 Dl处俘获第二经变换中间图像。结果，第一经变换中间图像中的对象的大小Hl、 Wl 将是第二经变换中间图像中的对象的大小H2、 W2的两倍。此外，对应于观察轴的像素 702与第一经变换中间图像和第二经变换中间图像中的对象的任何点之间的距离将加倍 Rl=2xR2。
第一和第二经变换中间图像中的任何垂直对象将满足以下等式
<formula>formula see original document page 16</formula>其中
R^第一中间图像中的观察轴的位置与对象的位置之间的距离； R2二第二中间图像中的观察轴的位置与对象的位置之间的距离 Wf第一 中间图像中的对象的宽度； W^第二中间图像中的对象的宽度；
H^第一 中间图像中的对象的高度；
H^第二中间图像中的对象的高度。
此外，从图7可见，对象相对于对应于观察轴的像素702的定向不改变。结果，第 一图像中的对象的任何像素将具有等效于第二图像中的角度或定向的角度或定向。这在 图6中说明。上部图像展示虚拟观察轴602的位置以及用于所述图像中的道路标志的上 部像素和下部像素的上部和下部角度的范围606。在下部图中，虚拟观察轴604的位置 处于与上部图中相同的位置。此外，用于下部图像中的上部和下部像素的上部和下部角 度的范围608等效于上部图像中的范围606。因此，通过沿着观看轴移动相机，仅观察 轴的像素与对应于对象的像素的位置之间的距离将改变。此特征优点在于，如果在第一图像中确定对象的大小，则知道第二图像中可找到垂直对象的对应区域，且仅图像的所 述部分必须被处理。此显著减少将要被处理的图像数据的量，从而达到数据的更有效处 理。
图8说明现实世界空间中的变换的另一特性。展示在俘获第一和第二图像时相机位 置的俯视图。可见，与先前等式组合，相机与相机从第一位置到第二位置的位移之间的 距离z满足以下等式
z — —
其中
RF第一中间图像中的观察轴的位置与对象的位置之间的距离；
R2=第二中间图像中的观察轴的位置与对象的位置之间的距离；
Z=第二中间图像中相机的焦点与对应于平面对象的平面之间的最小距离；
dist-第一中间图像和第二中间图像的焦点的位置之间的距离。 可使用位移测量装置(例如，车轮传感器)来测量dist。
可通过基于颜色信息将图像分段来获得中间图像中的潜在对象。然而，在中间图像
中针对每一潜在对象测量潜在对象的半径比例以及宽度和高度似乎过于复杂甚至是不
可能的。因此，已寻找一种变换，其有利地使用具有相同观察轴的中间图像的特性。径 向对数变换具有这些优点。对于图像中的每一像素，将确定对应于观察轴的像素与所述
像素之间的距离R,且随后将确定对数值。
在径向对数空间中，x轴对应于中间图像中的对应于观察轴的像素(a，b)与像素(x,y)
之间的距离的对数值。y轴对应于穿过观察轴的像素(a,b)和像素(x,y)的线的角度。 如之前所述，中间第一和第二图像中的垂直对象的特性在于，相对于观察轴像素的角度 不改变。因此，在径向对数空间中，对象相对于y轴的位置不改变。此外，对象与相机 之间的在现实世界中的距离与中间图像中的大小成反比例。通过对半径R施加对数函 数，对象在径向对数空间中的大小和形状独立于相机与垂直对象之间的距离。图9展示 对图6的图像应用径向对数变换的结果。在右手大小处，展示对应图中的道路标志的放 大图。可见，不管相机与垂直平面对象之间的距离如何，径向对数空间中的对象的形状 和大小是类似的。因此，在径向对数空间中，可通过简单的图案匹配算法来检测所关注 的对象。第一和第二径向对数图像中的对象之间的水平位移(这是以像素数目为单位的沿着 X轴的位移)与当记录第一和第二源图像时相机的焦点与对象之间的距离上的变化成比 例。
上文所描述的方法不应用于整个图像上，而是应用于候选区段上。通过将图像分段 为具有类似颜色的若干区段而获得候选区段。拉隆德马克(Lalonde Marc)和李英(Li Ying)的技术报告道路标志辨识(Technical report Road Sign Recognition) (Centre de recherche informatique de Montreal, 1995.子工程2.4的现有技术调查(Survey of the State of the Art for Sub-Project 2.4) ， CRIM/IIT)描述了与从由CCD相机得到的彩色图像中分 析和辨识道路标志相关的图案辨识的子域中的现有技术。此文献提到用于经由颜色分段 和形状辨识来检测标志的多种算法。每一候选区段对应于图像中潜在作为对象的像素群 组。
第一中间图像的候选区段被变换为第一径向对数图像。从上文描述我们已了解，当 沿着相机观察轴移动相机时，由观察轴的位置、中间图像中的对象的上部像素和下部像 素形成的角度将不改变。因此，当我们假定沿着观察轴移动相机时，第二中间图像的仅 位于候选区段的角度内的部分必须被变换为第二径向对数图像。已通过旋转在对应于候 选区段的源图像之前的源图像而获得第二中间图像。因此，第一和第二径向对数图像将 具有相同高度。随后，沿着第二径向对数图像的适合计算的所述部分水平地扫描对应于 候选区段的像素的第一径向对数图像。此实施例假定已由相同相机但在不同位置处俘获 源图像，其中所述相机俘获车辆前方的道路。此外，源图像的观察轴不类似于行驶方向。 在第一中间图像中，将要检测的对象将具有比第二中间图像中大的大小。仅将径向对数 空间变换应用于第一中间图像的一区段的像素和第二中间图像中可能存在所述区段的 部分。两个措施显著减少径向对数空间变换所需的计算功率。以上暗示第一源图像在时 间上是在第二源图像之后俘获的。
使用简单的扫描算法来验证对象检测并确定在第一与第二径向对数图像之间的沿 着x轴的位移。扫描算法确定如在第一对数图像中所识别的对象与第二径向对数图像中 的每一可能的水平位移(偏移)(以像素数目计)之间的rgb差。rgb差的实例是rgb空
间中的像素之间的平方和距离。可由以下等式确定像素之间的平方距离 quared—dist = sum ((rl-r2)2+(gl-g2)2+(bl-b2)2) 其中
rl和r2分别是第一和第二径向对数图像中的像素的红色分量的值，
gl和g2分别是第一和第二径向对数图像中的像素的绿色分量的值，且
1bl和b2分别是第一和第二径向对数图像中的像素的蓝色分量的值。 对所有选定像素(包括第一径向对数图像中的对象和其在第二径向对数图像中的对 应物)进行求和。
可通过以下伪代码描述扫描算法 bestfit = Not A Number; minSum = MAX_NUMBER; for each potential offset o do: sum = 0;
for each point x,y in mask of object do:
sum = sum+dist(rgbl(x,y),rgb2(x+o,y)) if (sum < minSum)
bestfit =o;
minSum=sum;
其中rgbl(x，y)和rgb2(x+o，y)分别是第一和第二径向对数图像中的像素在位置x，y和 x+o，y处的值。
在执行此算法之后，"bestfit"的值将为最佳匹配的值。
通过使用对应于候选区段的第一径向对数图像来扫描第二径向对数图像，可检测到 第二径向对数图像中的候选区段的最可能位置。扫描算法通过针对径向对数图像中的每 一假定的水平位移来分析rgb空间中的笛卡儿距离而产生相关输出。具有相关输出的最 小值的位置对应于实现候选区段的像素与第二径向对数图像的像素之间的最高相关处 的位置。然而，如果第一径向对数图像对应于移动对象，则对象将不存在，或至少不完 全以第二对数图像中的相同大小和形状而存在。所述扫描算法将不产生具有相对小值的 相关输出，其指示不存在具有候选区段的像素与第二径向对数图像的像素之间的相关的
位置。为减少错误肯定，使用预定阈值检查相关输出的最小值。如果所述最小值小于预 定阈值，则将候选区段视为与第二径向对数图像中的一区域具有匹配，且因此断定候选 区段是垂直于车辆行驶方向的静止平面。
图10展示通过执行扫描算法而获得的相关函数输出。X轴表示候选区段相对于第 二径向对数图像中的位置的水平位移，且y轴表示笛卡儿距离值。可见，在水平位移79 处，找到笛卡儿距离值中的最小值。此对应于其中实现候选区段与第二对数图像之间的 最高相关的点。
为验证候选区段对应于垂直于观察轴的对象，将第一径向对数图像等分为至少两个 部分，例如左部分和右部分。对于每一部分，再次确定相关函数输出。如果对象是垂直的，则两个部分的水平位移将是相同的。然而，如果对象不具有垂直表面，则左部分和 右部分的水平位移将不同。如果此测试是肯定的，我们断定对象具有垂直于第一和第二 中间图像的观察轴的平坦表面。
第一和第二径向对数图像中的候选图像的水平位移(偏移)是用以计算相机与垂直 对象之间的距离的措施。
图11说明在经全变换的图像的径向对数空间中，第一径向对数图像中的道路标志 的位置与第二对数图像中的所检测位置之间的位移。
为计算距相机的对象距离(图8中的z)，我们使用以下等式-
其中
z-在第二中间图像中相机的焦点与观察轴和对应于平面对象的平面的交点之间的
距离，
width-对数空间图像宽度，
dist-两个相机位置在现实世界中的距离，
offset-径向对数图像空间中的对象位置之间的水平位移，换句话说，从第一径向对 数图像中的对象到第二径向对数帧中找到的对象存在多少像素差。
举例来说，dist=10，径向对数图像的宽度是3000像素，且偏移是-80，我们可计算 出对象距相机的距离为52.015m。
计算出z后，我们可使用透视等式来计算对象的位置
<formula>formula see original document page 20</formula>XCam-中间图像中的对象相对于对应于观察轴的像素的水平位置; ZCam-中间图像中的对象相对于对应于观察轴的像素的垂直位置; z-先前已计算(径向对数空间)width-原始帧图像宽度 height-原始帧图像高度 Xr对象在帧轴中的x坐标
ys-对象在帧轴中的y坐标 fpx-以像素计的相机的焦距
现在我们具有XCam、 ZCam禾Bz，其是对象在相机空间中的坐标。最终步骤是从相 机变换到现实世界坐标以具有对象在坐标参考系(例如，WGS84)中的最终位置 (Xp，yp,Zp)。
图12说明从图像空间到世界坐标的变换。(Xc,Yc， Zc)是相机的现实世界位置，Xs，Ys 是候选区段在中间图像空间中的位置，且(Xp, Yp, Zp)是世界坐标中的最终对象的位置。
在一实施例中，对象在世界坐标中的位置用于确定平面对象在预定道路廊道中是否 具有一位置且随后必须被存储在地图数据库中。此预定道路廊道的一实例可能为 具有不远于移动测绘车辆的位置的左部和/或右部10米的位置的所有对象； 具有道路表面上方的高于0.5米和/或低于6.0米的位置的所有对象； 具有在相机前方0.5-30米距离范围内的位置的所有对象。
作为世界坐标的替代，例如相对于车辆位置的相对坐标也可用于选择哪些对象必须 被存储在地图数据库中。应用此位置选择改进了根据本发明的方法的错误肯定率。
将图像分段为候选区段具有以下优点第一和第二图像中的最小量像素用于执行根
据本发明的方法。仅候选区段的像素被变换以获得第一径向对数图像。此外，图像的仅 可为垂直对象的部分被变换为第二对数图像。这些措施改进了用于执行根据本发明的方 法和检测垂直平面对象的处理速度。
图13说明可用于实施识别并确定上文所描述的平面对象的位置的方法的计算机系 统的高级方框图。计算机系统可进一步经布置以用于俘获平面对象的特性。在收集垂直 道路信息的领域中，所述特性可为道路的大小和类型、路线标志上的方向和路线标志上 的对应位置、城市名称等。拉隆德马克(LalondeMarc)和李英(Li Ying)的技术报告 道路标志辨识(Technical report Road Sign Recognition) (Centre de recherche informatique de Montreal, 1995.子工程2.4的现有技术调査(Survey of the State of the Art for Sub-Project 2.4) ， CRIM/IIT)描述了与从由CCD相机得到的彩色图像分析和辨识道路 标志相关的图案辨识的子域中的现有技术。此文献提到了用于俘获标志的特性的多种算 法。计算机系统进一步经布置以将平面对象的特性和位置存储在存储媒体上以用于地图数据库中。
图13的计算机系统包括处理器单元912和主存储器914。处理器单元912可含有单 个微处理器或可含有多个微处理器以用于将计算机系统配置为多处理器系统。主存储器 914部分存储供处理器单元912执行的指令和数据。如果本发明的方法全部或部分地以 软件实施，那么主存储器914当在操作中时存储可执行代码。主存储器914可包括动态 随机存取存储器(DRAM)以及高速度高速缓冲存储器的存储体。
图9的系统进一步包含大容量存储装置916、外围装置918、输入装置920、便携式 存储媒体驱动器922、图形子系统924和输出显示器926。出于简单的目的，图9中所 展示的组件被描绘为经由单个总线928连接。然而，所述组件可通过一个或一个以上数 据输送构件连接。举例来说，处理器单元912和主存储器914可经由局部微处理器总线 连接，且大容量存储装置916、外围装置918、便携式存储媒体驱动器922和图形子系 统924可经由一个或一个以上输入/输出(I/O)总线连接。大容量存储装置916 (其可用 磁盘驱动器或光盘驱动器实施)是用于存储数据的非易失性存储装置，所述数据例如为 各自相机的经地理编码图像序列、相机的校准信息、恒定和可变位置参数、恒定和可变 定向参数、中间结果、具有所检测对象的数据库和供处理器单元912使用的指令。在一 个实施例中，大容量存储装置916存储用于实施本发明的系统软件或计算机程序以用于 加载到主存储器914的目的。
便携式存储媒体驱动器922结合便携式非易失性存储媒体(例如软盘、微驱动器和 快闪存储器) 一起操作以将数据和代码输入到图9的计算机系统以及从图9的计算机系 统输出数据和代码。在一个实施例中，用于实施本发明的系统软件存储在呈此便携式媒 体形式的处理器可读媒体上，且经由便携式存储媒体驱动器922输入到计算机系统。外 围装置918可包括任何类型的计算机支持装置，例如输入/输出(I/O)接口，以向计算 机系统添加额外功能性。举例来说，外围装置918可包括网络接口卡以用于将计算机系 统介接到网络、调制解调器等。
输入装置920提供用户接口的一部分。输入装置920可包含用于输入字母数字和其 它按键信息的字母数字小键盘或指向装置，例如鼠标、跟踪球、触笔或光标方向按键。 为了显示文本和图形信息，图9的计算机系统包含图形子系统924和输出显示器926。
输出显示器926可包含阴极射线管(CRT)显示器、液晶显示器(LCD)或其它合 适的显示装置。图形子系统924接收文本和图形信息，且处理所述信息以供输出到显示 器926。输出显示器926可用于报告中间结果、显示所找到的对象，显示确认信息且/ 或显示作为用户界面的部分的其它信息。图9的系统还包含音频系统928，其包含麦克风。在一个实施例中，音频系统928包含声卡，其从麦克风接收音频信号。另外，图9 的系统包含输出装置932。合适的输出装置的实例包含扬声器、打印机等。
图9的计算机系统中所含有的组件是通常在通用计算机系统中找到的那些组件，且 期望表示此项技术中众所周知的广泛种类的此类计算机组件。
因此，图9的计算机系统可为个人计算机、工作站、小型计算机、大型计算机等。 所述计算机还可包括不同的总线配置、联网平台、多处理器平台等。可使用各种操作系 统，其中包括UNIX、索拉里斯(Solaris)、哩纳克斯(Linux)、视窗(Windows)、麦金 托什(Macintosh) OS和其它合适的操作系统。
可自动执行上文所描述的方法。可能发生这样的情况图像使得图像处理工具和对 象辨识工具需要某种校正。举例来说，校正函数在一个以上位置处展示最大相关。在所 述情况下，所述方法包含一些验证和手动调适动作以实现确认或调适中间结果或视觉上 选择最佳位置的可能性。这些动作还可适合于接受平面对象检测的中间结果或最终结 果。
应进一步注意，使用在不同时刻俘获的第一和第二源图像具有以下优点通过根据
本发明的方法，将几乎不会将移动的平面对象(例如，移动车辆背部处的数字板)检测 为平面对象。
所呈现的方法非常适合于产生用于地图数据库中的平面道路信息的方法。根据本发 明的方法将源图像中的区域识别为平面对象。在识别后，可将源图像中的所识别对象的
像素的区域或整个源图像与源图像中的区域的x，y位置以及与源图像相关联的位置和定
向数据一起存储。在不同位置处拍摄的两个源图像中的平面对象的区域在坐标参考系中
的x，y位置以及与所述两个图像相关联的位置和定向数据使得我们能够确定对象在坐标 参考系中的位置。此外，对象的图像可用于检测道路信息的类型。另外，光学字符辨识 (OCR)或智能字符辨识(ICR)软件可用于检测道路标志上的文本信息。可将此信息与 标志的位置信息一起存储在存储器中。应注意，不应将位置信息总是表达为坐标参考系 中的坐标，而是还可呈对(例如)高速公路上的特定会合点的参考的形式。在那种情况 下，必须作出与实际位置和会合点的匹配。此可通过软件或手动地完成。
已出于说明和描述的目的而呈现了本发明的前述详细描述。不希望其为详尽的或将 本发明限于所揭示的精确形式，且显然鉴于以上教示许多修改和变化都是可能的。所描 述的实施例经选择以便最佳阐释本发明的原理和其实际应用，以进而使得所属领域的技 术人员能够在各种实施例中且使用适合于所预期的特定使用的各种修改来最佳利用本 发明。希望由所附权利要求书来界定本发明的范围。
权利要求
1.一种识别源图像中的平面对象的方法，其包括检索由第一基于陆地的相机获得的第一源图像；检索由第二基于陆地的相机获得的第二源图像；检索与所述第一和第二源图像相关联的位置数据；检索与所述第一和第二源图像相关联的定向数据；凭借所述相关联的位置数据和定向数据对所述第一和第二源图像的至少一部分执行组合的观察轴旋转变换和径向对数空间变换，以获得第一和第二径向对数数据图像；其中所述观察轴旋转变换对应于将所述第一和第二源图像变换为表示具有等同观察轴的图像的第一和第二中间图像；检测所述第一和第二径向对数数据图像中具有类似尺寸的区域；以及将所述区域识别为平面对象。
2. 根据权利要求l所述的方法，其中所述方法进一步包括检测所述第一源图像或第一中间图像的对应于潜在平面对象的一部分其中已通 过对所述第一中间图像的对应于所述潜在平面对象的所述部分执行对数空间变换 而获得所述第一径向对数数据图像径向，且已通过对所述第二中间图像的一部分执 行对数空间变换而获得所述第二径向对数数据图像，其中由所述第二中间图像中的 所述观察轴的位置和所述第一中间图像的对应于所述潜在平面对象的所述对应部 分来界定所述部分。
3. 根据权利要求1或2所述的方法，其中所述第一和第二中间图像中的所识别平面对 象的性质满足以下等式尺2 W2 //2其中R产第一中间图像中的观察轴的位置与对象的位置之间的距离；R2二第二中间图像中的观察轴的位置与对象的位置之间的距离；W!=第 一 中间图像中的对象的宽度；Wf第二中间图像中的对象的宽度；H^第一 中间图像中的对象的高度；Hf第二中间图像中的对象的高度。
4. 根据权利要求l或2所述的方法，其中检测包括执行图案匹配算法以检测所述第一和第二径向对数数据图像中的类似区域。
5. 根据权利要求4所述的方法，其中所述图案匹配算法使用来自所述第一径向对数数 据图像的潜在对象的所述区域来执行扫描算法，以检测所述第二径向对数数据图像 中的类似区域。
6. 根据权利要求5所述的方法，其中执行所述扫描算法包括使用所述第一径向对数图像和所述第二径向对数图像的潜在对象的所述区域之 间的rgb距离的最小差来确定潜在平面对象的所述区域的水平位移；且所述方法进一步包括依照所述水平位移、所述位置和定向数据来计算所述平面对象的所述位置。
7. 根据权利要求6所述的方法，其中执行所述扫描算法进一步包括-将潜在对象的所述区域划分为至少两个部分；使用所述第一径向对数图像和所述第二径向对数图像中的一部分的所述区域之 间的所述rgb距离的最小差来确定所述至少两个部分中每一者的所述水平位移； 验证所述至少两个部分中每一者的所述水平位移是否类似。
8. 根据权利要求6所述的方法，其中如果所述第一径向对数图像和所述第二径向对数 图像的潜在对象的所述区域之间的所述rgb距离的所述最小差小于预定阈值，则将 所述区域识别为平面对象。
9. 根据权利要求6所述的方法，其中计算所述平面对象的所述位置执行以下等式<formula>formula see original document page 3</formula>其中z-第二中间图像中的相机的焦点与观察轴和对应于平面对象的平面的交点之间 的距离，width-对数空间图像宽度， dist-现实世界中两个相机位置的距离， offset-径向对数图像空间中的对象位置之间的水平位移。
10. —种设备，其用于从源图像识别并确定平面对象的位置以用于地图数据库中，所述设备包括 输入装置；处理器可读存储媒体；以及处理器，其与所述输入装置和所述处理器可读存储媒体通信； 输出装置，其用以实现与显示单元的连接；所述处理器可读存储媒体存储用以对所述处理器进行编程来执行一方法的代码， 所述方法包括以下动作检索由第一基于陆地的相机获得的第一源图像； 检索由第二基于陆地的相机获得的第二源图像； 检索与所述第一和第二源图像相关联的位置数据； 检索与所述第一和第二源图像相关联的定向数据；凭借所述相关联的位置数据和定向数据对所述第一和第二源图像的至少一部分 执行组合的观察轴旋转变换和径向对数空间变换，以获得第一和第二径向对数数据 图像，其中所述观察轴旋转变换对应于将所述第一和第二源图像变换为表示具有等 同观察轴的图像的第一和第二中间图像；检测所述第一和第二径向对数数据图像中具有类似尺寸的区域；以及将所述区域识别为平面对象；俘获所述平面对象的特性；凭借所述第一和第二径向对数数据图像来确定所述平面对象的所述位置；以及 将所述特性和位置存储在存储媒体上以用于地图数据库中。
11. 一种计算机程序，其在被加载在一计算机布置上时经布置以执行根据权利要求1到 9所述的方法中的任一方法。
12. —种承载计算机程序的处理器可读媒体，其在被加载在一计算机布置上时经布置以 执行根据权利要求1到9所述的方法中的任一方法。
全文摘要
本发明涉及识别源图像中的平面对象的方法。所述方法包括检索由第一基于陆地的相机获得的第一源图像；检索由第二基于陆地的相机获得的第二源图像；检索与所述第一和第二源图像相关联的位置数据；检索与所述第一和第二源图像相关联的定向数据；凭借所述相关联的位置数据和定向数据对所述第一和第二源图像执行观察轴旋转变换，以获得第一和第二中间图像，其中所述第一和第二中间图像具有等同观察轴；对所述第一和第二中间图像执行径向对数空间变换以获得第一和第二径向对数数据图像；检测所述第一图像中潜在为平面对象的区域；比较所述第二径向对数数据图像中具有类似尺寸和类似rgb特性的所述潜在平面对象；以及最终，且将所述区域识别为平面对象并确定其位置。所述方法使得工程师能够非常有效地检测后续图像中的平面垂直对象。
文档编号G01C11/06GK101563581SQ200780037640
公开日2009年10月21日 申请日期2007年11月5日 优先权日2006年11月3日
发明者阿尔卡迪乌什·维索茨基, 马尔钦·米夏尔·克米奇克 申请人:电子地图有限公司