用于图形显示汽车周围环境的方法

专利名称：用于图形显示汽车周围环境的方法
技术领域：
本发明涉及一种用于图形显示汽车周围环境的方法，在该方法中， 在一个显示汽车周围环境的三维环境场景并且两维或三维地向汽车司 机输出的场景图像中叠加图形元素，这些图形元素用于在解释包含在 场景图像中的空间信息方面辅助司机。
背景技术：
为了辅助汽车司机估计围绕汽车的空间关系，已知在一个场景图 像中示出汽车的周围环境并且将该场景图像向司机输出。
这种向司机提供场景图像一般通过图形显示装置实现。在此该显 示可以两维地通过传统的图形显示装置、例如传统的监视器或者三维 地通过适合于三维显示的图形显示装置实现。作为适合于三维显示的 图形显示装置可以考虑例如双凸透镜状或全息的显示装置。场景图像 在许多情况下是空间的、即三维的环境场景。汽车本身或者汽车的一 部分或者其标识可以是所示的环境场景的一部分。
一般通过汽车的至少一个图像获取装置、例如摄像机、尤其是倒 车摄像机获得场景图像。也可以选择，计算机辅助地产生场景图像。 失真获得的真实图像必要时可以矫正地显示成一目了然的视图。
还已知，通过图形元素叠加一个向司机输出的场景图像，图形元 素用于在解释包含在场景图像中的空间信息方面辅助司机。
例如由US 2002/0175999 Al已知，在一个获得的摄像机图像中在 其显示时叠加图形元素、尤其是警示线，以便在解释所示图像时辅助 司机。但是这种警示线的解释和对应于所示状况底变化的操作特性的 推导，正好对于不通过这种图形显示方法置信的司机是极其困难的。
由EP1 469 422 Al已知， 一个借助于当前的转向角预测的未来汽 车位置通过图形在向司机输出的场景图像中显示。在此同样存在缺陷，
对于不以这种图像显示方法置信的司机来说，该解释是困难的。此外 这种显示非常强烈地为了评价和必要时适配司机的操作特性、例如转 向角的变化而设置。但是许多司机不期望与他们的操作特性相关的建 议或者评价他们的实际操作特性，因此这种显示形式被许多司机认为 是不必要的或者甚至是干扰的。

发明内容
因此本发明的目的是，实现一种上述形式的方法，它能够实现环 境场景的显示形式，其在解释环境场景时能够最好地辅助司机。
这个目的按照本发明通过上述形式的方法得以实现，在该方法中， 叠加于场景图像的图形元素至少局部地这样配置和设置在场景图像 中，使得这些图形元素在环境场景中体现至少一个具有三维空间形状 的虚的边界对象，该边界对象具有至少一个基准面，该基准面确定一 个通过汽车能无碰撞地达到的自由空间与一个不能无碰撞地达到的障 碍空间的界限。
本发明基于这样的构思，如果图形元素可以直观地、尤其是无需 转换思考地一起加入到环境场景中，则特别容易地对司机解释通过图 形元素丰富的三维环境场景的视图。当环境场景视图局部地或者仅仅 以图形元素加以丰富时，这些图形元素由司机作为设置在环境场景中 的空间对象觉察到，尤其是这种情况。按照本发明叠加于场景图像的 图形元素因此这样配置和设置在场景图像中，使它们体现虚的对象， 这些对象设置在三维的环境场景中并且在那里具有三维的空间形状。 因此使整个视图对应于司机的经验并且可以通过司机以低的解释能力 进行解释。
按照现有技术，图形元素、例如辅助线或警示线叠加于一个三维 环境场景的场景图像中，这些图形元素在环境场景中没有或至少没有 可明显识别的空间形状。因此司机在最好的情况下可以将这些图形元 素解释为标记或者在最不利的情况下必须在三维环境场景与虚的叠加
于环境场景的平面之间转换思考。同样不利的是，尽管司机在思考上 将图形元素组合到环境场景中，但是图形元素在环境场景中的体现没
有或至少没有可明显识别的对应于司机经验的空间形状。在所有上迷 情况下，按照现有技术叠加的图形元素的解释需要司机不必要高的解 释能力。
而如果按照本发明这样制备向司机输出的场景图像，使得在司机 的觉察中通过对象丰富三维的环境场景，这些对象在环境场景中具有 三维的空间形状，则能够通过司机以较低的解释能力就能够可靠地解 释在环境场景中的空间关系。
对此前提是， 一个由司机作为不仅在空间上协调的而且也可与环 境场景一致地觉察到的虛的对象视图。这种视图可以通过目前公知的 和可提供的用于产生和图形输出三维场景的方法和装置毫无问题地实 现。
按照本发明，通过将一个或多个虚的对象组合在环境场景中来辅 助司机的特征是，使一个通过汽车能无碰撞地达到的自由空间与一个 不能无碰撞地达到的障碍空间隔开。按照本发明，叠加在场景图像中 的图形元素在环境场景中体现至少一个具有三维空间形状的虛的边界 对象，它具有至少一个基准面，它使一个通过汽车能无碰撞地达到的 自由空间与 一个不能无碰撞地达到的障碍空间隔开。
所述图形元素可以根据实施形式和/或所示的环境场景体现唯一 的或多个这样的边界对象。所有的或者只有所选择的图形元素可以有 助于体现。如果图形元素不是有助于体现边界对象，也可以使它们为 了其它目的而叠加于场景图像。
为了尽可能最好地辅助司机，按照本发明这样确定所述至少一个 边界对象的三维空间形状，对于司机以理想的方式直观地、但是最迟 在相应地推导以后，可以识别一个基准面，它对于确定自由空间与障 碍空间之间的界限是决定性的。这种基准面例如可以是边界对象表面 的一部分。但是同样可以是一个必要时图像本身不在场景图像中显示 的面，它由所述至少一个边界对象的三维空间形状给出，例如一个对 称面。所述基准面可以全部或者部分地由唯一的或者多个平面和/或唯 一的或多个在空间中弯曲的超曲面组成。
最好是，图形元素这样配置和设置在场景图像中，使得由所述至 少 一个基准面确定的在自由空间与障碍空间之间的界限可基本水平地
通过。在此，所述叠加(Zusatz)水平地涉及三维的环境场景。通过 在环境场景中的连续的水平的界限，对于司机还形成不明确性，即， 如何在多个基准面之间可能的中间空间中或者在基准面的空缺中确定 自由空间和障碍空间的界限。而是， 一个此外连续的界限能够实现这 样设计视图的可能性，在基准面之间或在基准面的空缺中可能存在的 中间空间可以理解为自由空间或障碍空间的特别宽的伸展。这样设计 的视图，在技术上可以简单地实现，并且尤其与按照本发明规定的具 有三维空间形状的边界对象视图相结合，可以非常方便地通过司机解释。
此外，对于司机， 一个基本上连续的水平的界限使得易于解释所 述至少一个虛的边界对象的空间形状并因此易于提取通过这种边界对 象所示的信息。
因为只有在场景图像中成像的环境场景部分对于司机是可以看见 的，因此所述至少一个边界对象的定义和视图局限在这个部分上。因 此所述至少一个边界对象的水平连续性同样只涉及环境场景的这个部 分。
所示边界对象的高度或边界对象在环境场景中的高度轮廓最好选 择为基本恒定的，但是也可以选择的是，所示边界对象的高度或边界 对象在环境场景中的高度轮廓可变化地构成，例如为了表明障碍的特 性、例如障碍的高度或退让性。所示的边界对象的高度最好选择为这 样小，使得通过该边界对象只能遮盖相当少的环境场景尤其是障碍空 间的部分，但是高度足以表明边界对象的界限特征。
为了不遮盖尤其是设置在障碍空间中的环境场景组成部分并且不 会对司机在其解释场景中产生不利影响，使体现所述至少一个虛的边 界对象的图形元素最好至少部分地至少半透明地构成。所述至少一个 虚的边界对象在这种情况下同样是至少部分地全透明或半透明的，并 且使得能够识别环境场景的从观察点看去设置在边界对象后面的组成 部分。
按照本发明的这个选择特征的一个优选的改进方案，使透明度根 据明亮度和/或环境场景或其组成部分的对比度适配于图形元素。
尤其对于完全或接近透明构成的边界对象，最好使相应边界对象 的所有或者所选择的轮廓或轮廓范围比对象的面积或体积以更小的透 明度构成。或许甚至可以使轮廓完全不透明地构成。通过以这种方式 可清楚识别的所述至少一个虚的边界对象的轮廓，能够通过司机易于 解释其三维对象形状。因为微小的或者不存在的透明度仅仅涉及所述 至少一个边界对象的通常细的轮廓，由此几乎不存在增加遮盖障碍空间。
通过轮廓与相邻面积或体积之间的颜色变化，也可以选择或附加 地达到更好的轮廓识别性并由此更好地解释所述至少一个边界对象的 空间形状。
按照本发明的具有三维空间形状的边界对象的视图，按照本发明 的一个优选的实施例，包括一个透视的对象失真，它在场景图像中例 如通过线条的相向伸展表示，这些线条在环境场景中平行地移开观察 点。此外或者可选择地使所述至少一个边界对象最好透视缩放地被示 出。这意味着，根据虚的边界点与观察点之间的距离选择场景图像中 对象视图的形状和大小。
优选，与环境场景的真实组成部分的缩放和/或失真成比例地实现 所述至少一个边界对象的可能的透视缩放和/或失真。在技术上这一点 例如通过所述至少一个边界对象与环境场景成比例的三维模型和一个 图形视图实现，其参数、尤其是观察位置和视角，对应于场景图像的 那些参数。这种成比例的缩放和/或失真产生对于司机实际可觉察的并 因此可易于解释的视图。
也可以选择，超比例或低比例地实施所述至少一个边界对象的可 能的透视缩放和/或失真。尤其是超比例的缩放对于司机可以强化在对 象与观察点之间接近或远离的印象。
优选这样选择所迷至少一个边界对象的三维空间形状，使得对于
司机给出一个尽可能清楚的在自由空间与障碍空间之间的界限。因此 最好这样配置叠加于场景图像的图形元素并且设置在场景图像中，使 所述至少一个虚的边界对象具有一个指向自由空间的基本垂直地设置 在环境场景中的表面。这种表面由司机通常亳无问题地识别为基准面， 用于确定自由空间与障碍空间之间的界限。此外这种表面在观察点布 置在自由空间中时通常可以完全从这个观察点看到。这种表面的基本 垂直的构型的另一优点是，它对于司机产生障碍空间不可接近的印象 并且通过这种方式促进其对环境场景的解释。
也可以选择，设想有针对性地改变通过边界对象示出的基准面、 尤其是一基本指向自由空间的表面的斜度或斜度走向
(Neigungsverlauf)。通过这种方式可以将障碍的特性、例如障碍的退 让性或者源自障碍的危险通知司机。因此例如可以在石墙前面构成一 个垂直的基准面，而灌木丛通过略微上升的斜面表示。必要时一种视 图形状是在这里未详细描述的场景解释的前提。
为了通过基准面方便地解释且清楚地确定自由空间与障碍空间的 界限，图形元素最好这样配置和设置在场景图像中，使所述至少一个 虚的边界对象在与基准面正交的方向上具有小的空间伸展。本发明的 这种变型方案通常也确定由于场景图像中的图形元素较少地遮盖障碍 空间的组成部分。
为了有助于简单地解释且清楚的划界，还附加或可选择地优选在 空间上基本邻接行驶面且在该行驶面上方确定且用图形示出边界对象 的基准面。关于行驶面在这里可以理解为，那个通常基本平面的表面， 汽车在该表面上运动。该行驶面通常由道路表面限定。
按照本发明的大多数想象的实施例，所述基准面与行驶面的邻接， 和在行驶面上放置所述至少一个边界对象的意义相同。尤其在向司机 两维显示场景图像的情况下，对于方便地空间解释所示虛的对象的空 间布置，知晓一个垂直基准是非常有帮助的。只要司机可以由此开始， 将所示的虛的对象放置在一个确定的平面、在这里是行驶面上，可以 省去一个否则用于明确确定空间布置所需的其它光学基点的可视化，
例如阴影的视图。为了使基准面直接邻接行驶面，也可以选择在理论 上选择一个任意的、但对于司机优选作为已知前提的、基准面与行驶 面的距离。
按照本发明的 一个特别优选的实施例，只有当边界对象的空间形 状、其在环境场景中的空间布置、尤其是其与观察点的水平距离以及 场景图像的观察点和视角，在场景图像中引起一个完全的或者至少足 够用于识别基准面的边界对象视图的时候，才确定并图形显示所述至 少一个边界对象基本邻接行驶面在该行驶面上方的基准面。这在例如 以下情况中是不存在的，当边界对象以小的高度在环境场景中至少部 分地这样靠近汽车，使得至少一部分边界对象从提高的观察点开始在 场景图像中不可见的时候。在这种情况下，边界对象在环境场景中的 垂直位置按照本发明所述的特别优选的实施例这样变化，使得可以完 全或者至少以足够用于识别基准面的程度看到边界对象。边界对象在 环境场景中的垂直布置也根据边界对象与观察点的水平距离选择。作 为边界对象在环境场景中的垂直位置的变化的可选择或附加方案，也 可以设想边界对象的空间形状、尤其是其高度的变化，和/或观察点的
适配性和/或^L角。
所述至少一个虛的边界对象的一个指向自由空间的基本垂直地设 置在环境场景中的表面、其在正交于基准面的方向上的微小空间伸展、 和基准面邻接行驶面的组合，得到所述至少一个边界对象的基本上篱 笆形的形状。这种形状是特别有利的，因为篱笆在边界意义中的象征 性意义，通常对每个司机由其经验都是公知的并因此是可直观理解的。 此外， 一个两维或三维的图形示出的篱笆的空间形状本身，在非常复 杂的水平形状延伸中，对于大多数司机也可以非常方便地解释。
所示篱笆的高度或者沿着篱笆的高度走向，在这种视图中最好是 基本恒定的，但是也可以选择变化地构成，如同在上面已经一般性提 到的那样。同样如同在上面已经一般性提到的那样， 一个篱笆形边界 对象的斜度和斜度走向的有针对性的变化，和与此相关的有意识地偏 离基准面在环境场景中的垂直布置，可以用于向司机提供一个更加清
晰和/或易于解释的信息并因此是有利的。
上述的篱笆比喻的优点以相同的方式也适用于其它的比喻，例如 边界带或墙。这种边界对象的计算和图形显示对于专业人员以类似的 方式和方法得到。
为了加强这种比喻，可以在图形显示的边界对象的表面上设置图 形紋理。也可以〗吏这种紋理部分透明地实现。
按照本发明的一个优选的实施例，可选择或附加地根据由相应图 形元素或其一部分体现的所述至少一个虚的边界对象部段与汽车的一 个基准点、 一基准线或基准面的距离，选择体现所述至少一个虚的边 界对象的图形元素的颜色和/或颜色分布。在此，优选使用典型的信号
色红、黄和绿或者其混合色。
所述至少一个虛的边界对象、尤其是其表面，可以由一致颜色的 面和/或面段组成或者具有连续的颜色变化。只要所述至少一个虚的边 界对象具有一个部分地由平面的面部分组成的表面，各面部分就优选 分别以一致的颜色着色。这一点能够实现一个特别简单的图像计算和 图形显示。 一个面部分的颜色可以由各相邻面部分的颜色的混合色确 定。例如可以使一个位于非常靠近的红色的面部分与一个较远离的黄 色的面部分之间的面部分以混合色、即橙色着色。通过部段式地使各 相邻面部分着色，几乎同样简单地实现面部分的定色。例如可以使一 个位于非常接近的红色的面部分与一个较远离的黄色面部分之间的面 部分部分地染成红色和部分地染成黄色。如果待着色的面部分位于非 常靠近的红色面部分与一个非常远离的绿色的面部分之间，可以在一 个红色与一个绿色的面部分之间插入一个黄色段。作为另一种选择， 可以i殳想在各相邻面部分的颜色之间的连续颜色过渡。
原则上可以任意地在空间中确定所述至少一个虚的边界对象的空 间形状、尤其是由这个空间形状得到的基准面。因为汽车基本上沿着 行驶面运动，因此尤其是基准面沿着行驶面的空间走向对于自由空间 与障碍空间之间的有效定界是决定性的。按照本发明的一个已经描述 的优选实施例，通过所述至少一个基准面，基本水平连续地实现定界。
下面为了简化只描述唯一的连续的基准面，它通过一个篱笆形的边界 对象图形地再现。但是本发明不局限于这种特殊情况。
为了确定所述定界的基准面沿着行驶面的走向，通常只提供有限 数量的距离测量点供使用。因此优选的是，所述至少一个虚的边界对 象的所述至少一个基准面至少局部地确定为，在与汽车的一个基准点、 基准线或基准面具有已知的距离的、有限数量的辅助点或辅助线之间 线性、分段线性或非线性的内插。
是否获得辅助点和/或辅助线，获得它们的形式，以及辅助点和/ 或辅助线是否又分别涉及汽车的一个基准点例如传感器的安置点、一 个基准线例如汽车轮廓、或一个基准面如汽车的实际表面的事实，取
决于所基于的距离测量方法和一衔接测量的、必要时以模型为基础的 测量信号评价。由辅助点和/或辅助线获得的基准面可以、但不必一定 包括辅助点和/或辅助线本身。
可以设想，以超声波为基础、以摄像机为基础和/或以光传播时间 为基础，分开地或者有选择地组合使用不同的已知技术和装置，用于 识别汽车周围环境，例如通过雷达。在此特别经济的是，使用用于其 它目的在汽车上本来就存在的机构。在此优选分开地或组合地使用在 许多汽车上存在的以超声波为基础的距离传感器和按照本发明的不同 实施例对于环境场景的图像测量必需的摄像机、尤其是倒车摄像机。
优选这样设计或适配每种用于距离测量所使用的距离测量方法， 使得考虑相应的传感器特性。这种考虑可以或者表现在由唯一的测量 获得多个辅助点和/或辅助线或者表现在内插的类型。对于以超声波为 基础的距离测量，所获得的反射点在理论上可以位于典型为基本瓣状 的超曲面上任意的位置上。这一点可以例如通过接收超曲面的多个点 以内插法和/或通过内插曲线或内插面加以考虑，其形状至少局部地取 决于超曲面的形状。
以摄像机为基础的距离测量可以例如以公知的方式借助组合到摄
像机系统中的栅网膝光(Gitternetzbelichtung )来实现。
代替内插或作为内插的预备，按照本发明的一个有利改进方案，
以所进行的环境识别为基础建立 一 个环境场景的障碍图
(Hinderniskarte )。为了获得这种障碍图，优选使环境识别的结果首 先以公知的方法用于必要时以模型为基础的对象识别和对象定位。接
着利用所获得的障碍图用于限定所述至少一个边界对象或基准面。在 此障碍图的可用性提供了按照本发明方法的不同的其它实施例，它们 部分地与明显简化和/或精度提高相关。例如可以将所识别的障碍分别 单独或成组地通过至少一个虛的边界对象以图形的方式定界，该边界 对象能够直接从障碍图获得。按照本发明的特殊情况，可以使一个被 识别障碍的几何模型直接用作为边界对象或者边界对象的 一 部分。
优选的是，通过按照本发明的方法获得的距离测量值、辅助点和/ 或辅助线、障碍图和/或基准面用于司机辅助的其它目的。为此可以将 所获得的值或者由执行按照本发明方法的装置传输到汽车或汽车以外 的其它装置或者将所获得的值继续传递给处理过程，汽车的相同装置 参与处理过程，这些装置也执行按照本发明的方法。对于数据的这种 多重利用，可以设想不仅应用按照本发明方法的原始数据而且也使用 最终或中间结果。该应用仍然可以作为原始数据材料和/或以任意较高 的处理等级实现。通过这种多重利用可以减少技术上的总费用和/或可 以在精度和/或效率方面改善第二司机辅助系统。
尤其是，在按照本发明的方法的范围内计算出的数据，除了按照 本发明的图形显示给司机以外，也可以作为自动调车和停车辅助器的 基础使用或者共同使用。以这种多重利用为基础或者与其无关地，本 发明的一个优选改进方案规定一种方法和/或一个装置，它们使司机能 够借助按照本发明的图形显示进行观察，其汽车是如何自动地在调车 和停车辅助器的导引下操作。优选还向司机给出干涉调车和停车辅助 器的操作的可能性。
为了排除不期望的碰撞或者尽可能不出现碰撞，在存在疑问的情 况下优选不仅使辅助线或者辅助点而且使基准面或基准面的部段在计 算和视图中向自由空间的方向移动。对于通常不敢进入所示障碍空间 的司机这一点是某种限制。测量和/或计算和/或显示的不可靠性越低，
这种限制越小。
按照本发明的方法在目前的实施例中还没有详细描述的另 一优点 是，在不利的视觉条件下或黑暗中，通过图形元素增加场景图像，明 显改善其实用性或者才需使用场景图像。这一方面是有效的，因为所 述至少一个虚的边界对象与环境场景的真实组成部分不同，在不利的 视觉条件下或黑暗中也可以被识别。但更主要的是，因为在环境场景 的真实组成部分的不利或不能给出的识别性的情况下，所述至少一个 边界对象的按照本发明的三维空间形状才允许增加的场景图像的空间 内插。而由现有技术已知的单纯添加辅助线的措施，在不利的视觉条 件或黑暗时对于大多数司机根本不允许在所示图像与环境场景的空间 关系之间的任何配置。
上述的关于不利视觉条件或黑暗时的思考，以相同的程度也适用 于在检测或显示实际场景图像的失效时。按照本发明的所述至少一个 边界对象的视图也可以独立地、即无需以环境场景的真实图像为基础 地对于司机进行解释。同这样也适用于在时间上延迟的真实图像的显 示。司机可以借助于时间上超前的至少一个边界对象定向。
按照本发明的方法的不同实施例以包含在障碍图中的障碍和/或 所述至少一个边界对象的通常三维的几何模型为基础。由此可以得到 本发明的其它优点。在已知的汽车从一个旧的汽车位置运动到一个新 的汽车位置时，能够从这种几何模型计算对于新的汽车位置有效的新 的图形元素。在使用障碍图时，对此可能计算和可视化一个完全新的 对于新的汽车位置有效的边界对象。在其它的用于计算所述至少一个 边界对象的方法中，计算仅仅一个在场景图像中在汽车运动后也不改 变的边界对象的新的图像。在此考虑由于观察位置的变化和/或可能在 计算中引入的基准参量的变化引起的汽车运动。以几何模型为基础也 能够单独由汽车运动预告新的图形元素。
这种可能性可以以多种方式充分利用。 一方面可以在通过这种预 告计算出的视图与以新的距离测量为基础计算出的视图之间进行似然 性检验。另一方面能够例如在环境识别的低测量率的情况下使所预告的视图比以新的距离测量为基础计算出的视图更快地供使用。通过这 种方式可以更流畅地并且对于司机可更容易解释地增加场景图像。例 如只以规则的或者无规则的距离在新的距离测量的基础上实现图形元 素的计算和显示并且在此期间以基于模型的预告为基础。
为了完全或部分地进行对于使用按照本发明的方法所需的计算， 在原则上可以在汽车中具有至少一个专用的计算单元。也可以选择或 附加地使计算以有利的方式部分地或全部地通过一个或多个已经为其 它目的在汽车中设置的计算单元进行。同样可以通过专用的装置和/ 或通过在汽车中为其它目的设置的并且对此适合的机构进行距离测量 和/或图像检测和/或图像输出，它对于使用按照本发明的方法是必需 的。
按照本发明的优选实施例，对司机给出这种可能性，通过操作输 入影响按照本发明的方法。为此要设置的操作部件可以是以硬件形式 构成的操纵部件和/或以图形元素形式在增加的场景图像中实现。对于 最后所述的实施例，必需使在按照本发明的方法中使用的图像显示机 构适用于相应的输入，例如设计成触摸屏。


借助于附图详细描述本发明。附图中
图1以按照本发明的第一优选实施例示出一个用于把两维场景图 像叠加于具有图形元素的三维环境场景中的第一示例，
图2以按照本发明的第一优选实施例示出一个用于把两维场景图 像叠加于具有图形元素的三维环境场景中的第二示例，
图3以按照本发明的第一优选实施例示出一个用于把两维场景图 像叠加于具有图形元素的三维环境场景中的第三示例，以及
图4以按照本发明的第二优选实施例示出一个用于把两维场景图 像叠加于具有图形元素的三维环境场景中的示例。
具体实施例方式
按照本发明的第一优选实施例，为了尤其在倒车和停车过程中辅
助司机，在汽车中通过倒车摄像机获得汽车后部空间的三维环境场景 的两维场景图像。所获得的场景图像通过计算单元加工处理并且通过 设置在汽车中的监视器以处理好的形式向司机输出。
所述场景图像的处理在于，把图形元素叠加于所获得的摄像机图 像上，图形元素共同地体现一个唯一的或者多个虛的边界对象，这些 边界对象设置在环境场景中。所述边界对象使位于图像前景中的通过 汽车能无碰撞地达到的自由空间与位于图像背景中的不能无碰撞地达 到的障碍空间隔开。
图1、图2和图3示出向司机输出的处理好的场景图像的瞬时图 像。在图1中，树千作为障碍位于图像背景中的障碍空间里面。在图 2中，两个辆停住的汽车位于障碍空间里面。在图3中，两辆停住的 汽车和一个树干位于障碍空间里面。在图i中所示的虚的边界对象l、
在图2中所示的虛的边界对象2和3及在图3中所示的虛的边界对象 4分别在三维的环境场景中具有一个基本篱笆形的形状和一个恒定的 高度(在这里为25cm)。
下面为了简化只讨论唯一的边界对象。但是这种表达形式总是要 理解为，包括多个边界对象和/或多体式边界对象的情况。对于专业人 员以类似的方式得到多个边界对象的计算和图形处理。
通过所示的场景图像向司机输出的信息的重要组成部分是在下面 称为基准面的面的空间走向，尤其是水平的走向，该平面通过所述至
少一个边界对象图形显示并且使自由空间对于司机可以识别地与障碍 空间隔开。在所示的示例中，将基准面图形显示为边界对象的表面。
在所示示例中，自由空间与障碍空间的界限逐步连续地实现。原 则上，基于图1、图2和图3的视图形式规定一个完全水平连续 (durchgaengig)的、即在场景图像的整个宽度上延伸的界限。但是 在环境场景的某些部段中并且在场景图像的相应部段中不计算和示出 基准面，在这些部段中基准面将相对于汽车超过一个确定的距离，在 所示示例中为3m。由此得出，只在图3中示出一个完全水平连续的 界限，而在图1和2中的边界对象的视图不是在场景图像的整个宽度上延伸。
在继续描述基准面的视图形式以前，下面要简要地解释其通过计 算的确定。以通过汽车周围识别获得的数据为基础实现基准面的确定。 在本示例中它们是组合在汽车尾部中的超声波传感器的数据。
在此，以公知的方式确定在环境场景中的许多空间点与汽车上的 各基准点、在本示例中为相应超声波传感器的相应安置点的距离。这 些空间点对于非常高的水平测量分辨率位于障碍的表面上。对于较低 的测量分辨率，在最不利场合观察的意义上考虑相应的传感器特形。 通过超声波单个测量获得的反射点可以在理论上位于一个一般基本瓣 状的超曲面上的任意位置上。作为空间点，在每次测量时在这个超曲 面上固定至少两个对置的靠近汽车的点。这样确定的空间点通常在自 由空间中位于一个障碍前面，必要时略微侧面在这个障碍前面。
接着，对于每个确定的空间点，通过相应的空间点确定一个垂直 地处于环境场景中的辅助线。
在图1中所示的边界对象l例如以超声波测量为基础，在测量时 通过至少一个超声波传感器检测在图1中可见的空间。对应于所应用 的传感器的水平瓣状特性，以这个测量为基准分别在左侧和右侧瓣边 缘上固定两个空间点。两个由此确定的辅助线在图1中对应于在面11
与面部分12之间的分界线或者在面11与面部分13之间的分界线。两 个分界线边界垂直处在不仅图1的场景图像中而且在环境场景中。
因为由超声波距离测量已知确定的空间点与相应传感器安置点的 距离，因此同样已知所述的垂直于地在环境场景中确定的辅助线与这 个安置点的距离。在所示情况下，辅助线仅仅表示空间点在环境场景 的垂直尺寸上的扩展。在考虑由几何的汽车模型已知的超声波传感器 在汽车上的安置点的条件下，以模型为基础计算汽车轮廓的辅助线。
所述基准面在最简单的情况下确定为所获得的各辅助线之间的分 段线性内插(Interpolation)。在此，这种内插尤其涉及基准面在环境 场景中的水平走向。在本示例中，基准面的垂直走向通过处于垂直的 恒定高度的篱笆造型充分限定。
以适宜的方式使原先限定的辅助线的高度确定为与篱笆的高度
(在这里为25cm)相同。同样特别适宜的是，选择辅助线的下端部作 为行驶面上的点。因此辅助线和基准面在环境场景中靠近行驶面设置 在该行驶面上方。
如上所述，在环境场景的各部段中并且在场景图像的相应部段中 不计算和示出基准面，在这些部段中，基准面将相对于汽车超过一个 确定的距离，在所示示例中为3m。由此得出，计算出的基准面具有 多个部分或者对于其它的观察方式存在多个基准面。下面为了简化还 讨论唯一的基准面。以类似的方式得出一个基准面的多个部分和/或多 个基准面的计算和图形处理。
由设置在汽车中的计算单元进行超声波测量的评价和上述的基准 面确定。这个计算单元还适用于图形地渲染三维对象以及适用于接收 摄像机的图像数据以及适用于输出图像数据给监视器。
以如上所述确定的基准面为基础，在计算单元中产生一个三维的 边界对象，它具有一个垂直地处于环境场景中和指向自由空间的表面， 该表面具有基准面的形状。如上所述，为此在本示例中产生一个篱笆 形的边界对象。此外产生一个透视的两维的边界对象的图形显示，其 参数、尤其是观察位置和视角对应于倒车摄像机的那些参数。
一个通过倒车摄像机获得的环境场景的真实图像传递到相同的计 算单元。通过计算单元将边界对象的图形视图叠加于通过倒车摄像机 获得的真实图像并且通过监视器显示。
为了不完全遮盖障碍空间的位于场景图像中边界对象后面的组成 部分，按照在图1、图2和图3中示例性示出的本发明的第一优选实 施例，部分透明地实现边界对象。
通过边界对象的透视的和空间协调的视图，由司机解释边界对象， 作为环境场景的组成部分。由于其篱笆形造型，司机可直观地识别边 界对象作为边界。由于篱笆的微小厚度，其指向自由空间的表面基本 在空间上与其指向障碍的表面一致。这个面对于司机可直观地识别为 自由空间与障碍空间之间的界限的基准面。
由上述方法得出的透视的失真且缩放的篱笆视图，在空间地解释 环境场景时辅助司机。此外，司机通过在下面描述的象征性的篱笆颜 着色，在空间地解释环境场景时得到支持。为此，在图形渲染中部分 地或完全地确定的颜色分配给所示的边界对象的各个面。根据相邻的 各辅助线与汽车的距离实现颜色的分配。
在本示例中，其各相邻辅助线与汽车距离小于lm的各个面以红 色表示。黄色对应于lm至2m之间的距离，绿色对应于2m至3m之 间的距离。对于大于3m的距离，如上所述没有显示。
如果一个边界对象的一个面的两条相邻辅助线位于不同的颜色 区，则使该面分成不同着色的面部分。在此各面部分这样准确地确定， 使得在颜色区的过渡上产生颜色变换。
在图1中例如将面11和两个面部分12和13着成黄色。为了识别 与汽车更远的距离，在这里为大于2m，将面部分14和15着成绿色。
如果汽车直线地接近图1中的树干约lm(在这里没有图像示出)， 则使边界对象在不改变障碍布置的前提下还以不变化的空间形状、位 置和定位在环境场景中表示。但其在场景图像中的形状、位置和定位 将改变，例如使边界对象通过接近而透视地放大。此外，将使面11 和两个面部分12和13着成红色，面部分14和15着成黄色。
如同在前面已经提到过的那样，各个面和面部分不作为相应颜色 的不透明的面表示，而是部分透明的。
图4以按照本发明的第二优选实施例示出一个用于把两维场景图 像叠加于具有图形元素的三维环境场景中的示例。
图4涉及与图3相同的环境场景。按照图3的第二优选实施例与 按照图4的第一优选实施例的视图的不同之处主要是，边界对象5与 边界对象4不同，不是透明地示出，并且在正交于基准面的方向上具 有更大的空间伸展。
在按图4的视图中，边界对象5的垂直地处于环境场景中且指向 自由空间的表面，对于司机可以直观地识别为自由空间与障碍空间之 间的界限的基准面。
权利要求
1.一种用于图形显示汽车周围环境的方法，在该方法中，在一个显示汽车周围环境的三维环境场景并且两维或三维地向汽车司机输出的场景图像中叠加图形元素，这些图形元素用于在解释包含在场景图像中的空间信息方面辅助司机，其特征在于，所述图形元素至少部分地这样配置和设置在场景图像中，使得这些图形元素在环境场景中体现至少一个具有三维空间形状的虚的边界对象，该边界对象具有至少一个基准面，该基准面确定一个能通过汽车无碰撞地达到的自由空间与一个不能无碰撞地达到的障碍空间的界限。
2. 如权利要求l所述的方法，其特征在于，所述图形元素这样配 置和设置在场景图像中，使得通过所述至少一个基准面的界限是水平 基本连续的。
3. 如权利要求1或2所述的方法，其特征在于，所述体现所述至 少一个虚的边界对象的图形元素设计成至少局部是至少部分透明的。
4. 如权利要求1至3中任一项所述的方法，其特征在于，所述至 少 一个虛的边界对象被成比例或超比例地透4见缩i文和/或失真地示出。
5. 如权利要求1至4中任一项所述的方法，其特征在于，所述图 形元素这样配置和设置在场景图像中，使得所述至少一个虛的边界对 象具有一个指向自由空间的基本垂直地设置在环境场景中的表面，和/ 或所述图形元素这样配置和设置在场景图像中，使得所述至少一个虚 的边界对象在与基准面正交的方向上具有小的空间伸展。
6. 如权利要求1至5中任一项所述的方法，其特征在于，所述至 少一个边界对象的基准面基本上选择为邻接行驶面在该行驶面上方。
7. 如权利要求1至6中任一项所述的方法，其特征在于，所述体 现所述至少一个虚的边界对象的图形元素的颜色和/或颜色分布，根据 所述至少一个虚的边界对象的通过相应图形元素或该图形元素一部分 体现的部段与汽车的一个基准点、基准线或基准面的距离进行选择。
8. 如权利要求1至7中任一项所述的方法，其特征在于，所述至少一个虚的边界对象的所述至少一个基准面被至少局部地确定为，在 分别与汽车的一个基准点、基准线或基准面具有已知的距离的、有限 数量的辅助点或辅助线之间线性、分段线性或非线性的内插。
9. 如权利要求8所述的方法，其特征在于，所述辅助线基本垂直 地处于环境场景中，和/或所述内插以用于确定距离的传感器的特性为 基础。
10. 如权利要求1至9中任一项所述的方法，其特征在于，根据 障碍的特性确定所述至少一个虛的边界对象的高度或高度轮廓和/或 所述至少一个边界对象的所述至少一个基准面的斜度或斜度走向。
11. 如权利要求1至10中任一项所述的方法，其特征在于，以障 碍图和/或所识别障碍的几何模型为基础实现所述至少 一个边界对象 的所述至少一个基准面的计算。
全文摘要
一种用于图形显示汽车周围环境的方法，在该方法中，在一个显示汽车周围环境的三维环境场景并且两维或三维地向汽车司机的输出场景图像中叠加图形元素，这些图形元素用于在解释包含在场景图像中的空间信息方面辅助司机，所述图形元素至少部分地这样配置和设置在场景图像中，使图形元素在环境场景中体现至少一个具有三维空间形状的虚的边界对象，它具有至少一个基准面，该基准面确定一个通过汽车能无碰撞地达到的自由空间与一个不能无碰撞地达到的障碍空间的界限。
文档编号G06T15/00GK101167104SQ200680014217
公开日2008年4月23日 申请日期2006年4月27日 优先权日2005年4月28日
发明者亚历山大·奥格斯特 申请人:宝马股份公司