专利名称：用于摄像机图像的图形处理的方法及报警装置的制作方法
技术领域：
本发明涉及用于对由摄像装置提供的、机动车周围的、尤其是在机动车行驶方向上的图像进行图形处理的方法及计算机程序。此外，本发明还涉及用于执行该方法的报警装置及具有计算机程序的数据载体。
在现有技术中，已基本上公开了所述类型的方法及报警装置。这种报警装置典型地包括一个摄像装置，它例如被安装在一个机动车的尾部上，以便在尾部区域中检测机动车的周围。由该摄像装置摄取的图像将典型地借助图像处理装置来处理及接着在仪表盘的显示装置上对驾驶员作出显示。驾驶员则可借助该显示图像在倒车时进行定向。
为了在倒车方向上调车时使驾驶员简化定向，已公开了在处理由摄像装置提供的图像的范围中在图像中建立图形对象(grafischeObjekte)，它对驾驶员直观地显示轮辙走向，机动车被预测在倒车时在该轮辙走向上运动。该轮辙走向传统地根据当前转向角来求得。
但是，由摄像装置提供的图像的质量往往是欠佳的。尤其在阴暗的天气里，在下雨或雾天，在机动车外围中可能存在的障碍物往往仅能不清楚地被看出。与此相应地，由机动车外围中的这类障碍物对机动车引起的潜在危险常常不能由驾驶员切合实际地估计。
由该现有技术出发，因此本发明的任务在于，对用于由摄像装置提供的机动车周围的图像进行图形处理的公知方法及计算机程序以及实施该方法的报警装置这样进一步改进，使得由在机动车周围中可能存在的障碍物对机动车构成的潜在危险对处理图像的观察者、即尤其是对于机动车驾驶员变得更切合实际及更清楚地直观显示。
该任务将通过权利要求1中所提出的方法来解决。该方法的特征在于具有以下步骤探测机动车周围中的障碍物及求出它的实际位置，优选为相对机动车位置的实际位置；求得障碍物在周围中的实际位置及障碍物在由摄像装置提供的图像中的相应位置；及在考虑所求得的图像中障碍物位置的情况下进行图像的处理。
对于理解本发明重要的是，在由摄像装置提供的图像、该图像的图形处理及由该处理产生的处理图像之间作出区分。观察者、尤其是机动车驾驶员基本上仅可看到被处理的图像。
另外，重要的是，在机动车周围中实际存在的目标、尤其如机动车的障碍物，它们在由摄像装置提供的图像上可被看到，及在图像处理范围上的人为产生的虚拟图形对象-正如在以下说明的范围中将要进一步描述的-之间作出区分。
通过所提出的方法，有利地使潜在危险的识别过程自动化，该潜在危险是由在机动车周围中可能存在的障碍物对机动车及由此也可能对驾驶员引起的。摄像装置本身对此(自动化识别)则无能为力。它在一个图像上中性地显示机动车的周围，即，不评价。该“不评价”在这里意味着，摄像装置本身尤其不知道它所检测的图像中哪些部分表示机动车周围中的障碍物及哪些部分不表示障碍物。该摄像装置就更不能够对于由该障碍物对机动车可能引起的潜在危险作出评价。
为了可以识别由摄像装置所摄取的图像中哪些部分表示机动车的障碍物及哪些部分不表示障碍物，根据本发明提出，首先求出障碍物在机动车周围中的实际位置，优选为相对于机动车位置或相对于摄像装置位置的实际位置。这将根据本发明借助障碍物探测或距离检测装置来实现，该装置例如基于超声波技术或雷达技术或摄像/图像分析技术。根据本发明，这种装置将附加于摄像装置来使用。根据本发明，由它求得的障碍物在机动车周围中的实际位置然后借助合适的数学算法或转换换算成障碍物在由摄像装置提供的图像中的相应位置。通常，障碍物在所述周围中的实际位置涉及一个三维的量，而障碍物在图像中的位置涉及一个二维的量；因此所相应使用的转换将执行由譬如三维位置到二维位置的相应换算。
根据本发明，在了解事先求得的、障碍物在由摄像装置提供的图像中的位置的情况下对由摄像装置提供的图像进行处理。基于该认识，现在对该图像可完全有目的地为观察者、尤其是机动车的驾驶员这样来处理，即该驾驶员被特别清楚地指示出障碍物本身，并也特别清楚地指示出由该障碍物对机动车引起的潜在危险，例如以机动车与障碍物之间的距离量的形式来指示。
有利的是，根据本发明方法的一种特别简单的实施方式，可通过对障碍物相对机动车或摄像装置的位置仅用一维量来求得来满足，这就是说，以相应的距离的形式来求得。
为了使得机动车的驾驶员在由摄像装置检测的周围中的定向变得容易，有利的是，在由摄像装置提供的图像的处理范围上，在摄像装置的图像中加入预测的轮辙走向形式的图形对象，机动车被预计即将在该轮辙上运动。为了避免驾驶员看错或搞错，根据本发明提出，该图形对象仅加入在由摄像装置提供的图像中这样的区域上，即不显示障碍物的区域上。根据本发明求得的障碍物与机动车之间的距离可有利地用于限制所加入的轮辙走向，使得不会形成图形对象与图像中显示的障碍物的重叠。对于这种完全限制也可替代地考虑，大致从所求得的图像中障碍物的位置的高度起还仅以勾画方式显示用于离机动车更大距离的轮辙走向，例如以虚线的形式显示。
借助所使用的障碍物探测或距离测量装置通常不仅可以测量距离，而且通常还可求得周围空间中障碍物相对机动车的位置的第二维和/或第三维。简言之这意味着，可以表达出障碍物定位在由这种装置所检测的机动车周围的哪部分或空间区域中。根据本发明有利地提出一种图形对象，尤其是条带，它使得除距离外还传达关于空间区域的信息。所有的在本发明的范围中提出的图形对象被有利地显示为半透明的或仅作为轮廓显示，以便不遮盖位于图形对象相应位置上的、摄像装置的图像部分。但对此变换地，也可这样来构成图形对象，使得该图形对象至少部分地遮盖这些部分。图形对象可被显示为彩色构型的面，其中色彩配置可选择地按照所求得的障碍物到机动车或摄像装置的距离而变化。
然而，完全不是强制的是，通过所述图形对象的加入或覆盖来处理由摄像装置提供的图像。但也可考虑，替代它，直接处理由摄像装置提供的图像的选择出的部分，例如使它们发亮或着色。所述选择出的部分优选涉及这样的区域，即，基于由障碍物探测或距离测量装置提供的信息由这些区域可以知道，它们代表了障碍物。并且在由摄像装置提供的图像中直接进行的处理可有利地根据当前求得的障碍物与机动车之间的距离的大小在色彩上被改变。
上述本发明的任务还可通过用于实施所提出的方法的计算机程序及用于机动车的报警装置以及通过载有所述计算机程序的数据载体来解决。这些方案的优点相应于以上对于所提出的方法描述的优点。
对于该说明书总共附有七个附图，其中表示
图1根据本发明的报警装置；图2机动车中报警装置的安装；图3用于本发明方法的第一实施例；图4用于本发明方法的第二实施例；图5用于本发明方法第三实施例；图6用于本发明方法的第四实施例；及图7用于本发明方法的第五实施例。
以下将借助实施例并参照所述附图来详细描述本发明。
图1表示根据本发明的用于一个机动车Kfz400-参见图2-的报警装置300的结构。该报警装置300包括一个摄像装置(或照相装置)310，用于产生机动车400的周围、最好在行驶方向上的周围的图像。报警装置300还包括一个连接在摄像装置310后面的图像处理装置330，用于处理由摄像装置310产生的图像。该报警装置300还包括一个障碍物探测/距离检测装置320。该障碍物探测/距离检测装置尤其用于求出一个可能存在于机动车400的周围中的障碍物100相对机动车400的位置的实际位置。此外，该报警装置300还包括一个转换装置320’，用于将障碍物探测/距离检测装置320所检测的、所述周围中障碍物100的实际位置转换成由摄像装置提供的图像中障碍物的相应位置。根据本发明，图像处理装置330被这样地构成，即，在考虑或了解了障碍物100在图像中的事先求得的位置的情况下进行由摄像装置310提供的图像的处理。该图像处理装置330还被这样地构成，即也在考虑机动车参数、尤其是转向角的情况下进行图像的处理。由图像处理装置330最后处理出的图像在一个显示装置340上对观察者、尤其机动车驾驶员显示出来。
图2直观地表示出，显示装置340优选地设置在机动车400的驾驶员的视界中。与此相比，摄像装置310最好被设置在机动车400的尾部区域中，使得它尤其在倒车行驶时可检测机动车400的周围。
以下的图3-7表示被处理图像的不同实施例，正如它们可能在显示装置340上所显示的。在此，在由摄像装置310提供的图像中所显示的实际目标、尤其是障碍物100通过点划线来表示，而在处理的范围中人为地在该图像中加入的图形对象用实线或虚线来表示。在所有的附图中机动车或摄像装置310的位置基本上由图像下边缘来表示。
图3表示一个被处理的图像的第一实施例。该图像通过一个图形对象210来处理，该图形对象表示一个轮辙的走向，预计今后机动车400将在该轮辙上运动。在图3中，图形对象210代表轮辙的一个直线的走向，该轮辙走向尤其通过对机动车当前转向盘转角的分析处理来求得。有利地，该图形对象210或由此代表的轮辙走向被大致限制在障碍物100的位置的高度上。从图像下边缘量起，图形对象的该高度或者说长度代表借助障碍物探测/距离检测装置330求得的、障碍物100与机动车400之间的距离。
该界限可有利地以一个界限线212的形式和/或另一个附加的图形对象214的形式来实现，该图形对象214代表一个界限装置，例如一个护栏，一个栅栏或一个篱笆。在该情况下图形对象210与障碍物100的重叠作为例外可被接受，而不会由此使驾驶员过于被搞错；但基本上应该避免这种重叠。通过界限线212和/或通过界限装置214可对图像的观察者、尤其是机动车驾驶员特别清楚地直观显示来自障碍物100的碰撞危险。以此方式将使驾驶员清楚地理解当他驾驶机动车超过该界限时将不可避免地发生与障碍物100的碰撞。
图4示出了显示轮辙走向的图形对象210的构型的第二实施例。可有利地用虚线来显示达到该界限的另一侧的轮辙走向，即用于显示离机动车400的更大距离，来取代图3中所示的、不再显示超过界限212，214的这种轮辙走向；参见参考标号210’。当然图3中所示的第一实施例也可与图4中所示的第二实施例相组合。
对于在正确的位置上、即优选在障碍物100的向着或最靠近摄像装置310的一侧110的位置上绘入在图3的说明中所述的界限，仅需要识别出障碍物100与机动车400之间的距离。而此外障碍物探测/距离检测装置320也往往提供了这样的可能性，即确定障碍物100位于它所探测的空间的何区域中。因此例如可以区分障碍物是基本上位于摄像装置320的左边、还是正好位于它的对面，还是位于装置320的右边。这三个可能的空间区域在图5中用参考标号I，II及III来指示。当然在每个所使用的障碍物探测/距离检测装置的合适构型情况下，这些空间区域也可有更细或细致程度差一些的划分。为了对处理图像的观察者除提供障碍物到机动车400的距离的信息外还可提供关于障碍物所位于的空间区域的信息，根据本发明提出在由摄像装置310提供的图像中加入适当的图形对象，它对处理图像的观察者表征及视觉上突出相应的空间区域I，II或III及该空间区域内障碍物的位置。在图5中，该图形对象以优选地从图像下边缘起在垂直方向上延伸的条带220-1...-3的形式来显示各个探测区域或空间区域I，II及III。在处理图像中参考标号I，II及III最好如在图5中所示的垂直虚线那样少地显示，这些虚线表示这些空间区域彼此间的边界。由垂直条带的、相对于摄像装置的假设在图像下边缘中心的位置的、水平方向的定位，观察者可识别出一个条带是在左空间区域中指示出一个障碍物110、如条带220-1，还是在所观察的空间区域II的中心上指示出一个障碍物120、如条带220-2，还是在右空间区域III中指示出一个障碍物130，如条带220-3。条带220-1，220-2及220-3的高度或者说长度H1，H2，H3代表当前由距离检测装置320测得的、障碍物110，120，130与机动车400(在图5中未示出)之间的距离。
图6表示用于被处理的图像的第四实施例。与图5中所示的条带不同地，这里条带220’-1...-3的轮廓适配于由图像处理装置320根据转向角LW求得的轮辙及相应变形或失真地示出。与图5中一样地，条带220’-1，...-3的高度或长度代表障碍物100到机动车400或到摄像装置310的距离。在图5及6中对于所有三个空间区域I，II及III显示每个条带的原因在于或者存在一个障碍物100，它伸入到所有三个空间区域中，如图6中所示；或者在不同的空间区域I，II及III中存在不同的障碍物110，120及130。当在一个空间区域中未检测到障碍物时，对于该空间区域最好也不设置图形对象，尤其是无条带220。
以上已描述，以有利的方式，在由摄像装置310提供的图像中显示的障碍物不应被人为地加入的图形对象所遮盖。但作为该原则的例外，根据本发明，图形对象214可被设置在由摄像装置310提供的图像中在障碍物100的位置上。这些图形对象最好用于，对图像观察者视觉地突出障碍物100的向着摄像装置的那个区域或那个侧。在图7中表示出这样一个图形对象214。在此情况下，该图形对象214的轮廓偶然地正好与障碍物100的向着摄像装置的侧的轮廓相同。对此替换地，这种图形对象的轮廓也可基本上任意地构型，但最好以一个几何的基本形状，例如以一个矩形，一个椭圆形或一个三角形来构型。对于在本发明的范围中所述的所有图形对象适用的是，它们最好是半透明的或仅作为轮廓来显示，以便不会不必要地遮盖住由摄像装置310提供的图像。但也可替换地，图形对象被构造成彩色构型的面，其中色彩配置可按照所求得的障碍物100到机动车400或摄像装置310的距离而变化。因此，例如可考虑，当距离小于一个预定下阈值距离时，图形对象例如被着成红色；对于在下第一及第二阈值距离之间的距离着成黄色；及对于大于第二阈值距离的距离着成绿色。
当然对于图形对象的所有显示的变化可能性可彼此任意组合地实现，只要它们不相互排斥。
但作为处理图像的观察者的机动车400的驾驶员，不仅能通过图形对象的构型的上述显示方案被指示存在的碰撞危险。进一步或与图形对象相组合地还存在着这样的可能性，即，由摄像装置310提供的图像例如可直接地通过亮度或着色来处理。并且在这样处理时，如以上对于图形对象所述地，还-可选择地-存在这样的可能性，即该处理按照所求得的障碍物100到机动车的距离的大小例如以彩色效果或闪烁效果的形式来变化。
根据本发明的方法最好用一个计算机程序的形式来实现。这样一个计算机程序可-必要时与其它计算机程序一起地-存储在一个计算机可读的数据载体上。该数据载体可以是软盘，光盘，所谓的闪存器或类似载体。在该数据载体上存储的计算机程序则可作为产品出售给或传送给用户。作为对于使用数据载体的传送的替代方案，还存在着通过电子通信网、例如互联网传送的可能性。
权利要求
1.用于对由摄像装置(310)对观察者、尤其是机动车驾驶员提供的机动车(400)的周围的、尤其是在机动车行驶方向上的图像进行图形处理的方法，其特征在于探测机动车(400)周围中的障碍物(100)及求出它的实际位置，优选为相对机动车(400)位置的实际位置；求得障碍物在所述周围中的实际位置及障碍物(100)在由摄像装置提供的图像中的相应位置；在考虑所求得的障碍物在图像中位置的情况下进行图像的处理。
2.根据权利要求1的方法，其特征在于在摄像装置(310)的图像中加入优选地根据机动车(400)的转向盘转角求得的轮辙走向形式的图形对象(210)，所述机动车被预测将来在该轮辙上运动；障碍物在所述周围中的位置以障碍物与机动车(400)或摄像装置(310)之间的实际距离的形式被求得；障碍物(100)在图像中的位置，优选障碍物的向着或最靠近摄像装置的一侧(100)的位置，代表所求得的、障碍物到摄像装置(310)、例如相对于作为虚拟的摄像装置位置的图像下边缘的实际距离。
3.根据权利要求2的方法，其特征在于在摄像装置的图像中加入的、轮辙形式的图形对象(210)在求得的图像中障碍物的位置的大致高度上具有一个界限，该界限以一个界限线(212)的形式和/或以一个符号式地位于轮辙上的界限装置(214)的形式作为轮辙终端的象征，该界限装置例如为一个护栏，一个栅栏或一个篱笆。
4.根据权利要求2或3的方法，其特征在于轮辙形式的图形对象(210)显示所述轮辙走向，仅仅显示直到大致上所求得的图像中障碍物的位置的高度上，但不用于离机动车或摄像装置(310)的更大距离。
5.根据权利要求2或3的方法，其特征在于轮辙形式的图形对象(210)大致从所求得的图像中障碍物的位置的高度起对于离机动车更大的距离仅仅勾画出轮辙走向，例如以虚线的形式显示。
6.根据以上权利要求中一项的方法，其特征在于求得机动车周围的至少一个空间区域(I，II，III)，所述障碍物(210)-从摄像装置(310)来看-处在该空间区域中；在摄像装置(310)的图像中加入至少一个图形对象(220-1，...-3)，该图形对象对于处理图像的观察者在视觉上突出显示障碍物对所述至少一个空间区域的配置和/或障碍物(110，120，130)在该空间区域(I，II，III)中的位置。
7.根据权利要求6的方法，其特征在于作为图形对象(220-1，...-3)在图像中加入一个-优选地从图像下边缘起在垂直方向上延伸的-条带，以便相对机动车或摄像装置(310)的位置指示障碍物(110，120，130)的位置，其中，条带在图像中的水平位置代表所述周围的空间区域(I，II，III)；和/或其中条带在垂直方向上的高度/长度(H1，H2，H3)代表所求得的、障碍物与机动车之间的距离。
8.根据权利要求7的方法，其特征在于条带(220’-1...-3)的轮廓适配于所求得的轮辙的显像及相应地被变形和/或失真地显示。
9.根据以上权利要求中一项的方法，其特征在于在图像中障碍物(100)的位置上、优选在障碍物的向着或最靠近摄像装置(310)的一侧的位置上将一个图形对象(214)这样地加入图像中，使得它基本上至少部分地遮盖障碍物(100)。
10.根据权利要求9的方法，其特征在于图形对象(110，120，130)的轮廓以一个几何基本形状的形式、例如以矩形、椭圆形或三角形等来构型，或以求得的障碍物轮廓的形式来构型。
11.根据权利要求2至10中一项的方法，其特征在于图形对象(210，220)被半透明地显示或仅被显示为轮廓。
12.根据权利要求2至10中一项的方法，其特征在于图形对象(210，220)被显示为彩色构型的面，其中色彩配置可选择地按照所求得的障碍物(100)到机动车(400)或摄像装置(310)的距离而变化。
13.根据权利要求1-12中一项的方法，其特征在于摄像装置(310)的图像在求得的障碍物(100)的位置的区域中例如通过亮度或着色来处理，其中-可选择地-该处理可按照所求得的障碍物(100)到机动车(400)的距离的大小和/或该处理可按时间地、例如以闪烁效果的形式来变化。
14.具有用于一个机动车(400)的报警装置(300)的程序码的计算机程序，其特征在于该程序码被构造用于执行根据权利要求1至13中一项的方法。
15.数据载体，其特征在于它载有根据权利要求14的计算机程序。
16.用于机动车(400)的报警装置(300)，包括一个摄像装置(310)，用于产生机动车的周围的、优选在行驶方向上的周围的图像；一个图像处理装置(320)，用于处理由摄像装置(310)产生的图像；及一个显示装置(340)，用于对观察者、尤其是机动车驾驶员显示被处理的图像；其特征在于设有一个障碍物探测/距离检测装置(320)，用于探测机动车(400)的周围中的障碍物(100)及求得障碍物(100)的实际位置、优选地相对于机动车(400)的位置；设有一个转换装置(320)，用于将所述周围中障碍物的实际位置转换成障碍物在摄像装置(310)的图像中的相应位置；图像处理装置(320)被这样地构成，即，在考虑所求得的障碍物(100)在图像中的位置的情况下进行摄像装置(310)的图像的处理。
17.根据权利要求16的报警装置(300)，其特征在于图像处理装置(320)被这样构成，即，此外在考虑机动车参数、例如转向角(LW)的情况下进行摄像装置(310)的图像的处理。
全文摘要
本发明涉及用于对由摄像装置提供的机动车周围的图像进行图形处理的方法，已知这种图像以这样的方法处理，即对驾驶员视觉上显示或突出地显示在外围中存在的障碍物对机动车的潜在危险。为了对驾驶员更清楚地突出显示该潜在危险，根据本发明提出在考虑图像中障碍物位置的情况下对由摄像装置提供的图像进行处理。为此根据本发明提出，首先求得在机动车周围中障碍物的实际位置及接着求得与在机动车周围中障碍物的实际位置相应的、障碍物在图像中的位置。
文档编号B60Q1/52GK1922641SQ200580005683
公开日2007年2月28日 申请日期2005年1月13日 优先权日2004年2月23日
发明者托尔斯滕斯·迈尔, 马库斯·黑德里希, 于尔根·本茨 申请人:瓦莱奥开关传感器有限公司