专利名称：用于车辆停泊中的摄像机系统的制作方法
技术领域：
本发明涉及用于车辆中的摄像机系统，并且更具体地涉及用于车辆停泊中的摄像机系统。
背景技术：
日产(Nissan)已经开发了一种称为“日产全景监视器”的驾驶员辅助系统，其采用安装于车辆前部、后部和两侧中的四个超宽高分辨率摄像机来提供车辆周围的全景视图。所有这些图像都进行处理并在安装于仪表板上的屏幕上实时地显示，给驾驶员提供它们希望避免碰撞的车辆周围障碍物的360度视野。将车辆换挡至倒档或前进档，会在前部或后部的视野之间交替。驾驶员能在实施特别棘手的平行泊车操纵时切换左侧、前部和右侧视图。日产的“全景监视器”在美国的首次应用是在hfiniti EX35车型中。映像(mapping)是一种由机器人和车辆使用来构建未知环境内的地图的技术。这并不像听起来那么简单，因为从机器人的各种传感器辨识其相对运动存在着固有的不确定性。一种用于映射道路表面的系统包括高端激光雷达、GPS和惯性测量单元(IMU)传感器。 该系统能以5厘米的道路表面分辨率来产生地面反射性的二维表面图像。其他已知系统聚焦于通过使用安装于飞行器或卫星上的摄像机来产生城市和乡村地形的鸟瞰图。最常见的方法是推扫式拼接(pustibroom mosaic)，其对于其中最终拼接的期望视角接近于原始视角的应用场合工作得很好。一些商业化产品，比如谷歌的“街景(Street View)，，或微软的“街边(Street Side) ”，创建了城市场景的静态地图。这些系统中的焦点是提供城市的视图，其类似于机动车乘客或行人在同一城市活动时可能看到的场景。如果任何和所有处理能离线进行的话， 所捕获图像和最终图像之间的视角差别很小。使用稀疏特征图示(有时称为地标，landmark)产生地图的其他系统也已经提出。 尤其，vSLAM(视觉模拟定位和映射)的数个尝试已经开发和展示，主要是开发和展示在使用摄像机系统产生基于特征的地图的室内环境中。总之，这些基于特征的地图对于试图定位其自身或其车辆的人来说是不可用的。前视机动车摄像机用于包括夜视辅助、车道检测、车道偏离警告、车道保持和道路标识检测的各种场合中。将来，这种摄像机将是高级车辆的标准配置。后视摄像机也用作倒车的视觉辅助，并且可能是将来避免倒车事故所需要的。也存在各种泊车辅助的方法。这些方法的共同之处是声纳被用于主要传感器。声纳的优点是便宜。声纳的缺点在于声纳测量有噪声且不准确，这有时会导致错误的系统行为。现有系统在与物体碰撞之前给驾驶员发出视觉和/或声学警告。未来的系统将通过操作方向盘(即半自动泊车)或方向盘加油门/刹车(即全自动泊车)来辅助驾驶员。BMW已经提出了一种基于摄像机的系统，其使用运动立体化(motion-stereo)用于泊车辅助。这种系统需要另外的侧向摄像机以检测泊车区域。现有技术既没有公开、也没有建议一种利用前向摄像机和/或后向摄像机来给驾驶员提供鸟瞰图，以辅助平行泊车的方法。
发明内容
本发明可提供一种包括前向和/或后向摄像机、以在平行泊车期间辅助车辆驾驶员的系统。在其一种形式中，本发明包括一种辅助平行泊车的方法，其包括给车辆提供前向摄像机和/或后向摄像机。摄像机用来捕获包括至少一个未占用泊车空间和多个由其他车辆占用的泊车空间的泊车区域图像。产生捕获图像的单应变换。单应变换用来从鸟瞰视角估算泊车区域的图像。包括未占用泊车空间的一部分鸟瞰图在车辆的乘客车厢内的显示屏上显不。在其另一种形式中，本发明包括一种用于车辆的电子泊车辅助装置。这种装置包括设置于车辆中的前向和/或后向摄像机。处理器结合至至少一个摄像机。处理器接收泊车区域的第一图像。图像由摄像机从基本上水平的视角捕获。处理器将第一图像转换为从基本上垂直视角观察的第二图像。识别第二图像内的未占用泊车空间。在车辆基本上邻近未占用泊车空间时，将车辆的图示重叠到第二图像上。第二图像中车辆图示相对于未占用泊车空间的位置持续地更新，以指示车辆相对于未占用泊车空间的实际位置。显示屏设置于车辆的乘客车厢中，并且结合至处理器。显示屏接收并且显示具有车辆重叠图示的第二图像。在其又一种形式中，本发明包括一种显示地图信息的方法，其包括给车辆提供前向和/或后向摄像机。摄像机用来捕获周围区域的图像。产生捕获图像的单应变换。单应变换被用来从鸟瞰视角估算该区域的图像。确定车辆在移动时相对于鸟瞰图的位置。鸟瞰图在车辆的乘客车厢内的显示屏上显示。所显示的鸟瞰图包括车辆的实时图示。鸟瞰图内的车辆图示的位置是基于确定的步骤基本上持续地更新。本发明的一个优点在于，其相比已知系统而言需要更少的传感器并且因此比已知系统明显更便宜。具体地，本发明可仅利用前向和/或后向摄像机。本发明的另一个优点在于，其利用将是未来车辆上的标准装备的设备，并且无需另外的硬件。更具体地，前向和后向摄像机将是未来汽车上的标准装备。前向摄像机用于夜视、车道检测、道路标识检测等。后向摄像机通常用于避免倒车事故，并且可能是未来汽车所需的。例如，参见由国家高速公路交通安全管理局关于避免倒车事故所提供的指导。因而，本发明可通过软件提供另外的有价值益处，并且可仅使用现有的硬件。
通过参照下面结合附图对本发明实施例的描述，本发明的上述和其他特点和目标及其获取方式将变得更加明显并且发明自身将得到更好的理解，其中图1是包括有本发明的泊车辅助装置的一个实施例的车辆示意性平面图。图2是由图1的泊车辅助装置的前向摄像机所捕获的示例图像。图3是根据本发明一个实施例的、图2所示图像通过使用单应变换被投射到估算三维地平面上。图4是由本发明的方法的一个实施例产生的示例性映射。
图5是由本发明的方法的另一个实施例产生的示例性映射。图6是图4的映射在图1所示车辆的图像叠加于其上时的情形。图7是由本发明的方法的又一实施例产生的示例性映射。图8是由本发明的方法的再一个实施例产生的示例性映射。图9是图8的示意映射在驾驶员车辆的轮胎处于直线位置时的情形。图10是图8的示例性映射在驾驶员车辆必须将方向盘向左旋转以随从最佳泊车路径的点处的情形。图11是示出本发明的用于辅助平行泊车的一种方法的流程图。图12是示出本发明的用于显示地图信息的一种方法的流程图。相应的参考符号在数个附图中指示相应的部件。虽然这里阐述的示例以数种形式示出了本发明的实施例，但是下面公开的实施例不是穷举的或者构造为将本发明的范围限制为所公开的精确形式。
具体实施例方式现在参照附图，并且尤其是图1，其中示出包括本发明的泊车辅助装置10的车辆的一个实施例，这种泊车辅助装置包括前向摄像机12、后向摄像机14、处理器16、显示器 18、转向传感器19以及声频扬声器20。前向摄像机12可安装于车辆的格栅中，以使得摄像机12面向并且指向前向13。后向摄像机14可安装于车辆的后保险杠中，以使得摄像机 14面向并且指向后向15。在一些实施例中，泊车辅助装置仅包括前向摄像机12和后向摄像机14中的一个，而不是两个。显示器18可包括例如电子计算机的屏幕或监视器。在一个实施例中，屏幕或监视器可安装于车辆(其可以是汽车)的仪表板上。处理器16可以是标准微型处理器的形式，并且可包括存储器(未示出)。处理器 16可控制被显示于显示器18的屏幕或监视器上以及从扬声器20声频地输出的信息或内容。本发明可利用静态映像。摄像机12和14可在车辆移动时一直捕获环境的图像。 在驾驶员寻找泊车空间时由前向摄像机12捕获并且在显示器18上所显示的典型图像在图 2中示出。这个图像碰巧包括未占用的泊车空间21。给定摄像机12在车辆中的相对位置， 单应变换(homography)或“射影变换(projective transformation) ”可在图像平面和实际地平面之间进行计算。单应变换可用来将每个图像(比如图2中所示的图像)投射到估算三维地平面上，如图3的投射摄像机图像中所示。为了以高分辨率来收集跨过多个帧的数据，离散网格(如在位置22处成片段地所示出的)可与地平面对准并且重叠到其上。在一个具体实施例中，每个网格单元测量5厘米X5厘米，并且收集其中心投射到其边界内的单元上的全部像素。网格自身可具有有限的高度和宽度，并且可在摄像机移动穿过景物时一直重新定中在摄像机上。在一个实施例中，在存储器中所存储的是每个单元和最近在该单元位置处从全部图像被观察到的像素值的链接列表之间的关联关系。已经在预定的在先时期内观察到的像素值可存储于存储器中，并且最老的像素值可在存储器中由最近观察到的像素值所替代。 图像中心附近的单元(并且因此网格的中心)可收集与两侧的那些单元相比较数目高得多的观察值。在一个实施例中，图像中心附近的单元可收集高达大约700个观察值，而左手侧周边或右手侧周边附近的单元仅收集4个或5个观察值。然后，每个网格单元的最终值能以几个不同方式中的任何一种计算，并且这些单元可被组合以形成所观察环境的单个鸟瞰图。最简单的聚集技术是在每个单元中选择最新的观察值。由这个技术产生的示例性映射在图4中示出，这是由单个前向摄像机所产生的地图。在其他实施例中，使用观察值的平均值或众数可减少由于位于地平面外面(例如上方)的障碍物(比如其他车辆)所引起的失真。还能使用在单个单元中所收集的值的变化以检测并且可能移除这种失真。图5是与图4类似的地图，其中至少移除了一些由车辆 24和26引起的失真。可由驾驶员使用的地图在图6中示出，这是图4的映射在具有车辆的图像或图示的情形，其中泊车辅助装置10被安装为重叠或覆盖在其上。然而，车辆还能重叠在图5的失真减少的方案上。重叠的车辆图示可按比例绘出，并且可在几何方面或位置方面地准确， 以便让驾驶员准确地估算车辆相对于道路上的任何车道或泊车标记的当前位置和尺寸。如上所述，本发明可应用于泊车辅助。在驾驶员寻找平行泊车的停车地点时，泊车辅助系统可一直且持续地绘制车辆环境的地图。使用映射和所述的物体检测，有可能从地图上测量泊车点的尺寸。泊车空间的测量尺寸可与驾驶员车辆的尺寸相比较，并且可给驾驶员提供泊车空间是否足够大以容纳驾驶员车辆的指示。泊车辅助系统可给驾驶员提供已经发现泊车空间的视觉和/或声频信号，并且还可给驾驶员提供泊车空间的位置和尺寸的视觉和/或声频信号。泊车空间的尺寸可相对于车辆的尺寸进行表达。在一个实施例中，驾驶员可在泊车辅助系统给驾驶员指示泊车点可用之前提供泊车空间必须具有的阈值尺寸。阈值尺寸可表达为泊车空间比车辆大的距离。在另一个实施例中，泊车辅助系统可保持车辆已经成功地平行泊车于其中的在先泊车空间的尺寸记录，以及试图在其中泊车但是未成功的在先泊车空间的尺寸。然后，泊车辅助系统可给驾驶员提供在类似尺寸的空间中在先试图平行泊车的成功率的指示。由于一些驾驶员可能比其他驾驶员在平行泊车方面的技术更好，泊车辅助系统可另外地保存各个驾驶员在先平行泊车的这种记录。泊车辅助系统还可给各个驾驶员提供其在与当前识别地点尺寸大致相同的空间中进行泊车的个人在先成功率。泊车点及其尺寸可在地图上显示，如由图7中的虚线指示。在这个具体实施例中， 泊车点及其尺寸由在显示器18上提供的矩形来表示。车辆相对于泊车点的位置也可在显示器18上显示。泊车辅助系统可给驾驶员提供关于推荐泊车技术的声频和/或视觉指令。例如， 该系统可给驾驶员指示在将车辆置于倒档之前、在街道上应当行驶多远。用于平行泊车的最佳路径的建议可在显示器18上以视觉可见的方式提供。最佳路径可以是由此车辆可在车辆和障碍物(比如其他停泊车辆)之间具有最大间隙的情况下驶入泊车空间的路径。除了最佳路径，显示器18还可示出根据方向盘和/或轮胎的当前位置(如由转向传感器19所感测的)而车辆将采用的路径。显示器18可持续地随从并且显示车辆的移动，从而反馈给驾驶员。该系统还可给驾驶员指示在倒档驾驶时何时转动方向盘以及转动多远。例如，图8的示例创造性屏幕显示器是基于如由转向传感器19感测的轮胎30a-b的转向位置来示出驾驶员车辆的预期路径观(用实线示出)。在沿着预期路径观的点32处， 驾驶员将需要急速地向左转，以随从与预期路径观相分歧的最佳路径34 (用虚线示出)。在图9中，驾驶员车辆的预期路径观可与最佳路径34重叠并一致。然而，在一个实施例中，预期路径观和最佳路径可在这两个路径没有重叠或一致时分开地在显示器中示出。作为示例，图9的显示屏示出由处于直线位置的轮胎30a-b所产生的与最佳路径34 相比较而言是线性或直线的预期路径观。由于预期路径观与最佳路径34之间的分歧或偏差，如图9中所示地可在屏幕显示器上提供文字指令“急速右转”。另外地，或替代地，扬声器20可发出音频口头指令“急剧右转”。这些右转指令在驾驶员将方向盘足够地急速右转以引起如图8中所示预期路径观与最佳路径34相重合时停止。图10示出在车辆到达点32时的示例屏幕显示。文字指令“急速左转”可如所示地在车辆到达点32时提供在屏幕显示器上。另外地，或替代地，扬声器20可发出声频口头指令“急速左转”。在行人进入泊车区域时，可给驾驶员提供声频或视觉警告。行人的存在可通过摄像机12、14中的一个或车内声纳系统(未示出)来检测。本发明的用于辅助平行泊车的方法110的实施例在图11中示出。在第一步骤1102 中，车辆设置有前向摄像机和/或后向摄像机。例如，图1中所示的车辆包括前向摄像机12 和后向摄像机14。在下一个步骤1104中，摄像机用来捕获泊车区域的图像，包括至少一个未占用泊车空间以及多个由其他车辆占用的泊车空间。例如，由摄像机捕获的图2所示图像，是包括未占用泊车空间21和由车辆(比如车辆M和沈)占用的其他泊车空间的泊车区域。接着，在步骤1106中，产生所捕获图像的单应变换。也就是，射影转换可在图2的图像平面与地平面之间进行计算。在本文中，地平面可以认为是停泊车辆被支撑于其上的地表面的平面。在步骤1108中，单应变换被用来从鸟瞰视角估算泊车区域的图像。例如，单应变换可用来将图2的捕获泊车区域图像转换到地平面上，从而估算图3的鸟瞰图。在最后步骤1110中，包括未占用泊车空间的一部分鸟瞰图在车辆的乘客车厢内的显示屏上显示。也就是，图3的鸟瞰图可进一步处理，以识别未占用泊车空间21并且产生图4-10中所示的任何图像。图4-10的每个包括未占用泊车空间21，并且图4-10的任何一个可在显示屏18上显示。本发明的用于显示地图信息的方法1200的另一个实施例在图12中示出。在第一步骤1202中，车辆设置有前向摄像机和/或后向摄像机。例如，图1中所示的车辆包括前向摄像机12和后向摄像机14。在下一个步骤1204中，摄像机被用来捕获周围区域的图像。例如，由摄像机捕获的图2所示图像是驾驶员车辆周围的泊车区域的图像。接着，在步骤1206中，产生所捕获图像的单应变换。也就是，射影转换可在图2的图像平面与地平面之间进行计算。在本文中，地平面可以认为是停泊汽车被支撑于其上的地表面的平面。在步骤1208中，单应变换被用来从鸟瞰视角估算泊车区域的图像。例如，单应变换可用来将图2的捕获泊车区域图像转换到地平面上，从而估算图3的鸟瞰图。在下一个步骤1210中，确定在车辆移动时车辆相对于鸟瞰图的位置。车辆相对于鸟瞰图的位置能以任何各种方式确定，包括基于由摄像机当前捕获的图像来计算当前车辆位置；使用距离传感器，比如驾驶员车辆上的声纳或雷达，其感测已停泊汽车的位置；和 /或基于里程表和转向传感器输出来追踪驾驶员车辆的行进距离和方向，因为鸟瞰图中的当前区域维持于摄像机的视野中(假定驾驶员车辆和未占用泊车空间之间的初始距离是基于声纳和/或未占用泊车空间的初始捕获图像来计算)。在最后步骤1212中，在车辆的乘客车厢内的显示屏上显示鸟瞰图，显示的鸟瞰图包括车辆的实时图示，车辆图示在鸟瞰图内的位置是基于确定的步骤基本上持续地更新。 也就是，鸟瞰图(比如图6和8-10中所示的那些)在车辆的乘客车厢的显示屏18上显示。 在一个实施例中，显示屏18安装于仪表板上。图6和8-10的每个显示鸟瞰图可包括驾驶员车辆的实时图示。车辆图示在图6和8-10的鸟瞰图内的位置，可基于驾驶员车辆在使用最新输入数据确定时的最新实际位置而持续地更新。本发明已经在此公开为应用来辅助驾驶员实施泊车操纵。然而，将理解到，本发明可应用于其他场合，比如警告驾驶员附近行人的实际位置，或自动地防止驾驶员撞上行人。虽然本发明已经描述为具有示例的设计，然而本发明可在本公开的精神和范围内进一步变型。因此，本申请将覆盖本发明的使用其一般原理的任何变化、使用或改变。
权利要求
1.一种辅助车辆泊车的方法，其包括以下步骤给车辆提供前向摄像机和后向摄像机中的至少一个；使用摄像机捕获泊车区域的图像，所述泊车区域包括至少一个未占用泊车空间和多个由其他车辆占用的泊车空间； 产生捕获图像的单应变换；使用所述单应变换从鸟瞰视角估算泊车区域的图像；以及在车辆的乘客车厢内的显示屏上显示包括未占用泊车空间的一部分鸟瞰图。
2.根据权利要求1的方法，其包括检测鸟瞰图中的未占用泊车空间的又一步骤。
3.根据权利要求1的方法，其包括提供车辆在鸟瞰图中的当前位置的图示的又一步马聚ο
4.根据权利要求3的方法，其中车辆在鸟瞰图中的当前位置的图示持续地更新。
5.根据权利要求1的方法，其中所述前向摄像机和后向摄像机中的至少一个包括用于夜视、车道检测以及道路标识检测中的至少一个的前向摄像机。
6.根据权利要求1的方法，其中所述前向摄像机和后向摄像机的至少一个包括用来避免倒车事故的后向摄像机。
7.根据权利要求1的方法，还包括以下步骤计算用于车辆驶入未占用泊车空间的最佳路径；以及在显示屏上显示最佳路径。
8.一种用于车辆的电子泊车辅助装置，所述装置包括 设置于车辆中的前向摄像机和后向摄像机中的至少一个； 结合至所述至少一个摄像机上的处理器，所述处理器构造为接收泊车区域的第一图像，该图像由摄像机从基本上水平的视角捕获； 将第一图像转换为从基本上垂直视角观察的第二图像； 识别第二图像内的未占用泊车空间；以及在车辆基本上邻近未占用泊车空间时将车辆的图示重叠到第二图像上，在第二图像中的车辆图示相对于未占用泊车空间的位置持续地更新，以指示车辆相对于未占用泊车空间的实际位置；以及显示屏，其设置于车辆的乘客车厢中并且结合至处理器，该显示屏被构造为接收并显示具有车辆重叠图示的第二图像。
9.根据权利要求8的装置，其中处理器被构造为 产生第一图像的单应变换；以及在将第一图像转换为第二图像的过程中使用所述单应变换。
10.根据权利要求8的装置，其中所述前向摄像机和后向摄像机中的至少一个包括前向摄像机，所述处理器被构造为使用前向摄像机以用于夜视、车道检测以及道路标识检测中的至少一个。
11.根据权利要求8的装置，其中所述前向摄像机和后向摄像机中的至少一个包括后向摄像机，所述处理器被构造为使用后向摄像机用于避免倒车事故。
12.根据权利要求8的装置，还包括声频扬声器，所述处理器被构造为将声频信号传输至声频扬声器，声频信号包括用于平行泊车的口头指令。
13.根据权利要求8的装置，还包括结合至处理器的转向传感器，该转向传感器被构造为感测车辆轮胎的转向方向；并且将指示方向的方向信号传送至处理器；所述处理器被构造为基于方向信号计算车辆的预期路径；以及在第二图像中提供所计算的车辆预期路径的指示。
14.根据权利要求13的装置，其中所述处理器构造为 计算与预期路径相分歧的最佳路径；以及在第二图像中提供最佳路径的指示。
15.一种显示地图信息的方法，其包括步骤给车辆提供前向摄像机和后向摄像机中的至少一个； 使用摄像机来捕获周围区域的图像； 产生被捕获图像的单应变换；使用所述单应变换来从鸟瞰视野来估算该区域的图像； 确定车辆在移动时相对于鸟瞰图的位置；以及在车辆的乘客车厢内的显示屏上显示鸟瞰图，所显示的鸟瞰图包括车辆的实时图示， 所述鸟瞰图内的车辆图示位置是基于确定的步骤基本上持续地更新。
16.根据权利要求15的方法，其包括将单应变换分为基本上相同的网格单元的又一步骤，所述显示步骤取决于相应网格单元中的像素值的平均值、众数和方差之一。
17.根据权利要求15的方法，其包括检测鸟瞰图中的未占用泊车空间的又一步骤。
18.根据权利要求15的方法，其中所述前向摄像机和后向摄像机中的至少一个包括用于夜视、车道检测和道路标识检测中的至少一个的前向摄像机。
19.根据权利要求15的方法，其中所述前向摄像机和后向摄像机中的至少一个包括用于避免倒车事故的后向摄像机。
20.根据权利要求15的方法，还包括以下步骤 计算车辆驶入未占用泊车空间的最佳路径；以及在显示屏上显示最佳路径。
全文摘要
一种辅助平行泊车的方法包括给车辆提供前向摄像机和/或后向摄像机。摄像机用来捕获包括至少一个未占用泊车空间和多个由其他车辆占用的泊车空间的泊车区域图像。产生捕获图像的单应变换。单应变换用来从鸟瞰视角估算泊车区域的图像。包括未占用泊车空间的一部分鸟瞰图被显示在车辆的乘客车厢内的显示屏上。
文档编号G06T15/20GK102458964SQ201080025014
公开日2012年5月16日 申请日期2010年5月7日 优先权日2009年5月11日
发明者B·皮策, C·杜哈德维, J·贝克尔, S·卡梅尔 申请人:罗伯特·博世有限公司