用于在行车道上车辆的线路引导中辅助驾驶员的方法和设备的制作方法
【专利摘要】本发明涉及一种用于在行车道(145)上车辆(100)的线路引导中辅助驾驶员的方法(1300)。所述方法包括在显示单元(150)上向驾驶员(140)显示(1310)所读取的图像(135)的步骤，其中，所述图像(135)由摄像机(120)拍摄并且代表车辆周围环境(115)。此外，所述方法包括读取(1320)由所述驾驶员(140)在操作接口(210)处输入的操作信号(215)的步骤和在使用所述操作信号(215)的情况下选择(1330)在所述图像(135)中包含的对象(300)的步骤。此外，所述方法包括在所述显示单元(150)上显示(1340)标记(310，500，600)的步骤，其中，所述标记(310，500，600)显示在所述图像(135)的代表所述对象(300)的区域中。最后，本发明包括使用(1350)所述对象(300)来为待由所述车辆(100)行驶的行驶路径确定至少一个纵向调节参数，以便在所述行车道(145)上所述车辆(100)的线路引导中辅助所述驾驶员(140)的步骤。
【专利说明】用于在行车道上车辆的线路引导中辅助驾驶员的方法和设备
【技术领域】
[0001]本发明涉及根据主权利要求所述的用于在行车道上车辆的线路引导中辅助驾驶员的方法、相应的设备及相应的计算机程序产品。
【背景技术】
[0002]ACC系统(ACC=自适应巡航控制=自适应行驶控制)调节与在前面行驶的车辆的间距并且在市场上已近10年。它们大多数是基于雷达传感器，在一些新型的车辆中也基于激光雷达传感器。最近也将多种传感器——例如雷达和视频融合，以便改善和扩展ACC功能，例如关于车道信息的考虑、尤其在横向方向上对象测量的改善，对驶入者/驶出者的更早的反应，自由面的探测和启动保护或检测区域的侧向扩展。
[0003]DE102008003666A1涉及一种用于借助用于检测车辆周围环境的传感器和用于根据传感器的输出信号干预车辆的车载系统的装置来控制驾驶员辅助系统的方法，其中，驾驶员辅助系统至少检测由车辆行驶的车道的走向和车辆相对于车道的位置，并且引导车辆在轨迹上。在此，驾驶员辅助系统根据驾驶员期望确定轨迹。
[0004]所有至今公知的驾驶员辅助系统的共同点是，它们仅仅很少通知驾驶员关于通过传感器的对象检测。
【发明内容】
[0005]在此背景下借助本发明提出根据独立权利要求所述的方法、使用该方法的控制设备及相应的计算机程序产品。有利的构型从相应的从属权利要求和下面的说明书得出。
[0006]本发明实现用于在行车道上车辆的线路引导中辅助驾驶员的方法，其中，所述方法包括下述步骤:
[0007]-在显示单元上向驾驶员显示所读取的图像，其中，所述图像由摄像机拍摄并且代表车辆周围环境；
[0008]-读取由驾驶员在操作接口处输入的操作信号；
[0009]-在使用操作信号的情况下选择在图像中包含的对象；
[0010]-在显示单元上显示标记，其中，使所述标记显示在图像的代表对象的区域中；和
[0011]-使用对象来为待由车辆行驶的行驶路径确定至少一个纵向调节参数，以便在行车道上车辆的线路引导中辅助驾驶员，尤其其中，至少一个纵向调节参数包括车辆与对象之间的待遵守的间距和/或在车辆接近对象时的相对速度。
[0012]本发明还实现一种设备、尤其是导航仪，所述设备构造用于，在相应的装置中实施或实现根据本发明的方法的步骤。通过本发明的以设备形式的实施变型方案也可以快速和高效地解决本发明所基于的任务。
[0013]设备在此可以理解为处理传感器信号并且据此输出控制信号的电设备。所述设备可以具有按硬件方式和/或按软件方式构造的接口。在按硬件方式的构造中，接口例如可以是包括所述设备的最不同功能的所谓的系统ASIC的一部分。然而，还可能的是，接口是单独的集成电路或至少部分地由分立部件组成。在按软件方式的构造中，接口可以是软件模块，其例如与其他软件模块共存在微控制器上。
[0014]具有程序代码的计算机程序产品也是有利的，所述程序代码可以存储在机器可读的载体，如半导体存储器、硬盘存储器或光学存储器上并且用于当在与计算机相应的设备上执行程序时根据先前描述的实施方式之一来实施所述方法。
[0015]在行车道上车辆的线路引导中辅助驾驶员例如可以理解为关于对象的自动纵向调节和/或横向引导或也可以理解为以到驾驶员的听觉信号和/或触觉信号和/或虚拟信号的形式的辅助，所述信号要求制动和加速或转向。显示单元可以理解为屏幕或将对象投影到挡风玻璃上的装置。车辆周围环境可以理解为车辆周围的外部区域，尤其是在车辆前方的、由摄像机拍摄的行车道。操作接口可以理解为识别驾驶员或车辆中的人的手动输入、语音输入或其他输入的接口，所述接口响应于所述手动输入、语音输入或其他输入提供操作信号。标记可以理解为标记对象，所述标记对象显示在显示单元上。在此，可以使标记或者标记对象叠加图像中的也显示已选择的对象的区域。待由车辆行驶的行车道的确定可以理解为轨迹的求取，所述轨迹应有利地引导车辆，以便例如能够通过最短的路径或最舒适的方式跟随对象。纵向调节参数可以理解为例如与车辆要跟随的对象的间距或理解为速度，其中，所述速度表示为了能够避免与对象的碰撞车辆应遵守的最大速度。纵向调节参数可以用在车辆引导辅助单元中，以便生成纵向引导信号并且将其向驾驶员输出，以便在控制车辆时通过该纵向引导信号辅助驾驶员。在此，纵向引导信号可以理解为为驾驶员显示关于车辆与对象的可能的碰撞的距离为多大或速度为多大的信号。例如可以以车速里程表形式显示纵向引导信号，在所述车速里程表中形象地显示不久要担心的、车辆与对象碰撞的危险。替代地或附加地，当然也可以使用纵向引导信号来自动地进行转向干预和/或激活制动，以便辅助车辆的驾驶员。
[0016]本发明基于以下认识:现在通过将标记显示在显示单元上、使用及确定待由车辆行驶的行驶路径，车辆驾驶员能够通过视觉上很吸引人的和容易识别的方式获得以下信息:导航仪在确定线路引导时将哪一个对象作为基础。由此，当使用例如非所期望的对象来为待由车辆行驶的行驶路径确定至少一个纵向调节参数的时候，驾驶员能够快速地识别错误。例如这种纵向调节参数也可以涉及对象运动的速度。当例如一个快速的车辆在行车道上在右边行驶并且一个缓慢的车辆在(相邻)行车道上在左边行驶的时候，由于速度可以选择左边的车辆并且因此通知系统，驾驶员不想放慢速度和跟随右边的车辆，而是想快速行驶。通过这种方式可以避免驾驶员的困惑，困惑可能通过驾驶员的分心而在道路交通中引起危险的状况。
[0017]有利的是，根据本发明的一种特殊的实施方式在显示图像的步骤中从图像中预先识别对象，其中，在选择的步骤中在使用操作信号的情况下从多个所预先识别的对象中选择一个对象。预先识别可以理解为预先分析处理，其中，图像在选择对象之前就已经被检查并且多个可能的待选择的对象已经被识别或被归类为这种对象。本发明的这样的实施方式提供的优点在于，现在可以更快速地进行选择并且随后更快速地进行所选择的对象的标记，由此，驾驶员只需要较短的时间段注视显示单元，以便识别是否为行驶路径的确定选择了正确的对象。[0018]根据本发明的另一种实施方式，在显示的步骤中可以将图像显示在显示单元的触摸灵敏的显示器上，其中，在读取的步骤中将所识别的对触摸灵敏的显示器的按压作为操作信号读取。本发明的这种实施方式提供的优点在于对于驾驶员选择用于确定待行驶的行驶路径的对象的快速、准确和可靠的可能性。
[0019]替代地，也可以在读取的步骤中响应于驾驶员的所识别的手势、尤其是驾驶员用手指指向一个位置来生成操作信号。本发明的这样的实施方式提供对于驾驶员的进一步的舒适性提高，因为驾驶员在进行输入时不再需要关注他是否也在正确的位置上触摸触摸灵敏的显示器。就此而言，也能够提高驾驶员的安全，因为驾驶员不再需要为了完成相应的输入而将其注意力如此长时间地从交通情况(Verkehrsgeschehen)移开。
[0020]为了在行驶时也能够在车辆中实现所期望的对象的精确的选择，可以在选择的步骤中选择在图像中预先识别的这样的对象，所述对象在图像中距通过所识别的对触摸灵敏的屏幕的按压代表的位置最近。这种功能即使在触摸灵敏的显示器上的输入不准确的情况下例如仍提供能够可靠地选择所期望的对象的可能性。这种可能性例如尤其是在在不平的行车道上行驶时或在在高速公路上快速行驶时仅仅短暂地注视显示单元的时候特别有利。
[0021]特别有利的是，根据本发明的另一种实施方式在读取的步骤中使用操作接口，所述操作接口通过车辆驾驶员的语音指令的分析处理来产生操作信号。本发明的这种实施方式提供的优点在于通过驾驶员的输入，而驾驶员无需例如将手从车辆控制单元如方向盘或换挡杆移开。这在使用在此提出的方式的情况下提高了交通安全。
[0022]根据本发明的另一种实施方式，可以在选择对象的步骤中选择一个代表另一车辆的对象，所述另一车辆在行车道上位于本车辆的前方或旁边。本发明的这种实施方式提供的优点在于，容易地选择应借助线路引导辅助系统跟随的车辆。此外，另一车辆通常也足够大，以便一方面能够通过按键快速地被选择或另一方面在显示单元上快速地被识别，使得驾驶员只需要很短的时间段将其目光从交通情况转移到显示单元上。
[0023]此外，根据本发明的另一种实施方式，在显示的步骤中以时间上变化的显示来显示标记。本发明的这种实施方式提供的优点在于，在仅仅短暂地注视显示单元的情况下也能够非常快速地识别所选择的对象。此外，通过显示的变型方案能够显示附加的信息，例如对即将发生的与待跟踪的对象碰撞的提示。由此，同样提高了交通安全，因为只需对于一个小的时间段将驾驶员的注意力从交通情况移开。
[0024]为了能够例如尽可能及早和快速地向驾驶员传送不久可预期的与对象相关联的危险状况，还可以在显示的步骤中在显示单元上显示有关与对象的间距的信息，其中，所述信息显示在图像的代表对象的区域中。在这种信息下，可以显示例如对在不久即将来临的与对象的相撞的提示。在这种情况下例如可以将信息作为符号或特殊的图形连同标记一同显示在图像的代表对象的区域中。
[0025]根据本发明的另一种实施方式，也可以在使用的步骤中进行对象的行驶路径与车辆的所期望的、预先定义的行驶路程的比较，其中，如果比较得出，对象已经离开所期望的、预先定义的行驶路程超过预先确定的间隔，则不再使用所述对象来确定待由车辆行驶的行驶路径，和/或
[0026]如果对象的确定的速度大于在车辆的位置上允许的速度，则在使用的步骤中不再使用所述对象来确定待由车辆行驶的行驶路径，和/或[0027]如果对象与车辆的所求取的问距大于预先确定的间距，则在使用的步骤中不再使用所述对象来确定用于待由车辆行驶的行驶路径的至少一个纵向调节参数。本发明的这种实施方式提供的优点在于，能够及早地识别用作用于确定待行驶的、尤其是对象所遵循的行驶路径的基础的对象不再适合作为这种辅助自身车辆的线路引导的对象。在这种情况下可以避免输出可能使驾驶员困惑并且因此可能导致危险的交通状况的错误消息。
【专利附图】
【附图说明】
[0028]下面，借助附图示例性地详细解释本发明。附图示出:
[0029]附图1:车辆的框图，其中，使用根据本发明的一个实施例的设备；
[0030]附图2:图1中的用于在行车道上车辆的线路引导中辅助驾驶员的设备的详细框图；
[0031]附图3:由车辆摄像机拍摄的图像的示图；
[0032]附图4:由车辆摄像机拍摄的图像的另一个示图，其中，所述标记插入(einbLenden)所选择的对象在摄像机图像中所处的区域中；
[0033]附图5:在摄像机图像中具有标记或附加信息的对象的示图；
[0034]附图6:在摄像机图像中具有标记或附加/[目息的对象的另一个不图；
[0035]附图7A-7B:在不同时刻在摄像机图像中具有附加信息的对象的示图；
[0036]附图8:以条形图可视化直至与对象碰撞的时间的示图；
[0037]附图9:以圆形仪表的形式可视化直至与对象碰撞的时间的示图；
[0038]附图10:以圆形仪表的形式插入直至与不同的对象碰撞的时间，所述时间插入在摄像机图像中的相应的对象的区域中；
[0039]附图11:将自身车辆与另一车辆的速度插入共同的圆形仪表中的图不；
[0040]附图12:摄像机图像的图示，所述摄像机图像能够实现从图像中提取所跟踪的对象；和
[0041]附图13:根据本发明的一个实施例的方法的流程图。
[0042]在本发明的优选实施例的后续描述中，对于在不同附图中示出并且起类似作用的元件使用相同的或类似的参考标记，其中不重复描述这些元件。
【具体实施方式】
[0043]附图1示出车辆100的框图，其中，使用根据本发明的一个实施例的设备110。此外，车辆包括摄像机120，所述摄像机检测车辆周围环境125连同在可见范围130中、尤其是在车辆的前方的位于所述车辆周围环境中的对象127，并且相应的图像135被传送给设备110用于在行车道145上车辆100的线路引导中辅助驾驶员140。在此，设备110包括显示单元150,在所述显示单元上可以显示摄像机图像135。在此,显示单元150包含触摸灵敏的屏幕，其中，车辆的驾驶员140可以通过用手指按压屏幕来在摄像机图像135中选择一个对象，所述对象用作用于确定待由车辆行驶的行驶路径的基础。在此，中央控制单元155接管以下功能:一方面将摄像机图像135传送给显示单元150，另一方面读取由驾驶员140通过触摸灵敏的屏幕的输入。此外，可以在控制单元155中选择标记作为标记符号或标记对象并且使其叠加摄像机图像135的代表所选择的对象的区域。随后，重新将借助标记叠加的图像传送给显示单元150，在那里向驾驶员140显示所述借助标记叠加的图像。同时可以在控制单元155中使用所标记的对象作为用于确定待由车辆行驶的线路的、待由车辆行驶的行驶路径的基础，以便例如在特殊的线路引导单元160中进行对象的自动跟踪，也即车辆的自动的纵向引导和/或横向引导或向驾驶员140传送信号，所述信号给驾驶员140提供指令或提示:他如何能够尽可能快速地、节省能源地或舒适地将车辆引导在通过对象定义的线路中。在此，“线路”可以理解为车辆应行驶的所期望的轨迹。所期望的(行驶)轨迹一方面可以是例如通过行车道标识的标记的车道，另一方面所述轨迹(例如在未标记的行车道的情况下)可以是由自身车辆中的计算单元计算的和作为待行驶的“线路”输出的轨迹。通过这种方式，即使在未标记的行车道的情况下仍能够获得应由自身车辆行驶的以便在引导车辆时能够实现尽可能高效地辅助驾驶员的“线路”。在此，应在考虑对象的情况下确定待行驶的“线路”。在此，尤其确定对象也在上面行驶的“线路”，从而能够保证在确定待行驶的或待跟随的“线路”时仅仅完全考虑与当前跟随的对象相关的轨迹。
[0044]附图2示出用于在行车道上车辆的线路引导中辅助驾驶员的设备110的详细框图。在此，设备110包括显示单元150和操作接口 210，所述操作接口以显示单元150的屏幕的触摸灵敏的表面的形式构造或构造为用于识别语音信号的麦克风，并且所述操作接口提供操作信号215。操作接口可以位于更远离显示单元150处，例如通过中间控制台上的操纵杆或触摸板或通过油门踏板中的横向传感器(Quergeber)形成。设备110还包括选择单元220，所述选择单元可以布置在中央控制设备155中并且响应于操作信号215选择在图像中包含的对象并且使相应的标记叠加摄像机图像135，以便获得相应地处理的摄像机图像230。选择单元220可以重新将与标记叠加的摄像机图像230传输给显示单元150，然后在所述显示单元上显示叠加标记的摄像机图像230。附加地，设备具有上述的线路引导单元160。
[0045]所有至今公知的驾驶员辅助系统具有一个共性:它们仅仅很少地通知驾驶员关于通过传感器的对象检测，并且它们很少或根本不提供关于例如应跟随哪个车辆的影响可能性。
[0046]本发明尤其致力于消除所述缺陷并且描述一种通过至今还未公知的方式与驾驶员互动的驾驶员辅助系统。为此，所述驾驶员辅助系统使用至少一个用于(尤其是向前方)观察车辆周围环境的摄像机和用于呈现必要时经处理的摄像机图像和可能的附加信息的屏幕。
[0047]客户经常说明对其驾驶员辅助系统不满意的理由是，系统的行为对于他们而言常常是不可理解的。缺乏为什么系统会如此表现的可追溯性。这尤其适用于当系统行为明显与驾驶员此刻所预期的或优选的行为不同的时候。
[0048]所述缺陷的原因是由传感器的缺点引起的(例如在非常快速的高速公路行驶时不足的作用距离、重要相关的驶入者的过迟检测，虚假对象的出现)。根据本发明的方法消除系统透明度的缺陷，并且进而消除对于驾驶员的影响可能性的、与此相关联的缺陷。新颖的用于基于视频的对象跟踪算法实现其基础。其中，所述算法能够在视频图像中实现对象跟踪的有用的可视化，所述可视化由驾驶员感知为准确的、稳定的和可靠的并且因此感知为高价值的。
[0049]在本说明书中提出的系统使用屏幕(Display:显示器)，以便在任何时刻向驾驶员显示对于其重要的、有关驾驶员辅助系统或者驾驶任务的信息。屏幕也可以通过挡风玻璃构成，其中，重要相关的信息然后清晰地插入到(einblenden)挡风玻璃上。
[0050]朝着行驶方向取向的摄像机的图像通常显示在该屏幕上。此外，例如可以借助令驾驶员感兴趣的或对于其重要的信息丰富该图像。此外，根据一个实施例，借助屏幕通知驾驶员关于他的选择可能性，他可以通过与系统的互动进行选择。
[0051]系统的涉及其他对象——例如车辆——的附加信息在图像中与对象固定连接，可以说，它们表面上看起来像是“粘”在对象上一样。因此以下的系统描述尤其基于算法的能力，所述算法将对象信息与对象一起显示，其中，这种算法为本发明的实践可实现性提供重要的前提。
[0052]在此,在一个实施例中描述的本发明的功能原理基于至少一个环境传感器(优选视频、替代地范围视频(Range-Video)(光传播时间测量)、雷达、激光雷达、超声波或它们的组合)的数据。这些数据涉及
[0053]?尤其是自我车辆(驾驶员坐的自身车辆)的纵向调节，必要时也涉及横向调节和/或
[0054].在纵向调节/横向调节的任务中辅助驾驶员的驾驶指令的输出。
[0055]以下根据对象跟踪 的阶段详细描述根据本发明的所述实施例的系统。其间讨论构型变型方案。
[0056]阶段:对象选择
[0057]系统可以(选择或视对象探测的可用性而定)借助自动对象探测或在无自动对象探测的情况下来运行:
[0058].如果不存在对象检测或如果没有使用对象检测，则驾驶员可以自己进行对象选择。为此，他例如用手指在触摸灵敏的显示器(Touchscreen:触摸屏)上触摸所显示的、他将跟随的对象。
[0059]为此，触摸屏应位于合适的位置处，使得用手指能够容易地实现触摸。在此，定位在方向盘后面将不太有利。
[0060]替代地，显示器和输入元件也可以在结构上是分开的。例如输入元件可以实现成类似于PC图形输入板或类似于笔记本电脑的触摸板，并且位于中控台上或方向盘上或对于驾驶员容易可达的其他位置处。
[0061]在驾驶员例如通过用手指点击来选择对象之后，对象跟踪算法开始跟踪。在此，(例如借助博世公司的“AnyTrack算法”)同时在图像中确定对象运动，在图像中确定参量变化(缩放)和在图像中确定对象尺寸。由此可能的是，将具有正确的参量和使用所求取的运动数据和缩放数据的附加信息(即标记)插入图像中(尤其是插入待跟踪的对象的区域中)。
[0062]所述附加信息在最简单的情况下可以是作为标记由本身不可变的(但是一同运动的和一同缩放的)图像组成，例如由指纹的图像组成。指纹的图像然后看起来像粘在车
辆上一样。
[0063]附图3示出这种由车辆摄像机拍摄的图像的示图，其中，已经在用于直行交通的行车道上识别可能的待跟踪的对象300并且为了选择而用问号预标记。因此，通过在对象300上显示问号和指纹的成像来向驾驶员建议，启动关于该目标对象的自动的纵向调节和必要时启动关于该目标对象的自动的横向调节。驾驶员通过手指按压触摸灵敏的屏幕来采纳建议。在示图的右侧绘出标度尺，其中，输入时间段，所述时间段是在保持恒定的当前速度的情况下直至车辆与所选择的或者所标记的对象相撞还将经历的。如果车辆的驾驶员选择该对象，则作为预标记的问号被移除并且指纹310作为所选择的对象310的标记叠加摄像机图像并且被显示在显示单元上，使得在显示单元的屏幕上成像根据附图4的示图。因此，在通过驾驶员确认目标对象之后不再显示问号。此外，仍然持续可见的并且与目标对象固定地连接的指纹提供给驾驶员进行识别并且向他确认，纵向调节和必要时横向调节涉及由他先前通过手指触摸而选择的车辆。可以根据预先确定的色标选择指纹的示图的颜色(作为标记)，其在下面还要解释。颜色例如与直至碰撞的剩余的时间对应，并且因此建立与(制动)干预的紧迫性的对应。深红色例如可以要求通过驾驶员的“特别紧迫的”必需的制动干预。
[0064].如果存在探测算法,该算法已经自动(selbsstaendig)探测到一个或多个重要相关的对象，则可以将所述一个或多个重要相关的对象提供给驾驶员以进行选择或者确认。这通过在显示器中的合适的视觉显示来实现，例如其方式是，突出一个/多个对象并且将符号与相应的对象一起显示，其中，所述符号向驾驶员显示，驾驶员有选择可能性，或者驾驶员的确认是所预期的。
[0065]在最简单的情况下，在此，又使用不可变的(但是一同运动的、一同缩放的)图像，例如具有问号的指纹的图像。图像符号应是如此选择的，使得对于对系统没经验的驾驶员来说也尽可能快速地和不会误解地明白，预期他通过确定的方式输入，在此例如用手指按压显不器。
[0066]驾驶员通过手指按压来选择必要时多个对象中的一个。该“对象”的跟踪开始。
[0067]这意味着，此后实施例如关于对象的自动纵向调节和/或横向调节或驾驶员在车辆引导时得到例如以听觉信号或触觉信号或视觉信号的形式的支持，所述信号要求驾驶员进行制动或加速或转向。
[0068]在互动的对象选择时特别有利的是“ Snap-tO-Object:对齐对象”功能用于简化输入:在此，使用者的输入允许不准确，也允许位于对象稍旁。系统支持驾驶员，其方式是，系统自动地选择所述输入可能所指的对象。该功能进一步缩短所述输入所需的时间并且降低必要的用于注视屏幕的持续时间。
[0069]变型方案:界面
[0070].如上所述触摸屏幕特别适合作为驾驶员的界面。但是，只有当触摸屏幕如此定位，使得在行驶期间能够实现无危险的屏幕触摸时，才会使用所述触摸屏幕。
[0071].替代地，屏幕和触摸灵敏的面也可以位于不同的位置处。
[0072].在这种情况下特别优选的是Head-Up-Display (HUD:抬头显示器),尤其是当所述抬头显示器特别适合于在叠加的信息插入与相关的目标对象之间实现所谓的类似接触(kontaktanaloge)的显示时。对于驾驶员来说这可能看起来例如像在附图3至附图5或在附图10中所示的那样，其中，在此代替摄像机的灰度值，图像驾驶员会想象透过前窗所看见的真实世界。
[0073].替代地，也可以同时使用屏幕(或者HUD)和触摸屏。在此，屏幕(或者HUD)优选位于驾驶员的优选的视野中，例如位于仪表盘中或仪表盘上，而触摸屏安装在屏幕的侧面并且必要时安装在其他高度上。
[0074]?在触摸屏幕的情况下，自动提供触摸点与像点之间的匹配。然而，
[0075]当触摸灵敏面和显示器在结构上是分开的时候，不同的可能性适合于触摸点的解释:
[0076]。一方面可以继续按比例地将触摸点的坐标换算成像点。然后触摸灵敏面的行为如同设计者用于PC输入那样的图形输入板。
[0077]。如果在触摸点与像点之间存在非线性的和/或时间上可变的关系，则所述行为更接近于所熟知的笔记本电脑的触摸板。
[0078].对于触摸屏一其中对于输入需要真正的触摸一替代地，也可以考虑无触摸的传感机构，例如借助电容式的传感器面或借助在空间中手指位置或手位置的光学检测或借助驾驶员视向的光学检测。 [0079].替代地，输入元件也可以是力传感器或运动传感器，其由至少一个手指触摸和控制。在此，自由度的数量可以取决于功能。例如自由度左/右足够用于切换到所提供的下一个对象并且按压足够用于选择对象。在两个自由度(附加地上/下)的情况下已经能够控制整个图像并且纯手动地选择对象。此外还可以利用另一个自由度(图像中的大/小，等同于现实世界中的近/远)用于选择对象的距离范围。
[0080].替代地，输入元件也可以如此设计，使得所述输入元件由多于一个手指触摸或指摸。输入的自由度设置得越多，越可取。
[0081].替代地，输入元件也可以类似PC鼠标地来实现，其中，输入元件可以向多个方向移动并且能够借助合适的手段——例如磁性地或借助流体阻尼保持来防止滑脱。
[0082].可选地或替代地，也可以设置脚控操作，例如借助脚踏板，所述脚踏板能够检测脚的侧向力或运动。
[0083].可选地或替代地，也可以设置语音操作。在此，语音命令能够与系统的识别可能性匹配。示例:
[0084]。“跟随红色汽车！“
[0085]。“跟随牌照H1-ER377! “
[0086]。“跟随奔驰客货两用车！“
[0087]。“跟随载重车辆！“
[0088]。“跟随前面的人！“
[0089]。“跟随右边的轿车！”
[0090]通过语音操作产生的选项中的至少一些能够以颜色、文本信息和/或图像符号的形式在显示器上向驾驶员显示。例如可以
[0091]。显示所识别的对象颜色或写出所识别的对象的名字或
[0092]。将所识别的车辆品牌作为标识显示或作为单词写出或
[0093]。易读地写出牌照或
[0094]。用符号标识对象(轿车、载重车辆、客货两用车、房车、摩托车等等)。
[0095]?也可以考虑，系统不仅具有语音输入而且具有语音输出。可以枚举选择可能性(类似电话银行或自动的电话列车时刻问讯处的语音操作)或提出有针对性的问题，例如:
[0096]。您想跟随从右边驶入者吗？[0097]。您想继续跟随黑色的汽车吗？
[0098]。您想跟随拐弯的车辆吗？
[0099]。您想现在中断跟踪吗？
[0100]阶段:确认
[0101]一旦驾驶员作出选择或必要时即使他已经耽误选择，系统以有利的构型向驾驶员提供反馈信息，以便通知驾驶员关于新的系统状态。反馈信息的按意义的内容常常是“有序的对象选择，系统现在跟随所选择的对象！ ”，但是，例如当驾驶员作出不明确的说明时或当系统在所触摸的图像位置处没能发现要跟踪的对象时，反馈信息的按意义的内容也可以是“系统现在不能接管跟踪！ ”。
[0102]所述确认可以以听觉方式进行，例如通过应答音或语音留言，例如“现在跟踪在前面行驶的车辆。考虑在此允许的速度为70公里/小时。”。
[0103]所述确认也可以通过触觉方式进行，例如通过在该时刻仍然被驾驶员的手触摸的方向盘处或输入接口处的短暂振动，或通过另一个元件(例如脚踏板或座椅)的、驾驶员可以感知的振动。
[0104]信令化通常也以视觉方式进行，例如其方式是，显示器显示变化，并且因此显示已经选择的对象的标记。例如上述的、所显示的在指纹上的问号消失和仅仅还剩下指纹(继续“粘”在对象上)，如附图3和附图4所示。
[0105]阶段:对象跟踪
[0106]在确认的同时开始对象跟踪的阶段，其通常持续长时间，例如如此长时间，直到目标对象选择与驾驶员或者过快`行驶或者过慢行驶不同的方向或不同的车道。
[0107]在对象跟踪的阶段中显示器可以用于向驾驶员显示有用的或至少是令人感兴趣的涉及对象的附加信息(当然也可以是那些与对象没有直接关联的信息，例如，关于当前有效的路牌的?目息、导航提不等等)。
[0108]在图像中对象的简单、持续的视觉标识已经可能令驾驶员感兴趣并且对其有用。它让驾驶员确认，系统一直仍表现正确并且没有失去目标对象。此外，在图像中精确的跟踪传递一种对测量质量的感受——对于对系统的信任和价值知觉是重要的。
[0109]对象的绘制可以任意地“丰富”，例如借助动画图形、借助颜色突出、借助数字和文字、借助标度尺和测量指针，等等。在构型时美学或信息传送很重要。
[0110]附图5给出这种具有附加信息的对象的示图。在此，涉及一个由系统自动选择的对象。因此代替指纹，另一个符号——在此，是一个图案500——作为标记叠加地显示。但是也可以考虑，由驾驶员选择的对象被设有一个标记以及至少一个附加信息并且被显示。
[0111]下面将详细描述至与对象相撞的时间(以下也缩写成TTC或Irc:TTC=Time toCollision=至碰撞的时间)的确定。
[0112]所谓的“Time to Collision(Ttc) ”，即至与对象相撞(例如在继续当前的行驶状况的情况下)还要经过的时间对于视觉的间距调节特别有趣。
[0113]以下详细示出Ttc求取和用于其基于摄像机的确定的方法，包括视觉确定或基于摄像机的确定和典型的行驶状况的讨论。
[0114]在确定Irc时可以将预测包括在内，所述预测或是以保持当前的行驶状况直至碰撞时间为出发点或是将将来的、可预见的新的行驶状态也包括在内。[0115]以下可以属于用于预测的参量:
[0116].两个图像之间的对象尺寸(例如对象上的两个点在图像中的间距)的缩放s ；
[0117].自身的车辆速度和从其推导出的参量。
[0118]下面描述的Tt。涉及对象(准确地说，在对象上所观察的点)与摄像机碰撞的时刻。但是，对于实践应用，与自身的车辆前部的碰撞时刻令人关注。
[0119]考虑简化的、具有在自我车辆(也即自身车辆)与一个与相撞重要相关的对象之间的恒定的差速的场景。负的差速意味着对象彼此相向运动。当前的间距为d。至碰撞的时间则为
[0120]
【权利要求】
1.一种用于在行车道(145)上车辆(100)的线路引导中辅助驾驶员的方法(1300)，其中，所述方法包括下述步骤: 在显示单元(150)上向所述驾驶员(140)显示(1310)所读取的图像(135)，其中，所述图像(135)由摄像机(120)拍摄并且代表车辆周围环境(115)； 读取(1320)由所述驾驶员(140)在操作接I 口(210)处输入的操作信号(215)； 在使用所述操作信号(215)的情况下选择(1330)在所述图像(135)中包含的对象(300)； 在所述显示单元(150)上显示(1340)标记(310，500，600)，其中，使所述标记(310，500,600)显示在所述图像(135)的代表所述对象(300)的区域中；和 使用(1350)所述对象(300)来为待由所述车辆(100)行驶的行驶路径确定至少一个纵向调节参数，以便在所述行车道(145)上所述车辆(100)的线路引导中辅助所述驾驶员(140)。
2.根据权利要求1所述的方法(1300)，其特征在于，在显示(1310)所述图像(135)的步骤中在所述图像(135)中预先识别对象(300)，其中，在所述选择(1330)的步骤中在使用所述操作信号(215)的情况下 从多个预先识别的对象(300)中选择一个对象。
3.根据权利要求2所述的方法(1300)，其特征在于，在所述显示(1310)的步骤中将所述图像(135)显示在所述显示单元(150)的触摸灵敏的显示器上，其中，在所述读取(1320)的步骤中响应于所识别的对所述触摸灵敏的显示器的按压来生成所述操作信号(215)。
4.根据权利要求2所述的方法，其特征在于，在所述读取(1320)的步骤中响应于所述驾驶员的所识别的手势、尤其是所述驾驶员用手指指向一个位置来生成所述操作信(215)。
5.根据权利要求3或4所述的方法(1300)，其特征在于，在所述选择(1330)的步骤中选择在所述图像(135)中预先识别的这样的对象，所述对象在所述图像(135)中距通过所识别的对触摸灵敏的屏幕的按压代表的位置最近。
6.根据以上权利要求中任一项所述的方法(1300)，其特征在于，在所述读取(1320)的步骤中使用操作接口(210)，所述操作接口通过所述驾驶员(140)的语音指令的分析处理来产生所述操作信号(215)。
7.根据以上权利要求中任一项所述的方法(1300)，其特征在于，在选择(1330)所述对象(300)的步骤中选择一个代表另一车辆的对象，所述另一车辆在所述行车道(145)上位于本车辆(115)的前方或旁边。
8.根据以上权利要求中任一项所述的方法(1300)，其特征在于，在所述显示(1340)的步骤中以时间上变化的显示来显示所述标记(300，500，600)。
9.根据以上权利要求中任一项所述的方法(1300)，其特征在于，在所述显示(1340)的步骤中还在所述显示单元上显示关于与所述对象有关的参数的信息(600)、尤其是关于与所述对象的间距的信息(600)，其中，在所述图像的代表所述对象(300)的区域中显示所述信息(600)。
10.根据以上权利要求中任一项所述的方法(1300)，其特征在于，此外在所述使用(1350)的步骤中进行所述对象(300)的行驶路径与所述车辆(100)的所期望的行驶路程的比较，其中，如果比较得出，所述对象(300)已经离开所期望的行驶路程超过预先确定的间隔，则不再使用所述对象(300)来确定待由所述车辆(100)行驶的行驶路径，和/或如果所述对象(300)的所求取的速度大于在所述车辆(100)的位置上允许的速度，则在所述使用(1350)的步骤中不再使用所述对象(300)来确定待由所述车辆(100)行驶的行驶路径，和/或 如果所述对象(300)与所述车辆(100)的所求取的间距大于预先确定的间距，则在所述使用(1350)的步骤中不再使用所述对象(300)来确定待由所述车辆(100)行驶的行驶路径的至少一个纵向调节参数。
11.一种设备(110)、尤其是导航设备，其具有用于实施根据权利要求1至10中任一项所述的方法(1300)的步骤的单元(150，210，160)。
12.—种具有程序代码的计算机程序产品， 用于当在设备(110)上执行程序的时候实施根据权利要求1至10中任一项所述的方法(1300)。
【文档编号】G06K9/00GK103732480SQ201280029669
【公开日】2014年4月16日 申请日期:2012年6月15日 优先权日:2011年6月17日
【发明者】W·尼森, S·西蒙 申请人:罗伯特·博世有限公司