用于提供车外反馈的方法、装置、设备和存储介质与流程

文档序号:16879622发布日期:2019-02-15 22:00阅读:219来源:国知局
用于提供车外反馈的方法、装置、设备和存储介质与流程

本公开的实施例主要涉及车外交互领域,并且更具体地,涉及用于提供车外反馈的方法、装置、设备和计算机可读存储介质。



背景技术:

当车辆在道路上行驶时,经常需要与道路上的行人、车辆进行交互。当前的车辆,无论是具有或不具有自动驾驶能力,通常都可以通过车辆行驶动作、车灯、鸣笛等方式来向行人传递一些反馈信息,诸如车辆行驶的意图、可能的突发情况的告警等等。当车辆低速接近行人时,车内的驾驶员或乘客也可以依靠口头语言或者诸如手势、表情等非言语性动作来传达信息。向车外的行人提供反馈信息可以帮助减少安全事故的发生。



技术实现要素:

根据本公开的示例实施例,提供了一种用于提供车外反馈的方案。

在本公开的第一方面中,提供了一种用于提供车外反馈的方法。该方法包括检测正在行驶的车辆外部的行人对车辆的注意力状态,注意力状态指示行人是否注意到车辆的存在;至少部分基于注意力状态来确定要由车辆向行人指示的反馈信息;以及控制车辆利用车辆的输出设备来输出反馈信息。

在本公开的第二方面中,提供了一种用于提供车外反馈的装置。该装置包括注意力检测模块,被配置为检测正在行驶的车辆外部的行人对车辆的注意力状态,注意力状态指示行人是否注意到车辆的存在;反馈确定模块,被配置为至少部分基于注意力状态来确定要由车辆向行人指示的反馈信息;以及反馈输出模块,被配置为控制车辆利用车辆的输出设备来输出反馈信息。

在本公开的第三方面中,提供了一种设备,包括一个或多个处理器;以及存储装置,用于存储一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现根据本公开的第一方面的方法。

在本公开的第四方面中,提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现根据本公开的第一方面的方法。

应当理解,发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征,亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。

附图说明

结合附图并参考以下详细说明,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中,相同或相似的附图标注表示相同或相似的元素,其中:

图1示出了本公开的多个实施例能够在其中实现的示例环境的示意图;

图2a示出了根据本公开的一些实施例的示例车辆的顶视图;

图2b示出了根据本公开的一些实施例的示例车辆的后视图;

图2c示出了根据本公开的一些实施例的示例车辆的侧视图;

图3示出了根据本公开的一些实施例的用于提供车外反馈的过程的流程图;

图4示出了根据本公开的实施例的用于提供车外反馈的装置的示意框图;以及

图5示出了能够实施本公开的多个实施例的计算设备的框图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。

在本公开的实施例的描述中,术语“包括”及其类似用语应当理解为开放性包含,即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。

如以上提及的,在车辆行驶过程中需要向车外行人提供反馈信息。当前的反馈信息主要是基于对车外环境的判断而提供的。具有自动环境检测能力的车辆、诸如具有相应设备配备的无人驾驶车辆可能通过传感器等设备自动检测车辆和行人所处的外部环境,以判断给出何种反馈信息。例如,通过检测车辆在其上行驶的道路上是否出现行人来判断是否应鸣笛。然而,仅依靠外部交通环境来提供车外反馈信息可能有时不足以提示行人。在不具有自动环境检测能力的车辆、诸如具有驾驶员的传统车辆可能需要依靠车内驾驶员的主观判断来确定是否由车辆的输出设备或者由驾驶员对行人进行提示。

近年来,无人驾驶技术逐渐崭露头角。越来越多的企业开始投入无人驾驶的研发和生产中。可预想到,未来一段时间内的道路上将会出现部分无人驾驶车辆。由于无人驾驶车辆中驾驶员角色的消失,这将损失了传统驾驶时根据驾驶员的灵活判断来提供反馈信息这种与行人互动的方式。仅根据无人驾驶车辆对交通规则和对外部环境来提供反馈信息可能无法满足“人车互动”的需求。

根据本公开的实施例,提出了一种用于提供车外反馈的方案。在该方案中,检测正在行驶的车辆外部的行人对车辆的注意力状态,并且至少基于注意力状态来确定和向行人输出反馈信息。本公开的方案能够根据行人对车辆的注意力状态来提供针对性反馈信息。这使得车外的人车互动更高效有用,并且可以在较短的交互时间内尽可能让行人快速获得有用信息、以保障行人在道路上的安全环境。

以下将参照附图来具体描述本公开的实施例。图1示出了本公开的多个实施例能够在其中实现的示例交通环境100的示意图。在该示例环境100中,车辆110正在道路102上行驶,行人120位于车辆110附近。示例交通环境100还示出了一些示例交通引导设施,例如交通信号等130、132以及人行横道标识134。

在本文中,术语“行人”是相对于车辆110或者其他车辆上的驾驶员和乘客而言的。行人120可以正在道路上行走、停留、处于或正在操作其他非机动车辆(例如滑板车、自行车)、或者正在执行其他动作。车辆110可以是可以承载人和/或物并且通过发动机等动力系统移动的任何类型的车辆,包括但不限于轿车、卡车、巴士、摩托车、房车、火车等等。车辆110可以是具有一定自动驾驶能力的车辆,这样的车辆也被称为无人驾驶车辆。当然,车辆110还可以是不具有自动驾驶能力的车辆,这样的车辆要求驾驶员进行驾驶行为。

车辆110可以通信地耦合到计算设备140。虽然被示出为单独的实体,但计算设备140可以被嵌入在车辆110中。计算设备140也可以车辆110外部的实体,并且可以经由无线网络与车辆110通信。计算设备140可以被实现为一个或多个计算设备,其至少包含处理器、存储器以及其他通常存在于通用计算机中的组件,以便实现计算、存储、通信、控制等功能。

应当理解,图1中示出的环境100仅是一个具体示例。根据实际情况,环境100中可能存在更多、更少或者不同的物体。例如,供车辆行驶的道路、道路上的车辆位置和数目、行人的位置和数目、行人与车辆的相对位置、交通引导设施等一项或多项的布置可能不相同。图1中示出的反馈信息112仅是一个具体示例。车辆110还可以以其他形式输出其他反馈信息。

如果车辆110正在行驶(而不是处于停车状态),可能会需要对外部120的行人提供反馈信息112。反馈信息112用于向行人120传递引导、限制、警告或指示信息。例如,在图1的示例中,车辆110利用前侧的显示屏幕来显示反馈信息112,其包含文字“即将右转,车速20km/h”。这样的反馈信息112可以向行人120指示车辆110的行驶状态,包括车辆110的行驶路径和车速。这使得行人120能够快速理解车辆的行驶方向和路径,从而最大化保障行人在道路上的安全。

根据本公开的实施例,车辆110输出的反馈信息112至少部分基于行人120对正在行驶的车辆110的注意力状态。本申请的发明人已经发现,车外反馈信息对行人的提示与行人对车辆的注意力状态有关。例如,如果正在穿过道路的行人视线没有注意到正在驶来的车辆,那么通过信号灯可能无法让行人注意到车辆。此时可以选择鸣笛,使行人注意到车辆的存在。如果在这个例子中行人注意到车辆,可以在车辆的显示屏幕上显示提示信息而无需鸣笛。

反馈信息112的具体内容和呈现方式有时还取决于车辆110的具体硬件配置。在详细描述本公开的实施例之前,首先参照图2a至2c介绍车辆110的硬件配置的示例。图2a描绘了车辆110的一个示例的顶视图201。在该示例中,车辆110包括安装在车辆外部的一个或多个显示屏幕。显示屏幕可以包括安装在车辆110的侧部的左侧面屏幕210、右侧面屏幕214、安装在车辆110的后部的后侧屏幕212,以及安装在车辆110的前部的前侧屏幕216。后侧屏幕212还可以从图2b描绘的车辆110的后视图202更清楚看出。显示屏幕可以是任何类型的能够显示文字、图像和/或动画等形式的反馈信息的屏幕。除了图2a中示出的屏幕之外或者作为备选,一个或多个其他屏幕也可以被安装在车辆110的其他位置。

从图2a的顶视图201还可以看出,车辆110还包括用于发出光线的一个或多个信号灯。信号灯可以位于车辆110的不同位置,诸如图2a中示出的右前侧信号灯220、右后侧信号灯222、左后侧信号224和左前侧信号灯226。信号灯220、222、224和226例如可以是射线灯。车辆110还可以包括其他类型的灯光。例如,图2c描绘了车辆110的侧视图203。从侧视图203,除了可以看出车辆110的侧面屏幕、例如左侧面屏幕210之外,还可以包括安装于车辆110侧面的流线型灯带228。包括射线灯、灯带等在内的这些信号灯可以任何类型的能够输出光线形式的反馈信息的灯。

车辆110还可以包括一个或多个扬声器。继续回到图2a,其中示出了位于车辆110的前部的扬声器230。应当理解,一个或多个其他扬声器可以位于车辆110的其他外置。扬声器230可以用于输出可听形式的反馈信息。

除了用于信息输出的设备之外,车辆110还可以包括用于车辆外的数据采集的一个或多个设备,诸如位于车辆110顶部的数据采集设备240。数据采集设备240可以是图像捕获设备、诸如摄像机,和/或可以用于感测数据的其他类型的传感器等。也应当理解,一个或多个其他数据采集设备可以位于车辆110的其他位置。

以上参考图2a至图2c描绘了车辆110的硬件配置的示例。然而,取决于车辆110的类型和具体配置,用于反馈信息的输出和用于数据采集的硬件设备的类型、数目、布置方式等可以变化。本公开的实施例在此方面不受限制。

下文将参考图3来更详细描述如何控制车辆110提供基于注意力状态的反馈信息112。图3示出了根据本公开的一些实施例的用于提供车外反馈的过程300的流程图。过程300可以由图1的计算设备140来实现,该计算设备140可以被嵌入车辆110或者作为车辆110外部的独立设备。为了方便讨论,将结合图1来描述过程300。

在框310,计算设备140检测正在行驶的车辆110外部的行人120对车辆110的注意力状态。注意力状态指的是行人120是否注意到车辆110的存在,例如行人120的视线是否正在看向车辆110。在一些实现中,在行人120注意到车辆110的情况下,注意力状态还可以更具体地指示行人120的视线落入在车辆110的哪个位置。例如,行人120正在看向车辆110的前部、侧部或者后部。

注意力状态的检测可以基于各种注意力识别技术。在一些实现中,计算设备140可以获取实时采集到的车辆110周围环境的图像信息,并且通过数据分析来判断外部环境中是否存在行人120。用于分析的图像信息可以由车辆110的数据采集设备240实时采集。例如,数据采集设备240可以被配置为采集车辆110的一个或多个方向的外部环境的图像。在这样的示例中,数据采集设备240可以包括一个或多个图像采集器,每个图像采集器被配置为采集不同方向的图像。数据采集设备240还可以包括全景图像采集设备,其能够采集更宽角度的图像。除了车辆110承载的数据采集设备之外,还可以备选地或附加地借助位于车辆110外部的数据采集设备,例如位于道路102两侧或者由道路102上的其他车辆采集到的数据。

对于行人120的存在的检测可以基于例如图像分析技术中的对象识别技术。在一些实现中,除了通过分析采集到的图像来检测行人的存在之外,还可以通过例如红外感测等其他感测数据来确定行人120是否存在。在一些示例中,可以仅检测与车辆110处于预定距离范围的行人,因为通常车外反馈信息112可能更适合于与车辆110距离较近的行人。

如果判断车辆110的外部环境中存在行人120,计算设备140可以从采集到的图像信息中分析行人120的姿势、动作、面部的朝向以及行人120与车辆110的相对位置等来确定行人120是否注意到车辆以及行人120的视线可能落在车辆110的哪个位置。对于行人120的存在以及对车辆110的注意力状态的检测可以利用其他当前已经存在的或者将来待开发的技术。本公开的范围在此方面不受限制。

在框320,计算设备140至少部分基于注意力状态来确定要由车辆110向行人120指示的反馈信息112。根据本公开的实施例,取决于行人120是否注意到车辆110和/或行人120注意到车辆110的特定位置,计算设备140可以确定不同的反馈信息以用于由车辆110输出。如以上提及的,反馈信息112用于向行人120传递引导、限制、警告或指示信息。在一些实现中,为了车辆和行人的安全,反馈信息112可以包括针对行人的行进的引导信息、与安全交通规则相关的警告信息、与当前交通状况有关的指示信息、与车辆的行驶状态有关的指示信息等。在一些实现中,反馈信息112可以仅包括简单的互动信息,例如对行人120的问候语、指示车辆110的自动驾驶状态、指示天气情况、指示附近的交通情况等等。反馈信息112的更多具体示例将在下文详细描述。

在一些实施例中,如果注意力状态指示行人120未注意到车辆110,计算设备140可以至少确定可听形式的反馈信息112。例如,如果在车辆110行驶到行人120附近时,行人120正在望向其他方向或者正与旁人打闹而未注意到车辆110,那么可听形式的反馈信息可能更容易使行人120获知。可听形式的反馈信息112例如是可以由车辆110的扬声器230输出的反馈信息。这样的反馈信息可以包括喇叭声、或者具有具体内容的音频。在一些示例中,可听形式的反馈可以以定向传递的方式输出行人120。除了可听声音之外,在注意力状态指示行人120未注意到车辆110的情况下,车辆110还可以确定可视形式的反馈信息112,例如可见光形式的反馈信息。如果行人120当前未注意到车辆110,可见光可能会使得行人120从当前的注视方向或者正在进行的动作中转移到注意车辆110的驶来方向。

在一些实施例中,如果注意力状态指示行人120注意到车辆110,计算设备140可以至少确定可视形式的反馈信息112。在行人120已经注意到车辆110的情况下,可视形式的反馈信息更有助于行人120快速获知。可视形式的反馈信息112可以包括经由车辆110的一个或多个显示屏幕,例如图2a中示出的屏幕210、212、214和/或216等显示的文字、图像和/或动画等。可视形式的反馈信息112还可以包括例如可见光形式的反馈信息。可见光形式的反馈信息112可以由车辆110的一个或多个信号灯,诸如信号灯220、222、224、226和/或灯带228等进行输出。当然,除了可视形式的反馈信息之外,在行人120注意到车辆110的情况下,计算设备140还可以附加地确定可听形式的反馈信息。

如果在行人120注意到车辆110的情况下,注意力状态还指示行人120注意到车辆110的特定位置,计算设备140还可以基于特定位置来确定车辆110用于输出反馈信息112的输出设备。例如,如果检测到行人120位于车辆110的前方,可以确定通过前侧屏幕216和/或前侧信号灯220、226来输出反馈信息。在一些情况下,输出设备的确定也可以约束要输出的反馈信息112的具体内容,即反馈信息112包括可供屏幕显示的文字或图像内容、或是由信号灯可指示的反馈信号。

以上讨论了基于行人120对车辆110的注意力状态来确定反馈信息112的一些实施例。在另外的实施例中,除了注意力状态之外,计算设备140还可以检测与车辆110和行人中的至少一项相关联的环境因素并且进一步基于与车辆110和/或行人120相关联的环境因素来确定反馈信息112。车辆110和/或行人120当前所处的具体环境也会影响到反馈信息的内容和输出形式的选择。

可能会影响反馈信息112的环境因素的一些示例包括车辆110正行驶在其上的道路102布置的状况,例如是否接近路口、路口的类型(例如十字路口、丁字路口等)、道路102是否宽敞(例如是否足够容纳行人与车辆的同时通行)、道路102的路面是否平整、道路102是否处于隧道内等等。环境因素还可以包括车辆110正行驶在其上的道路102上的交通引导实施的状况,例如是否有交通信号灯、交通信号是否正确运行、是否有路面交通指示标志(诸如人行横道、转弯标识等)。如果交通引导设施不够完善,车辆110可以主动输出附加引导信息作为反馈信息112。

在另外的实例中,环境因素还可以包括车辆110和/或行人120的预期运动轨迹。车辆110的预期运动轨迹可以由车辆110提供。例如,对于具有自动驾驶能力的车辆110,其运动轨迹可能已经被预先设置。当然,也可以通过分析车辆110的驾驶操作来判断其运动轨迹,这种方式同时适用于具有自动驾驶能力和不具有自动驾驶能力的车辆110。行人120的预期运动轨迹可以通过采集到的包含行人120的图像或其他类型的感测数据来确定。车辆110和行人120的预期运动轨迹可以用于判断车辆110和行人120是否将会交汇或者相互之间的距离将会缩短或增加。行人120本身的运动轨迹还可以用于判断行人120的行为和意图,例如是否要进入或离开机动车道、是否要横跨道路护栏、是否要转弯等等。

进一步地,环境因素还可以包括检测到的行人120的预定行为,例如行人120是否正在打电话、正在与旁人交谈或打闹、正在听歌或看书、正在与车辆110打招呼等。预定行为也可以包括例如行人120是否要进入或离开机动车道、是否要横跨道路护栏等行为。备选地或附加地,环境因素还可以包括车辆110外部的照明状况。车辆110外部的照明状况可能与当前时间和/或当前车辆110和行人120所处的交通环境有关。例如,通常白天的照明情况较好,在夜晚时的照明依靠于路灯,或者如果当前车辆110和行人120在隧道内,即使处于白天,照明也需要依靠路灯。

以上给出了一些环境因素的示例。这些环境因素都可以直接或间接影响反馈信息112的具体内容和/或输出方式(例如由哪个输出设备输出)。计算设备140可以利用上述环境因素中的一个或多个来确定反馈信息112。关于基于环境因素(以及基于注意力状态)确定反馈信息112的一些具体示例将在下文详细描述。

继续参考图3,在框330,计算设备140控制车辆110利用车辆110的输出设备来输出反馈信息112。在计算设备140被嵌入车辆110的情况下,计算设备140可以直接向输出设备发送输出反馈信息的指示,其中包括要输出的具体反馈信息112。在计算设备140独立于车辆110外部的实体的情况下,计算设备140可以向车辆110的控制系统发送输出反馈信息的指示,并在指示中承载要输出的具体反馈信息112。在这种情况下,车辆110的控制系统可以控制车辆110的对应输出设备输出反馈信息112。

虽然以上讨论的示例中仅一个行人120位于车辆110外部。在一些情况下,车辆110的外部可能存在多个行人。此时,计算设备140可以考虑每个行人分别对车辆110的注意力状态、行人注意到车辆110的具体位置、行人与车辆110的相对位置、与该行人相关联的环境因素等等来确定由车辆110输出的反馈信息。针对不同行人的不同反馈信息可以都由车辆110输出。例如由于不同行人与车辆的相对位置不同或者注意到车辆的不同位置,可以由车辆110的对应位置处的输出设备进行输出。在一些实施例中,计算设备140还可以确定适合于一群行人的反馈信息用于由车辆110输出。

为了更好地理解注意力状态如何影响反馈信息的确定(在一些情况下,还考虑环境因素的影响),下文中将给出一些示例场景和在这些场景下所确定的具体反馈信息。

首先考虑在注意力状态指示行人120注意到车辆110的一些示例场景。在一个场景下,假设车辆110和行人120处于具有相对完善的交通引导设施的环境中,例如具有正常运行的交通信号灯、路口标志、人行横道标志。在这种场景下,计算设备140可以根据车行人120注意到车辆110的具体位置、交通信号灯的当前状态、车辆110与行人120的运行轨迹中的一项或多项来确定反馈信息112。

在一个示例中,如果检测到行人120的运动轨迹是要穿过路口,并且针对车辆110的交通信号灯指示禁止通行的红灯或暂缓通行的黄灯、或者检测到针对行人120的交通信号灯指示绿灯时,计算设备140可以生成用于引导行人120穿过路口的引导信息。例如,反馈信息112可以是能够被显示在显示屏幕上的内容,例如文字“请通行”或者动态展示行进方向的指示符等等。计算设备140还可以确定反馈信息112的展示时间,例如可以持续到行人120已经穿过路口。在一些情况下,计算设备140还可以根据行人120对车辆110的视线注视位置来确定以车辆110的哪块屏幕来显示这样的反馈信息。

计算设备140还可以不断变换反馈信息112。在一些情况下,计算设备140还可以确定一些交互信息以用作反馈信息112。例如,如果检测到行人120已经穿过路口并且可能正要错过车辆110或者正在与车辆110挥手,计算设备140可以确定用于在显示屏幕上显示的诸如文字“再见”、与“再见”相关的表情符号或者表达情绪的其他表情符号,例如与“微笑”相关的表情符号。

在一些示例中,如果检测到环境中的交通信号灯即将发生变化,计算设备140可以输出与当前交通状况有关的指示信息。例如,如果针对车辆110的交通信号灯从绿灯转向红灯,可以确定和提供诸如“稍后绿灯请通行”,以提示行人120等待针对行人的绿色交通信号灯并且还可以向行人120指示即将可以通过路口。在另一个示例中,如果针对车辆110的交通信号灯从红灯转为绿灯,则可以确定和提供诸如“即将变灯,请等待下次绿灯通行”,以提示行人120当前不宜通行。

在另一些示例中,如果检测到行人120注意到车辆110并且处于具有相对完善的交通引导设施的环境中,计算设备140还可以确定与车辆110的行驶状态有关的指示信息用作反馈信息112,这些信息可以包括但不限于用于车辆的行驶方向、行驶路线、行驶速度、是否处于自动驾驶状态。计算设备140还可以确定简单的交互信息以用作反馈112,例如与行人互动(例如问候语)、或者提供诸如当前温度、天气预报等其他有用信息。与行驶状态有关的指示信息和/或交互信息可以由车辆110的显示屏幕显示。上述信息也可以附加地或备选地由车辆110的信号灯或灯带进行指示,诸如由流线型灯带的闪烁这样的反馈信息来指示车辆行驶方向。这样的反馈信息的显示例如可以在确定行人120的运动轨迹与车辆110的运动轨迹没有交叉的情况下。因为在这种情况下可能无需给出更多指示用于保护行人安全。在一些情况下,计算设备140还可以确定可以由车辆110中具有投射功能的信号灯输出的投影图案,用于投影出行人120的保护圈或者引导行人120的行进路径。

在第二场景下,假设注意力状态指示行人120注意到车辆110,但是车辆110和行人120处于没有完善的交通引导设施的环境中。在这种场景的一些示例中,计算设备140检测到路口没有交通信号灯用于对行人穿过路口进行引导。为了保护行人安全,计算设备140可以指示车辆110在接近行人120时主动检索,并且确定用于引导行人120穿过路口的引导信息。例如,可以通过具有投射功能的信号灯输出的投影图案,用于投影出行人120的保护圈或者引导行人120的行进路径。还可以通过行人120能够注意到的显示屏幕通过指示信息,例如文字“请通行”或者动态展示行进方向的指示符等等。计算设备140还可以确定反馈信息112的展示时间,例如可以持续到行人120已经穿过路口。在一些情况下,计算设备140还可以确定一些交互信息以用作反馈信息112。例如,如果检测到行人120已经穿过路口并且可能正要错过车辆110或者正在与车辆110挥手,计算设备140可以确定用于在显示屏幕上显示的诸如文字“再见”、与“再见”相关的表情符号或者表达情绪的其他表情符号,例如与“微小”相关的表情符号。

在处于没有完善的交通引导设施的环境这种场景中,如果检测到车辆110和/行人120所处的道路比较狭窄,可能造成车辆与行人的距离较近,那么计算设备140也可以确定相应的引导信息用于引导行人的行进。例如,在车辆110接近行人120时,除了控制车辆110缓慢行驶之外,还可以确定用于由具有投射功能的信号灯输出的投影图案作为反馈信息112,用于投影出行人120的保护圈或者引导行人120的行进路径,和/或用于投影出车辆110的行驶路线。备选地或附加地,在车辆110经过行人120时,计算设备140还可以确定一些交互信息以用作反馈信息112,诸如用于由车辆110的侧面屏幕显示的文字“请注意窄道通行安全,谢谢”。在车辆110行驶超过行人120时,计算设备140可以确定用于由车辆110的后侧屏幕显示的文字“祝你有个愉快的一天”等问候语。

在一些极端的道路情况下,例如车辆110和行人120无法并行行走的道路中,可以控制车辆110在接近行人120时停止行驶,并且确定用于投射出行人120的保护圈或者引导行人120的行进路径等投射图案。同时,还可以确定诸如文字“请放心前进,我正在跟随”等用于显示,以使行人120能够确定车辆110的行驶意图并且安全行进。

在这种过窄道路下,为了引导行人120的行进,还可以根据当前外部环境的照明状况来确定是否需要由车辆110的信号灯发出照明光线作为反馈信息112。这能够更好地保障行人的安全。

在第三场景下,假设注意力状态指示行人120注意到车辆110,但是计算设备140还检测到行人120的特定行为可能违背交通规则,例如行人120在没有人行横道的情况下横穿马路、横穿道路围栏、走向高速路等违章行为。在这种场景下,计算设备140可以确定与安全交通规则相关的警告信息作为反馈信息112。例如,反馈信息112可以被确定为用于在车辆110的屏幕上显示的提醒文字“请勿横穿马路”、“高速路危险!”等。反馈信息112还可以包括诸如鸣笛或者可语音播报的警告信息,例如通过车辆110的扬声器发出的定向语音信号。

下文将给出在注意力状态指示行人120未注意到车辆110下的一些示例场景。在一个示例中,如果计算设备140还检测到行人120正在玩手机、打电话或听歌等特定行为,并且还检测到行人120即将走到当前正在禁止行人通行的路口(例如,针对行人的交通信号灯为红色),计算设备140还可以确定车辆110和行人120的预期行进轨迹是否交叉。如果两者的运行轨迹不发生交叉,计算设备140可以确定一些引导信息和/或交互信息,例如用于投射出行人120的保护圈或者引导行人120的行进路径等投射图案等对行人120进行引导,以保证行人120行走的安全。如果车辆110和行人120的运行轨迹将会发生交叉,计算设备140可以附加地或备选地确定可听形式的提示信息,诸如通过车辆110的扬声器发出的鸣笛或语音提示,以提醒行人120注意车辆。

以上讨论了在一些示例场景下,基于注意力状态和一个或多个环境因素来提供针对性的反馈信息。然而,应当理解,这些场景的描述仅为了以示例方式来解释说明本公开的实施例。取决于实际需要,在不同或类似场景下,还可以选择不同的反馈信息。通过考虑注意力状态并且还可以考虑环境因素,可以向行人提供更有针对性的车外反馈,从而使车外的人车互动更高效有用。此外,还可以在较短的交互时间内可以尽可能让行人快速理解车辆、道路交通等多种信息,从而最大化保障行人在道路上的安全。

图4示出了根据本公开实施例的用于提供车外反馈的装置400的示意性框图。装置400可以被包括在图1的计算设备140中或者被实现为计算设备140。如图4所示,装置400包括注意力检测模块410,被配置为检测正在行驶的车辆外部的行人对车辆的注意力状态,注意力状态指示行人是否注意到车辆的存在。装置400还包括反馈确定模块420,被配置为至少部分基于注意力状态来确定要由车辆向行人指示的反馈信息。装置400进一步包括反馈输出模块430,被配置为控制车辆利用车辆的输出设备来输出反馈信息。

在一些实施例中,反馈确定模块420可以进一步包括环境检测模块,被配置为检测与车辆和行人中的至少一项相关联的环境因素,以及基于环境的反馈确定模块,被配置为进一步基于环境因素来确定反馈信息。

在一些实施例中,环境检测模块可以被配置为检测以下至少一项:车辆正行驶在其上的道路布置的状况;道路上的交通引导设施的状况;行人的预期运动轨迹;车辆的预期运动轨迹;行人的预定行为;以及车辆外部的照明状况。

在一些实施例中,反馈输出模块430可以被配置为响应于注意力状态指示行人未注意到车辆,至少确定可听形式的反馈信息。

在一些实施例中,反馈输出模块430可以被配置为响应于注意力状态指示行人注意到车辆,至少确定可视形式的反馈信息。

在一些实施例中,装置400可以进一步包括输出设备确定模块,被配置为响应于注意力状态进一步指示行人注意到车辆的特定位置,基于特定位置来确定车辆用于输出反馈信息的输出设备。

在一些实施例中,车辆的输出设备可以包括以下至少一项:安装在车辆外部的至少一个显示屏幕,至少一个扬声器,以及至少一个信号灯。

在一些实施例中,反馈确定模块被配置为确定以下至少一项:针对行人的行进的引导信息;与安全交通规则相关的警告信息;与当前交通状况有关的指示信息;与车辆的行驶状态有关的指示信息;以及交互信息。

在一些实施例中,注意力检测模块410可以包括:图像获取模块,被配置为获得车辆的周围环境的图像信息;行人存在分析模块,被配置为通过分析图像信息来确定行人是否存在;以及注意力分析模块,被配置为响应于确定行人存在,通过进一步分析图像信息来确定行人对车辆的注意力状态。

在一些实施例中,车辆包括具有自动驾驶能力的车辆。

图5示出了可以用来实施本公开的实施例的示例设备500的示意性框图。设备500可以用于实现图1的计算设备140。如图所示,设备500包括中央处理单元(cpu)501,其可以根据存储在只读存储器(rom)502中的计算机程序指令或者从存储单元508加载到随机访问存储器(ram)503中的计算机程序指令,来执行各种适当的动作和处理。在ram503中,还可存储设备500操作所需的各种程序和数据。cpu501、rom502以及ram503通过总线504彼此相连。输入/输出(i/o)接口505也连接至总线504。

设备500中的多个部件连接至i/o接口505,包括:输入单元506,例如键盘、鼠标等;输出单元507,例如各种类型的显示器、扬声器等;存储单元508,例如磁盘、光盘等;以及通信单元509,例如网卡、调制解调器、无线通信收发机等。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理单元501执行上文所描述的各个方法和处理,例如过程300。例如,在一些实施例中,过程300可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元508。在一些实施例中,计算机程序的部分或者全部可以经由rom502和/或通信单元509而被载入和/或安装到设备500上。当计算机程序加载到ram503并由cpu501执行时,可以执行上文描述的过程300的一个或多个步骤。备选地,在其他实施例中,cpu501可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行过程300。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)等等。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

此外,虽然采用特定次序描绘了各操作,但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行,或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下,多任务和并行处理可能是有利的。同样地,虽然在上面论述中包含了若干具体实现细节,但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地,在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题,但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反,上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1