相对于自主车辆和乘客的位置信令的制作方法

文档序号:19079121发布日期:2019-11-08 22:02阅读:187来源:国知局
相对于自主车辆和乘客的位置信令的制作方法



背景技术:

本说明书涉及与自主车辆(有时缩写为av)和乘客相关的位置信令。

如图1所示,在出租车或共享乘车车辆的乘客呼叫然后进入该车辆的通用方法中,该乘客通过与移动应用互动发出10搭乘请求。搭乘请求包括关于乘客期望用于接载的大体目标位置的信息,该大体目标位置通常是被不精确或不准确地指定的。搭乘请求由移动应用处理,随后通过蜂窝电话网络或互联网被转发12至中央服务器,该搭乘请求在中央服务器处被进一步处理(包括可能将接载位置地理编码为坐标,并且指派车辆)并且随后通过蜂窝电话网络或互联网被转发14至该被指派车辆的驾驶员。被指派车辆的驾驶员行驶16至乘客期望的大体目标位置,然后通常使用电话或文本或这两者与乘客通信18以了解或协商接载活动的精确目标位置,该精确目标位置通常是被精确且准确地限定的。车辆的驾驶员随后行驶20至乘客的精确目标位置,该乘客经验证并进入该车辆22,该车辆随后前往目的地24。



技术实现要素:

总体上,在一个方面,当自主车辆位于目标位置活动的大体目标位置附近时,所述自主车辆或用户或这两者参与位置信令活动。基于能从位置信令活动中确定的信息,自主车辆或用户或这两者移动至被确定为可行且可接受并且能在该处发生目标位置活动的停车地点。在一些实现中,确定了精确目标位置。停车地点位于精确目标位置附近。

总体上,在一个方面,当自主车辆位于目标位置活动的大体目标位置附近时,该自主车辆或用户或这两者参与位置信令活动。基于能从目标信令活动确定的信息,一过程确定精确目标位置。

实现可包括以下特征中的一个或者以下特征中的两个或更多个的组合。该过程确定位于精确目标位置附近的停车地点。与自主车辆相关联的av系统确定精确目标位置。位置信令活动包括用户或与该用户相关联的信令设备发送明确的精确目标位置信息。在没有传送明确的位置信息的信令活动的情况下,精确目标位置是从信令活动中推测的。该信令活动包括用户或与该用户相关联的信令设备发送明确的精确目标位置信息。信令活动包括自主车辆发送与精确目标位置相关的确认信息。信令活动包括自主车辆发送有关其位置的信息。位置信令活动包括视线信令。位置信令活动包括通过中央服务器发送消息。精确目标位置位于大体目标位置附近。信令活动传送有关位于大体目标位置附近的精确目标位置的信息。当移动中的自主车辆位于用户附近时,该用户呼叫该移动中的自主车辆。由用户参与的位置信令活动包括控制在移动设备上运行的应用。由用户参与的位置信令活动包括被手动影响的非电子信令活动。位置信令活动涉及位置指示信号。自主车辆移动至或占据靠近精确目标位置的目标停车地点。精确目标位置是用户的实际精确位置。从用户接收大体目标位置的标识。大体目标位置的标识是从一过程接收的。大体目标位置的标识是从自主车辆处的外部源接收的。一过程基于位置信令活动确认精确目标位置。精确目标位置是基于由用户或该用户的设备发送的位置指示信号来确定的。精确目标位置是基于通过除位置信令活动以外的方式接收的信息确定的。位置信令活动包括由自主车辆或代表该自主车辆发送的位置响应信号。位置信令活动包括指示自主车辆朝着精确目标位置的进展的信号。位置信令活动包括信令模式,该信令模式包括无线信令或非无线信令中的一个或其中两个或更多个的组合。无线信令模式包括电子信令或非电子信令。非电子信令包括显示图像或图像序列、发射光信号序列、发射声信号序列、发射无线通信信号或参与手势或面部表情中的一个或其中两个或更多个的组合。电子信令包括来自智能手机、平板、智能手表、智能眼镜或其他智能可穿戴设备中的一个或其中两个或更多个的组合的信令。非电子信令包括手部、或面部、或其他手势、或吹口哨、喊叫或发出其他声音中的一个或其中两个或更多个的组合。非电子信令涉及用户的可标识被动特征。位置信令活动遵守被共同接受的协议。该过程使精确目标位置的确定基于已知的信令模式,该已知的信令模式已被至少部分地用于位置信令活动。该过程确定相对于自主车辆的方位。方位被重复地确定。该过程确定与自主车辆的距离。该距离被重复地确定。该过程使用道路数据。位置信令活动包括与用户相关联的信令设备发送其精确位置。精确位置通过通信网络来发送。精确位置由与用户相关联的信令设备确定。位置信令活动包括自主车辆通过视线发送位置指示信号,该位置指示信号标识该自主车辆的位置。位置信令活动包括自主车辆发送标识由自主车辆确定且位于大体目标位置附近的精确目标位置的信息。精确目标位置会随着时间改变。另一车辆接收作为位置信令活动的一部分的信号,并且基于该信号与自主车辆或用户设备通信。位于基础设施要素中的检测器接收作为信令活动的一部分的信号,并且基于该信号与自主车辆或用户设备通信。

总体上,在一个方面,自主车辆的用户正在前往大体目标位置,并且向该自主车辆信令信息,从该信息中可以确定位于大体目标位置附近的精确目标位置。在一些实现中,目标停车地点依据该信息确定。

总体上,在一个方面,正在前往大体目标位置的自主车辆向该自主车辆的用户信令信息,从该信息中能够确定位于大体目标位置附近的精确目标位置。在一些实现中,目标停车地点依据该信息确定。

总体上,在一个方面,当自主车辆位于目标位置活动的大体目标位置附近时,该自主车辆或用户或这两者参与位置信令活动。能从位置信令活动确定的信息在远程设备处被呈现给位于远程的遥操作员。从远程设备接收由位于远程的遥操作员指定的信息,该信息标识位于大体目标位置附近的精确目标位置。

总体上,在一个方面,自主车辆系统确定:自主车辆正在前往的大体目标位置附近的精确目标位置;以及位于该精确目标位置附近的停车地点,该自主车辆以及用户将会在该停车地点处参与目标位置活动。

实现可包括以下特征中的一个或者以下特征中的两个或更多个的组合。精确目标位置是用户的实际精确位置。在没有传送明确的位置信息的信令活动的情况下,精确目标位置是从信令活动中推测的。从用户处接收大体目标位置的标识。大体目标位置的标识是从已过程接收的。大体目标位置的标识是从自主车辆处的外部源接收的。精确目标位置的确定基于由用户或该用户的设备发送的位置指示信号。精确目标位置的确定基于通过除位置信令活动以外的方式接收的信息确定的。该过程使精确目标位置的确定基于已知的信令模式,该已知的信令模式已被至少部分地用于位置信令活动,即位置确定过程。该过程确定相对于自主车辆的方位。方位被重复地确定。该过程确定与自主车辆的距离。距离被重复地确定。该过程使用道路数据。精确目标位置会随着时间改变。

总体上,在一个方面,自主车辆系统确定位于该自主车辆正在前往的大体目标位置附近的用户的精确位置,该精确位置基于该自主车辆和该用户之间的无线视线通信确定。

实现可包括以下特征中的一个或者以下特征中的两个或更多个的组合。精确目标位置是用户的实际精确位置。从用户处接收大体目标位置的标识。大体目标位置的标识是从一过程接收的。大体目标位置的标识是从自主车辆处的外部源接收的。精确目标位置是基于由用户或该用户的设备发送的位置指示信号确定的。精确目标位置的确定基于通过除位置信令活动以外的方式接收的信息。该过程使精确目标位置的确定基于已知的信令模式,该已知的信令模式已被至少部分地用于位置信令活动,即位置确定过程。该过程确定相对于自主车辆的方位。方位被重复地确定。该过程确定与自主车辆的距离。距离被重复地确定。该过程使用道路数据。精确目标位置会随着时间改变。信令活动包括用户或与该用户相关联的信令设备发送精确目标位置信息。通信包括自主车辆发送有关其位置的信息。通信包括视线信令。通信包括通过中央服务器发送信息。通信传送有关大体目标位置附近的精确目标位置的信息。通信包括控制在移动设备上运行的应用。通信包括被手动影响的非电子信令活动。

总体上,在一个方面,两个或更多个自主车辆协同地确定这些自主车辆中的一者正在前往的大体目标位置附近的用户的精确位置。

实现可包括以下特征中的一个或者以下特征中的两个或更多个的组合。精确目标位置位于大体目标位置附近。精确目标位置是用户的实际精确位置。从用户处接收大体目标位置的标识。大体目标位置的标识是从一过程接收的。大体目标位置的标识是从自主车辆处的外部源接收的。精确目标位置是基于由用户或该用户的设备发送的位置指示信号确定的。精确目标位置是基于通过除位置信令活动以外的方式接收的信息确定的。该过程使精确目标位置的确定基于已知的信令模式,该已知的信令模式已被至少部分地用于位置信令活动(即位置确定过程)。该过程确定相对于自主车辆的方位。方位被重复地确定。该过程确定与自主车辆的距离。距离被重复地确定。该过程使用道路数据。精确目标位置会随着时间改变。

总体上,在一个方面,用户的手持设备向正在前往大体目标位置的自主车辆信令精确目标位置。

实现可包括以下特征中的一个或者以下特征中的两个或更多个的组合。信令包括视线信令。信令包括通过中央服务器发送信息。信令包括控制在移动设备上运行的应用。位置信令活动涉及位置指示信号。精确目标位置是用户的实际精确位置。信令包括电子信令或非电子信令。非电子信令包括显示图像或图像序列、发射光信号序列、发射声信号序列、发射无线通信信号或参与手势或面部表情中的一个或其中两个或更多个的组合。电子信令包括来自智能手机、平板、智能手表、智能眼镜或其他智能可穿戴设备中的一个或其中两个或更多个的组合的信令。信令遵守被共同接受的协议。精确目标位置会随着时间改变。位于基础设施要素中的检测器接收作为信令的一部分的信号,并且基于该信号与自主车辆或用户设备通信。

这些和其他的方面、特征、实现方式和优势可以表达为方法、装置、系统、部件、程序产品、商业方法、用于执行功能的装置或步骤、以及在其他方式中。根据以下描述和权利要求,这些和其他方面、特征、实现方式和优势将变得显而易见。

具体实施方式

图1和图17是示出了接载乘客的过程的框图。

图3、图10、图15、图16和图18为示意图。

图12、图14、图19、图20和图22是与位置确定过程相关的示意图。

图11、图13和图21是与位置确定过程相关的框图。

图2、图4、图5、图6、图7、图8和图9为显示器屏幕截图。

对本说明书中的以下术语的使用旨在是广泛的并且意图包括例如在术语中的每一个之后所述的内容。

目标位置:被设置为av目的地的位置。av系统计划路线(如果存在路线),然后执行该路线,该路线使av从其当前位置前往目标位置。路线可由av系统多次更新。目标位置可以是大体目标位置或精确目标位置,并且这些术语在下文中被定义。

(对象的)大体位置:可能被非精确或非准确地指定的对象(例如,目标、用户、乘客或设备)位置。

(对象的)精确位置:被精确或准确地指定的对象(例如,目标、用户、乘客或设备)位置。构成精确位置的标准基于应用而变化。在自主车辆的一些应用中,精确位置可以是在数十厘米的不确定度以内指定的位置。

停车地点:车辆占据的区域(由限定的形状(通常是矩形)标识,在世界中的限定位置处)以及车辆停在停车地点处时所面向的方向。

目标停车地点:在当前由av系统选择并且满足某些预先定义的可接受性和可行性概念的目标位置附近的停车位置。

位置指示信号:由信令设备(通常由乘客拥有)发送并且由刺激检测器(通常在车辆上,诸如自主车辆)或其他用于估计信令设备精确位置的设备接收的信号。该信号可使用各种信令模式传送,诸如本申请中所描述的信令模式。在一些情况下,位置指示信号可以不包括位置的明确指示,但可用于推断或获得位置。

如图15所示,这里我们描述了针对乘客(该乘客将会被车辆接载或放下,或具有将会由车辆(诸如自主车辆)接载或放下的包裹)的系统和技术,以用于向车辆或该车辆的驾驶员指示(信号)精确位置,该精确位置是乘客或包裹的精确位置1504、或是该活动(接载或放下)期望的不同的精确位置1508、或是靠近用户的实际精确位置的不同的精确位置1506。该位置被称为精确目标位置。我们有时将这类系统和技术简称为“位置信令系统”。总体上,乘客会预约针对接载或下车活动的请求;该请求通常指定大体目标位置1502,诸如建筑。

然后车辆通常停靠至停车地点1510,该停车地点1510尽可能地靠近该精确目标位置。用户随后可以进入车辆、或存入包裹或取出包裹。在本文所描述的系统和技术的一些实现中,精确目标位置使用一个或多个无线信令模式从一设备被通信(信令)至车辆或驾驶员。

我们广泛使用短语“乘客”来包括例如希望乘坐(单独或与其他人一起)车辆(诸如,自主车辆)、雇用车辆(诸如,自主车辆)进行服务、使车辆(诸如,自主车辆)进行递送、接收车辆(诸如,自主车辆)的递送或以其他方式利用车辆(诸如,自主车辆)的任何情境中的任何人。

我们广义地使用术语“雇用(或被雇用)车辆进行服务”来包括,例如,以任何方式以及在任何情境下获得对车辆的访问,以便例如乘坐该车辆、使该车辆进行递送、接收该车辆的递送或以其他方式利用该车辆。

虽然我们有时会在我们的讨论中提到自主车辆,但是目标信令系统也可以用于半自主车辆,并且在某些情境下也可以用于以其他方式驾驶的其他类型的车辆。我们有时使用术语“自主车辆”或简单地使用术语“车辆”来广义地指任何这种自主或半自主车辆或其他类型的车辆。

自主车辆,包括其部件(诸如传感器、致动器以及通信设备),以及能力(诸如检测车辆周围环境的特征并且做出恰当决定的能力)在于2016年8月18号提交的美国专利申请15/240,072中详细描述,其通过引用以其整体结合于此。

我们特别地指出自主车辆能够对所检测到的环境中的视觉或其他物理特征(包括形状、颜色、纹理、移动、人类手势、闪光以及其他视觉刺激)做出反应。自主车辆也可配备听觉传感器以用于捕获环境中的声音并且对其做出反应。我们将通过通用短语“刺激检测器”来指代这些呈现在自主车辆中、与位置信令系统一同使用的视觉和听觉能力和设备以及宽泛范围的其他检测能力和设备。

传统上,乘客可以使用乘车呼车软件过程230来雇用车辆(诸如,由人驾驶的以供乘车呼车服务或运输包裹的出租车和车辆)进行服务,该乘车呼车软件过程可以在被嵌入在智能手机、笔记本电脑、平板设备或其他计算设备或其他设备内的处理器单元上运行。乘客通常向乘车呼车软件过程输入搭乘请求,该搭乘请求包括接载活动的大体目标位置,并且也可包括下车活动的大体目标位置。

大体目标位置可由用户指定为例如交叉路口(即,“百老汇和大街拐角处”)、街道地址、或者建筑、公园、广场、纪念碑、地标或其他大体位置的名称。用户可使用软件(诸如谷歌地图)指定大体目标位置,该软件允许用户从存储关于各种位置的信息的各种数据库中搜索位置。在这些情况下,软件过程通常使用地理编码服务(例如,谷歌地图)将位置转换为坐标(纬度和经度)。在一些情况下,乘客可通过例如在地图上放下标记来指定精确坐标(纬度和经度)。在一些情况下,期望的大体目标位置由软件过程自动标识,该软件过程使用已知的基于gps的地理位置方法或其他方法估计用于发射位置信号的设备的位置。大体目标位置因此表示用户期望接载或其他活动发生的位置——但是该位置可能面临如下缺陷:

1.它可能不准确,即,所用的表示可能不够准确,不足以使自主车辆明确地知晓该位置的确切空间位置。例如,大体目标位置可指定为建筑,该建筑周围可具有多个位置,自主车辆可能在这些位置停车以执行接载活动。作为另一个示例,当大体目标位置被设置为如使用诸如gps之类的方法所估计的在乘坐请求时的用户的位置时,通常该估计会伴随显著误差或不确定性。例如,gps位置估计可具有多达几十米或甚至几百米的误差。

2.它可能不准确,即,搭乘请求中指定的大体目标位置可能与用户实际期望接载活动的发生地点不同。这可能由于乘客的输入错误、请求设备位置的自动标识的不确定性或误差、建筑、公园、广场、纪念碑或其他地点的位置所固有的不确定性、或用户在发出搭乘请求后改变主意、或其他原因或这些原因的组合而发生。

精确目标位置,从另一方面来讲,是精确(在于其所指的空间位置符合预先定义的针对精确的标准)以及准确的(在于其被假定为表示用户期望该活动发生的实际位置)。例如,精确目标位置可由纬度和经度指定,其误差被限定在预限定的量以内,比如一平方米。

在一些自主车辆的典型使用中,大体目标位置可以由算法(该算法可位于云中的中央服务器上,并且被委以例如优化自主车辆车队的位置的任务,目的是在乘客向车辆信令时最小化乘客的等待时间)指定。有关本主题的先前科学工作的示例,请参照“针对自动按需移动性系统的设计和评估的系统性方法:新加坡的案例研究”(“towardasystematicapproachtothedesignandevaluationofautomatedmobility-on-demandsystems:acasestudyinsingapore.)”(spieser、kevin等人)《道路车辆自动化》(roadvehicleautomation.springer)springerinternationalpublishing,2014.229-245。

在一些情况下,大体目标位置可以由另一个过程(例如,由于车辆上检测到的医疗紧急情况而将最近的医院标识为大体目标位置的紧急过程)提供。同样,例如,由于算法确定的大体目标位置的固有不确定性,大体目标位置可能未指示乘客实际的精确位置(例如,其可能不精确地或不准确地指示乘客的实际位置)。

在一些情况下,潜在乘客可使用呼车设备(诸如智能手机)以广播呼车信号,该呼车信号指示该潜在乘客期望呼叫车辆。该呼车信号随后可以被位于车辆(诸如自主车辆)上的刺激检测器检测并且处理。此类呼车系统在2016年8月18号提交的美国专利申请15/240,072中描述,其整体通过引用结合至此。在此情况下,呼车信号本身也可用作位置指示信号。在处理此类信号时,除了处理呼车信号以外,位置指示信号也可被处理并确定用于搭载的精确目标位置。

在已知系统中,如图1所示,将由具有驾驶员的车辆提供的所请求的乘坐的大体目标位置被无线地通信12至中央服务器,该中央服务器的任务是向一个或多个车辆、或可能是规模庞大(例如,数百或数千个)车辆的车队分配移动方向。中央服务器随后运行14路线规划软件过程,该路线规划软件过程通过无线通信向特定车辆(被指派的车辆)提供乘客的大体目标位置。该被指派的车辆随后被驾驶16前往大体目标位置以与乘客会面。通常情况下,当被指派车辆1601接近大体目标位置1602时,其在与乘客1605会面上存在困难,如图16所示,因为驾驶员仅得知大体目标位置1602,该大体目标位置附近可能存在许多可能的停车地点(例如,1606、1608以及1610)。其中一些停车地点可能没有其他的停车地点合适,因为,例如,其中一些停车地点比其他停车地点距离乘客实际位置1604更远。因此,可能期望确定对于给定活动合适的精确目标位置,然后在该精确目标位置或其附近找到停车地点。

为了确定精确目标位置,如图15所示,驾驶员通常使用电话或文本或这两者与乘客通信,以了解乘客精确位置1504,或其他期望的精确目标位置1508,该通信过程可能是耗时且不期望的。(该通信在自主车辆的情境下可能是不可能的。)车辆的驾驶员随后驶向该精确目标位置,停靠在精确目标位置附近的停车地点1510,然后乘客进入车辆。一旦乘客进入车辆并且完成标识过程(不一定按照该顺序),则认为该车辆被雇用进行服务并且开始至所期望的下车位置的行程。

图17的流程图以及图18的图表示出了采用本文描述的位置信令系统的、例如自主车辆的示例接载过程。

步骤1(1702):车辆(例如,自主车辆1850)通常基于由乘客1802在搭乘请求1882中向车辆提供的大体目标位置1880、或由在中央服务器上运行的软件过程1884或其他源提供给车辆的大体目标位置1880,已从初始位置行驶到该乘客的大致附近。

步骤2(1704):乘客使用信令设备1810(采用了下文所讨论的各种信令模式1820中的一种或其中的两种或更多种的组合)广播位置指示信号1830。

步骤3(1706):位置指示信号由例如刺激探测器1852接收,该刺激检测器存在于在信号范围内的一个或多个附近的(移动的或停靠的)自主车辆上。

步骤4(1708):作为av系统的一部分在自主车辆、或者中央服务器或者这两者上运行的软件过程1860分析位置指示信号中的从信令设备传送的信息(例如,由乘客发出且由刺激设备捕获,可能也结合了道路数据和其他信息),以用于确定该乘客的精确目标位置1886。

步骤5(1710):自主车辆或av系统可向信令设备或用户设备1835(可能与信令设备相同或不同)或这两者发送位置响应1870,并且该响应可包括该位置指示信号被接收和处理的确认以及所确定的精确目标位置等。该响应可由信令设备或用户设备接收,或经由用户界面1840向用户显示,或这两者同时实现。该响应可通过互联网或蜂窝网络发送,或通过已经在自主车辆或av系统和信令设备或用户设备的其他要素之间搭建的其他信令模式发送。

步骤6(1712):自主车辆然后尝试导航并且前往停车地点1888,该停车地点通常尽可能地靠近该精确目标位置(但也可以使用其他标准)。乘客可通过信令设备或其他用户设备时刻了解自主车辆的进展。

步骤7(1714):乘客然后可进入车辆并且完成验证过程(不一定按照该顺序),并且该车辆可开始其前往期望的下车位置的行程。

我们广义地使用术语“信令设备”以包括例如可以通过其将关于乘客接载的精确目标位置的信息发送至自主车辆或至该av系统的另一要素的任何设备、装备、装置或系统。下文会结合示例性信令模式来给出信令设备的示例。信息的示例可以是坐标、地图上的指针、相对于已知地标或多个地标描述的位置、预约标识、车辆标识、车辆服务类别以及关于被采用的信令设备的类型的信息(可包括关于设备显示器大小和其他属性的信息)。

我们广义地使用术语“信令模式”来包括例如可以用来通过无线信号或其它方法(包括非电子方法)发送信息的任何形式。其中,信令模式可以包括显示图像或图像序列、发射光信号序列、发射声音信号序列、发射无线通信信号、或参与手势或面部表情,仅举几例。

在大多数情况下,信令设备和信令模式被设计或操作或者被设计和操作以便增加真实检测(即,自主车辆或该av系统的其他要素正确地标识出包含关于乘客的精确目标位置的信息的信号已被引导至该车辆的场景)的发生率并且降低错误检测(即,例如当没有信号被发送车辆或信号被发送至另一车辆时,自主车辆错误地标识出包含关于乘客的精确目标位置的信息的信号已被引导至该车辆的场景)的发生率。

乘客可使用信令设备(诸如移动设备,或各种其他设备,诸如智能手机、平板,智能可穿戴设备(诸如智能手表)、或智能眼镜)向自主车辆发送信令。

在一些情况下,信令模式可由乘客(或其他人,诸如同伴)使用便携式信令设备(例如,智能手机)执行。在一些情况下,信令模式可以是由乘客(或代替该乘客的某人)在不使用任何信令设备而使用用于发出信号指示位置或提供其他信息的其他信令模式(诸如手部或面部表达、头部姿势或其他手势或吹口哨、喊叫、或制造其他声音(或其他模式))执行的典型人类能力。在一些情况下,信令模式可以是被动执行的人类信令模式,其不需要乘客主动发出任何类型的信号而由车辆上的刺激检测器使用已知生物统计标记的识别(例如,面部识别)来标识乘客的实际精确位置。可使用以上信令模式中的两种或更多种的组合。

信令模式可遵从预先定义或共同接受的可指定位置指示信号的方面的信令协议——即信令设备将操作或信令模式将被执行的方式、要传送的信息及其格式以及多种其他方面。操作将要被雇用以进行服务的独立自主车辆及其车队的各种实体和产生用于在自主车辆和信令设备中使用的软件、硬件和其他装备的实体能订阅这样的信令协议。例如,信令协议可指定要使用的信令模式,诸如显示在信令设备的显示屏上的图像序列。在该情况下,信令协议也可指定将被显示的确切图像(或用于生成这些图片图像的某种方法)、图像尺寸、这些图像的序列、该序列中每一个图像将被显示的持续时间、正显示图像的显示屏的亮度以及位置指示信号的其他相关特征。位置指示信号的这些特征可用于为在处理信号时有用的信息编码,该信息例如是与预定请求、或乘客、或被指派车辆相关的信息或其他相关信息。

信令设备可以包括例如以下各项(以及各种其他项)中的一项或多项:

1.智能手机、平板设备、手持式pc、可穿戴设备(诸如智能手表)或其他可配置移动设备,该可配置移动设备至少配备有处理器、存储器单元、与用户界面相关联的输入设备或过程、以及(在一些情况下配备有)显示屏、(多个)发光二极管、发光材料、电子墨水屏、或其他光发射或光调制介质。这种显示和发光介质可以能够呈现或调制图像序列、颜色序列、或光序列、或它们中的任何两个或更多个的组合以及其他视觉指示。信令设备可以配备有一个或多个能够检测环境中的视觉特征的视频传感器。该设备可以配备有使得具备检测和发出声音的能力的一个或多个麦克风或扬声器(或其他发声设备)或其两者。该设备可以配备有线或无线接收器和发射器,该有线或无线接收器和发射器使该设备能够与中央云或服务器进行通信等。

2.打印的纸张或卡片。

3.汽笛或其他噪音发生器,包括至少配备有处理器和扬声器以及可能的麦克风的可编程噪音发生器。

一些实现可包括在信令设备上运行的信号广播过程3420。该过程广播位置指示信号,该位置指示信号可以是基于图像的信号3422、或基于光的信号3424、或基于声音的信号3426或可使用某些其他信令模式。

一些实现可包括在自主车辆或中央服务器或该av系统的某些其他部分上运行的信号解码过程3402,该过程处理由位于av或其他位置上的刺激检测器接收的位置指示信号。该过程可以能够处理位置指示信号的各种方面,诸如但不限于几何元素3404、颜色(黑白、灰度、彩色)3406、纹理3408、面部识别3410、手势3412、光调制3414以及声音调制3416。

一些实现可包括在自主车辆或中央服务器或该av系统的某些其他部分上运行的位置确定过程3440,该过程使用根据位置指示信号推断出的信息(可能出于确定精确目标位置的目的而与信号解码过程的输出结合)。这可以涉及以下各项中的一项或多项:信令设备相对于刺激检测器的方位确定3442,信令设备相对于刺激检测器的距离确定3442、或其他方法。距离确定可涉及分析位置指示信号中的图像或几何要素的尺度的尺度分析过程3444。

信令模式

信令模式可包括以下中的一项或者其中的两项或更多项的组合:(总体上,尽管并不总是,这些信令模式与向附近自主车辆发送信号的乘客是相关的,其中“附近”可考虑为例如当该车辆在中等音量的发出声音的可听见的范围内时,或在一定的视线范围内时,在该范围内,数厘米尺度的特征可由自主车辆上的典型传感器合理地解析。)

通常,标识从检测到的发出信号到相关的车辆刺激检测器的相对行驶方向是可能的,因为激活的刺激检测器元件(例如,视觉传感器中的某些像素)通常相对于外部刺激进行了精确校准。

例如,为了标识从检测到的发出声音到(多个)相关的车辆刺激检测器(例如,麦克风)的相对行驶方向,需要围绕车辆中心点以环绕方式布置麦克风阵列然后,由阵列中的各种传感器元件检测到的发出声音的检测时间差异可被分析以便使用标准技术计算从麦克风阵列中心至检测到的发出声音的方位。

下述为可能的信令模式的一些示例。

图像显示

可以通过在信令设备上以可能位于例如安装在附近的自主车辆上的例如视频传感器的视线内的方式显示(例如,以使得图像或多个图像朝向肩高或以上的道路显示的方式呈现该设备)(例如,以固定重复率显示的)特定图像或图像序列来实现向附近的自主车辆的信令。

发射光

可以通过以可能位于安装在自主车辆上的视频传感器的视线内(例如,从人行道或道路边缘,或由站在交叉口的乘客)的方式(例如,以使得发射的光被引导到肩高或以上的道路的方向呈现该设备)从信令设备发出光来实现对附近的自主车辆的信令。

作手势

可以通过以可能位于安装在自主车辆上的视频或lidar传感器的视线内(例如,从人行道或道路边缘,或当乘客站在交叉口时)的位置和取向执行(例如,不常见的)手势或手势序列来实现对附近自主车辆的信令。在安装在自主车辆上的处理器上运行的软件过程随后将分析从视频或lidar传感器捕获的数据,以检测旨在代表位置信号的(多个)手势的存在。

发出声音

可以通过从信令设备(这里包括智能手机或类似设备、哨子或类似设备、或使用她的嘴的乘客)发出不常见的声音或足够音量的声音序列来实现对附近自主车辆的信令,这些声音能由安装在附近自主车辆上的传感器检测并且不会产生错误检测的发生。可以通过在信令设备上运行的编码或声音调制过程中的一者来控制和调制声音的发出以及所发出声音的特征和特性。

于2016年8月18号提交的美国专利申请15/240,072(其整体通过引用结合至此)提供了信号的细节,例如可以被发出的声音、手势、光、或图像、或它们的组合、以及和该信号相关联的属性。所引用的申请也详细描述了将信息(例如,唯一的搭乘请求或预定id)编码到信号中的相关方法。所引用的申请涉及“呼车设备”和“呼车请求”,其在当前申请的上下文中应分别理解为指“信令设备”和“位置指示信号”。

经由基于生物统计的乘客标识的被动信号

向附近自主驾驶车辆的位置信令可以被动地实现,即无需乘客通过人类行为或通过信令设备主动发出任何类型的信号。这可以通过操作车辆上的刺激检测器的使用已知生物统计标记(例如,面部识别)的识别来标识乘客的操作来实现。在一些实现中,关于乘客的相关生物统计信息可以在例如用户账户注册服务时已明确地提供给出租车、豪华轿车、共享乘车、电子呼车或其他运输服务。该运输服务可向乘客提供选项以用于在做出搭乘请求(或在接载或下车活动发生之前的某个其他时间)提供或更新该生物统计信息,以提升标识过程的性能。例如,在面部标识的情况下,从她的智能手机发出搭乘请求的乘客可能会被要求使用她的智能手机的相机拍摄她自己的照片,通常称作拍摄自拍,该自拍可被用作面部识别过程的生物统计标记。该照片进而捕获了最近版本的该用户外表,并且可能会比在该用户的更早的照片(该照片中该用户可能看起来不一样)执行识别过程产生更好的匹配。进一步地,使用当前的照片允许识别过程使用额外特征,该额外特征适用于当下情况,诸如用户的衣服或照片的背景,如果使用更早的照片作为生物统计标记,这可能会被忽略。

给定相关生物统计信息,诸如面部图像,存在用于自动标识特定个体的众多已知的方法。与这种应用与文本讨论的场景相关的已知方法相关联的典型考虑因素包括在可变或不利的照明和环境条件下、或者在各种感测范围或方向或它们的组合中的可靠且稳健的标识。

信令模式的组合

我们已经讨论过的各种信令模式中的每一种可以与其他模式中的一种或多种结合使用,并且可以与未明确提及的附加模式结合使用。使用组合的模式能够降低错误检测的发生率。例如,信令模式可以依赖于在显示发出特定时间序列的颜色的信令设备的同时执行特定手势(例如,在一个人的头部上方挥动他的手臂)。信令模式的各种其他组合也是可能的。

处理接收到的信号以确定乘客的精确目标位置

如图18所示,一旦位于自主车辆1850上的一个或多个刺激检测器1852检测到位置指示信号1830或使用上文描述的信令模式1820和信令设备1810或者其他信令模式或信令设备中的一种或多种通信的信号,该自主车辆上或该av系统内的处理器运行位置确定过程1860,该过程分析位置指示信号中包含的信息以及尤其计算该信令设备的精确位置或以其他方式处理该位置信号以用于获得乘客1802的精确目标位置1886等。

在一些实现中,对于信号接收器和信令设备两者或多个信令设备先验已知的特定的信令模式或特定的多个信令模式是有用的或必须的。特定的信令模式或特定的多个信令模式的先验已知增加了刺激检测器或多个刺激检测器使用普遍已知的信号检测和分类方法将可靠地检测到发出的位置信号的可能性。对于视觉、听觉、手势以及基于生物统计的信令模式的信号检测和分类方法的示例包括例如基于深度学习的监督分类方法、支持向量机、神经网络、其他技术以及它们的组合。

确定乘客接载的精确目标位置的过程可使用多种方法完成,下文描述了其中三种。

图19示出了对象1902相对于自主车辆1904上的刺激检测器1906的术语“方位”,其在下文描述的方法中使用。对象1910相对于av上的刺激检测器的方位被限定为以顺时针方向测量的角度1912,该角度在车辆面向方向(由方向向量1908表示)与方向射线1910(即连接该刺激检测器和该对象的直线)之间。

在一些实现中,精确目标位置可由图20和图21的流程图示出的下述步骤确定:

1.用户的信令设备600广播位置指示信号610,该信号由位于正沿着方向642行驶的自主车辆640上的刺激检测器650检测到。信令设备(即,该信令设备的中心,或与该信令设备中心存在已知关系的某一其他点)相对于刺激检测器(即,该刺激检测器的中心或与该刺激检测器中心存在已知关系的某一其他点)的方位670可如先前解释的那样计算。

2.从信令设备到刺激检测器之间的距离685可以多个方式计算,包括:

a.距离可由分析由信令设备发出的具有已知大小的检测到的视觉特征(例如,图像或光场)的尺度来计算。例如,图22示出信令设备600使用视觉特征750发出位置请求、以及由位于自主车辆上的刺激检测器捕获的图像760(除了期望的视觉特征以外,图像中所有其他对象均被过滤)。在一些情况下,车辆上的尺度分析过程将从由自主车辆上的刺激检测器或多个刺激检测器产生的数据测量到的视觉特征770的大小775与视觉特征750的先验已知大小755相比较。利用这样的比较,若给定已知的刺激检测器的分辨率属性,则能使用已知的地理分析方法计算从刺激检测器或多个刺激检测器到信令设备的距离685。

该方法意味着例如在车辆上运行的尺度分析过程具有由信令设备发出的视觉特征的实际大小的先验知识。这种先验知识可在车辆预定过程期间的很多时刻无线地分享,包括发起预定请求时或在位置指示信号610中,或作为自主车辆知晓且遵守的信令协议的一部分。给定此类先验知识,可采用标准技术来计算由自主车辆上的刺激检测器所检测的视觉特征的尺度,并且因此计算从该刺激检测器到信令设备的距离,或从与该刺激检测器存在已知空间关系的其他点(例如,该自主车辆的中心)与信令设备之间的距离。

b.距离可使用方位670(例如,以上文描述的方法确定)的知识结合来自于位于车辆上的一个或多个传感器的信息来计算。例如,一些自主车辆配备了lidar传感器,该传感器可以向所有方向发出激光,并且以高精准度确定其与这些光束中每一个光束的路径上第一个障碍物的距离。在了解信令设备相对于av的当前位置的方位的情况下,配备了此类lidar传感器的av可向该信令设备的已知方向发出lidar光。该lidar光随后可预期会被信令设备和/或乘客反射,从而允许估计av和该信令设备之间的距离。替代地,lidar可能已经在最近向信令设备的方向发射了光,并且该距离可由该事件计算。相似地,在已知信令设备的方位且可能已知该信令设备或用户的一些已知特性的情况下,诸如立体或单目视频相机或radar这样的其他传感器可用于确定该信令设备与av之间的距离。此类搜索可称为由于信令设备方位的先验知识而被引导并且当搜索空间减少后会更加有效。

距离可被重复地确定。

3.给定在步骤1和2中计算的方位670以及距离685的估计,并且通过使用车辆精确位置的知识,可估计信令设备600的精确位置。如果已知信令设备由用户手持(诸如,智能手机),则该精确位置也可以是例如该用户的精确位置。替代地,如果已知用户相对于信令设备精确位置的位置(例如,如果该信令设备是某种固定的公用电话亭,则确切地检测或估计用户站立使用该公用电话亭的位置是可能的),则用户的精确位置也可被估计。通常,av系统随后将信令设备的精确位置或乘客的精确位置设定为精确目标位置。

该方法可与例如上文讨论的信令模式(该信令模式使用图像显示和光发射)以及与本文未讨论的可能的其他信令模式一同采用。

在一些实例中,精确目标位置可由图14和图13流程图示出的下述步骤确定:

1.用户的信令设备600广播位置指示信号610,该信号由位于正朝着方向642行驶的自主车辆640上的刺激检测器650检测到。信令设备(即,该信令设备的中心,或与该信令设备的中心存在已知关系的某一其他点)相对于刺激检测器(即,该刺激检测器的中心或与该刺激检测器的中心存在已知关系的某一其他点)的方位670可如先前解释的那样计算。当车辆正在移动时,该方向的计算在一段时间(测量期间)内重复地进行。随着车辆移动,信令设备的方位有可能改变。图14示出了自主车辆640在两个时间点位于两个不同的位置,并且信令设备相对于刺激检测器的方位在每一个位置处被计算。

测量期间的持续时间取决于测量的频率(例如,如果刺激检测器能够每一秒执行一次测量,则该测量期间可能需要至少2秒以获取两次测量)、测量的精确度(例如,如果该测量不是很精确,那么在车辆移动较远距离之前执行第二次测量可能产生在统计上难以与第一次测量区分的第二次测量)以及所需测量次数(更多的测量将需要更长的测量期间持续时间)。

2.通过使用随着汽车在测量期间移动时依据该车辆的不同位置计算的多个方位(例如,方位670和671)的测量,信令设备600和乘客620的精确位置可被估计。该计算假设乘客在测量期间未移动——如果测量期间相对较短(例如几分之一秒内),则该假设是合理的——或者如果乘客比车辆移动地慢得多。该计算可由很多已知方法执行,例如三角测量。以其最简单的形式,三角测量使用在车辆的两个不同位置得到的信令设备方位的两个测量(例如,图14中的670和671)。随后估计该信令设备位于两条方位射线(680和681)的交叉点,该交叉点为唯一的点。该方法可被扩展至多个(即,大于两个)测量,例如,通过将信令设备的精确位置估计为一个点,该点使得从该点到每一个方位射线的平方距离(到射线的距离是在垂直于该射线的方向上测量的)之和最小化。

3.如果已知信令设备由用户手持(诸如,智能手机),则该设备的精确位置也可以是例如该用户的精确位置。替代地,如果已知用户相对于信令设备的位置(例如,如果该信令设备是某种固定的公用电话亭,则确切地检测或估计用户站立使用该公用电话亭的位置是可能的),则用户的位置也可被估计。通常,av系统随后将信令设备的精确位置或乘客的精确位置设定为精确目标位置。

该方法可与本文中所讨论的信令模式中的任意信令模式以及可能的其他信令模式一同采用。

在一些示例中,精确目标位置可由图12和图11的流程图示出的下述方式确定:

1.用户的信令设备600广播位置指示信号610,该信号由正朝着方向642行驶的位于自主车辆640上的刺激检测器650检测到。信令设备(即,该信令设备的中心,或与该信令设备的中心存在已知关系的某一其他点)相对于刺激检测器(即,该刺激检测器的中心或与该刺激检测器的中心存在已知关系的其他点)的方位670可如先前解释的那样计算。

2.在已知信令设备的方位670并且给定与可行驶路面630的边界相关的道路数据信息的情况下,交叉点690在方向射线680和在道路数据中标识的可行驶路面630的最外(例如,距车辆最远距离)边界之间计算。总体上,可行驶路面的最外边界是车道标记、路缘、路边缘或其他检测到的道路边界。在一些实现中,可行驶路面可由av系统(可能结合中央服务器)使用与车道边界、路缘、路边缘相关的静态道路数据信息与从av的传感器、中央服务器或诸如av和基础设施传感器等之类的其他实体实时接收的信息的组合实时确定。例如,地图上之前被标为可行驶的部分可能存在建设区,但是av可以能够实时使用其感知系统以检测该建设区的存在,检测该建设区的边界,并且依此修改该可行驶路面。该更新后的信息可随后被通信返回至中央处理器或av系统或其他av。

3.在已知步骤2中计算的交叉点690的情况下,该交叉点可被设为精确目标位置。替代地,精确目标位置可被标识为由固定偏移距离695调整的交叉点的位置697,以便将精确的接载位置从可行驶路面的边缘偏移。

最后一种方法与前两种方法的不同点在于其仅估计信令设备(以及用户)相对于自主车辆的方位,而非该信令设备的精确位置。该方法使用方位来计算可能但不保证是准确的精确目标位置。该方法可在例如前两种方法无法实现时使用,例如,如果确定信令设备和刺激检测器之间的距离是不可能的,或如果多次测量方向并且使用诸如三角测量之类的方法获取精确的用户位置是不可能的。该方法可与本文中所讨论的信令模式中的任意信令模式以及可能的其他信令模式一同采用。

我们已经描述的用于确定精确目标的方法可独立使用或组合使用(在该情况下,最终位置确定以平均或以其他方式组合由每一种方法各自获得的位置估计计算)。

乘客在广播位置指示信号的同时也在移动也是可能的。因此,接收到该信号、并且将其处理以用于计算用户(或该用户的信令设备)的精确位置以及接载该用户的精确目标位置的自主车辆可能接收到一系列位置指示信号,并且因此随时间更新该精确目标位置。具有用户精确位置的估计序列在校正离群值和其他错误(该其他错误可能是使用众所周知的方法(诸如卡尔曼滤波或隐马尔可夫模型或其他此类方法)的估计过程所固有的)中,并且因此提升所选的精确目标位置的质量也是有用的。

在使用上述用于确定精确目标位置的方法之一后,av系统确定并且尝试自主地导航至并且停在停车地点,该停车地点是可行的且可接受的并且另外尽可能地靠近该精确目标位置,由此使得乘客能够进入该车辆。于2016年10月20日提交的美国专利申请15/299,028(其通过引用以其整体并入本文)描述了当其应用于停车地点时的可行性和可接受性的概念、自主车辆寻找可行的且可接受的停车地点(被称为“当前选择的停车地点”)的方法、以及自主车辆导航至并且停在此类目标停车地点的方法。在本申请中使用的术语“目标停车地点”等同于上文引用的申请所使用的术语“当前所选择的停车地点”。

由av当前选择的停车地点在av停在目标停车地点之前可多次更新。其原因在2016年10月20日提交的美国专利申请15/299,028中描述,并且该申请通过引用以其整体并入本文。进一步地,如果精确目标位置由于av系统接收到并且处理新的位置指示信号而更新,则该av系统可以也更新目标停车地点的选择。该过程可持续发生,直至自主车辆停在目标停车地点。

直接无线通信

在一些实现中,无需由自主车辆独自确定或推测精确目标位置。精确目标位置(例如,信令设备的精确位置)可由信令设备独立确定(即,无需设备通过上文描述的信令模式中的一种或多种向自主车辆广播位置指示信号)。在一些实例中,精确目标位置可通过信令设备和自主车辆的协同来确定。

在一些实例中,信令设备可利用数据的无线通信(例如,使用互联网/蜂窝网络以及分别位于信令设备和自主车辆上的无线发射器和接收器)向自主车辆传送该信令设备的精确位置的知识(或在协同地确定其精确位置时有用的知识),该数据携带该知识。该通信可通过或可不通过中央服务器发生。

下述为技术的一些示例,通过这些技术,信令设备可以能够独立地确定其位置:

1.众所周知的gps(全球定位技术)即为此类技术的一个示例。绝大多数消费者智能手机内置了gps单元。但是由绝大多数消费者级别的gps单元获取的位置估计可能过于不精确,以至于对本申请中所描述的使用情况没有价值。确实存在精度级别更高的gps单元,但是这些gps单元通常较为昂贵且仅限于军事和科学应用。然而,gps信息在与自主车辆或av系统协同地确定精确位置时可能是有用的。

2.如果信令设备包括相机(通常是智能手机的情况)、或其他视觉传感器,诸如lidar——则可通过使用该传感器收集设备的当前周围环境并且将其与先验知识比较从而将该传感器用于确定该设备的位置。例如,如果信令设备是具有后置相机的智能手机,则用户可被指示打开该相机,并且在该用户本人位置不变的情况下将该相机稳定保持在肩高并完整地旋转360度。这和很多用户所遵循的使用他们的智能手机拍摄全景照片的方法是相似的。该方法以捕获世界垂直特征的全景照片或视频的形式,捕获用户当前周围环境的信息。这可以与先验信息相比较,例如以世界的3d模型的形式,诸如谷歌地球中可找到的。众所周知的计算机视觉技术可被应用于从捕获的信息中提取特征,该特征可与从先验信息中提取的特征相比较——其允许对于捕获到信息的精确位置(即,信令设备的精确位置)的估计。

3.尽管我们已经描述了用于由乘客(或代表乘客)从信令设备发送位置指示信号的向自主车辆发送信号的各种方法,但相似的技术也可被反向采用,即,出于从位于自主车辆上的信令设备向位于用户的设备(例如,智能手机)上的刺激检测器发送信号的目的。这里,上文描述的视觉、基于光的、听觉以及基于手势的位置信号发出将由车辆上的信号发射器执行,并且由存在于乘客的智能手机或其他设备上的刺激检测器执行检测。使用基于生物统计的乘客标识的被动信令的方法在该配置中无法被采用,然而可采用使用车辆外观的标识的被动信令的相似概念的方法(例如,位于信令设备上的视觉传感器可识别与放置在自主车辆上的仅为了实现该车辆的唯一标识的品牌、型号、类别、类型和/或可能的其他区分特征(诸如机制或贴花)相关联的特征)。该配置假设相关的信号检测和发射装备分别存在于乘客的智能手机和车辆上。

一旦乘客的智能手机或其他设备检测到了位置信号,车辆相对于该用户设备(或反之亦然)的精确位置就可被计算。在已知对于av系统可用的精确位置的情况下,可推测用户设备的精确位置。该计算可发生在用户的智能手机、或自主车辆、或中央服务器、或这些实体中的两个或更多个的组合上。

我们还注意到该位置信号不需要仅源于乘客的被指派车辆。知晓其精确空间位置或其精确位置被某中央服务器(例如,基于精确大地测量或其他位置确定技术,诸如lidar定位)知晓并且装备了必要的信号发射器的任何实体可持续或反复地广播遵循某些指定的信令协议的位置信号。处于该信号范围内且装备了必要的刺激检测器并且订阅该相同的信令协议的任意设备能够随后解释该位置信号,且该设备的精确位置可被计算。此类实体的示例可包括其他车辆、其他自主车辆、嵌入至基础设施内的传感器等。

自主车辆与信令设备之间的通信

我们已描述了用于通过由乘客(或代表乘客)从信令设备发送位置指示信号以向自主车辆进行位置信令的多种方法,即,从该乘客至该自主车辆的单向通信。在一些情况下,可能期望实现乘客(或相关联的信令设备)和自主车辆之间的双向通信,以用于确认该自主车辆已收到来自该信令设备的信息、已计算与该乘客的精确位置相关的信息、该自主车辆正在驶向该乘客的精确目标位置、已停在该乘客的精确目标位置附近或这些或其他原因中两个或更多个的任意组合。车辆随后在接近时向乘客发送信号。

在一些实现中,可以缺少(乘客和车辆之间的)通信的这两个方向中的一个或两个。例如,用户可指定大体目标位置作为预约请求的一部分,被指派的车辆可停在该大体目标位置附近的停车地点,并且该用户可在不涉及任何位置信令的情况下找到并且登上该被指派车辆。

如图10中所示,用户的信令设备2702装备了信号发射器,该信令发射器使用信令模式2712发出位置指示信号,该信号由位于自主车辆2718上的刺激检测器2720接收。此外,用户设备和自主车辆具有通过互联网或蜂窝网络的双向通信链路。除这些通信接口之外,位于自主车辆上的信号发射器2724可使用信令模式2716发出信号,该信号由用户设备上的刺激检测器2708接收。取决于用户设备和自主车辆上的信号发射器和刺激检测器的配置,信令模式2716可与信令模式2712不同。相似地,这两个通信链路可使用不同的信令协议。

例如,为确认自主车辆已接收到来自信令设备的位置指示信号,在检测到来自于乘客的例如基于图像、基于光、听觉、手势或其他位置指示信号时,该自主车辆可传送基于图像、基于光、或听觉接收确认信号或这几种信号的组合,其意图例如是该接收确认将能由该乘客的信令设备的传感器或多个传感器唯一地标识为响应。自主车辆也可通过蜂窝电话网络或互联网传送接收确认信号。在乘客的信令设备接收到接收确认时,该乘客的信令设备可通过用户界面2710(例如,使用听觉通知或显示屏上的视觉通知或它们的组合)向该乘客指示自主车辆已标识该乘客的精确目标位置,并且正在调整其路线以有利于在目标停车地点接载。

用于发送接收确认的示例性信令模式包括那些已经描述过的用于发送位置指示信号的信令模式。更具体地,此类方法包括但不限于下述方法中的一个或者其两个或更多个的组合:

1.通过在安装在自主车辆上(例如,自主车辆的外部)的显示屏上显示黑白图像、灰度图像或彩色图像或图像序列来响应位置指示信号。图像属性(例如,几何特征、纹理和外观)应该被选择,使得它们能由与乘客的信令设备相关联且具有典型的视场和分辨率的一个或多个视觉传感器可靠地解析,或在给定的典型的人类视觉特性下,可直接由乘客感知。显示也可包括或排他地包括可由用户直接阅读或由乘客的设备上的视觉传感器使用光学字符识别或其他阅读文本的方法解密的文本。

2.通过从安装在自主车辆上(例如,自主车辆的外部)的一个或多个显示屏、发光设备、发光二极管或其他信令设备发出光来响应位置指示信号。光强度应该被选择,使得它能由与乘客的信令设备相关联且具有典型的检测灵敏度的一个或多个视觉传感器或光检测传感器或听觉传感器可靠地检测到,或可由乘客直接感知到。

3.通过从安装在车辆上(例如,在车辆的外部)的一个或多个扬声器发出声音或声音序列来响应位置信号。音量水平应该被选择,以使得在给定的典型预期环境噪声水平的情况下,它可以由声音测量和安装在乘客的信令设备上且具有典型的检测灵敏度的一个或多个传感器可靠地检测到,或由乘客感知到。还可以由安装在车辆的外部的一个或多个扬声器通过语音输出(话语)和通过安装在自主车辆上的一个或多个麦克风从乘客接收到的口头响应(话语)来口头进行通信。为了这样做,自主车辆上的处理器可以执行车辆上所包含的语音合成程序或对话系统、回放所记录的语音、或广播从经由无线链路被连接到该车辆的人类远程操作员接收到的语音。音量可以被选择以便适合乘客到自主车辆的距离。一旦自主车辆接收到口头响应,车辆上的语音识别器或解码程序可以确定是否将接收的声音信号解释为位置信号的确认。

4.通过接合位于自主车辆上的一个或多个致动器以移动位于车辆上的对象或机制,从而产生运动(实际上是由车辆做出的手势),从而响应位置信号,该运动可由与乘客的信令设备相关联且具有典型的视场和分辨率的一个或多个视觉传感器可靠地解析,或在给定的典型人类视觉特性下可由乘客直接感知。这些机械的手势的知识可被提供给乘客或与该乘客的设备相关联的目标传感器。例如,如果乘客使用基于智能手机的呼车应用来呼叫av,则该应用可包括该车辆的动态图片或视频,该动态图片或视频显示由该车辆上的致动器产生的运动。以此方式,用户能知晓车辆正在执行的运动并且可以主动地寻找该车辆。

5.通过与乘客的信令设备无线通信以响应位置信号。这可以使用建立在车辆和乘客的信令设备之间的直接点对点连接、或者通过经由互联网连接至该车辆和该用户的信令设备这两者的中央服务器的通信、或者使用蜂窝网络的通信。由自主车辆显示的一个或多个图像、显示的一道或多道光、以及发出的一个或多个声音可以展现出一些属性,包括例如上文针对由信令设备显示的一个或多个图像、显示的一道或多道光、以及发出的一个或多个声音而描述的那些。还可以使用例如上文针对由信令设备显示的一个或多个图像、显示的一道或多道光、以及发出的一个或多个声音而描述的方法将信息编码在由自主车辆显示的一个或多个图像、显示的一道或多道光、以及发出的一个或多个声音中。

如图17中所示,在本文所描述的位置信号系统的一些示例中,自主车辆首先检测位置指示信号,并且将其中内嵌的信息解码以用于确定接载乘客的精确目标位置。该自主车辆可随后向信令设备发送响应,以指示收到了该位置指示信号。该信令设备可通过使用声音或视觉指示器在移动设备上给予用户通知来将该响应转发给用户。该自主车辆随后调整其目标位置,并且导航至该乘客附近的停车地点。在一些实现中,不需要执行图17中所示的所有步骤。

用户通常可始终得知av当前选择的停车地点以及其抵达该地点的进展,使得该用户可以做好上车准备。如上文所述,随着av接收新的信息,目标停车位置可能会随着时间改变。车辆进展可以多种方式报告。例如,与av的精确位置有关的信息(对于该av已知的信息)可被传送至用户的设备并且可能结合该用户位置的估计(该估计可能精确,也可能不精确)显示在诸如地图之类的用户界面上。另一个示例是流送例如由安装在av上的前置相机拍摄的实时图片或视频并且通过例如用户的智能手机呼车应用的用户界面将这些实时图片或视频显示给该用户。这些图像或视频可进一步被注释,以让用户更加轻松地使用该信息定位车辆。

图4-图9展示了示例用户界面,其可在诸如平板或智能手机这样的移动设备上实现。可使用多种其他屏幕和屏幕特征。作为用户界面的一部分,屏幕的视觉要素可与针对该设备的用户的声音和触觉反馈相关联。

图9示出了基于触摸屏2802的用户界面。在典型的使用情况下,用户可以已使用呼车应用(诸如uber、lyft、grab以及许多其他呼车应用)以预约车辆,并且可以使用该呼车应用追踪该车辆的进展。在本文所述的界面中,用户被提供通过按下按钮2804来广播其位置(即,发出位置指示信号)的选项。该选项可以已多种方式呈现,并且在未经明确询问用户的情况下广播该信号也是可能的。

用户随后将被呈现如图8中所示的信令模式2902的选择,用户可从中选择一个或多个信令模式。在一些实现中,该选择可在未经明确询问用户的情况下由系统自动选择。用户随后将被呈现如图7中所示的与信令过程相关的指引3002。例如,在设备显示器发出的基于光或图像的信号的情况中,使显示器向着道路定向以使得该信号朝着车辆可能靠近的方向传播可能是重要的。用户也可被指引以保持不动并且将显示器保持在肩高或以上。作为另一个示例,如果信令是使用由用户执行的手势发生的,则指引屏幕可能会使用图片或视频显示这些手势。用户随后可能会被要求在位置指示信号发出之前按下按钮3004来进行确认。

如图6所示,信令可通过显示特定图像或图像序列3104、3106实现(例如,以固定的重复率交替显示)。该图像可由图案3102或其他独特的视觉特征构建。图像可以是黑白图像、灰度图像或使用某些其他已定义的颜色调色板。纹理可以包括以一定格式(诸如,如图5中所示的qr码3202,其以二进制格式编码信息)编码的信息。

图2展示了示例性用户界面,该用户界面可在诸如平板或智能手机之类的移动设备上、或在虚拟现实头戴设备(诸如谷歌眼镜或诸多其他)上实现。可使用多种其他屏幕和屏幕特征。作为用户界面的一部分,屏幕的视觉要素可与针对该设备的用户的声音和触觉反馈相关联。该图展示了增强现实显示器的示例,其中该显示器或头戴设备向用户显示该用户前方的世界3502的第一人称视图,该第一人称视图捕获了诸如建筑3504、道路3518、车辆3506以及环境中的其他要素之类的要素。该视图可通过标记用户当前位置3508、从用户当前位置至例如被指派车辆的目标停车地点的路径3510来增强。该路径可使用文本标签3512或某种其他图形要素来标记。如果被指派车辆3516在视场内,则其可能会被特别地突出显示,例如使用文本标签3514或其他图形要素。在平板或智能手机的情况下,用户可被指引以将显示器保持在眼睛的高度,并且位于该显示器后方的相机可被用于为该用户前方的世界录制视频。在将增强视频显示在设备显示器上之前,该设备的处理能力可被用于使用诸如上文所述的要素增强该视频。在虚拟现实头戴设备的情况下,该头戴设备可包括前置相机以及用于实现相似效果的处理能力。

一旦位置指示信号由av系统接收并且处理且已确定恰当的精确目标位置和停车地点,则能使用诸如图4中所示的界面将该信息通信返回至该用户。显示器显示地图3306,该地图聚焦在(街道可用诸如3302的标签标记)乘客精确位置3304和目标停车地点3308近周围的区域。这些由文本提示3302和3310标记,使得用户清楚地了解其中一个表示该用户当前位置,另一个表示车辆将会前来停车接载的停车地点。也显示了从用户精确位置到停车地点的步行路线3314。地图也可显示精确车辆位置3312,尽管该车辆可能对用户而言不可见,如果不在用户附近的话。界面也可示出被指派车辆的细节3322,诸如车辆的登记号、型号和品牌、颜色和其他相关细节。地图界面可支持标准的导航技术,诸如平移以及缩放。最后,用户也被提供通过按下按钮3316来更改停车位置的选项。这讲允许用户从停车地点列表(该列表由av系统规划)中选择,如于2016年10月20日提交的美国专利申请15/299,028中所述,该申请以其整体通过引用并入本文(见引用专利申请的图13)。

由于在车辆停在目标停车地点之前目标停车地点可能多次改变,因此期望避免向用户展示该目标停车地点,直到该车辆已实际停在目标停车地点或相当确信其将能够停在目标停车地点(例如,当该车辆非常靠近该目标停车地点且已使用其自带传感器验证过该目标停车地点可用)。

使用位于基础设施内或位于其他车辆内的传感器的、没有视线的通信迄今为止所描述的信令模式涉及位于被指派车辆或乘客的设备或这两者之上的信令设备和刺激检测器之间的直接通信。因此,为了让这些模式起作用,被指派车辆的刺激检测器必须位于信令设备的某一范围之内,且对于视觉刺激,该信令设备和该刺激检测器之间不能存在物理障碍物。

由信令设备广播的位置指示信号由被指派车辆之外的车辆接收是可能的,因为该车辆在信令设备的范围内。这有可能发生,因为车辆正在扫描且能够从其被指派的乘客的信令设备之外的设备接收信号。中央服务器也可有意地引导其车队中处于乘客的大体位置的特定距离之内的所有车辆扫描并且检测来自于乘客的信令设备的位置指示信号。此类策略的目的在于增加检测到乘客的位置指示信号的可能性或更快地检测到该位置指示信号。检测到位置指示信号的车辆随后可使用上文所述的方法计算乘客的精确位置或用于接载的精确目标位置,并且使用蜂窝网络或互联网将该信息传送至乘客的被指派车辆。

为增加信令设备的有效范围,配备了计算设备且可访问地图数据的刺激检测器可被嵌入基础设施。此类基础设施的示例包括路灯、公共电话或公共电话亭、cctv(闭路电视)相机、人行道、路缘等。这些基础设施可包括与上文描述相似的刺激检测器,并且他们能够接收来自于乘客信令设备的位置指示信号。乘客精确位置或精确目标位置的计算可在这些设备上进行,或者来自信号的信息可被中继至中央服务器或自主车辆或用户设备或使用蜂窝网络或互联网进行计算的其他位置,或者该计算可在一个或多个此类实体之间协同进行。该信息随后可经由蜂窝网络或互联网被中继至被指派车辆。

遥操作员辅助的位置确定也可由远程操作员来确定用户精确位置或精确目标位置,该远程操作员也被称为遥操作员,其可被呈现有由刺激检测器接收的原始或经处理形式的信号以及其他数据。这可能会在例如位置确定过程无法以足够的精准度估计用户的精确位置或者使用遥操作员处理所有位置指示信号时发生。

例如,在诸如基于图像的显示、或手势、或乘客面部的被动生物统计识别之类的信令模式的情况下,其中刺激检测器为位于自主车辆上的相机(或多个相机),来自这些相机的视频流可被传送至遥操作员。这些视频流可在用户界面(诸如触摸屏显示器或其他显示设备)上呈现给遥操作员。视频流可原样呈现给遥操作员,或该视频流可被增强,例如使用本申请中上文描述的过程和算法,以便通过尝试确定用户的精确位置并且将其作为建议提供给该遥操作员来协助该遥操作员。视频流也可通过在视频上叠加来自其他传感器的数据(例如来自lidar传感器的点云)来增强。用户界面也可通过向遥操作员提供基于触摸的界面(例如,通过在触摸屏上轻触)来允许遥操作员标识乘客、或该乘客精确位置、或自主车辆的精确目标位置。

其他实现方式在所附权利要求书的范围内。

权利要求书(按照条约第19条的修改)

1.一种方法,包括:

由自主车辆系统确定自主车辆在用于目标位置活动的大体目标位置的预限定的距离量之内;

基于确定自主车辆在所述预限定的距离量之内,参与所述自主车辆和用户之间的位置信令活动,所述位置信令活动包括在所述用户的设备上运行的应用;

基于参与所述自主车辆和用户之间的位置信令活动,在远程设备上向位于远程的遥操作员呈现能从所述位置信令活动中确定的信息,以及

基于能从所述位置信令活动中确定的信息,在所述大体目标位置的所述预限定的距离量内基于由所述用户或所述用户的所述设备发送的位置指示信号,确定精确目标位置。

2.如权利要求1所述的方法,进一步包括确定所述精确目标位置附近的停车地点。

3.如权利要求1所述的方法,其特征在于,所述参与位置信令活动包括传送有关所述大体目标位置附近的所述精确目标位置的信息。

4.如权利要求1所述的方法,其特征在于,所述参与位置信令活动包括由所述自主车辆或代表所述自主车辆发送位置响应信号。

5.如权利要求1所述的方法,其特征在于,所述参与位置信令活动包括由所述自主车辆通过视线发送标识所述自主车辆的位置的位置指示信号。

6.如权利要求1所述的方法,其特征在于,所述参与位置信令活动包括由所述自主车辆发送关于所述精确目标位置的确认信息。

7.如权利要求1所述的方法,进一步包括由另一车辆接收所述位置信令活动,并且基于所述信号与所述自主车辆或用户设备通信。

8.一种计算机可读介质,其携带指令,当由一个或多个处理器执行所述指令时,执行如前述权利要求中任一项所述的一个或多个步骤。

9.一种方法,包括:

由自主车辆系统确定精确目标位置在自主车辆正在驶向的大体目标位置的预限定的距离量之内;

由所述自主车辆系统确定停车地点,所述自主车辆和用户将在该停车地点参与目标位置活动,所述目标位置活动在所述精确目标位置的所述预限定的距离量之内;以及

在确定精确目标位置后,确定所述自主车辆的方位以及从所述用户到所述自主车辆的距离中的至少一个。

10.如权利要求9所述的方法,其特征在于,所述确定所述自主车辆的方位以和从所述用户到所述自主车辆的距离中的至少一个包括重复地确定所述自主车辆的方位以及从所述用户到所述自主车辆的距离中的至少一个。

11.如权利要求9所述的方法,其特征在于,所述确定精确目标位置是基于由所述用户或所述用户的设备发送的位置指示信号。

12.如权利要求9所述的方法,其特征在于,所述确定精确目标位置是基于通过所述位置指示信号以外的方式接收的信息。

13.如权利要求9所述的方法,进一步包括接收来自所述自主车辆处的外部源的所述大体目标位置的标识。

14.如权利要求9所述的方法,其特征在于,所述精确目标位置随着时间改变。

15.如权利要求9所述的方法,进一步包括由所述自主车辆或所述用户或这二者参与位置信令活动。

16.如权利要求15所述的方法,其特征在于,所述位置信令活动包括由所述自主车辆或代表所述自主车辆发送的位置响应信号。

17.一种计算机可读介质,携带有指令,当由一个或多个处理器执行所述指令时,执行如前述权利要求中任一项所述的一个或多个步骤。

18.一种方法,包括:

由自主车辆系统在自主车辆正在驶向的大体目标位置的预限定的距离量之内确定用户的精确位置,以及

在确定所述用户的精确位置在所述预限定的距离之内后,在所述用户和所述自主车辆之间信令。

19.如权利要求18所述的方法,其特征在于,所述信令包括控制在所述用户的移动设备上运行的应用。

20.如权利要求18所述的方法,其特征在于,所述信令包括电子信令或非电子信令。

21.如权利要求20所述的方法,其特征在于,所述非电子信令包括显示图像或图像序列、发射光信号序列、发射声信号序列、发射无线通信信号或参与手势或面部表情中的一个或其中的两个或更多个的组合。

22.如权利要求20所述的方法,其特征在于,所述电子信令包括来自智能手机、平板、智能手表、智能眼镜或其他智能可穿戴设备中的一个或其中的两个或更多个的组合的信令。

23.一种计算机可读介质,携带有指令,当由一个或多个处理器执行所述指令时,执行如前述权利要求中任一项所述的一个或多个步骤。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1