行人意图让行的制作方法

行人意图让行
1.相关申请的交叉引用
2.本技术要求于2021年7月29日提交的美国临时申请第63/227,013号的权益，其内容通过引用并入本文。
技术领域
3.本说明书涉及自主车辆。


背景技术：

4.自主车辆包括自驾驶小汽车、摩托车、卡车、公共汽车和类似车辆。自主汽车使用各种车载传感器和计算机系统来检测附近的对象，并使用这样的检测来做出控制和导航决策。


技术实现要素：

5.本说明书描述了一种系统，实现为在一个或多个位置的一个或多个计算机上的计算机程序，该系统为因素(agent)(例如，在道路上或道路附近的行人或骑自行车者)附近的自主车辆确定候选让行行为。使用因素的穿过意图预测和因素的名义穿过预测，可以确定自主车辆的让行行为。
6.能够实现在本说明书中描述的主题的特定实施例，以实现以下优点中的一个或多个。下面描述的技术可以用于允许自主车辆模仿驾驶行为已被确定为有礼貌的人类驾驶员的行为。此外，描述的技术允许自主车辆模仿有礼貌的驾驶员，同时避免可能造成不安全驾驶状况的操纵。此外，下面描述的技术可以用于使自主车辆能够创建意图让行信号和名义让行信号两者，并使用其中一个信号或全部两个信号来创建候选让行行为。自主车辆能够在规划其操作时使用候选让行行为。
7.一个方面的特征是识别在当前时间点导航通过环境的自主车辆附近的因素。穿过意图预测被获得，并且穿过意图预测表征因素意图在当前时间点之后的未来时间段期间穿过第一穿过区域处的道路的预测的可能性。获得因素和自主车辆的第一特征。使用机器学习模型处理包括第一特征和穿过意图预测的输入，机器学习模型被配置为生成意图让行分数，意图让行分数表示自主车辆由于因素要穿过道路的意图而应该在到达第一穿过区域之前执行让行行为的可能性。至少从意图让行分数，意图让行行为信号被确定并且指示自主车辆是否应该在到达第一穿过区域之前执行让行行为。
8.可以包括一个或多个以下特征。可以获得因素和自主车辆的第二特征，并且基于第二特征，可以确定一个或多个标准中的每个标准被满足。使用机器学习模型处理输入可以包括：响应于确定一个或多个标准中的每个标准被满足，仅使用机器学习模型处理输入。因素的特征可以包括：与道路的距离、速度、走向、移动性和穿过意图预测中的至少一个。自主车辆的特征包括：速度、走向、与因素的距离、自主车辆已经让行的持续时间、和自主车辆是否具有路权中的至少一个。名义让行行为信号可以被获得，并且可以指示自主车辆是否
应该由于因素的名义行为预测在到达第一穿过区域之前执行让行行为，所述因素的名义行为预测指示因素是否将在未来时间段中穿过道路。至少从名义让行行为信号和意图让行行为信号，可以生成最终让行行为信号。可以确定最终让行行为信号指示自主车辆应该让行，并且自主车辆的未来轨迹可以被修改以使自主车辆执行让行行为。机器学习模型可以是分类模型。分类模型可以是决策树模型。标准可以包括：确定自主车辆的速度，将速度与阈值进行比较；以及如果速度低于阈值，则确定满足标准。标准可以包括：确定自主车辆穿越的道路的类型，确定道路的类型是否是不可接受的道路类型，以及如果道路的类型是不可接受的道路类型，则确定不满足标准。
9.本说明书的主题的一个或多个实施方式的细节在附图和以下描述中阐述。本主题的其他特征、方面和优点将从描述、附图和权利要求中变得清晰。
附图说明
10.图1a是在高速公路上行驶的车辆的示意图。
11.图1b、图1c是在小路上行驶的车辆的示意图。
12.图2是用于为因素附近的自主车辆确定让行行为的示例系统的示意图。
13.图3是用于为因素附近的自主车辆确定让行行为的示例过程的流程图。
14.不同附图中相同的附图标记和指定指示相同的元素。
具体实施方式
15.本说明书描述了确定在道路上或道路附近的因素(例如，行人或骑自行车者)附近的自主车辆的候选让行行为的系统。在本说明书中使用的术语“附近(vicinity)”是指在自主车辆的一个或多个传感器的感测范围内的环境的区域。可以使用因素的穿过意图预测和因素的名义穿过预测来确定自主车辆的让行行为。
16.穿过意图预测不同于名义(nominal)穿过预测。穿过意图预测是因素是否意图或期望在存在机会的情况下穿越道路的预测，而名义穿过预测与因素的预期行为相关，特别是因素是否将在道路内穿过或移动。当名义穿过预测指示因素很可能穿过道路时，安全性指示自主车辆必须采取动作避开因素。这样的让行可以称为“名义让行”。假如这样的让行本身不会造成不安全的情形，则当穿过意图预测指示因素想要穿过道路时，自主汽车可以通过向因素让行来模仿有礼貌的驾驶员的行为，从而允许因素穿过。这样的让行可以称为“意图让行”。
17.然而，在某些情形下，尝试礼貌驾驶可能潜在地降低整体道路安全性或效率。例如，如果车辆在径直行驶通过交叉路口时具有绿灯，则该车辆具有清晰的路权(即，可以优先行进)，所以其他驾驶员可能预期不向行人意图让行，因此潜在地增加与其他车辆的不利相互作用的风险。类似地，在以高速度行驶或在高速公路上行驶时尝试意图让行，典型地不会被其他驾驶员所预期，因而可能增加与其他车辆的不利相互作用的风险。在另一个示例中，妨碍交通的意图让行可能导致低效率。在尝试礼貌驾驶可能潜在地降低整体道路安全性或效率的情况下，如果仅存在穿过意图预测(但没有名义预测)，则典型地不应该发生意图让行。
18.图1a是在高速公路上行驶的车辆的示意图。在该图示中，当自主车辆120和第二车
辆130接近时，行人110正在高速公路附近，两个车辆都在相同方向并以高速度行驶(如粗线所示)。在这种情形下，一旦道路清空(clear)，行人很可能将在未来的某点处尝试穿过高速公路。然而，由于包括行驶的速度和道路的类型的境况，自主车辆120将不会仅仅出于对行人110的礼貌而让行，因为意图让行可能给自主车辆或邻近的另一个车辆130造成不安全的驾驶境况。在这种情况下，意图让行将不是候选让行行为。即，如果行人仅仅是期望穿过道路，但是并不会穿过道路，除非突然出现机会，则自主车辆120不应该让行。然而，如上所述，如果名义穿过预测指示行人110将紧急(imminently)穿过道路(从而在行人110和自主车辆120之间可能发生相互作用)，则自主车辆120仍然可以响应于名义穿过预测而让行，尽管基于意图确定自主车辆120不应该让行。
19.图1b是在小路上行驶的车辆的示意图。在该图示中，当自主车辆150以小路速度接近(如细线所示)时，行人140在诸如小路的支路附近。虽然在预测行人140要穿过道路的地方附近有人行横道160，但行人最可能的轨迹是在人行横道160外部穿过。在这种情形下，虽然行人140不具有路权(因为行人在人行横道160外部穿过)，但自主车辆150仍然可以确定模仿了有礼貌的驾驶员最可能的行为的向行人140让行，并且即使名义穿过预测指示行人140将不会紧急穿过小路，自主车辆150也可以确定应该基于意图让行。
20.图1c是在小路上行驶的车辆的示意图。如图1b所示，在该图示中，当自主车辆180以小路速度(byway speed)接近(同样如细线所示)时，行人170在诸如小路的支路附近。在该示例中，由于行人170与人行横道190相邻，行人最可能的轨迹是在人行横道190内部穿过，并且行人170确实具有路权。作为响应，自主车辆180可以确定法律要求向行人170让行，并模仿有礼貌的驾驶员的最可能的行为。即使名义穿过预测指示行人170将不会紧急穿过道路，自主车辆180也可以确定应该出于多种原因让行，包括基于意图。
21.图2是用于为因素附近的自主车辆确定让行行为的示例系统的示意图。系统200可以包括车载系统220、训练系统210和意图预测引擎295。
22.车载系统220物理地车载位于车辆202。车载于车辆202意味着车载系统220包括与车辆202一起行驶的组件，例如电源、计算硬件和传感器等。在一些情况下，车辆202是自主车辆。自主车辆可以是确定并执行完全自主驾驶决策以便导航通过环境的完全自主车辆。自主汽车也可以是使用预测来帮助人类驾驶员的半自主车辆。例如，如果预测指示人类驾驶员将要与另一个车辆发生碰撞，则车辆202可以自主地应用制动器。作为另一示例，车辆202可以具有高级驾驶员辅助系统(adas)，高级驾驶员辅助系统通过检测潜在的不安全情形，警告人类驾驶员或以其他方式对不安全情形作出响应，以便辅助车辆202的人类驾驶员驾驶车辆202。作为特定示例，当检测了障碍物时、当车辆离开行驶车道时、或当在人类驾驶员的盲区中检测到对象时，车辆202可以警告车辆202的驾驶员或采取自主驾驶动作。在另一个示例中，响应于确定另一个因素可能与车辆202相互作用，车辆202可以警告驾驶员、或自主地应用车辆202的制动器、或以其他方式自主地改变车辆202的轨迹，以防止车辆202和因素之间的不必要的相互作用。下面更详细地描述了车载系统220的组件。
23.尽管图2中的车辆202被描绘为汽车，并且本文档中的示例是参照汽车来描述的，但是通常车辆202可以是任何种类的车辆。例如，除了汽车之外，车辆202可以是沿着道路行驶的另一个种类的自主车辆，例如，卡车或摩托车。此外，车载系统220可以包括除了图2中所描绘的组件之外的组件(例如，碰撞检测系统或导航系统)。
24.为了使得能够安全控制自主车辆202，车载系统220包括使车载系统220能够“看到”车辆202附近的环境的传感器系统240。更具体地，传感器系统240包括一个或多个传感器，其中一些传感器被配置为接收来自车辆202附近的环境的电磁辐射的反射。例如，传感器系统240可以包括被配置为检测激光的反射的一个或多个激光传感器(例如，lidar激光传感器)。作为另一示例，传感器系统240可以包括被配置为检测无线电波的反射的一个或多个雷达传感器。作为另一示例，传感器系统240可以包括被配置为检测可见光的反射的一个或多个相机传感器。
25.传感器系统240连续地(即，在多个时间点中的每个时间点)捕获原始传感器数据，原始传感器数据可以指示反射辐射行进(travel)的距离、强度和方向。例如，传感器系统240中的传感器可以在特定方向上传送一个或多个电磁辐射脉冲，并且可以测量任何反射的强度以及接收反射的时间。可以通过确定传送脉冲和接收其反射之间所经过的时间来计算距离。每个传感器可以在角度、方位角或两者上连续地扫描特定空间。例如，在方位角上进行扫描可以允许传感器沿着同一视线检测多个对象。传感器系统240还可以包括接收电磁辐射的反射的组件(例如，检测激光的反射的激光雷达(lidar)系统、检测无线电波的反射的雷达系统和检测可见光的反射的照相机系统)的组合。
26.传感器系统240或车辆202的其他组件也可以将来自一个或多个传感器的一个或多个原始传感器测量的组分类为环境中的另一个因素的测量。取决于捕获的传感器测量的种类，一组传感器测量可以以各种方式中的任何方式来表示。例如，每组原始激光传感器测量都可以表示为三维点云，其中，每个点都具有强度和定位。在一些实施方式中，定位被表示为范围(range)和高度对。每组相机传感器测量可以表示为图像块(patch)，例如，rgb图像块。
27.一旦传感器系统240将一组或多组原始传感器测量分类为相应的其他因素的测量，传感器系统240就可以将原始传感器测量编译成原始传感器数据242的集合，并向数据表示系统250发送原始传感器数据242。
28.同样车载于车辆202的数据表示系统250接收来自传感器系统240的原始传感器数据242和表征环境的附加数据(即，可以包括识别环境中的道路内的标记的穿过区域和车道的道路图数据的道路信息)，并且生成包括表征车辆202附近的因素和环境的特征的场景特征数据252。数据表示系统250可以另外地接收确定场景中的哪个因素或哪些因素具有路权的优先(precedence)信息。优先信息可以包括交通法规(例如，车辆必须让行人行横道中的行人)和惯例。
29.场景特征数据252可以包括广泛范围的数据，诸如因素的类型(机动车辆、行人、骑自行车者等)、因素的位置、速度、轨迹等。针对人类因素(human agent)，场景特征数据可以包括附加信息，例如，因素的预测角色(例如，施工工人、行人等)、注视方向或其他特性中的一个或多个。
30.在一些实施方式中，车载系统可以通过访问存放(store)在自主车辆202内的数据存储库或在自主车辆外部但耦合到自主车辆的数据存储库(诸如在具有使得通过蜂窝或其他无线网络对自主车辆可获得的数据的数据中心中)中可获得的数据来增强从传感器系统240可获得的数据。
31.数据表示系统250可以将场景特征数据252提供给车载于车辆202的标准评价系统
265。
32.标准评价系统265可以使用场景特征数据252和原始传感器数据242来确定启发式标准是否指示意图让行是适当的。启发式标准(heuristic criteria)可以表达为规则(例如，以“if-then-else”格式)，其中，每个规则可以可选地包括优先级(priority)。
33.如果标准评价系统265确定意图让行是适当的，则标准评价系统265可以将指示意图让行是适当的评价结果数据268传递给意图让行预测决策系统270。如果标准评价系统265确定意图让行是不适当的，则标准评价系统265可以将指示意图让行是不适当的评价结果数据268传递给规划系统290。也就是说，如果评价结果数据268指示意图让行是不适当的，则系统可以绕过意图让行预测决策系统270。
34.意图让行预测决策系统270可以使用一个或多个机器学习模型274中的每个模型来处理从特征导出的输入。每个机器学习模型可以为在自主车辆202附近的因素生成意图让行信号276。在一些实施方式中，意图让行信号276指示意图让行是否是车辆202的候选行为。在一些实施方式中，意图让行信号276包括指示对关于意图让行是否是候选行为的确定的置信度的分数。
35.一个或多个机器学习模型274可以是可以将特征集映射到意图让行信号的任何适当类型的机器学习模型，其中，意图让行信号可以包括意图让行是车辆202的候选行为的指示。例如，可以使用梯度提升决策树。一个或多个机器学习模型使用的特征的示例可以包括(a)原始传感器数据242、(b)场景特征数据252或(c)意图预测数据297中的一个或多个。
36.一个或多个机器学习模型274可以从意图预测引擎295接收意图预测数据297。意图预测数据297可以包括表示因素具有穿过意图的可能性的单个分数。意图预测数据还可以包括一个或多个预测的穿过轨迹，每个预测的穿过轨迹具有表示如果存在机会，则因素意图遵循穿过轨迹的可能性的确定的可能性。预测的穿过轨迹还可以包括横向和纵向不确定性的指示。
37.意图预测引擎295可以包括被配置为产生意图预测的常规机器学习模型，诸如决策树、线性回归模型、支持向量机、广义线性模型、神经网络，例如，多层感知器(mlp)等。此外，意图预测引擎295可以包括被配置为产生轨迹预测的常规机器学习模型，诸如神经网络。
38.可以向规划系统290递送意图让行信号276。规划系统290可以使用意图让行信号276来做出完全自主的决策，即更新车辆202的规划轨迹。例如，如果针对行人的意图让行信号276指示应该发生意图让行，则规划系统290可以生成向该行人让行的完全自主的规划。在该示例中，规划系统290可以生成完全自主的控制输出以应用车辆202的制动器，从而导致自主车辆202在行人穿过道路时停止移动。
39.车载系统202还可以包括创建名义穿过预测的引擎。这样的名义穿过预测引擎可以使用常规技术(例如，机器学习、启发式或两者)来创建名义穿过预测。名义穿过预测引擎可以向规划系统290递送包括名义穿过预测的名义穿过信号。
40.由规划系统290生成的完全自主驾驶决策可以由车辆202的控制系统实施。例如，响应于接收由规划系统290生成的、指示应该应用车辆的制动器的完全自主驾驶决策，控制系统可以向车辆的制动控制单元传送电子信号。响应于接收电子信号，制动控制单元可以机械地应用车辆的制动器。
41.通常位于远离车载系统220的训练系统210(例如，在远离自主车辆的数据中心中)为一个或多个机器学习模型274生成训练的参数值235。
42.训练系统210包括训练数据存储装置280，其存储用于训练每个机器学习模型274的训练数据。训练数据存储装置280从在现实世界中操作的车辆接收原始训练示例。例如，训练数据存储装置280可以从车辆202和与训练系统210通信的一个或多个其他因素接收原始训练示例275。每个原始训练示例275可以由训练系统210处理以生成用于训练一个或多个机器学习模型274的新训练示例。在一些实施方式中，训练示例可以反映已被识别为有礼貌的驾驶员或已被指导礼貌驾驶的驾驶员的驾驶行为。
43.原始训练示例275可以包括用于至少一个机器学习模型274的模型输入。原始训练示例275还可以包括表征可以包括车辆是否向给定因素让行的车辆行驶行为的传出数据。原始训练示例275还可以包括表征可以包括因素是否穿过道路的给定因素意图的传出数据。该传出数据可以用于为一个或多个机器学习模型274生成训练示例。
44.训练数据存储装置280为同样容纳在训练系统210中的训练引擎285提供训练示例282。训练引擎285使用训练示例282来更新机器学习模型274的模型参数，并为模型参数存储装置230提供更新的模型参数298。一旦机器学习模型274的参数值已经被完全训练，训练系统210就可以例如通过有线或无线连接向车载系统220发送训练的参数值235。
45.训练系统210典型地托管在可以是在一个或多个位置具有数百或数千个计算机的分布式计算系统的数据中心224内。
46.图3是用于为因素附近的自主车辆确定让行行为的示例过程的流程图。为方便起见，过程300将被描述为由位于一个或多个位置的一个或多个计算机的系统执行。例如，根据本说明书适当地编程的车载系统(例如图2的车载系统220)可以执行过程300。
47.在操作305，系统检测在当前时间点自主车辆附近的因素，并进一步确定因素是否是易受伤害的类型。易受伤害的因素类型的示例可以包括行人和骑自行车者。系统可以使用应用于由自主车辆获得的传感器数据的传统因素检测技术来检测因素以及该因素是否属于易受伤害的类型。
48.在确定因素处于自主车辆附近时，系统可以在操作310中获得表征因素意图在当前时间点之后的未来时间段期间穿过第一穿过区域处的道路或者在第一穿过区域处的道路内移动的预测的可能性的意图预测。如上所述，穿过意图预测是因素是否意图在存在穿过的机会的情况下穿过道路的预测，并且即使因素的名义穿越预测指示因素将不在未来时间段期间穿过，穿过意图预测也可以指示因素确实意图穿过。例如，可以使用被配置为产生意图预测的传统机器学习模型来做出预测。在一些实施方式中，模型生成的意图预测是表示因素具有穿过意图的可能性的单个分数。在一些实施方式中，模型生成的意图预测可以是一个或多个预测的穿过轨迹，每个预测的穿过轨迹具有表示如果存在机会，则因素意图遵循穿过轨迹的可能性的确定的可能性。预测的穿过轨迹还可以包括横向和纵向不确定性的指示。
49.系统然后可以执行确定是否推荐意图让行(即，响应于预测因素想要穿过道路而让行)的意图确定子过程350。
50.在意图确定子过程350的操作353中，系统可以评价启发式意图标准。启发式意图标准可以包括各种标准，例如，在给定车辆的当前状态、因素的状态和周围道路的状态的情
况下，确定因素是否很可能按预期感知让行，或者确定自主车辆是否可以安全地让行。
51.一个类别的标准可以与因素的特征相关。例如，标准可以指定只有在穿过意图预测确定的可能性高于上下文确定的阈值时，自主车辆才可以让行。在一些实施方式中，阈值可以启发式地确定或根据其他测量和确定的因子(factor)确定。例如，意图让行的阈值可以是意图让行的风险的函数。在一个这样的示例中，如果意图让行的风险被确定为低(例如，如果另一个车辆从后面与自主车辆碰撞的风险低)，则可以将意图让行的阈值设置为低值。在一些实施方式中，阈值可以由被配置为接受场景的特征并产生阈值的机器学习模型来确定。另一个示例标准可以指定仅在因素处于道路的配置距离内时，自主车辆才可以意图让行。
52.另一个类别的标准可以与道路的特征相关。例如，标准可以指定仅在当车辆不正在行驶在一个或多个不可接受类型的道路(例如，高速公路)上时，自主车辆才可以意图让行。类似的标准可以指定仅在车辆正在行驶在一个或多个可接受类型的道路(例如，小路)上时，自主车辆才可以让行。
53.又一个类别的标准可以与自主车辆的特征相关。例如，标准可以规定仅在车辆的速度低于阈值时，自主车辆才可以意图让行。与车辆相关的标准还可以包括与路权相关的标准。例如，标准可以规定仅在附近有管理(govern)因素意图穿过的道路上的交通流量的交通灯、并且该附近交通灯的状态处于可接受状态集中的一个状态(例如，不为车辆指派路权的状态，诸如连续红灯或闪烁红灯)时，自主车辆才可以让行。
54.一个或多个类别的标准还可以解决自主车辆在之前的时间段已经让行并且应该停止让行的情形。仅在自主车辆当前正在当前时间点让行时(即，先前已确定开始让行并且在当前时间点仍在让行)，才评价这样的标准。
55.一个类别可以包括与因素相关的标准。例如，标准可以指定仅在因素在自主车辆已经让行之后的配置的时段内开始穿过的情况下，车辆才可以继续让行。在另一个示例中，标准可以指定，仅在因素对穿过的预测期望(如由意图预测(在操作310中产生)所指示的)继续满足阈值时，车辆才可以继续让行。
56.另一个分类可以包括与环境的特征相关的标准。例如，如果交通灯的状态改变，则自主汽车可以停止意图让行。(名义让行，例如，如果因素开始穿过道路，则可以继续)。在另一个示例中，如果交通境况改变，并且让行将开始阻碍交通流量，则可以停止意图让行。
57.在一些实施方式中，仅当满足评价的所有单独标准时才可以满足启发式意图标准。例如，在因素处于沿着不包含交通信号的小路缓慢行驶的自主车辆的附近，并且穿过意图预测根据上面列出的示例标准((i)可能性高于阈值；(ii)自主车辆在小路而不是高速公路上行驶；(iii)没有授予路权的交通灯；(iv)速度低于阈值)暗示因素将穿过小路的高可能性的情况。由于在该示例中满足每个单独的标准，因此满足启发式标准。相反，如果自主车辆快速行驶，则将不满足标准(iv)，因此即使满足所有其他标准，也将不满足启发式标准。
58.基于评价所有启发式评价标准的结果，在操作355，系统确定如何进行。如果满足所有启发式意图标准，则系统进行到操作360。如果不满足至少一个启发式意图标准，则系统进行到操作370并产生意图不让行信号，即，车辆基于因素意图应该不让行的指示。
59.在操作360中，系统可以评价被配置为产生与意图让行推荐相关联的分数的机器
学习模型。模型可以是分类模型，诸如决策树、广义线性模型、神经网络，例如多层感知器(mlp)等。模型可以接收因素的特征(例如，与道路的距离、速度、走向、年龄、位姿(pose)和姿势(posture)、移动性和意图预测)、自主车辆的特征(例如，速度、走向和路权(诸如绿灯))和道路特征(例如，交通灯的状态、速度限制、道路类型、减速带的存在等)作为输入。在一些实施方式中，模型可以接收表征因素在当前时间点之后的未来时间段期间意图穿过第一穿过区域处的道路的预测的可能性的意图预测(在操作310中获得)。
60.模型可以使用从人类驾驶员(例如，已被训练为有礼貌的驾驶员或已被分类为有礼貌的驾驶员)操作的车辆的驾驶日志中获得的训练数据来训练，其中，每个训练示例都基于操作员的行为而被打上“让行”或“不让行”的标签。
61.意图让行子过程可以通过使用机器学习模型处理输入(包括上面列出的特征)来评价机器学习模型，生成指示是否应当产生意图让行信号的分数。
62.在操作365中，如果确定分数不满足配置的阈值，则系统可以在操作370中产生不让行信号，即，车辆不应该让行的指示。如果确定分数满足配置的阈值，则系统可以在操作375中产生让行信号，即，车辆应该让行的指示。让行信号和不让行信号分别反映了对自主车辆应该或不应该让行的确定。
63.尽管图示和描述描绘了在机器学习模型评价360之前执行的启发式标准评价(操作353)，但是可以以任何次序执行评价，包括同时评价标准353和机器学习模型360。在所有情况下，只有在机器学习模型评价和启发式标准评价二者都产生让行信号时，才产生意图让行信号。
64.此外，系统可以省略对启发式标准353的评价并且仅使用来自评价机器学习模型360的分数来产生意图让行信号，反之亦然。
65.响应于检测了因素，系统还可以执行可以是用于确定名义让行信号(即，指示名义让行是候选让行行为的信号)的常规技术的名义穿过预测子过程320。
66.在操作323中，名义预测模型可以使用例如被配置为产生行为预测的机器学习模型来确定因素是否将在当前时间点之后穿过道路。如果预测因素要穿过道路，则附近的自主车辆将典型地执行让行行为。因此，在操作325中，如果名义预测模型确定要求名义让行，则产生335名义让行信号；如果名义预测模型确定325不要求名义让行，则产生330名义不让行信号。
67.系统可以从名义和意图让行信号确定395自主车辆的候选让行行为。例如，如果名义信号指定应发生让行，则候选让行行为可以是让行，因为让行是安全操作偏好的境况。如果名义信号未指定应该发生让行，则系统可以使用意图让行信号来产生候选让行行为。
68.然而，自主车辆并不总是需要遵循候选让行行为。例如，如果候选让行行为被确定为不安全或与其他要求相冲突，则在某些情况下，将不遵循让行信号。例如，如果遵循让行行为可能导致来自快速接近自主车辆的车辆的后挡板碰撞，或者导致不能清空诸如“无阻挡”区或铁路交叉口的限制区域，则可以覆盖(override)候选让行行为。
69.虽然本说明书总体描述了因素穿过道路或在道路内移动的意图，但本文描述的技术也可以用于其他情况。例如，开出私家车道(driveway)的小汽车附近的自主车辆可以使用本文描述的技术来确定意图预测和名义预测，其中意图预测指示小汽车的预测意图是否是要开进道路，并且名义预测指示是否预测小汽车要开进道路。如上所述，假设这样的让行
不导致不安全的情形，则为了模仿有礼貌的驾驶员的行为，自主车辆可以基于意图预测而让行。
70.本说明书与系统和计算机程序组件结合地使用术语“被配置”。对于一个或多个计算机的系统被配置为执行特定操作或动作的意思是系统在其上安装有软件、固件、硬件或它们的组合，在操作时，软件、固件、硬件或它们的组合使系统执行操作或动作。对于一个或多个计算机程序被配置为执行特定操作或动作的意思是一个或多个程序包括指令，当指令在由数据处理装置执行时使装置执行操作或动作。
71.本说明书中描述的主题的实施例和功能操作可以在数字电子电路中、在有形地实现的计算机软件或固件中、在计算机硬件(包括本说明书中公开的结构以及其结构等效物)中或在它们中的一个或多个的组合中实现。本说明书中描述的主题的实施例可以被实现为一个或多个计算机程序，即编码在有形非暂态存储介质上以供数据处理装置执行或控制数据处理装置的操作的计算机程序指令的一个或多个模块。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备或它们中的一个或多个的组合。可替代地或附加地，程序指令可以编码在人工生成的传播的信号(例如，机器生成的电、光或电磁信号)上，该信号被生成为编码信息以传送到合适的接收器装置以供数据处理装置执行。
72.术语“数据处理装置”指数据处理硬件并且涵盖用于处理数据的所有种类的装置、设备和机器，作为示例包括可编程处理器、计算机或多个处理器或计算机。该装置还可以是或者还包括专用逻辑电路，例如fpga(现场可编程门阵列)或asic(专用集成电路)。除了硬件之外，该装置可以可选地包括为计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统或它们中的一个或多个的组合的代码。
73.计算机程序(其也可以被称为或被描述为程序、软件、软件应用、app、模块、软件模块、脚本或代码)可以以任何形式的编程语言编写，包括编译或解释性语言、或声明性或过程语言，并且其可以以任何形式部署，包括作为独立程序或作为模块、组件、子例程或其他适于在计算环境中使用的单元。程序可以但不必与文件系统中的文件对应。程序可以存储在保持其他程序或数据的文件的一部分(例如，存储在标记语言文档中的一个或多个脚本)中、在专用于所讨论的程序的单个文件中或在多个协作的文件(例如，存储一个或多个模块、子程序或代码的一些部分的文件)中。计算机程序可以部署为在一个或多个计算机上执行，所述一个或多个计算机位于一个站点处或跨多个站点分布并通过数据通信网络互连。
74.在本说明书中，术语“引擎”被用于广义地指基于软件的系统、子系统或被编程为执行一个或多个特定功能的过程。通常，引擎将被实现为安装在一个或多个位置的一个或多个计算机上的一个或多个软件模块或组件。在一些情况下，一个或多个计算机将专用于特定引擎；在其他情况下，多个引擎可以安装并运行在相同的计算机或多个计算机上。
75.本说明书中描述的过程和逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行，来通过对输入数据操作并生成输出来执行功能。所述过程和逻辑流程也可以由专用逻辑电路(例如fpga或asic)执行，或者由专用逻辑电路和一个或多个经编程计算机的组合来执行。
76.适合于执行计算机程序的计算机可以基于通用或专用微处理器或二者，或者任何其他种类的中央处理单元。通常，中央处理单元将从只读存储器或随机存取存储器或二者
接收指令和数据。计算机的基本元件是用于执行或运行指令的中央处理单元和用于存储指令和数据的一个或多个存储器设备。中央处理单元和存储器可以由专用逻辑电路来补充或可以结合到其中。总体上，计算机也将包括用于存储数据的一个或多个大容量存储设备(例如，磁盘、磁光盘或光盘)或可操作地耦合一个或多个大容量存储设备以从一个或多个大容量存储设备接收数据或将数据转移给一个或多个大容量存储设备或者接收和传送二者。然而，计算机不必具有这样的设备。另外，计算机可以嵌入到另一设备(例如，仅举几例，移动电话、个人数字助理(pda)、移动音频或视频播放器、游戏控制台、全球定位系统(gps)接收器或便携式存储设备(例如通用串行总线(usb)快闪驱动器))中。
77.适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，举例来说，包括半导体存储器设备，例如eprom、eeprom和闪存存储器设备；磁盘，例如内部硬盘或可移动盘；磁光盘；以及cd-rom和dvd-rom盘。
78.为了提供与用户的交互，本说明书中描述的主题的实施例可以实现在具有用于向用户显示信息的显示设备和键盘及指向设备的计算机上，显示设备例如为crt(阴极射线管)或lcd(液晶显示器)监视器，用户可以通过键盘和指向设备(例如为鼠标或轨迹球)向计算机提供输入。也可以使用其他种类的设备来提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感觉反馈，例如视觉反馈、听觉反馈或触觉反馈；并且可以以任何形式接收来自用户的输入，包括声学、语音或触觉输入。此外，计算机可以通过向由用户使用的设备发送文档和接收来自该设备的文档来与用户交互；例如，通过响应于从网络浏览器接收的请求而将网页发送到用户的设备上的网络浏览器。另外，计算机可以通过将文本消息或其他形式的消息发送给个人设备(例如，运行消息传递应用的智能电话)并且作为回应从用户接收响应消息来与用户交互。
79.用于实现机器学习模型的数据处理装置还可以包括例如用于处理机器学习训练或生产的普通和计算密集部分(即，推断、工作负荷)的专用硬件加速器单元。
80.机器学习模型可以使用机器学习框架(例如，tensorflow框架、微软认知工具包框架、apache singa框架或apache mxnet框架)来实现和部署。
81.本说明书中描述的主题的实施例可以在计算系统中实现，该计算系统包括后端组件(例如作为数据服务器)或包括中间件组件(例如应用服务器)或包括前端组件(例如具有图形用户界面、网络浏览器或app的客户端计算机，用户可通过其与本说明书中描述的主题的实施方式进行交互)，或者一个或多个这样的后端、中间件或前端组件的任意组合。可以通过任意形式或媒介的数字数据通信(例如通信网络)将系统的组件互连。通信网络的示例包括局域网(lan)和广域网(wan)，例如互联网。
82.计算系统可以包括客户端和服务器。客户端和服务器一般彼此远离，并且典型地通过通信网络交互。通过运行在相应计算机上并且彼此具有客户端-服务器关系的计算机程序来形成客户端和服务器的关系。在一些实施例中，服务器向用作客户端的用户设备传送数据(例如，html页面)(例如，用于向与设备交互的用户显示数据和从与设备交互的用户接收用户输入的目的)。在用户设备处生成的数据(例如，用户交互的结果)可以在服务器处从该设备接收。
83.尽管本说明书包含许多具体的实施方式细节，但是这些细节不应当被解释为对任何发明的范围或对可能请求保护的范围进行限制，而应该被解释为可能特定于特定发明的
特定实施例的特征的描述。在本说明书中在分开的实施例的情境中描述的某些特征也可以以组合方式实现在单个实施例中。相反，在单个实施例的上下文中描述的各种特征也可以在多个实施例中分开实现或以任何合适的子组合实现。此外，尽管特征可以如上被描述为以某些组合起作用并且甚至最初也这样地请求保护，但在一些情况下，来自所请求保护的组合的一个或多个特征可以从组合中删除，并且所请求保护的组合可以指向子组合或子组合的变体。
84.类似地，尽管在附图中以特定次序描绘了操作并且在权利要求中以特定次序记载了操作，但是这不应当被理解为要求以示出的特定次序或以顺序的次序来执行这样的操作或者要求执行所有示出的操作来实现期望的结果。在某些境况下，多任务和并行处理可能是有利的。另外，上述实施例中各种系统模块和组件的分离不应当被理解为在所有实施例中要求这样的分离，而是应当理解，所描述的程序组件和系统可以一般地在单个软件产品中被集成在一起或者被封装成多个软件产品。
85.已经描述了主题的特定实施例。其他实施例在所附权利要求的范围内。例如，记载在权利要求中的动作可以以不同的次序执行而仍然实现期望的结果。作为示例，附图中描绘的过程不一定要求以所示出的特定次序或者顺序的次序来实现期望的结果。在一些情况下，多任务和并行处理可能是有利的。