通过自主运载工具针对未知对象的规划的制作方法

通过自主运载工具针对未知对象的规划
关联申请的交叉引用
1.本技术要求于2017年3月7日提交的美国申请序列第15/451,703号、于2017年3月7日提交的美国申请序列第15/451,734号和于2017年3月7日提交的美国申请序列第15/451,747号的权益，上述申请中的每一个的公开均通过引用以其全文并入本文。


背景技术：

2.在做出驾驶决策时，典型的自主运载工具(av)系统考虑av系统知道其在av的环境中的对象——诸如其他运载工具以及障碍物，这是因为av上的传感器系统观察到这些对象或因为这些对象由地图或其他数据源标识。为了做出驾驶决策，av系统可维护包括已知在av的环境中的对象的世界模型。av基于可用的数据无法感知并且未以其他方式知道其存在的运载工具以及障碍物也对良好的驾驶决策提出了挑战。


技术实现要素：

3.本文描述的技术使得av系统能够规划与该av的环境中可能存在但是并未被意识到的对象相关联的风险。av系统随后可做出考虑了在其环境中的未知的可能的对象驾驶决策——包括鉴于潜在的不安全场景的相对安全的驾驶决策。为此，在这些技术的一些实现中，av系统确定世界模型中感知到的世界与未感知到的世界之间的边界。av系统随后基于各种因素以及方式，假设未感知到的世界中的可能的未知对象(我们有时将其称为“暗对象”)的存在或属性。这些假设对象以及它们的属性随后被添加至世界模型以用于做出不仅适应感知到的世界中的已知对象还适应未感知到的世界中的未知对象(或所谓的“暗对象”)的驾驶决策。
4.一般而言，在一方面，维护了运载工具的环境的世界模型。世界模型的维护访问包括道路网络信息数据库，或使用来自一个或多个传感器的数据，或其二者。世界模型包括环境中无法由运载工具的传感器感知到的假设对象。假设对象包括移动的对象、或使用该运载工具被从中排除的行驶路径的对象、或其二者。假设对象可包括下述中的至少一个：第二运载工具、自行车、公共汽车、火车、行人以及动物。将假设对象包括在世界模型中的实现包括基于在环境中先前观察到的对象概率性地选择假设对象的类型以及所述对象的属性。该属性包括大小或速度或其二者。环境中的世界模型包括由运载工具的传感器感知到的或以其他方式已知的一个或多个已知对象。由世界模型维护的假设对象以及已知对象在环境的不同部分中。环境的不同部分包括感知到的世界以及未感知到的世界。感知到的世界与未感知到的世界由边界分离。
5.实现可包括边界的检测。边界的检测使用来自一个或多个传感器的数据以区分可观察的地面与阻挡该地面的一部分的前景。一个或多个传感器包括运载工具的传感器或运载工具外的传感器或其二者。
6.基于道路网络数据库以及一个或多个传感器确定自我(ego)运载工具的位置。也从道路网络数据库中查询了交通车道信息。从任何数据库或从任何传感器获取的存储的数
据可被用于推断假设对象的可能位置。假设对象的位置的确定是基于从数据库查询交通车道信息并且将交通车道离散化为离散点。实现可生成无法由运载工具的传感器感知到的车道的离散点的未知骨架。通过对离散点进行下述迭代来生成世界模型中的假设对象：在未知骨架的离散点处生成代表性形状，并且评估该代表性形状是否完全在未感知到的世界内。如果该代表性形状完全在未感知到的世界内，则将该代表性形状被视为假设对象。
7.实现可应用时间滤波以确定假设对象的位置。该滤波包括通过向前传播的未知骨架来平滑未知骨架，其中该向前传播的未知骨架是通过沿着交通车道向前移动旧的未知骨架生成的。
8.世界模型中的假设对象与一个或多个属性相关联。属性中的一个或多个与假设对象的可能的运动状态相关。运动状态可以是静止状况、或移动状况、或速度、或移动方向、或它们中两个或更多个的组合。速度被设置为小于或等于预先确定的最大值。预先确定的最大值包括速度限制。在一些情况下，预先确定的最大值包括从在环境中同时观察到或先前观察到的其他对象得到的量。预先确定的最大值可以是从历史数据、道路配置、交通规则、事件、时间、天气条件、以及它们中的两个或更多个的组合得出的量。
9.一个或多个传感器可包括下述中的一个或多个：雷达传感器、激光雷达传感器以及相机传感器。相机传感器包括立体相机传感器或单目相机传感器或其二者。
10.实现基于世界模型更新运载工具的轨迹并且执行运载工具的轨迹。运载工具包括自主运载工具。
11.一般而言，在一个方面，从传感器处接收表示运载工具的环境的可观察部分的数据。生成了表示环境的非可观察部分的数据，包括表示该环境的非可观察部分中的至少一个假设对象的数据。生成了用于运载工具在环境内的操作的命令。该命令取决于表示环境的可观察部分的数据以及表示环境的非可观察部分中的假设对象的数据。假设对象可包括移动对象。在一些情况下，假设对象包括使用行驶路径的对象，运载工具被从该路径中排除。假设对象可以是下述中的至少一个：运载工具、自行车、公共汽车、火车、行人以及动物。
12.生成表示所述环境的非可观察部分的数据的实现包括基于在环境中先前观察到的对象概率性地选择假设对象的类型以及假设对象的属性。在一些示例中，假设对象包括运载工具，并且属性包括大小以及速度。
13.可观察部分与非可观察部分由边界分开。技术包括边界的检测。检测边界包括使用来自传感器的数据以区分可观察的地面与阻挡该地面的一部分的前景。生成表示环境的非可观察部分的数据包括下述数据处理步骤中的一个或多个：(1)使用存储的数据以推断假设对象的可能位置；(2)从道路网络数据库查询交通车道信息；(3)基于道路网络数据库以及一个或多个传感器确定运载工具的位置；(4)从数据库查询交通车道信息并且将该交通车道离散化为离散点；(5)生成无法由传感器感知到的车道的离散点的未知骨架；(6)在该未知骨架的离散点处生成代表性形状；以及(7)评估该代表性形状是否完全在非可观察部分内。代表性形状可被视为假设对象。
14.实现可应用时间滤波以确定假设对象的位置。该滤波包括通过向前传播的未知骨架来平滑未知骨架，其中该向前传播的未知骨架是通过沿着交通车道向前移动旧的未知骨架生成的。
15.假设对象被分配一个或多个属性。属性中的一个或多个与假设对象的可能的运动
状态相关。运动状态包括下述因素中的一个或多个：静止状况、移动状况、速度以及移动方向。速度被设置为小于或等于预先确定的最大值。预先确定的最大值可被设置为速度限制。在一些情况下，预先确定的最大值是从在环境中同时观察到或先前观察到的其他对象得到的量。预先确定的最大值可以从历史数据、道路配置、交通规则、事件、时间、天气条件、以及它们中的两个或更多个的组合中得出。
16.实现包括：访问具有道路网络信息的数据库；或使用来自第二组传感器的数据；或其二者。传感器或第二组传感器包括下述中的一个或多个：雷达传感器、激光雷达传感器以及相机传感器。相机传感器可以是立体相机传感器、单目相机传感器或其二者。
17.生成用于操作运载工具的命令包括：更新运载工具的轨迹；或执行运载工具的轨迹；或其二者。运载工具包括自主运载工具。
18.一般而言，在一个方面，技术生成命令以使得自主运载工具以特定的速度在道路网络上驾驶并且做出特定的转弯以到达目标位置。响应于表示也在道路网络上行驶的假设运载工具的假设速度以及移动方向，更新该命令。该命令被更新以减少该自主运载工具与另一运载工具在该道路网络上碰撞的风险。基于在环境中先前观察到的运载工具概率性地得出假设速度以及移动方向。
19.可观察部分与非可观察部分由边界分开。实现包括边界的检测。边界的检测使用来自一个或多个传感器的数据以区分可观察的地面与阻挡该地面的一部分的前景。一个或多个传感器包括自主运载工具上的传感器或自主运载工具外的传感器或其二者。
20.可基于由一个或多个传感器感知到的已知对象生成表示假设运载工具的假设速度以及移动方向的当前数据。在一些情况下，数据生成包括下述操作中的一个或多个：从道路网络数据库查询车道交通信息；使用存储的数据以推断假设运载工具的可能位置；以及基于道路网络数据库以及一个或多个传感器确定自主运载工具的位置。推断假设运载工具的可能位置包括：从数据库查询交通车道信息并且将该交通车道离散化为离散点；生成无法由传感器感知到的车道的离散点的未知骨架；在该未知骨架的离散点处生成代表性形状；并且评估该代表性形状是否完全在未感知到的世界内。在未感知到的世界内的代表性形状被视为假设运载工具。
21.技术可应用时间滤波以确定假设运载工具的位置。该滤波过程通过向前传播的未知骨架来平滑未知骨架，其中该向前传播的未知骨架是通过沿着交通车道向前移动旧的未知骨架生成的。
22.假设运载工具被分配一个或多个属性。属性中的一个或多个与假设运载工具的可能的运动状态相关。该运动状态包括静止状况。假设速度被设置为小于或等于预先确定的最大值。该预先确定的最大值可以是速度限制或者是计算得出的量。该量可以从在环境中同时观察的或先前观察到的其他对象得出。该量可以从历史数据、道路配置、交通规则、事件、时间、天气条件、以及它们中的两个或更多个的组合中得出。
23.实现访问具有道路网络信息的数据库。使用了来自一个或多个传感器的数据。该一个或多个传感器包括雷达传感器、或激光雷达传感器、或相机传感器、或它们中的两个或更多个的组合。相机传感器包括立体相机传感器、或单目相机传感器或其二者。
24.一般而言，在一方面中，技术包括装置，该装置包括自主运载工具。自主运载工具包括可控制设备，该可控制设备被配置成用于使得自主运载工具在道路网络上移动；控制
器，该控制器用于向该可控制设备提供命令；以及计算元件，该计算元件用于响应于表示也在该道路网络上驾驶的假设运载工具的假设速度以及移动方向的当前数据，更新该命令。基于在环境中先前观察到的运载工具概率性地得出假设速度以及移动方向。
25.可观察部分与非可观察部分由边界分开。计算元件检测该边界。该边界的检测包括使用来自一个或多个传感器的数据以区分可观察的地面与阻挡该地面的一部分的前景。该一个或多个传感器包括自主运载工具上的传感器、自主运载工具外的传感器或其二者。
26.表示假设运载工具的假设速度以及移动方向的当前数据的生成可基于由一个或多个传感器感知到的已知对象。在一些情况下，数据生成包括下述操作中的一个或多个：从道路网络数据库查询车道交通信息；使用存储的数据以推断假设运载工具可能位置；以及基于道路网络数据库以及一个或多个传感器确定自主运载工具的位置。推断假设运载工具的可能位置包括：从数据库查询交通车道信息并且将该交通车道离散化为离散点；生成无法由传感器感知到的车道的离散点的未知骨架；在该未知骨架的离散点处生成代表性形状；并且评估该代表性形状是否完全在未感知到的世界内。在未感知到的世界内的代表性形状被视为假设运载工具。
27.技术可应用时间滤波以确定假设运载工具的位置。该滤波过程通过向前传播的未知骨架以平滑未知骨架，其中该向前传播的未知骨架是通过沿着交通车道向前移动旧的未知骨架生成的。
28.假设运载工具被分配一个或多个属性。属性中的一个或多个与假设运载工具的可能的运动状态相关。该运动状态包括静止状况。假设速度被设置为小于或等于预先确定的最大值。该预先确定的最大值可以是速度限制或者是计算得出的量。该量可以从在环境中同时观察的或先前观察到的其他对象得出。该量可以从历史数据、道路配置、交通规则、事件、时间、天气条件、以及它们中的两个或更多个的组合中得出。
29.计算元件访问具有道路网络信息的数据库。使用了来自一个或多个传感器的数据。该一个或多个传感器包括雷达传感器、或激光雷达传感器、或相机传感器、或它们中的两个或更多个的组合。相机传感器包括立体相机传感器或单目相机传感器或其二者。
30.这些和其他的方面、特征和实现可以表达为方法、装置、系统、部件、程序产品、经营商业的方法、用于执行功能的装置或步骤、以及在其他方式中。
31.根据包括权利要求的以下描述，这些和其他方面、特征和实现方式将变得显而易见。
附图说明
32.图1示出了av系统的示例。
33.图2到图6示出了道路情景的示例。
34.图7到图9示出了过程的示例。
35.图10示出了扫描过程的示例。
36.图11到图15示出了边界确定的示例。
37.图16示出了暗运载工具生成的示例。
38.图17示出了时间滤波的示例。
39.图18示出了设置预期未来轨迹的示例。
具体实施方式
40.在本文中使用短语“av的环境”以广泛地包括例如：av定位在其中或在其中驾驶的区域、地理、场所(locale)、周围地区(vicinity)或道路配置，包括道路网络以及特征、建造的环境、当前状况以及环境中的对象。本文有时将术语“世界”与“环境”互换地使用。
41.本文使用术语“轨迹”以广泛地包括从一个地方到另一个地方的任何路径或路线，例如，从接载位置到下车位置的路径。
42.在本文中使用术语“交通车道”以广泛地包括用于移动对象行驶的任何类型的车道(例如，未铺砌的表面、人行道、十字路口、行人通道、道路、街道、公路、高速公路、卡车道、运载工具道、自行车道、公共汽车道、电车道、铁道、加速车道、合并车道、减速车道、转弯车道、超车道、爬坡区域、慢行车道、操作车道、辅助车道、坡道、路肩、紧急车道、故障车道、中转车道、快速车道、汇集车道、专用车道、拼车车道、收费车道、停车车道、消防车道以及慢车道)。
43.在本文中使用术语“对象”以广泛地包括运载工具(例如，汽车、火车、卡车、公共汽车、自行车、摩托车、火车、电车、水运工具、飞机以及航天器)、人、动物、标志、杆、路缘、交通锥、障碍、移动标志、树木、灌木、绿地、公园、铁路、工地、石头、巨石、坟墓、河流、湖泊、池塘、洪水、原木、草地、雪堆、沙漠、沙子、建筑物以及障碍物。
44.在本文中使用术语“世界模型”以广泛地包括av的环境的表示。
45.在本文中广泛地使用术语“区域”以包括例如av的环境中的物理地区，而无关乎对象是否存在。
46.在本文中使用术语“感知到的世界”以广泛地指代在环境中感知到的或观察到的或已知的区域或对象、或区域或对象的属性或区域或对象或属性的组合。
47.在本文中使用术语“未感知到的世界”以广泛地指代环境中不可感知或非可观察或未知的区域或对象、或区域或对象的属性或区域或对象的组合或属性的组合。
48.在本文中使用术语“暗对象”以广泛地包括未感知到的世界中的未知对象。在世界模型中有关未感知到的世界的暗对象的信息可以被推断或模拟或想象或生成。本文有时将术语“未知对象”与“暗对象”互换地使用。
49.在本文中使用术语“目标”或“目标位置”以广泛地包括例如av要到达的任何地方，包括例如临时下车位置、最终下车位置、以及目的地等。
50.尽管本文基于av描述技术，但该技术同样适用于半自主运载工具，诸如所谓的2级以及3级运载工具(参见sae国际标准j3016：与道路机动车辆自动驾驶系统相关的术语的分类和定义，其以其全文通过引用并入本文，以提供更多有关运载工具中自主性的级别的分类的细节)，其尝试控制运载工具的转向或速度。基于传感器输入的分析，在某些驾驶条件下，2级或3级系统可将某些运载工具操作自动化，诸如转向以及制动。市面上的2级系统以及3级系统通常仅考虑感知到的世界，例如，考虑在决策制定过程期间由运载工具传感器直接感知到的障碍物。本文中描述的技术可使半自主运载工具受益。进一步地，本文中描述的技术也可协助人类操作的运载工具的驾驶决策。av
51.如图1中所示，av 10的典型活动是安全且可靠地自主地驾驶通过环境12至目标位置14，同时避开运载工具、行人、骑自行车者和其他障碍物16并遵守道路的规则。av执行该
活动的能力通常被称为自主驾驶能力。
52.av的自主驾驶能力通常由技术18以及20的阵列(例如，硬件、软件以及存储的以及实时的数据)来支持，在本文将该阵列统称为av系统22。在一些实现中，技术中的一个或一些或全部位于av上。在一些情况下，技术中的一个或一些或全部在另一位置处，诸如在服务器处(例如，在云计算基础设施中)。av系统的组件可包括以下中的一个或多个或全部(以及其他)。1.存储器32，该存储器32用于存储机器指令以及各种类型的数据。2.一个或多个传感器24，该一个或多个传感器24用于测量或推断或者测量并且推断av的状态和状况，诸如，运载工具的位置、线速度和角速度和加速度、以及前进方向(heading)(即av的前端的取向)。例如，此类传感器可包括，但不限于：gps；惯性测量单元，该惯性测量单元测量运载工具线性加速度和角速率；单独的车轮速度传感器，用于测量或估算单个车轮滑移率；单独的车轮制动压力或制动扭矩传感器；发动机扭矩或单独的车轮扭矩传感器；以及方向盘角度和角速率传感器。3.一个或多个传感器26，该一个或多个传感器26用于测量av的环境的属性。例如，此类传感器可包括，但不限于：激光雷达；雷达；可见光、红外和/或热光谱中的单目或立体摄像机；超声传感器；飞行时间(tof)深度传感器；以及温度和雨水传感器。4.一个或多个设备28，该一个或多个设备28用于通信其他运载工具的状态和条件的所测量或所推断或所测量以及所推断的属性，诸如位置、线性速度和角速度、线性加速度和角加速度、以及线性前进方向和角前进方向。这些设备包括运载工具到运载工具(v2v)和运载工具到基础设施(v2i)通信设备以及用于通过点对点或自组织网络或通过该两者进行无线通信的设备。设备可以跨电磁频谱(包括无线电和光通信)或其他介质(例如，声学通信)进行操作。5.一个或多个数据源30，该一个或多个数据源30用于提供关于环境12的历史或实时或预测的信息、或它们中的任何两个或更多个的组合，包括例如交通拥堵更新以及天气条件。此类数据可以被存储在运载工具上的存储器存储单元32上，或者经由无线通信从远程数据库34传送至运载工具。6.一个或多个数据源36，该一个或多个数据源用于提供从gis数据库中提取的数字道路地图数据，可能包括下述中的一个或多个：道路几何属性的高精度地图；描述道路网络连接属性的地图；描述道路物理属性的地图(诸如，机动车道和非机动车道的数量、车道宽度、车道交通方向、车道标记类型和位置)；以及描述道路特征(诸如，人行横道、各种类型的交通标志(例如，停止，让行)、以及各种类型的交通信号(例如，红黄绿指示器、闪烁的黄色或红色指示器、右转或左转箭头)的空间位置的地图。此类数据可以被存储在av上的存储器存储单元32上，或者通过无线通信从远程定位的数据库传送至av，或其二者的组合。7.一个或多个数据源38，该一个或多个数据源38用于在一天的类似时间提供关于先前已沿本地路段行驶的运载工具的驾驶属性(例如，典型的速度和加速度概况)的历史信息。此类数据可以被存储在av上的存储器存储单元32上，或者通过无线通信从远程定位的数据库34传送至av，或其二者的组合。8.一个或多个计算机系统40，该一个或多个计算机系统40位于av上，用于执行算法以用于基于实时传感器数据和先前信息在线(即，在av上实时的)生成控制动作(例如，进
程42)，从而允许av执行其自主驾驶能力。9.一个或多个接口设备44(例如，显示器、鼠标、跟踪点、键盘、触摸屏、扬声器、生物统计读取器以及姿势读取器)，该一个或多个接口设备耦合至计算机系统40以用于向av的乘员提供各种类型的信息以及警报并且接收来自av的乘员的输入。该耦合可以是无线或者有线的。可以将接口设备中的任何两个或更多个集成到单个中。10.一个或多个无线通信设备46，该一个或多个无线通信设备46用于将数据从远程定位的数据库34传送至av，并且将运载工具传感器数据或与驾驶性能相关的数据传送至远程定位的数据库34。11.功能设备以及av特征48，该功能设备以及av特征48被装备成用于从计算机系统接收用于驱动(例如，转向、加速、减速、档位选择)和用于辅助功能(例如，转向指示器激活)的命令并按照该命令行动。12.推理算法101，该推理算法101用于分析有关感知到的世界以及未感知到的世界的信息。世界模型
53.在涉及av的操作的实现中，av被设计成在没有直接人类控制或监督输入的情况下穿过环境驾驶，同时避免与障碍物碰撞并且遵守道路规则(例如，操作规则或驾驶偏好)。为了完成此类自主驾驶，av(或者更具体地，与运载工具相关联(在一些情况下附接至运载工具)的计算机系统或数据处理设备)或av系统通常首先构建世界模型。
54.在一些实现中，世界模型包括av的环境的表示，例如，使用来自地理位置设备、或地图、或地理信息系统或其两个或更多个的组合以及来自观察任何区域或对象的传感器的数据构建的世界模型。为了构建世界模型，av系统收集来自各种传感器(例如，激光雷达、单目或立体相机以及雷达)的数据，该各种传感器安装至或附接至av、或放置在av内、或在av外。在一些情况下，数据是从一些不在av上或者不在av内的传感器处收集的，例如，从在附近或远程位置中的另一运载工具、建筑物、交通灯、街灯、人的移动电话或它们的组合收集。随后，av系统分析所收集的数据以提取有关环境中的区域和对象的信息(例如，位置以及运动属性)。av也可依靠由机载传感器、非机载传感器、运载工具到运载工具通信、运载工具到基础设施通信收集的信息或者以其他方式从其他数据源获取的信息。
55.给定世界模型，av系统采用算法过程以自动地生成并且执行穿过环境朝向目标的轨迹。目标通常由另一算法过程提供，该另一算法过程依靠人类输入或自动计算分析。
56.在各种应用中，世界模型包括感知到的世界以及未感知到的世界中的区域以及对象的表示。感知到的世界中的对象包括可由av上或av外的传感器观察的对象，以及av系统具有有关其的从其他数据源接收的信息的对象。
57.传感器(无关乎其类型或在av上或在av外)通常具有有限的感测范围；即，传感器仅能观察到某个程度的物理测量的区域或对象，该物理测量例如为距离、宽度、垂直范围、水平范围、取向、速度、电磁幅度以及频率、音频幅度以及频率、重量以及压力。超过传感器的有限感测范围的区域或对象或属性可以不是可观察的或可以不由av系统确定。此外，由于一些类型的传感器沿着直接视线收集感测数据，因此，由于其他对象在这些视线中间的存在，环境中可能存在从传感器的视野中被阻挡的区域或对象。
58.在一些实现中，av系统通常具有世界(感知到的世界以及未感知到的世界)的静态
属性的信息，诸如道路网络，其通常来自一个或多个数据源(例如，地图或地理信息系统，或其二者)以及感知到的世界中的对象的动态属性。相比之下，av系统缺少有关未感知到的世界的动态状态的信息(即，有关可移动或移动中或改变中的对象的信息，诸如，运载工具、行人、动物以及它们的属性，例如，位置、取向以及速度)，因此本文中的技术呈现了用于处理该缺少有关未感知到的世界的动态状态的信息的方法。
59.在一些情况下，缺少有关未感知到的世界的信息可能不影响av系统做出的决策。在其他情况中，缺少有关未感知到的世界的信息可能对于av系统的决策制定而言是至关重要的。下述示例性场景示出了情况。
60.在第一场景中，av系统可在笔直的道路上行驶，其中其传感器的感测范围在行驶的方向上没有被任何对象阻挡。然而，传感器有限的感测范围意味着传感器仅能感知av环境的有限的部分。传感器感测范围之外的区域是未感知到的世界的一部分。然而，av的传感器的感测范围可为av系统给予足够的av的环境的信息以做出决策，诸如以什么速度行驶以及何时制动以避免与对象碰撞。缺少有关未感知到的世界的信息可能不影响av系统的决策，因为未感知到的世界中的随着其移动而变为对av系统已知的先前未观察到的区域或对象可能距离av足够远，一旦观察到该区域或对象，为av系统提供了足够的时间以及距离以安全地反应。
61.图2示出了第一场景。本场景中描述的速度以及距离的值用于说明，并且该值可以改变。在该示例中，假定av 201具有传感器，该传感器具有200m的范围210，该av 201正以30m/s的速度行驶并且需要150m才能完全停止(即，停止距离211)。阴影区域205表示在给定传感器范围以及侧视场的情况下传感器可以观察到的世界的部分，并且如果没有其他传感器要考虑的话，则阴影区域表示av的感知到的世界。阴影区域的边界之外的区域是传感器201无法观察到的，并且因此是未感知到的世界。对象(诸如，运载工具202)可在传感器范围的最边缘处(例如，200米远)存在于未感知到的世界中。即便运载工具202已停止，但此类对象的存在将不会影响av系统的驾驶决策，因为一旦其观察到对象(随着对象从未感知到的世界移动至感知到的世界中)，则av可停止而不会存在与静止对象202碰撞的风险。
62.图3中示出了第二场景。本场景中描述的速度以及距离的值用于说明，并且这些值可以改变。该情况与图2相似，但是av系统的传感器310的感测范围更短，假设被限制为60m。阴影区域305表示感知到的世界的对应范围。在该情况下，被定位于感知到的世界与未感知到的世界的边界处的静止对象(例如运载工具302)可距离av 60m远，该距离小于av达到完全停止所需要的停止距离311(150m)。在这种情况下，av的当前速度、停止距离、以及传感器的感测范围相结合以使得av处于在撞上处于未感知到的世界中并且即将进入感知到的世界中的障碍物之前无法停止的风险。为了避免此类风险，av系统可决定在障碍物进入感知到的世界之前降低av的速度，由此缩短其停止距离以与传感器的感测范围对应并且由此能够在与定位于未感知到的世界的边界处或者在未感知到的世界的边界以外处的对象302碰撞之前停止。因此，该对象将存在于未感知到的世界中的可能性影响了av的驾驶决策。因此，本文中所描述的技术包括av系统中的考虑算法321以用于提供未感知到的对象的可能存在，即便这些对象由于位于av的传感器范围之外而是未知的。
63.第三场景是av系统的传感器的感测范围被另一移动中对象阻挡。参考图4，av 401可跟随紧接在av前方的另一运载工具402(称为“在前运载工具”)。在该情况中，在前运载工
具可部分地或完全地阻挡av的传感器中的一个或多个的感测范围，包括例如限制相对的交通车道中的交通的视野。第一阴影区域405表示av的感知到的世界。第二阴影区域406表示如下区域，该区域是未感知到的世界的一部分，但是如果av系统的传感器的感测范围以及侧视场没有被在前运载工具402限制的话本应是感知到的世界的一部分。在图4中，运载工具403在属于未感知到的世界的相对交通车道中行驶。然而，运载工具403的一部分存在于阴影区域406中，并且因此，如果av的传感器没有被在前运载工具402部分地阻挡，则运载工具403本应由av 401感知到。例如，考虑一种情况，其中av 401需要做出有关是否要通过暂时变道至相对的交通车道来超过在前运载工具的决策。在该情况中，有关未感知到的世界的信息，具体地是在相对交通车道中障碍物(诸如，运载工具403)的可能存在的信息对于做出有关超车机动的安全决策而言可以是关键的。因此，此类对象的存在可影响av 401的驾驶决策，因为av 401可能无法在不与障碍物碰撞的情况下安全地执行超车机动。因此，本文中描述的技术包括av系统中用于处理该场景的考虑算法421。换言之，av系统可不仅仅基于感知到的世界的实际信息做出决策，也可基于有关未感知到的世界的假设信息做出决策。
64.第四场景是av系统的传感器的感测范围被在其环境中的非移动中对象阻挡。例如，建筑物、广告牌或其他对象可能沿着道路定位在交叉口附近，其限制了av系统观察例如在相交道路上行驶的交叉交通的能力。参考图5，av 502正在接近交叉口，在该交叉口处冲突交通不受交通信号的控制，该av 502意图沿着轨迹505笔直地前进。然而，轨迹505的一部分可能与在另一车道中行驶的另一运载工具503的轨迹506冲突。通常，如果存在“停止”标志，则av 502可停止，检查并且为任何冲突交通让道，并且随后继续笔直前行。然而，道路附近的建筑物或其他对象(诸如，建造的环境501)的存在可能部分地阻挡av的传感器的感测范围以及侧视场，导致不包含可能的冲突运载工具(诸如503)的减少的感知到的世界(由阴影区域504表示)。在此类情况下，本文中描述的技术可使得av 502能够超驰(override)其在没有在感知到的世界观察到障碍物的情况下以常规速度继续笔直前行的常规实践，而是考虑如何处理缺少有关未感知到的世界中的潜在对象的信息。该技术可例如使得av能够采用缓慢地继续向前移动以增加其传感器可感测范围并且由此增加其感知到的世界的大小的策略。在该情况下，因此av502能够考虑其有关感知到的世界的信息何时是足够的以及未感知到的世界中的潜在风险何时是不重要的对于其安全地向前行进而言是重要的。
65.第五场景是道路的几何形状限制了例如有关感知到的世界的环境的传感器的感测范围的垂直方面。考虑在图6中示出的情况。av 601可能正在道路分段603上驾驶，在该道路分段603中该av 601正在靠近陡峭的山的山峰。在该情况中，刚好超出山峰(线605的右侧)的道路的分段可能位于未感知到的世界中，因为道路的该分段无法由av的传感器观察到。因此，在未感知到的道路分段上的对象(诸如，运载工具602)可成为av 601的障碍物，因为av 601可能无法在不与该障碍物碰撞的情况下停止。本文中描述的技术使得av系统能够考虑以较低速度行驶以便于具有足够的时间来对可能在未感知到的世界中存在的障碍物做出反应的需要。
66.一般而言，尽管av系统不具有未感知到的世界以及可能在未感知到的世界中存在的一个或多个对象的信息，但是av考虑在未感知到的世界中可能的未知对象是重要的。未知对象可影响av系统的决策制定过程以及将由av系统选择或采用并且执行的轨迹。
67.除此之外，本文描述了用于考虑可能被定位于未感知到的世界中的未知对象的技
术，其目的在于改进av系统的决策过程并且最终改进av操作的安全性、舒适性或其他方面。暗对象过程
68.本文中描述的技术的广泛概念是让世界模型系统地生成或推断未感知到的世界中的假设(即，未知)对象的存在。例如，以可能改变av的速度或轨迹或av系统的决策制定过程的其他方面的方式(即，例如具有假定的位置、取向以及速度)进行暗对象的生成或推断。暗对象过程通过时间过程递归地执行。该技术帮助av系统在面临有关未感知到的世界的不确定性时做出决策。
69.在一些实现中，通过图7中示出的过程或相似的过程实现av的自主驾驶能力。一些实现可不使用图7中示出的全部操作。一些实现可与图7中示出的方式不同地划分任务。一些实现在图7中所示出的那些之外可包括额外的过程。一般而言，av系统开始于感知过程701，该过程701使用来自机载传感器的数据、来自存储在数据库中的先前信息的数据以及来自其他数据源的数据来定位av(例如，确定av的当前位置)并且创建截止当前时间的世界模型702。av系统也可创建截止一个或多个未来时间步长(time step)的一个或多个预测的世界模型。然后，av系统操作规划以及决策制定过程703，该规划以及决策制定过程703使用从感知过程中生成的世界模型来规划在时空中的轨迹以将av从其当前位置移动至其目标位置。轨迹必须满足有关可行性、安全性、舒适性、效率或其他标准或其组合的要求。然后，av系统操作控制过程704，该控制过程704通过提供控制av所需的低水平致动信号来执行由规划过程生成的轨迹。这三个过程701、703以及704是顺序地或者同时地进行。
70.本文中描述的技术包括用于分析并且生成作为世界模型的一部分的假设对象的暗对象过程。暗对象过程作为感知过程的一部分或与感知过程一同运行。参考图8，在一些实现中，暗对象过程812使用相同的输入作为感知过程811并且修改由感知过程811输出的世界模型820。输入包括下述中的一个或多个：来自机载传感器(801)的数据；来自非机载传感器的数据，例如来自其他对象上的传感器的数据(802)；以及来自地图、数据库以及其他数据源的有关道路网络的数据(803)。世界模型820以允许规划以及决策制定过程考虑未感知到的世界并且做出考虑未知对象的决策的方式作为向规划以及决策制定过程的输入。
71.参考图9，在一些实现中，暗对象过程包括边界确定过程901以及暗对象生成过程902。边界确定过程901使用数据以确定感知到的世界与未感知到的世界之间的边界。感知到的世界与未感知到的世界之间的边界是使用来自例如机载传感器、非机载传感器、地图以及其他数据源的数据计算的。暗对象生成过程902生成用于包括在世界模型中的假设暗对象并且确定它们的属性(例如，对象类型、位置、取向、方向、速度、动态以及静态)。
72.暗对象的生成可包括，例如，考虑例如未感知到的世界中存在暗对象的最坏情况。使用这些暗对象的存在以及属性更新世界模型。随后，所更新的世界模型被传递至规划以及决策制定过程来生成并且执行到目标位置的轨迹。在考虑所生成的暗对象的存在的情况下规划并且执行这种轨迹。在下述章节更加详细地描述了边界确定过程以及暗对象生成过程。边界确定过程
73.如之前所描述的，出于各种原因，包括有限的感测范围以及视场以及约束感测范围以及视场的对象的存在，av系统的传感器可能仅能够观察其周围的世界的有限部分(称为“感知到的世界”)或具有有关该有限部分的实时信息。世界的其余部分，即感知到的世界
的补充，被称为“未感知到的世界”。然而，也仍可从其他数据源获取有关未感知到的世界的一些信息(例如，道路配置、交通流、交通灯、高峰时间以及对应的历史数据)。
74.边界确定过程可被应用至分析任何类型的传感器以及其他数据。传感器的示例包括：激光雷达、雷达、立体视觉相机、单目视觉相机、速度传感器、全球定位系统传感器、陀螺传感器以及除此之外两个或更多个这些或其他传感器的组合。可以为其他传感器以及从其他运载工具或定位于基础设施或其他位置中的传感器处收集的信息设计相似的过程。
75.使用来自激光雷达传感器的数据的边界确定。典型的3d激光雷达传感器在每一次扫描中返回具有m
×
n个点的点云，其中m是垂直方向上的波束数量，而n是水平方向上的波束数量。因此，扫描的每一个垂直切片都是一个具有沿着来自传感器的特定方位的m
×
1个点的子区域。从激光雷达发出的每一个波束返回到该波束遇到的第一个对象的距离。此类点的集合被称为点云。
76.可分析点云以确定是否已在可用的数据源中将每一个点分类为属于道路表面。如果不是，则假定该点是前景的一部分。该经分析的点云可被称为“语义点云(semantic pointcloud)”。例如，如图10中所示，如果由av系统1001使用的地图具有有关道路表面1004的精确高度轮廓的信息，则该信息可被用于如下那样将给定的激光雷达点分类为属于道路表面。给定av的当前位置以及取向、激光雷达1003的中心1002相对于av的中心的位置、以及道路表面或更一般的地面的精确高度轮廓1004的信息，av系统1001计算点(1009、1010、1011或1012)，所发出的激光雷达波束(1005、1006、1007或1008)预期将在该点(1009、1010、1011或1012)处遇到地面。如果由激光雷达波束(1008)返回的点(1013)比预期的点(1012)以预先限定的差更加靠近av，则可假定该激光雷达波束遇到了对象1014(例如，前景上的点)，并且可假设点1013不属于地面。在一些实现中，基于机器学习的方式(例如，深度学习)被用于执行前景分类的任务。此类方式也可融合来自多个传感器(诸如，激光雷达以及相机)的数据以改进分类准确性。
77.考虑如上文所描述的已被分类的具有m
×
1个点的激光雷达扫描的垂直切片。假定垂直切片包括四个激光雷达波束(1005、1006、1007以及1008)，使得在该情况下m＝4。检查语义点云中每一个点的语义标签。如果该垂直切片中第一激光雷达点1009的语义标签是“地面”，则安全地假定传感器原点与该激光雷达点之间的空间是无障碍的。将随后依次检查后续点1010以及1011，直到遇到最靠近的前景点1013。传感器原点1002与该最靠近的前景点1013之间的空间在世界模型中被标记为“已知”。该垂直切片的感知到的世界的扩展将在该最靠近的前景点1013处停止，并且点1013后方的区域将在世界模型中被标记为“未感知到”。然而，如果依次检查了所有点，并且没有遇到前景点，则将扫描的最终点视为最靠近的前景点，并且超出该最终点的区域被标记为“未感知到”。
78.对构成激光雷达扫描的所有n个垂直切片执行该过程，并且如上文详细描述地为每一个切片确定每一个前景点。n个最靠近的前景点表示感知到的世界与未感知到的世界之间的所采样的边界点。
79.在一些实现中，3-d空间中的边界可通过内插和外推所采样的边界点来构建。考虑例如图11中示出的情况。激光雷达1110安装在av 1100上，并且激光雷达1110进行n＝3的扫描并且确定所采样的边界点1101、1102以及1103。可通过绘制线1104以及1105来构建示例性1-d边界(表示为1101—1102—1103)。如果激光雷达能够执行360度扫描，则可通过将所
采样的边界点连接为轮廓来完成该边界。如果激光雷达不执行360度扫描(诸如，如图11中所示出的)，则可以通过绘制从1-d边界的一个端点1103到激光雷达的中心1110的线1106以及绘制从激光雷达的中心1110到另一端点1101的另一线1107来延伸边界1101—1102—1103。所延伸的边界变为多边形，表示为1110—1101—1102—1103—1110。边界1110—1101—1102—1103—1110内的区域(即，图11中的阴影区域1109)被视作相对于激光雷达以及地图数据的感知到的世界。边界之外的区域1111是未感知到的世界。当前景点的数量(n)较大时，即，当激光雷达具有相对较高的分辨率时，则预期该边界确定方法执行良好。
80.在一些实现中，可使用前景点之间的曲线而不是直线来构建边界。可将各种算法(例如，多项式曲线拟合、贝塞尔曲线等)应用于边界构建。
81.虽然上文对于图11的描述构建了1-d边界，而该技术可被延伸以用于确定感知到的世界与未感知到的世界之间的2-d边界。例如，可在点1101、1102、1103与1110之间内插2-d贴片(例如，平坦的或可弯曲的)，并且它们的并集得到2-d边界。
82.在一些应用中，感知到的世界被构建为多个感知到的区域的并集，每一个垂直切片有一个感知到的区域。边界随后被限定为感知到的区域的并集的边界。考虑例如图12中示出的情况，其中激光雷达1210安装在av1200上。激光雷达1210生成垂直切片并且标识边界采样点1201、1202以及1203。对于这些点中的每一个，可以在切片附近构建缓冲器以表示与该切片对应的感知到的区域。例如，基于点1201将感知到的区域1204构建为圆形扇区。该扇区的中心半径是将点1201连接至激光雷达1210的中心的线1207。通过在该中心半径的每一侧上扫掠预先限定的角度θ来限定该扇区。扫掠的角度θ可通过各种因素确定，包括激光雷达传感器1210的水平分辨率。对点1202以及1203重复该过程，分别产生感知到的区域1205以及1206。然后将完整的感知到的世界限定为三个感知到的区域1204、1205以及1206的并集，并且随后可计算该并集的边界。
83.边界确定方法可考虑额外的因素或信息。例如，边界采样点并不限于最靠近的前景点，也可基于第二、第三、第四、或第z个找到的前景点。在一些情况下，由另一av上或av外的传感器感知到的区域可被集成进感知到的世界；例如，参考图12，区域1220被确定为由在另一运载工具上的传感器感知到的区域或由av 1200自身在较早的过程循环中感知到的区域，并且av 1200可通过包括感知到的区域1220来扩展其感知到的世界。
84.使用来自雷达传感器的数据的边界确定。雷达测量与激光雷达测量相似。激光雷达传感器与雷达传感器之间的主要区别在于，虽然激光雷达传感器返回到由波束遇到的第一个对象的距离，但是由于雷达波束穿过某些对象的能力，雷达传感器可能能够返回到波束的路径中不止一个对象的距离。
85.鉴于这些相似性，通过下述适配，上文描述的方法也可被用于使用雷达测量的边界确定：如果雷达波束响应于遇到多个对象而返回多个前景点，则可将最靠近的点指定为所采样的边界点，以进行进一步边界构建。例如，考虑图13中所示出的情况，其中安装在av 1300上的雷达1310发射三个波束1301、1302以及1303。这些波束中的每一个返回多个前景点，由黑点表示；例如，光束1303接收返回点1306以及1307。因此，对于单个光束1301、1302以及1303，av系统将最靠近的点(分别为1304、1305以及1306)指定为用于使用上文描述的方法(例如，如图13中的阴影区域1309所示)确定感知到的世界与未感知到的世界之间的边界的所采样的边界点。
86.使用来自立体相机传感器的数据的边界确定。与雷达传感器以及激光雷达传感器相比，立体相机输出更为密集的点云，尤其是在一对获取的图像之间的重叠部分。可如先前所描述那样执行点云的语义标记(例如，使用深度学习)以区分前景点与背景点。立体相机设置包括两个或更多个相机。相机中的一个被指定为经语义标记的点云的光束的原点，并且以与来自激光雷达扫描的点云类似的方式处理该点云。然后可将所标记的点中的每一个投影至地面上，并且可随后标识所采样的边界点。
87.图14示出了基于立体相机传感器的边界确定。线(例如，1402)表示从立体相机1410发出的垂直切片。在点云已被语义地标记并且投影至地面上之后，黑点(例如，1401)表示沿着对应的切片遇到的最靠近的前景点(例如，与切片1402对应的点1401)。一旦已经确定了每一个切片的最靠近的前景点，就可以使用先前描述的技术来确定已知世界与未感知到的世界之间的边界，例如，如图14中的阴影区域1405所示。
88.使用来自单目相机传感器的数据的边界确定。单目相机图像的边界确定过程包括如下文描述的两个步骤。第一步骤在图像上执行语义标记以区分地面(例如，道路表面)与前景。如先前所提到的，该步骤可基于分类以及机器学习算法。该步骤的输出是图像，其中区分表示可观察的道路表面的像素与表示前景的像素。可观察的道路表面表示感知到的世界，并且其他所有东西均假定为属于未感知到的世界。因此，可在像素空间中计算感知到的世界与未感知到的世界之间的边界。
89.该过程的第二步骤被称为反向透视映射。给定相机的固有属性(例如，焦距)以及外在属性(例如，相机相对于av的位置以及角度，以及通过定位得出的av在世界模型中的位置)的信息，可执行同形图变换以将像素空间中的2-d图像平面映射到3-d度量空间中的道路表面平面。通过执行反向透视映射，先前在像素空间中估计的已知世界与未感知到的世界之间的边界被映射至3-d度量空间。
90.图15示出了该过程。场景1510表示由前向单目相机所捕获的典型图像。场景1520表示语义标记步骤的输出。保留表示感知到的世界(示出为阴影区域1521)的道路表面像素，并且丢弃剩余的像素(其代表未感知到的世界)。场景1530示出了在图像1521上执行反向透视映射的结果。场景1530与感知到的世界1531的俯视图对应，即，从地面上方并且直接向下看向地面的视图。粗轮廓1532表示感知到的世界与未感知到的世界之间的边界。边界1532之外的区域是未感知到的世界。
91.使用来自多个传感器的数据的边界确定。如果av配备了多个传感器，则可集成来自传感器中的一个或多个的测量以确定感知到的世界与未感知到的世界之间的边界。可如下述那样采用传感器测量的集成。
92.在一些应用中，独立地利用并且处理来自两个或更多个传感器的测量以生成相对于每一单独传感器的感知到的世界。然后，例如可将感知到的世界计算为这些单独的感知到的区域的并集(或交集或其他地理空间操作的结果)，并且感知到的世界的边界就是单独的感知到的区域的边界的并集。
93.在一些实现中，首先使用数据融合技术将来自两个或更多个传感器的测量融合在一起，而不是从单独的传感器的测量中形成单个感知到的区域。然后可将上述方法应用于融合的数据以确定感知到的世界并且评估感知到的世界与未感知到的世界之间的边界。该方法对于例如集成雷达传感器以及激光雷达传感器可能是有用的，因为由这两种类型的传
感器返回的测量是相似的，并且数据处理方法也相似。暗对象生成过程
94.暗对象是未知的或者假设的或想象的对象。在世界模型中，暗对象在未感知到的世界中生成，而观察到的对象被放置在感知到的世界中。暗对象生成过程允许av系统使用计算得出的感知到的世界与未感知到的世界之间的边界以考虑未知对象，并且考虑感知到的世界中的观察到的对象以及未感知到的世界中的暗对象，以例如安全并且保守的方式规划av的移动(例如，速度、方向以及轨迹)。
95.未感知到的世界可能较为复杂。未感知到的世界中可能存在许多暗对象。进一步地，暗对象可能会在未感知到的世界中变得存在然后消失。暗对象能够在未感知到的世界中移动，例如，接近av。因此，在一些实现中，本文中描述的技术能够对关于暗对象的存在、消失以及运动等属性进行悲观场景(pessimistic scenario)建模。通过建模悲观场景，av系统的驾驶决策可以比其他情况下更为保守。然而，在一些实现中，可采用相似的过程以导致较不保守的驾驶决策或满足其他目标。
96.暗对象生成过程能够在未感知到的世界中在紧邻与感知到的世界之间的边界处生成暗对象，并且能够为可被选择以约束或调整av的运动的暗对象的属性(例如，位置、速度、方向以及取向)分配合理的值。即，可以将暗对象作为在未感知到的世界中可能合理存在的事物的最坏情况来处理。通过考虑av系统可能遇到的最坏情况，av系统的规划和决策制定过程能够选择导致保守的av运动的动作。
97.本文描述了示例以示出以表示保守场景并且允许av系统做出相对安全的(例如，最安全的可能)决策的方式生成暗对象。本文描述了用于生成不同类型的暗对象的方法，诸如运载工具、自行车、公共汽车、火车、行人以及动物，因为这些是在道路上最经常遇到的一些对象。
98.暗对象的生成。假设未感知到的世界中的任何未知对象(例如，暗对象)沿着道路网络上现有、已知的交通车道行驶，并且遵守道路规则。即，他们在车道内以正确的方向在速度限制内(或在表示通常观察到的运载工具的最大速度的某个其他预先限定的上限内)移动，并且他们遵守任何其他道路规则，诸如遵守交通标志、交通灯等。因此，该生成过程避免了生成以超出速度限制的速度行驶或以错误的方向行驶或不在已知的交通车道内行驶的暗对象。该假设确保av做出安全并且保守的决策，而不会因为面对由需要考虑没有根据道路规则移动的未知对象的可能存在而导致的不确定性而无法运作。然而，同样重要的是要注意在某些地理中，一些道路规则通常可能会被无视。例如，区域中的运载工具可能通常比速度限制行驶得更快，并且在该情况下，可以以该区域中的运载工具的平均速度来生成暗运载工具，并且不必由速度限制所约束。
99.可生成具有不同类型和大小以及其他属性的暗对象。生成哪种类型和大小的暗对象的选择例如取决于多个因素，包括但不限于：道路配置、在附近观察到的队列组合(即，不同属性的运载工具的组合)、av的运载工具类型、频繁观察到的对象以及其他考虑。例如，在大多数对象为货车的区域中，暗对象生成的优选的规则可以是生成暗货车。在通常观察到重型卡车的区域中，优选的规则可以是生成暗卡车。在通常观察到摩托车的区域中，优选的规则可以是生成暗摩托车。暗对象的运载工具类型也可以是具有预先限定的分布的随机变量，并且可对该分布进行采样以确定所生成的暗对象的类型。
100.为了简化图示，以下描述将对象考虑为运载工具，但是所理解的是，其他类型的暗对象(例如，暗行人以及暗动物)能使用相同的方法来生成。
101.我们假定av系统可访问详细的道路网络信息，包括道路上的车道的配置(例如，车道的数量以及位置、中心线的位置、宽度等)以及其他相关信息。此外，假定av系统知道从定位过程中得出的其精确位置，该定位过程使用来自av系统的传感器的数据以估计av在世界模型中的精确位置。此外，下述步骤中的一些或全部可被包括在暗对象生成过程中：1.在道路网络中查询av系统附近的车道(例如，在10、20、30、40、50、100、150、200、300、400或500米的范围内)，并且将每一个车道的中心线存储为离散点的序列。2.检查每一个车道的离散中心线点，以查看它们是否位于在边界确定步骤中建模的未感知到的世界内。位于未感知到的世界内的点被标记为该车道的“未知骨架(unknown skeleton)”的一部分。3.对于每一个车道，迭代其未知骨架中的点。在一些实现中，该迭代可以基于点与av之间的有序距离。对于所考虑的点，暗运载工具生成过程创建以该点为中心、以车道的行驶方向取向并且其大小表示该暗运载工具的可能足迹的代表性形状(例如，正方形、矩形、三角形、多边形、圆形以及椭圆形)。4.如果暗运载工具的可能足迹完全位于未感知到的世界中，则生成以该点为中心的暗运载工具并且认为它在该车道的已知行驶方向上行驶。然后，为暗运载工具的属性(例如，速度)分配值。速度分配基于各种因素，例如，法规(例如，速度限制、交通灯、以及道路规则)、道路配置(例如，公路、交叉口、分道、单行道、四向停车、三向停车、t字交叉口以及绕行道)、天气条件(例如，晴朗、下雨、下雪、有雾以及烟雾弥漫)、时间(例如，高峰时间、白天、夜间以及清晨)以及事件(例如，事故、抗议以及游行)。例如，如果暗运载工具在与av相同的方向上驾驶，则可将其速度设置为0；如果暗运载工具正在另一方向上驾驶，则可将该暗运载工具的速度设置为车道的速度限制(或取决于此类因素的预先限定的最大速度)。5.对于所有车道重复上一步骤，直至为每一个车道生成了一个或多个暗运载工具，除非如果车道的未知骨架中没有点通过第2项中的上述检查，则该车道将不会生成任何暗运载工具。
102.图16示出了跟随另一运载工具1602的av 1601的示例。阴影多边形1603表示由一个或多个传感器感知到的感知到的世界。向道路网络查询av 1601附近的车道。线1605表示车道的中心线，其被离散化为多个点。感知到的世界1603外部的点(例如，1606)构成了车道的未知骨架。该生成过程在未知骨架上的每一个点迭代。例如，在点1606处，创建形状1607以表示暗运载工具的可能足迹。由于暗运载工具的可能足迹1607并不完全位于感知到的世界1603之外，因此忽略该点1606并且不生成对应的暗运载工具，并且该过程移动至未知骨架中连续的后续点，直至到达点1608并且生成其大小完全在未感知到的世界中的足迹1609。随后在点1608处生成暗运载工具。暗运载工具以与车道的交通流相同的方向取向，并且其速度被设置为该车道的速度限制或另一预先限定的限制。
103.上文描述的过程生成暗运载工具并且设置了该暗运载工具的属性(例如，位置、取向、速度、大小以及类型)，由此可将该暗运载工具插入至世界模型。在一些实现中，世界模型允许包括额外的运载工具属性，诸如但不限于：运载工具加速度、转弯指示器的状态(左转或右转指示器，也被称为信号灯(blinker))、预期的未来运载工具轨迹(例如，下1秒、2
秒、3秒、4秒、5秒、10秒或15秒或下5米、10米、15米、20米、25米或30米的运载工具的预期轨迹)等。在一些实现中，这些和其他属性是保守地(例如，最为保守地)限制av的速度或轨迹或其二者的所分配的值。
104.图18示出了用于设置所生成的暗运载工具的预期未来轨迹的方法。av 1801正在接近交叉口并且意图沿着轨迹1804右转。建造的环境1802限制了传感器的感测范围以及视场，导致感知到的区域受到限制，如阴影区域1803所示。遵循先前描述的过程，生成了如在未感知到的世界中示出的暗运载工具1805。为了设置该运载工具的预期轨迹，av系统考虑该运载工具可用的轨迹(可从道路网络获取)。暗运载工具1805可沿着轨迹1806右转，该轨迹1806不与av的轨迹1804冲突，或沿着轨迹1807笔直前行，该轨迹1807可能与av的轨迹1804冲突。因此，一些实现通过将轨迹1807设置为暗运载工具1805的预期未来轨迹来考虑保守的场景，因为该场景对av系统的驾驶决策具有更大的限制并且更表示保守的场景。
105.一般而言，当在暗运载工具的多个轨迹之间选择时，在目标是设计最坏情况的实现中，可以选择将对av造成最大延误的暗运载工具的轨迹。取决于生成暗运载工具的目的，也可以使用其他措施从一组可能的轨迹中选择暗运载工具的轨迹。
106.在设置所生成的暗运载工具的属性时，利用详细的上下文信息是可能的，诸如来自感知过程的输出(诸如，感知到的或推断的交通灯的状态、其他对象的位置、取向以及速度)、详细的道路网络信息(诸如，停止标志以及转弯限制的位置)、附近的运载工具的行为的历史数据以及其他信息。这些额外的数据可被用于以更为丰富的方式或例如以更为保守(即，以对av系统的速度以及轨迹决策施加更大限制的方式)的方式建模暗运载工具的属性。下述示例示出了一些场景。
·
如果以某种方式(例如，具有位置和取向)生成了暗运载工具，使得其正在接近交通灯，并且如果已知该交通灯的状态为红色，则可相应地设置该暗运载工具的速度，而不是将该速度设置为该车道的速度限制。在该情况下，如果该暗运载工具被定位在交通灯的停止线处，则可将其速度设置为0km/hr，或以其它方式设置为该运载工具可驾驶(受制于该车道的速度限制)、并且该运载工具能够以合理的速率减速并且在来到停止线之前停止时的最大速度。如果该暗运载工具正在接近停止标志，则可采用相似的过程。
·
如果在还具有其他已知运载工具的车道上生成该暗运载工具，则如果该暗运载工具与紧邻的在其前方的已知运载工具之间在某个距离之内，则该暗运载工具的速度可被设置为该紧邻的在其前方的已知运载工具的速度，否则，则将该暗运载工具的速度设置为该暗运载工具所能驾驶(受制于该车道的速度限制)、并且该暗运载工具能够安全地加速至在其前方的已知运载工具的速度时的最大速度。
·
如果特定区域中运载工具行为的历史数据示出道路的某些规则通常被违反，则该行为也可被应用至暗运载工具。例如，如果在特定交叉口处的历史数据的分析示出以足够高的预先限定的概率观察到交通灯违反，则在该交叉口处生成的暗运载工具也可被预期以某预先限定的概率违反交通灯。例如，如果在紧接着交通灯停止线后的交叉口处生成暗运载工具，并且已知交通灯的状态为红色，则可以通过将暗运载工具的速度设置为速度限制而不是0km/hr来提供在该交叉口处的交通灯违反。
107.特定情况：暗自行车。用于生成暗运载工具的上述方法也可被应用于生成暗自行车。这对于具有自行车专用车道的城市或者区域尤为重要，因为这些城市或区域存在不是
由常规运载工具所用而是为自行车保留的道路空间。在该情况下，用于生成暗运载工具的方法可以与例如下述适配中的一些或全部一同使用：系统向道路网络查询自行车道，而不是查询常规交通车道。自行车的速度可在预先限定的上限内被设置为与av一样高、比av快或者比av慢。如果自行车道是双向的，则所生成的暗自行车可在两个方向中一个上行驶；为保守起见，在一些示例中，可使用导致自行车移动靠近av的方向，因为该方向可能导致保守场景，并且因此导致av系统做出更为保守的决策。
108.特定情况：暗公共汽车。暗运载工具生成过程也可被应用于生成暗公共汽车。这对于具有公共汽车专用车道的城市或者区域尤为重要，因为这些城市或区域存在不是由常规运载工具所用而是为公共汽车保留的道路空间。在该情况下，暗运载工具生成过程可以与例如下述适配中的一些或全部一同使用：该过程向道路网络查询公共汽车道，而不是常规交通车道。公共汽车的速度可在预先限定的最大值内被设置为与av一样高、比av快或者比av慢。如果公共汽车道被设计得较宽以用于双相交通，则可以使用导致公共汽车移动靠近av的方向，因为该方向可能导致保守场景，并且因此导致av系统做出更为保守的决策。
109.特定情况：暗火车。铁路交叉口表示了道路网络的部分，在该部分处火车或电车可能与其他运载工具潜在地出现冲突。暗运载工具生成过程也可被应用至生成暗火车。暗火车生成过程可推断当av系统接近铁道交叉口时是否需要减速，或运载工具穿过铁道交叉口是否安全。用于生成暗运载工具的方法可以与例如下述适配中的一些或全部一同使用：系统向道路网络查询铁道，而不是查询常规交通车道。
110.特定情况：暗行人。通常不预期行人在常规交通车道中行走。人行横道(crosswalks/pedestrian)是行人与其他运载工具以及对象共享相同的道路空间的示例。在一些情况下，也考虑人行道，因为在人行道上的行人可能进入人行横道。因此，生成暗行人作为未感知到的世界的一部分是可期望的。与暗运载工具生成相似，该过程查询人行道、人行横道或其组合。随后，应用暗对象生成过程。随后为暗行人分配合理的步行速度或跑动速度，例如，1km/hr、2km/hr、3km/hr、4km/hr、5km/hr、6km/hr、7km/hr、8km/hr、9km/hr、10km/hr、11km/hr、12km/hr、13km/hr、14km/hr或15km/hr
111.时间滤波。上文描述的用于边界确定以及暗对象生成的方法可使用瞬时传感器读数，这可能导致边界中的不连续性以及暗对象的闪烁，其原因包括，例如：传感器测量中的噪音以及遗漏或延迟的传感器测量。由于边界确定以及暗对象生成是通过时间过程递归地执行的，因此可采用时间滤波或平滑方法来通过使用以不同的时间步长生成的暗对象之间的时间关系来减轻该问题。可以以许多方式执行时间滤波或平滑，并且下述表示仅为该理念的一些实现。下面的方法是从运载工具的角度进行描述的，并且它可适用于其他类型的对象，诸如行人以及动物。时间滤波算法所使用的步骤可包括下述步骤(以及其他)中的一些或全部。1.使用先前章节中所描述的方法，处理来自即时时间的测量以计算每一个车道的未知骨架。2.截至上一时间步长，属于每一个车道的未知骨架的点被向前传播，即，这些点沿着车道的中心线在车道的行驶方向上向前移动。这些点向前移动的距离等于在该车道上的暗运载工具在该时间步长内本应行驶的距离，即，暗运载工具在该车道上的速度乘该时间步长的持续时间。
3.然后，将两组未知骨架的交叉，即，来自当前时间步长的测量的未知骨架(在上述步骤1中计算)以及来自上一时间步长的向前传播的未知骨架(在上述步骤2中计算)作为当前时间步长的未知骨架。在一些情况下，不从当前时间步长的测量计算未知骨架是可能的(例如，如果传感器在当前时间步长中没有返回测量或返回垃圾测量)；在这种情况下，来自上一时间步长的向前传播的骨架可被指定为当前时间步长的未知骨架。相似地，在一些实现中，来自上一时间步长的向前传播的未知骨架可能是不可用的(例如，在初始化或第一时间步长期间)；在这种实现中，从当前时间步长的测量计算的未知骨架可被指定为当前时间步长的未知骨架。
112.该过程在图17中示出。点序列1701表示来自上一时间步长的未知骨架，而点序列1703表示从当前测量计算的未知骨架。来自上一时间步长的未知骨架1701在车道1705的行驶方向上向前传播了距离1706(等于暗运载工具在该车道上在该时间步长期间本应覆盖的距离)，以生成来自上一时间步长的向前传播的未知骨架1702。最终，点序列1704表示从当前测量计算的未知骨架1703与来自上一骨架的向前传播的未知骨架1702的交叉，并且将其用作当前时间步长的未知骨架。在上一时间步长所生成的暗对象从世界模型中被丢弃后，该未知骨架随后被用于生成当前时间步长中的暗对象。
113.虽然已在本文中示出并且描述了实施例，但通过示例的方式提供了这些实施例。变体、变化以及替换将是显而易见的。应当理解的是，其它实现也落在本权利要求的范围内。