基于感知不确定性的车辆控制的制作方法

基于感知不确定性的车辆控制的制作方法
【专利摘要】本公开的多个方面总体涉及操纵自主车辆。特别是，车辆(101)可以确定其感知系统的不确定性，并且使用该不确定性值作出关于如何操纵车辆的决定。例如，感知系统可以包括传感器(310-311、321-323、330-331)、对象类型模型、以及对象运动模型(146)，每个都与不确定性相关联。传感器可以基于传感器的范围、速度和/或传感器场(421A-423A、421B-423B)的形状与不确定性相关联。对象类型模型可以与例如被感知对象是一种类型(诸如，小汽车)还是另一种类型(诸如，自行车)的不确定性相关联。对象运动模型还可以与例如不是所有对象都像它们被预测移动那样准确地移动的不确定性相关联。这些不确定性可以被用于操纵车辆。
【专利说明】基于感知不确定性的车辆控制
[0001] 相关申请的交叉参考
[0002] 本申请是于2012年1月30日提交的美国专利申请No. 13/361,083的继续申请， 其公开内容通过合并于此作为参考。

【背景技术】
[0003] 自主车辆使用各种计算系统来帮助将乘客从一个位置运送到另一个位置。一些 自主车辆可以要求来自诸如领航员的操纵者、驾驶员或乘客的初始输入或连续输入。仅在 系统已被使用时，可以使用例如自动驾驶系统的其他自主系统，其允许操作者从手动模式 (其中操作者执行对车辆的运动的高度控制）切换至自主模式（其中车辆主要由自身驾 驶），切换到位于它们之间的模式。
[0004] 这样的车辆被装配有车辆感知系统，其包括各种类型的传感器，以检测周围环境 中的对象。例如，自主车辆可以包括激光器、声纳、雷达、相机、以及可以扫描和记录来自车 辆周围环境（surroundings)的数据的其他设备。结合（并且在一些情况下单独）的这些设 备可以用于识别车行道中的形状和轮廓对象，并且安全地操纵车辆，以避开所识别的对象。 [0005] 然而，这些车辆感知系统可能包括各种限制。这些限制通常归因于不同的传感器 特性。例如，相机传感器不直接测量距离，激光器传感器不直接测量速度，雷达传感器不测 量对象的形状等。另外，传感器可能具有受限的范围、帧速率、噪声模式等。所有这些限制 都可能导致对世界的感知的"不确定性"。


【发明内容】

[0006] 本公开的一方面提供一种用于操纵车辆的方法。该方法包括：使用传感器检测车 辆周围环境中的对象。传感器与传感器不确定性相关联。基于对象类型模型，识别对象的 类型。对象类型模型与对象类型模型不确定性相关联。基于所识别的对象类型，识别用于 对象的运动模型。运动模型与运动模型不确定性相关联。处理器基于传感器不确定性、对 象类型模型不确定性、以及运动模型不确定性来准备不确定性驾驶模型。不确定性驾驶模 型包括用于操纵车辆的策略。然后，基于不确定性驾驶模型的策略来操纵车辆。
[0007] 在一个示例中，该方法还包括：根据策略操纵车辆，以减少传感器不确定性、对象 类型模型不确定性、以及运动模型不确定性中的至少一个。在另一个示例中，传感器与传感 器速度和具有范围和形状的传感器场（sensor field)相关联，并且该方法还包括：基于传 感器速度和传感器场的范围和形状，计算传感器不确定性。
[0008] 本公开的另一方面提供一种操纵车辆的方法。该方法包括：存储用于车辆的传感 器的传感器测量不确定性的模型；存储用于由传感器感测的对象的对象类型不确定性的模 型；存储用于被用于识别由传感器感测的对象的将来运动的运动模型的运动模型不确定性 的模型；以及存储多个不确定性驾驶模型。多个不确定性驾驶模型中的每个不确定性驾驶 模型都包括用于操纵车辆的策略。该方法还包括：基于传感器测量不确定性的模型、对象类 型不确定性的模型、以及运动模型不确定性的模型，识别对象和对象属性的列表。每个对象 属性都与不确定性值相关联，使得对象属性的列表与多个不确定性值相关联。处理器基于 多个不确定性值中的至少一个，选择多个不确定性驾驶模型中的一个。然后，基于所选择的 不确定性驾驶模型的策略来操纵车辆。
[0009] 在一个示例中，根据策略操纵车辆，以减少传感器不确定性、对象类型模型不确定 性、以及运动模型不确定性中的至少一个。在另一个示例中，该方法还包括：根据策略操纵 车辆，以减少多个不确定性值中的一个或多个不确定性值。在另一个示例中，传感器与传感 器速度和具有范围和形状的传感器场相关联，并且该方法还包括：基于传感器速度和传感 器场的范围和形状，计算传感器测量不确定性的模型。
[0010] 本公开的又一方面提供一种用于操纵车辆的系统。该系统包括用于生成关于车辆 周围环境的传感器数据的传感器。传感器与传感器不确定性相关联。该系统还包括存储与 对象类型不确定性相关联的对象类型模型的存储器。存储器还存储与运动模型不确定性相 关联的运动模型。处理器被配置为访问存储器并且从传感器接收传感器数据。处理器可操 作来使用传感器检测车辆周围环境中的对象，基于对象类型模型和传感器数据识别对象的 类型，基于所识别的对象类型识别用于对象的运动模型，并且基于传感器不确定性、对象类 型模型不确定性、以及运动模型不确定性，准备不确定性驾驶模型。不确定性驾驶模型包括 用于操纵车辆的策略。该方法还包括：基于不确定性驾驶模型的策略，操纵车辆。
[0011] 在一个示例中，处理器还可操作来根据策略操纵车辆，以减少传感器不确定性、对 象类型模型不确定性、以及运动模型不确定性中的至少一个。在另一个示例中，传感器进一 步与传感器速度和具有范围和形状的传感器场相关联，并且处理器还可操作来基于传感器 速度和传感器场的范围和形状，计算传感器不确定性。
[0012] 本公开的进一步方面提供一种用于操纵车辆的系统。该系统包括：存储器，存储用 于车辆的传感器的传感器测量不确定性的模型、用于由传感器感测的对象的对象类型不确 定性的模型、用于被用于识别由传感器感测的对象的将来运动的运动模型的运动模型不确 定性的模型、以及多个不确定性驾驶模型。多个不确定性驾驶模型中的每个不确定性驾驶 模型都包括用于操纵车辆的策略。该系统还包括耦合至存储器的处理器。处理器可操作来 基于传感器测量不确定性的模型、对象类型不确定性的模型、以及运动模型不确定性的模 型，识别对象和对象属性的列表。每个对象属性都与不确定性值相关联，使得对象属性的列 表与多个不确定性值相关联。处理器还可操作来基于多个不确定性值中的至少一个，选择 多个不确定性驾驶模型中的一个，并且处理器可操作来基于所选择的不确定性驾驶模型的 策略，操纵车辆。
[0013] 在一个示例中，处理器还可操作来根据策略操纵车辆，以减少传感器不确定性、对 象类型模型不确定性、以及运动模型不确定性中的至少一个。在另一个示例中，处理器还可 操作来根据策略操纵车辆，以减少多个不确定性值中的一个或多个不确定性值。在另一个 示例中，传感器与传感器速度和具有范围和形状的传感器场相关联，并且处理器还可操作 来基于传感器速度和传感器场的范围和形状，计算传感器测量不确定性的模型。
[0014] 本公开的另一方面提供一种有形的计算机可读存储介质，其上存储有程序的计算 机可读指令，指令在被处理器执行时使处理器执行用于操纵车辆的方法。该方法包括：使用 传感器来检测车辆周围环境中的对象。传感器与传感器不确定性相关联。该方法还包括： 基于对象类型模型识别对象的类型。对象类型模型与对象类型模型不确定性相关联。该方 法还包括：基于所识别的对象类型，识别用于对象的运动模型。运动模型与运动模型不确定 性相关联。该方法包括：基于传感器不确定性、对象类型模型不确定性、以及运动模型不确 定性，准备不确定性驾驶模型。不确定性驾驶模型包括用于操纵车辆的策略。该方法还包 括基于不确定性驾驶模型的策略来操纵车辆。
[0015] 在一个示例中，该方法还包括：根据策略来操纵车辆，以减小传感器不确定性、对 象类型模型不确定性、以及运动模型不确定性中的至少一个。
[0016] 本公开的进一步方面提供一种有形的计算机可读存储介质，其上存储有程序的计 算机可读指令，指令在被处理器执行时使处理器执行用于操纵车辆的方法。该方法包括：存 储用于车辆的传感器的传感器测量不确定性的模型；存储用于由传感器感测的对象的对象 类型不确定性的模型；存储用于被用于识别由传感器感测的对象的将来运动的运动模型的 运动模型不确定性的模型；以及存储多个不确定性驾驶模型。多个不确定性驾驶模型中的 每个不确定性驾驶模型都包括用于操纵车辆的策略。该方法还包括：基于传感器测量不确 定性的模型、对象类型不确定性的模型、以及运动模型不确定性的模型，识别对象和对象属 性的列表。每个对象属性都与不确定性值相关联，使得对象属性的列表与多个不确定性值 相关联。该方法还包括：基于多个不确定性值中的至少一个，选择多个不确定性驾驶模型中 的一个。该方法包括：基于所选择的不确定性驾驶模型的策略来操纵车辆。
[0017] 在一个示例中，该方法还包括：根据策略来操纵车辆，以减小传感器不确定性、对 象类型模型不确定性、以及运动模型不确定性中的至少一个。在另一个示例中，该方法还包 括：根据策略来操纵车辆，以减小多个不确定性值中的一个或多个不确定性值。

【专利附图】

【附图说明】
[0018] 图1是根据实施方式的系统的功能图。
[0019] 图2是根据实施方式的自主车辆的内部。
[0020] 图3是根据实施方式的自主车辆的外部。
[0021] 图4A至图4D是根据实施方式的传感器场的视图。
[0022] 图5是根据实施方式的十字路口的图。
[0023] 图6是根据实施方式的十字路口的详细地图信息的图。
[0024] 图7是根据实施方式的十字路口的另一个图。
[0025] 图8是根据实施方式的包括传感器数据和详细地图信息的十字路口的图。
[0026] 图9是根据实施方式的示例性数据的图。
[0027] 图10是根据实施方式的流程图。

【具体实施方式】
[0028] 在本公开的一方面，沿着车行道驾驶的车辆可以检测车辆周围环境中的对象。可 以使用具有某种程度不确定性的传感器来检测对象。可以基于对象类型模型来识别对象的 类型。对象类型模型可以与对象类型模型不确定性相关联。基于所识别的对象类型，可以 识别预测对象的将来位置的运动模型。运动模型还可以与运动模型不确定性相关联。基于 运动模型不确定性、对象类型模型不确定性、和/或传感器不确定性，可以识别不确定性驾 驶策略。然后，可以使用不确定性驾驶策略来操纵车辆。
[0029] 如图1中所示，根据本公开的一方面的自主驾驶系统100包括具有各种组件的车 辆101。虽然本公开的某些方面在特定类型的车辆方面特别有用，但是车辆可以是任何类型 的车辆，包括但不限于汽车、卡车、摩托车、巴士、小船、飞机、直升飞机、剪草机、旅行车、游 乐园车辆、有轨电车、高尔夫手拉车、火车、以及手推车。车辆可以具有一个或多个计算机， 诸如包含处理器120、存储器130、以及通常存在于通用计算机中的其他组件的计算机110。
[0030] 存储器130存储可由处理器120访问的信息，包括可以由处理器120执行或另外 使用的指令132和数据134。存储器130可以为能够存储可由处理器访问的信息的任何类 型，包括计算机可读介质、或存储可以在电子设备的帮助下读取的数据的其他介质，诸如硬 盘驱动器、存储卡、ROM、RAM、DVD或其他光盘、以及其他能写只读存储器。系统和方法可以 包括以上的不同结合，由此指令和数据的不同部分被存储在不同类型的介质上。
[0031] 指令132可以是将由处理器直接（诸如，机器码）或间接（诸如脚本）执行的任 何指令集合。例如，指令可以作为计算机码存储在计算机可读介质上。在该方面，术语"指 令"和"程序"在此可以可交换地使用。指令可以以用于由处理器直接处理的目标代码格式 或者包括根据要求解释或者被预先编译的独立源代码模块的脚本或集合的任何其他计算 机语言被存储。以下更详细地解释方法和指令的例程。
[0032] 数据134可以根据指令132由处理器120检索、存储或修改。例如，虽然系统和方 法不受任何特定数据结构限制，但是数据可以被存储在计算机寄存器中、作为具有多个不 同字段和记录的表在关系数据库中、XML文档或平面文件中。数据还可以以任何计算机可读 格式被格式化。仅作为进一步示例，图像数据可以被存储为由根据压缩或未压缩、无损（例 如，BMP)或有损（例如，JPEG)、和基于位图或矢量（例如，SVG)的格式存储的像素的网格构 成的位图、以及用于绘制图形的计算机指令。数据可以包括足以识别相关信息的任何信息， 诸如编号、描述文本、专有代码、对存储在相同存储器或不同存储器（包括其他网络位置） 的其他区域中的数据的引用、或者由函数使用来计算相关数据的信息。
[0033] 处理器120可以是任何传统处理器，诸如来自英特尔公司（Intel Corporation) 或超微公司（Advanced Micro Devices)的处理器。可替换地，处理器可以是专用设备，诸 如ASIC。虽然图1在功能上将处理器、存储器和计算机110的其他元件图示为在同一框内， 但是本领域普通技术人员将理解，处理器和存储器实际上可以包括多个处理器和存储器， 其可以或可以不存储在相同物理壳体中。例如，存储器可以是位于不同于计算机110的壳 体中的硬盘驱动器或其他存储介质。因此，对处理器或计算机的引用将被理解为包括对可 以或可以不并行操作的处理器或计算机或存储器的集合的引用。除了使用单个处理器执行 在此描述的步骤之外，诸如转向组件和减速组件的一些组件可以每个都具有它们自己的处 理器，其仅执行与特定于组件的功能相关的计算。
[0034] 在在此描述的多个方面中，处理器可以远离车辆定位并且与车辆无线地通信。在 其他方面，在此描述的一些过程可以在设置在车辆内的处理器上执行，并且其他由远程处 理器执行，包括采用执行单次操纵必须的步骤。
[0035] 计算机110可以是结合计算机正常使用的所有组件，诸如中央处理单元（CPU)(例 如，处理器120)、存储数据134和诸如web浏览器的指令的存储器130 (例如，RAM和内部硬 盘驱动器）、电子显示器142 (例如具有屏幕、小LCD触摸屏的监视器、或可操作来显示信息 的任何其他电子设备）、用户输入140 (例如鼠标、键盘、触摸屏和/或麦克风）、以及用于收 集关于人的状态和期望的显式（例如手势）或隐式（例如"人睡着了"）信息的各种传感器 (例如视频相机）。
[0036] 在一个示例中，计算机110可以是合并到车辆101中的自主驱动计算系统。图2 示出自主车辆的内部的示例性设计。自主车辆可以包括非自主车辆的所有特征，例如：转向 装置，诸如方向盘210 ;导航显示装置，诸如导航显示器215 ;以及齿轮选择器装置，诸如齿 轮变速杆220。车辆还可以具有各种用户输入设备，诸如齿轮变速杆220、触摸屏217、或按 钮输入219,用于激活或失活一个或多个自主驾驶模式并且用于使得驾驶员或乘客290能 够提供诸如导航目的地的信息给自主驾驶计算机110。
[0037] 车辆101还可以包括一个或多个附加显示器。例如，车辆可以包括用于显示关于 自主车辆或其计算机的状态的信息的显示器225。在另一个示例中，车辆可以包括状态指 示装置138(参见图1)，诸如状态栏230,以指示车辆的当前状态。在图2的示例中，状态栏 230显示"D"和"2mph"，指示车辆当前处于驾驶模式并且正以每小时2英里移动。在该方 面，车辆可以在电子显示器、车辆101的照明部分（诸如方向盘210)上显示文本，或者提供 各种其他类型的指示。
[0038] 自主驾驶计算系统可以能够与车辆的各种组件通信。例如，返回到图1，计算机 110可以与车辆的传统中央处理器160通信，并且可以从车辆的各种系统发送和接收信息， 所述系统例如制动180、加速182、信令184、以及导航186系统，以控制车辆101的运动、速 度等。另外，当在使用时，计算机110可以控制车辆101的一些或所有这些功能，并且因而 完全或仅部分自主。将理解，虽然各种系统和计算机110被示出为在车辆101内，但是这些 元件可以在车辆101外部或者在物理上分开很大距离。
[0039] 车辆还可以包括与计算机110通信的地理位置组件144,用于确定设备的地理位 置。例如，位置组件可以包括GPS接收器，以确定设备的纬度、经度和/或高度位置。还可 以使用诸如基于激光器的定位系统、惯性辅助GPS、或基于相机定位的其他定位系统，以识 别车辆的位置。车辆的位置可以包括诸如纬度、经度、和高度的绝对地理位置，以及诸如相 对于直接在其周围的其他车辆的位置的相对位置信息，其通常可以通过较少噪声确定该绝 对地理位置。
[0040] 车辆还可以包括与计算机110通信的其他特征，诸如加速计、陀螺仪、或确定车辆 的方向和速度或者其改变的另一个方向/速度检测设备146。仅作为示例，设备146可以确 定其关于重力的方向或者垂直于其的平面的斜度、偏转或滚动（或其改变）。设备还可以跟 踪速度的增加或减小和这样的改变的方向。在此阐述的位置和定向数据的设备供应可以被 自动地提供给用户、计算机110、其他计算机和以上的结合。
[0041] 计算机可以通过控制各种组件来控制车辆的方向和速度。作为示例，如果车辆在 完全自主模式下操作，则计算机110可以使车辆加速（例如，通过增加提供给引擎的燃料或 其他能量）、减速（例如，通过减少提供给引擎的燃料或者通过施加制动），以及改变方向 (例如，通过使两个前轮转向）。
[0042] 车辆还可以包括用于检测位置、定向、航向（heading)等、诸如其他车辆、车行道 中的障碍物、交通信号、标志、树等的在车辆外部的对象的组件。检测系统可以包括激光器、 声纳、雷达、相机或记录可以由计算机110处理的数据的任何其他检测设备。如图3中所示， 小客车330可以包括激光器310和311，分别安装在车辆的前部和顶部。激光器310可以 具有约150米的范围、30度的垂直视场、以及约30度的水平视场。激光器311可以具有约 50-80米的范围、30度的垂直视场、以及360度的水平视场。激光器可以向车辆提供计算机 可以使用来识别各种对象的位置和距离的范围和强度信息。在一方面，激光器可以通过绕 着其轴旋转并且改变其斜度，来测量车辆和面对车辆的对象表面之间的距离。
[0043] 车辆还可以包括多种雷达检测单元，诸如用于自适应巡航控制系统的那些。雷达 检测单元可以位于汽车的前部和背部上以及前保险杠的一侧上。如图3的示例中所示，车 辆300包括位于车辆的一侧（仅一侧被示出）、前部和后部的雷达检测单元320-323。这些 雷达检测单元中的每个都可以具有用于约18度视场的约200米的范围、以及用于约56度 视场的约60米的范围。
[0044] 在另一个示例中，各种相机可以被安装在车辆上。相机可以被安装在预定距离 处，使得来自两个或更多个相机的图像的视差可以被用于计算到各种对象的距离。如图3 中所示，车辆300可以包括安装在后视镜（未示出）附近的挡风玻璃340下面的两个相机 330-331。相机330可以包括约200米的范围和约30度的水平视场，而相机331可以包括 约100米的范围和约60度的水平视场。
[0045] 每个传感器都可以与传感器可以被用于检测对象的特定传感器场相关联。图4A 是各种传感器的近似传感器场的俯视图。图4B示出基于用于这些传感器的视场分别用于 激光器310和311的近似传感器场410和411。例如，传感器场410包括用于约150米的约 30度的水平视场，并且传感器场411包括用于约80米的360度的水平视场。
[0046] 图4C示出基于用于这些传感器的视场的分别用于雷达检测单元320-323的近似 传感器场420A-423B。例如，雷达检测单元320包括传感器场420A和420B。传感器场420A 包括用于约200米的约18度水平视场，并且传感器场420B包括用于约80米的约56度的 水平视场。类似地，雷达检测单元321-323包括传感器场421A-423A和421B-423B。传感器 场421A-423A包括用于约200米的约18度的水平视场，并且传感器场421B-423B包括用于 约80米的约56度的水平视场。传感器场421A和422A延伸通过图4A和图4C的边缘。
[0047] 图4D分别示出基于用于这些传感器的视场的近似传感器场430-431相机 330-331。例如，相机330的传感器场430包括用于约200米的约30度的视场，并且相机 430的传感器场431包括用于约100米的约60度的视场。
[0048] 在另一个示例中，自主车辆可以包括声纳设备、立体相机、定位相机、激光器、和/ 或雷达检测单元，每个都具有不同的视场。声纳可以具有用于约6米的最大距离的约60度 的水平视场。立体相机可以具有约50度的水平视场、约10度的垂直视场、以及约30米的最 大距离的重叠区域。定位相机可以具有约75度的水平视场、约90度的垂直视场、以及约10 米的最大距离。激光器可以具有约360度的水平视场、约30度的垂直视场、以及100米的 最大距离。雷达可以具有用于近光束的约60度的水平视场、用于远光束的30度、以及200 米的最大距离。
[0049] 传感器测量可以基于传感器的范围、传感器检测的速度、传感器场的形状、传感器 分辨率（诸如，相机中的像素的数量或者激光器、雷达、声纳等在一定距离的准确度）与不 确定性值相关联。这些传感器可以检测对象，但是还可能存在对象的类型的某些不确定性， 诸如另一个车辆、步行者、骑自行车的人、静止目标等。例如，给定两个相机，一个具有较高 分辨率（更多像素）并且另一个具有较低分辨率（较少像素），将存在关于由具有较高分 辨率的相机捕捉的对象的更多信息（当然，假设定向、距离、照明等对于两个相机均相同）。 该更大量信息可能有助于对象的特征（位置、速度、航向、类型等）的更准确估计。
[0050] 上述传感器可以允许车辆理解并且潜在地对其环境作出响应，以最大化乘客以及 环境中的对象或人的安全性。将理解，车辆类型、传感器的数量和类型、传感器位置、传感器 视场、以及传感器的传感器场仅是示例。还可以利用各种其他配置。
[0051] 除了上述传感器之外，计算机还可以使用来自在非自主车辆中使用的传感器的输 入。例如，这些传感器可以包括轮胎压传感器、引擎温度传感器、制动热传感器、制动块状态 传感器、轮胎胎面传感器、燃料传感器、油位和品质传感器、空气质量传感器（用于检测空 气中的温度、湿度或微粒）等。
[0052] 这些传感器中的许多提供由计算机实时处理的数据，即传感器可以连续地更新它 们的输出，以在或反映在一时间范围感测的环境，或连续地根据需要提供更新的输出给计 算机，使得计算机可以确定车辆的当前方向或速度是否应该响应于所感测的环境被修改。
[0053] 除了处理由各种传感器提供的数据之外，计算机可以依赖在先前时间点获得并且 不管该车辆在周围环境中的存在而被期望持久保持的环境数据。例如，返回到图1，数据 134可以包括详细地图信息135,例如识别车行道的形状和海拔、车道分界线、十字路口、人 行横道、限速、交通信号、建筑物、标志、实时交通信息、或其他这样的对象和信息的非常详 细的地图。例如，地图信息可以包括与各种车行道区段相关联的显式限速信息。限速数据 可以被手动输入，或者使用例如光学字符识别从先前获得的限速标志的图像扫描。地图信 息可以包括合并以上列出的一个或多个对象的三维地形图。例如，车辆可以确定另一辆汽 车期望基于实时数据（例如，使用其传感器确定另一辆汽车的当前GPS位置）和其他数据 (例如，比较GPS位置与先前存储的特定于车道的地图数据，以确定其他汽车是否在转向车 道内）转向。
[0054] 例如，地图信息可以包括一个或多个道路图（roadgraph)或信息的图形网，诸如 道路、车道、十字路口、以及这些特征之间的连接。每个特征都可以被存储为图形数据，并且 可以与诸如地理位置和其是否链接至其他相关特征的信息相关联，例如停车标志可以链接 至道路和十字路口等。在一些不例中，相关联的数据可以包括道路图的基于网格的索引，以 允许有效查找某些道路图特征。
[0055] 图5示出可以为详细地图146的主题的示例性十字路口 500的鸟瞰图。十字路口 可以包括多个不同特征，诸如人行横道510-513、自车行道520-521、车道530-537、车道分 界线550-553和550-559。十字路口还可以包括诸如识别诸如自车行道520-521的特定区 域的标志550-551和560-561的指示器。诸如交通信号或停车标志的其他特征也可以存在， 但是未示出。
[0056] 虽然十字路口 500包括相互垂直的四条车行道，但是还可以采用各种其他十字路 口构造。将进一步理解，在此描述的多个方面不限于十字路口，而是可以结合各种其他交 通或车行道设计被利用，其可以或可以不包括关于十字路口 500描述的附加特征或所有特 征。
[0057] 例如，可以通过驾驶装配有各种传感器（诸如以上描述的那些）的车辆，收集关于 十字路口（或车行道的其他部分）的数据。数据可以被处理，以生成描述车行道的详细地 图信息。例如，如图6中所不，基于在驾驶车辆通过十字路口 500的同时收集的激光器、地 理位置和其他信息，可以生成十字路口的道路图600。类似于十字路口 500,道路图600可 以包括个种特征，诸如车道630-637、车道分界线640-643和650-659。这些特征中的每个 都可以与识别这些对象可以位于真实世界中（例如，在十字路口 500中）的何处的地理位 置信息相关联。
[0058] 再次，虽然详细地图信息在此被描述为基于图像的地图，但是地图信息不需要是 完全基于图像的（例如，光栅）。例如，详细地图信息可以包括一个或多个道路图或者信息 的图形网，诸如道路、车道、十字路口、以及这些特征之间的连接。每个特征都可以被存储为 图形数据，并且可以与诸如地理位置和其是否链接至其他相关特征的信息相关联，例如停 车标志可以链接至道路和十字路口等。在一些示例中，相关联的数据可以包括道路图的基 于网格的索引，以允许有效查找某些道路图特征。
[0059] 如上所述，车辆可以使用其感知系统来检测和识别车辆周围环境中的对象。为了 这样做，车辆的自主驾驶计算机可以访问各种对象检测模型144。模型可以包括对象类型模 型或者输出可能对象类型和相应可能性的机器学习分类器。在示例性模型中，对象的类型 可以基于其关于车行道的位置、其速度、其尺寸、其与由其他预先识别的对象收集的传感器 数据的比较（诸如，通过图像匹配）等被识别。例如，给定被感知为约14英寸宽、5英尺高 和8英寸宽的对象，对象类型模型可以输出指示对象99%可能是步行者、0. 5%可能是骑自 行车的人、并且〇. 5%可能是车辆的信息。一旦对象被感知，对象类型模型就可以被用于识 别所感知对象的类型。
[0060] 模型还可以包括运动模型146,其被用于估计所识别对象的将来运动或行为。这些 模型可以基于各种假设或者从由多个车辆的传感器随着时间收集的数据和/或基于由管 理者定义的假设被生成。例如，通过随着时间观测客车在相同或类似位置处的行为，可以生 成类似客车的预测运动的模型。这样的运动模型的简单示例可以包括预测正在每秒钟向北 行驶2英尺的车辆在1秒钟之后在其先前位置北面2英尺的行为。在另一个示例中，运动 模型可以要求诸如道路标志的对象相对于运动车辆是静止的。类似地，运动模型可以论证 不同类型的对象之间的差，例如小型车可以不同于步行者或自行车操纵其本身。
[0061] 运动模型还可以与不确定性相关联。例如，车辆的运动可以比步行者或骑自行车 的人的运动更容易预测。从而，车辆在1秒钟内在哪里的预测可以更加准确或者与比步行 者或骑自行车的人将在哪的预测小的不确定性相关联。另外，当运动模型基于对象类型模 型的输出被识别时，该模型中的任何不确定性还可以被合并到运动模型中。
[0062] 数据134还可以包括不确定性驾驶策略147。不确定性驾驶模型可以定义基于与 对象相关联的不确定性的类型如何操纵车辆。以下更详细地论述这些模型的示例。
[0063] 除了以上描述的和图中图示的操作之外，现在将描述各种操作。应理解，以下操作 不必以以下描述的准确顺序被执行。相反，各个步骤可以按照不同顺序或者同时被处理，并 且还可以添加或省略步骤。
[0064] 如上所述，自主车辆可以沿着车行道驾驶，收集和处理关于车辆周围环境的传感 器数据。车辆可以在完全自主模式（其中，车辆不要求来自人的连续输入）下或者在半自主 模式（其中，人控制车辆的一些方面，诸如转向、制动、加速等）下沿着车行道驾驶其本身。 如图7中所示，十字路口 500的另一个鸟瞰图，车辆101接近十字路口、诸如步行者710、骑 自行车的人720、以及汽车730的各种对象可以进入车辆的传感器的视场。因而，车辆可以 收集关于这些对象中的每个的数据。
[0065] 传感器数据可以被处理，以识别由对象占用的车行道的区域。例如，图8示出具有 详细地图信息600的十字路口 500。车辆101处理从传感器接收的信息，并且识别对象710、 720和730的近似位置、航向和速度。
[0066] 与被检测的对象相关联的数据还可以使用对象类型模型被处理。一旦对象类型被 确定，还可以识别运动模型。如上所述，处理传感器数据和模型的输出是描述被检测的对象 的多个方面的信息的集合。在一个示例中，对象可以与描述对象类型、位置、航向、速度、以 及在经过某个短时间段之后对象的估计位置的参数的列表相关联。对象类型可以是对象类 型模型的输出。对象的位置、航向和速度可以从传感器数据确定。在经过某个短时间段之 后的对象估计位置可以是与最可能的对象类型相关联的运动模型的输出。如上所述，这些 参数中的每个都可以与不确定性值相关联。
[0067] 例如，如图9中所示，每个对象810、820、和830都分别与参数数据910、920和930 相关联。具体地，描述对象810 (实际为步行者710)的估计参数的参数数据910包括55% 确定性为步行者的对象类型。根据对象类型模型，对象810还20 %可能为汽车，并且25 %可 能为自行车。参数数据910还包括地理位置估计》1、￥1、21)、尺寸估计仏1111!11)、航向 估计（0° )、以及速度估计（2mph)。另外，如从传感器的准确度、布置和特征确定的，位置、 航向和速度估计还分别与不确定性值：（σ XI、σ Y1、σ Z1)、± ( 〇 L1、〇 W1、σ H1) ±0. 5°、 ±lmph相关联。参数数据910还包括在经过某个时间段ΛΤ之后的对象的地理位置的估计： (Χ1+ Λ IX，Υ1+ Λ 1Υ，Ζ1+ Λ 1Ζ)。该估计也与不确定性值：± ( σ XI Λ Τ，σ Υ1 Λ Τ，σ Ζ1 Λ Τ)相 关联。
[0068] 类似地，描述对象820(实际为骑自行车的人720)的估计参数的参数数据920 包括40 %确定性为步行者的对象类型。根据对象类型模型，对象820还25 %可能为汽 车，并且35 %可能为自行车。参数数据920还包括地理位置估计（X2，Y2，Z2)、尺寸估 计（L2xW2xH2)、航向估计（270° )、以及速度估计（5mph)。另外，如从传感器的准确度、 布置、和特征确定的，位置、航向和速度估计也分别与不确定性值：（σΧ2, 〇Y2, 〇Z2)、 ± ( σ L2, σ W2, σ Η2) ±0. 5°、± lmph相关联。参数数据920还包括在经过某个时间段Λ Τ 之后的对象的地理位置的估计：(Χ2+Λ2Χ，Υ2+Λ2Υ，Ζ2+Λ2Ζ)。该估计也与不确定性值： ± ( σ Χ2 Λ Τ, σ Υ2 Λ Τ, σ Ζ2 Λ Τ)相关联。
[0069] 描述对象830(实际为骑自行车的人730)的估计参数的参数数据930包括40% 确定性为汽车的对象类型。根据对象类型模型，对象8301 %可能是步行者，并且1 %可能是 自行车。参数数据930还包括地理位置估计（X3、Y3、Z3)、尺寸估计（L3xW3xH3)、航向估计 (390° )、以及速度估计（25mph)。另外，如从传感器的准确度、布置和特征确定的，位置、 航向和速度估计还分别与不确定性值：（σ X3, σ Y3, σ Z3)、± ( σ L3, σ W3, σ H3) ±0. 5°、 ±2mph相关联。参数数据930还包括在经过某个时间段ΛΤ之后的对象的地理位置的估计： (Χ3+ Λ 3Χ，Υ3+ Λ 3Υ，Ζ3+ Λ 3Ζ)。该估计也与不确定性值：± ( σ Χ3 Λ Τ，σ Υ3 Λ Τ，σ Ζ3 Λ Τ)相 关联。
[0070] 图9的参数数据仅是这样的数据的列表的一个示例。还可以使用多种其他比例、 以及表达参数的不同方式。例如，对象的位置可以被识别为还暗示对象的尺寸的一组数据 点。在另一个示例中，对象尺寸可以对象的外边界或通过近似对象的位置的边界框的地理 位置定义。在又另一个示例中，除了使用全球定位坐标系统识别对象的位置之外，可替换地 或除此之外，对象离车辆上的某个点的距离和角度可以被用于识别对象的位置。
[0071] 参数数据可以被用于选择不确定性控制策略。例如，对象810与55%可能为步行 者、25%可能为自行车、并且20%可能为汽车的对象类型相关联。相对高的不确定性可能是 由于车辆101仅具有对象810的长度尺寸（(Ll± 〇 L1))的粗略估计的事实。为了减小对 象类型的不确定性，车辆101可以沿着对象810的一侧操纵其本身，使得车辆的传感器可以 更清楚地观测对象的长度。这可以减少对象810的长度尺寸的误差，并且允许车辆作出对 象类型的更准确确定。
[0072] 在另一个示例中，对象820与40%可能为步行者、35%可能为自行车、并且25%可 能为汽车的对象类型相关联。在该示例中，当对象810可能部分地遮挡车辆的传感器场时， 对象810的位置、尺寸和在经过某个时间段之后的位置所有均可以与相对高的不确定性相 关联。为了减小这些不确定性，车辆101可以操纵其本身，以诸如通过在对象810周围驾 驶，更好地观测对象820。这可以减小与前述参数相关联的不确定性，并且允许车辆作出对 象类型的更准确确定。
[0073] 在又进一步示例中，对象830还可以与98%可能是汽车的对象类型相关联。在该 示例中，当对象非常可能是汽车时，车辆101可以继续操纵其本身，以例如通过停留在车辆 101的车道中，避开汽车。
[0074] 除了以上示例之外，不确定性控制策略可以允许车辆101更有效地操纵其本身。 例如，与车辆101在相同的车道中并且在车辆101前面的对象可能开始使其本身减慢。如 果存在关于对象实际是否减慢的高度不确定性（例如，在经过短时间段之后对象很可能在 何处的高度不确定性），车辆101可以在开始减慢其本身之前等待，直到与对象相关联的不 确定性减小为止。
[0075] 换句话说，虽然车辆101可以使用传感器来检测另一个对象正在改变其速度，但 是在采取任何特定动作（诸如，减速或加速车辆101)之前，车辆101可以等待，直到与对象 的速度（或速度的改变）相关联的不确定性被减小为止。
[0076] 在另一个示例中，如果与车辆101在相同的车道中并且在车辆101前面的对象被 预测为离开车道（在经过短时间段之后，很可能位于另一个车道中）为相对高度的确定性， 则车辆101可以在预期车辆101和其他对象之间具有附加空间时开始加速。在又另一个示 例中，如果车辆101前面的对象被预测为移动至与车辆101相同的车道中具有相对高度的 不确定性，则在减慢以增加对象和车辆101之间的距离之前，车辆101可以等待，直到不确 定性减小到某个阈值水平。这可以导致稍微更积极的驾驶风格，但是也可以通过减小不必 要制动或加速的量，来提高车辆的效率。另外，该类型的控制策略可能对适于不太被动驾驶 风格的用户有吸引力。
[0077] 图10示出上述一些特征的示例性流程图1000。在该示例中，在框1002处，沿着 车行道驾驶的自主车辆检测车辆周围环境中的对象。使用与传感器不确定性相关联的传感 器（诸如以上描述的那些）检测对象。在框1004处，基于对象类型模型，识别对象的类型。 对象类型模型与对象类型模型不确定性相关联。基于所识别的对象类型，在框1006处，识 别预测对象的将来位置的运动模型。运动模型与运动模型不确定性相关联。在框1008处， 基于运动模型不确定性、对象类型模型不确定性、和/或传感器不确定性，识别不确定性驱 动策略。然后，在框1010处，使用不确定性驱动策略来操纵车辆。
[0078] 因为在不脱离由权利要求限定的主题的情况下可以利用以上论述的特征的这些 和其他变体和结合，所以示例性实施方式的以上描述应该被认为说明而不是通过由权利要 求限定的主题的限制。还将理解，在此描述的示例的提供（以及用短语表达为"诸如"、"例 如"、"包括"等的子句）应该不被解释为将所要求的主题限于特定示例；相反，示例旨在说 明多个可能方面中的仅一些。
[0079] 工业应用
[0080] 本发明享受广泛工业应用，包括但不限于车辆导航和检测系统。
【权利要求】
1. 一种用于操纵车辆的方法，所述方法包括： 使用传感器来检测所述车辆的周围环境中的对象，所述传感器与传感器不确定性相关 联； 基于对象类型模型来识别所述对象的类型，所述对象类型模型与对象类型模型不确定 性相关联； 基于所识别的所述对象的类型来识别用于所述对象的运动模型，所述运动模型与运动 模型不确定性相关联； 由处理器基于所述传感器不确定性、所述对象类型模型不确定性、以及所述运动模型 不确定性来准备不确定性驾驶模型，其中，所述不确定性驾驶模型包括用于操纵所述车辆 的策略；以及 基于所述不确定性驾驶模型的所述策略来操纵所述车辆。
2. 根据权利要求1所述的方法，进一步包括：根据所述策略来操纵所述车辆，以减小所 述传感器不确定性、所述对象类型模型不确定性、以及所述运动模型不确定性中的至少一 个。
3. 根据权利要求1所述的方法，其中，所述传感器与传感器速度和具有范围和形状的 传感器场相关联，并且其中，所述方法进一步包括：基于所述传感器速度和所述传感器场的 范围和形状来计算所述传感器不确定性。
4. 一种操纵车辆的方法，所述方法包括： 存储用于所述车辆的传感器的传感器测量不确定性的模型； 存储用于由所述传感器感测的对象的对象类型不确定性的模型； 存储用于运动模型的运动模型不确定性的模型，所述运动模型被用于识别由所述传感 器感测的所述对象的将来运动； 存储多个不确定性驾驶模型，所述多个不确定性驾驶模型中的每个不确定性驾驶模型 均包括用于操纵所述车辆的策略； 基于所述传感器测量不确定性的模型、所述对象类型不确定性的模型、以及所述运动 模型不确定性的模型来识别对象和对象属性的列表，其中，每个对象属性与不确定性值相 关联，使得所述对象属性的列表与多个不确定性值相关联； 处理器基于所述多个不确定性值中的至少一个来选择所述多个不确定性驾驶模型中 的一个；以及 基于所选择的不确定性驾驶模型的策略来操纵所述车辆。
5. 根据权利要求4所述的方法，进一步包括：根据所述策略来操纵所述车辆，以减小所 述传感器不确定性、所述对象类型模型不确定性、以及所述运动模型不确定性中的至少一 个。
6. 根据权利要求4所述的方法，进一步包括：根据所述策略来操纵所述车辆，以减小所 述多个不确定性值中的一个或多个不确定性值。
7. 根据权利要求4所述的方法，其中，所述传感器与传感器速度和具有范围和形状的 传感器场相关联，并且所述方法进一步包括：基于所述传感器速度和所述传感器场的范围 和形状来计算所述传感器测量不确定性的模型。
8. -种用于操纵车辆的系统，所述系统包括： 传感器，用于生成关于所述车辆的周围环境的传感器数据，所述传感器与传感器不确 定性相关联； 存储器，存储与对象类型不确定性相关联的对象类型模型，所述存储器进一步存储与 运动模型不确定性相关联的运动模型； 处理器，被配置为访问所述存储器并且从所述传感器接收所述传感器数据，所述处理 器可操作来： 使用所述传感器来检测所述车辆的周围环境中的对象； 基于所述对象类型模型和所述传感器数据来识别所述对象的类型； 基于所识别的所述对象的类型，识别用于所述对象的运动模型； 基于所述传感器不确定性、所述对象类型模型不确定性、以及所述运动模型不确定性， 准备不确定性驾驶模型，其中，所述不确定性驾驶模型包括用于操纵所述车辆的策略；以及 基于所述不确定性驾驶模型的所述策略，操纵所述车辆。
9. 根据权利要求8所述的系统，其中，所述处理器进一步可操作来根据所述策略来操 纵所述车辆，以减小所述传感器不确定性、所述对象类型模型不确定性、以及所述运动模型 不确定性中的至少一个。
10. 根据权利要求8所述的系统，其中，所述传感器进一步与传感器速度和具有范围和 形状的传感器场相关联，并且其中，所述处理器进一步可操作来基于所述传感器速度和所 述传感器场的范围和形状来计算所述传感器不确定性。
11. 一种用于操纵车辆的系统，所述系统包括： 存储器，存储用于所述车辆的传感器的传感器测量不确定性的模型、用于由所述传感 器感测的对象的对象类型不确定性的模型、用于被用于识别由所述传感器感测的所述对象 的将来运动的运动模型的运动模型不确定性的模型、以及多个不确定性驾驶模型，所述多 个不确定性驾驶模型中的每个不确定性驾驶模型包括用于操纵所述车辆的策略；以及 处理器，耦合至所述存储器并且可操作来： 基于所述传感器测量不确定性的模型、所述对象类型不确定性的模型、以及所述运动 模型不确定性的模型，识别对象和对象属性的列表，其中，每个对象属性与不确定性值相关 联，使得所述对象属性的列表与多个不确定性值相关联； 基于所述多个不确定性值中的至少一个，选择所述多个不确定性驾驶模型中的一个； 以及 基于所选择的不确定性驾驶模型的策略，操纵所述车辆。
12. 根据权利要求11所述的系统，其中，所述处理器进一步可操作来：根据所述策略操 纵来所述车辆，以减小所述传感器不确定性、所述对象类型模型不确定性、以及所述运动模 型不确定性中的至少一个。
13. 根据权利要求11所述的系统，其中，所述处理器进一步可操作来：根据所述策略来 操纵所述车辆，以减小所述多个不确定性值中的一个或多个不确定性值。
14. 根据权利要求11所述的系统，其中，所述传感器与传感器速度和具有范围和形状 的传感器场相关联，并且其中，所述处理器进一步可操作来：基于所述传感器速度和所述传 感器场的范围和形状，计算所述传感器测量不确定性的模型。
15. -种有形计算机可读存储介质，其中存储有一个程序的计算机可读指令，所述指令 在被处理器执行时使所述处理器执行用于操纵车辆的方法，所述方法包括： 使用传感器来检测所述车辆的周围环境中的对象，所述传感器与传感器不确定性相关 联； 基于对象类型模型来识别所述对象的类型，所述对象类型模型与对象类型模型不确定 性相关联； 基于所识别的所述对象的类型，识别用于所述对象的运动模型，所述运动模型与运动 模型不确定性相关联； 由处理器基于所述传感器不确定性、所述对象类型模型不确定性、以及所述运动模型 不确定性，准备不确定性驾驶模型，其中，所述不确定性驾驶模型包括用于操纵所述车辆的 策略；以及 基于所述不确定性驾驶模型的所述策略，操纵所述车辆。
16. 根据权利要求15所述的有形计算机可读存储介质，其中，所述方法进一步包括：根 据所述策略来操纵所述车辆，以减小所述传感器不确定性、所述对象类型模型不确定性、以 及所述运动模型不确定性中的至少一个。
17. -种有形计算机可读存储介质，在其上存储有一个程序的计算机可读指令，所述指 令在被处理器执行时使所述处理器执行用于操纵车辆的方法，所述方法包括： 存储用于所述车辆的传感器的传感器测量不确定性的模型； 存储用于由所述传感器感测的对象的对象类型不确定性的模型； 存储用于运动模型的运动模型不确定性的模型，所述运动模型被用于识别由所述传感 器感测的所述对象的将来运动； 存储多个不确定性驾驶模型，所述多个不确定性驾驶模型中的每个不确定性驾驶模型 包括用于操纵所述车辆的策略； 基于所述传感器测量不确定性的模型、所述对象类型不确定性的模型、以及所述运动 模型不确定性的模型，识别对象和对象属性的列表，其中，每个对象属性与不确定性值相关 联，使得所述对象属性的列表与多个不确定性值相关联； 基于所述多个不确定性值中的至少一个，选择所述多个不确定性驾驶模型中的一个； 以及 基于所选择的不确定性驾驶模型的策略，操纵所述车辆。
18. 根据权利要求17所述的有形计算机可读存储介质，其中，所述方法进一步包括：根 据所述策略来操纵所述车辆，以减小所述传感器不确定性、所述对象类型模型不确定性、以 及所述运动模型不确定性中的至少一个。
19. 根据权利要求17所述的有形计算机可读存储介质，其中，所述方法进一步包括：根 据所述策略来操纵所述车辆，以减小所述多个不确定性值中的一个或多个不确定性值。
【文档编号】G05D1/00GK104094177SQ201380006981
【公开日】2014年10月8日 申请日期:2013年1月28日 优先权日:2012年1月30日
【发明者】朱佳俊, 德米特里·A·多尔戈夫, 戴维·I·弗古森 申请人:谷歌公司