用于自主车辆操作的地面参照确定的制作方法

本公开总体上涉及自主车辆，并且更具体地涉及用于建立表示关于车辆的操作环境的传感器数据内的地面参照以促进物体分析和其它自主操作的系统和方法。

背景技术：

自主车辆是能够感测其环境并且以很少或不需要用户输入进行导航的车辆。自主车辆使用诸如雷达、激光雷达、图像传感器等感测装置来感测其环境。自主车辆系统进一步使用来自全球定位系统(gps)技术、导航系统、车对车通信、车对基础设施技术和/或线控驱动系统的信息来对车辆进行导航。

车辆自动化已经被分类为从零(与全人为控制对应的非自动化)到五(与无人为控制对应的全自动化)的范围中的数值等级。各种自动驾驶员辅助系统(诸如巡航控制、自适应巡航控制以及停放辅助系统)与较低自动化等级对应，而真正的“无人驾驶”车辆与较高自动化等级对应。

为了实现高等级的自动化，车辆通常被配备有用于分析车辆周围的环境的越来越多的不同类型的装置，诸如例如捕获环境图像的相机或其它成像装置、雷达或用于勘测或检测环境中的特征的其它测距装置等。实际上，不同的车载装置位于车辆上的不同位置处，并且通常以不同的采样速率或刷新速率操作，并且结果从不同的视点或视角捕获与不同时间点对应的不同类型的数据。校准不同装置之间的关系提高了准确建立不同类型数据之间的相关性的能力，这进而促进更准确地向环境中的对象或特征分配属性，由此改进自主车辆控制。

聚焦或调谐对传感器数据的特定区域的分析可以提高分析的性能。另外，限制所考虑的传感器数据的量可以减少与对传感器数据执行对象分析相关联的计算资源和时间的总量。因此，期望描绘和划分传感器数据的区域以减少否则将投入分析不太可能产生相关或显著结果的数据的资源量。另外，从以下结合附图和前面的技术领域及背景技术进行的实施方式和所附权利要求书中将更清楚地明白本发明的其它期望特征和特性。

技术实现要素：

提供了用于控制车辆的系统和方法。在一个实施例中，一种方法包括：从车辆上的成像装置获取图像数据，将图像数据的部分分类为地面，从车辆上的感测装置获取与成像装置的视场对应的传感器数据，基于传感器数据的子集与图像数据的部分之间的相关性来将传感器数据的子集分类为地面，以及以受到分类为地面的传感器数据的子集影响的方式操作车辆上的一个或多个致动器。

在另一个实施例中，提供了一种自主车辆，其包括：车载成像装置；车载测距装置；数据存储元件，其用于维持与成像装置和测距装置之间的关系相关联的校准数据；一个或多个致动器；以及控制器。控制器从成像装置获取图像数据，将图像数据的部分分类为地面，从测距装置获取测距数据，使用校准数据识别与图像数据的部分对应的测距数据的地面子集；并且以受测距数据的地面子集影响的方式操作车辆上的一个或多个致动器。

在另一个实施例中，一种控制车辆的方法包括由车辆上的控制模块从车辆上的相机获取图像，由控制模块将图像的像素表征为属于道路，由控制模块从车辆上的测距装置获取与图像对应的测距数据，由控制模块基于测距数据的子集到像素的位置的映射使用与相机和测距装置之间的关系相关联的校准变换参数将测距数据的子集分类为道路，以及由控制模块以受被分类为道路的测距数据的子集影响的方式自主地操作车辆上的一个或多个致动器。

附图说明

下文将结合以下附图描述示例性实施例，其中相同标号表示相同元件，且其中：

图1是说明根据各种实施例的自主车辆的功能框图；

图2是说明根据各种实施例的具有图1的一台或多台自主车辆的运输系统的功能框图；

图3是根据各种实施例的适用于由图1的车辆实施的自动驾驶系统(ads)的功能框图；

图4是根据各种实施例的诸如图1的自主车辆等车辆上的多个成像装置和多个测距装置的布置的图示；

图5是根据一个或多个示例性实施例的用于在图1或图4的车辆上实施的处理模块的框图；

图6是说明根据一个或多个示例性实施例的地面参照确定过程的流程图；

图7是根据图6的地面参照确定过程的各种实施例的示例性卷积神经网络的框图；以及

图8描绘了根据一个或多个示例性实施例的表示车辆上的相机的捕获视场并且覆盖来自车辆上的测距装置的测距数据的环境的示例性图像，，其适合于结合图6的地面参照确定过程使用。

具体实施方式

具体实施方式本质上仅仅是示例性的，而不旨在限制应用和用途。另外，不存在被任何前述的技术领域、背景技术、发明内容或具体实施方式中提出的任何明确的或暗示的理论约束的意图。如本文所使用，术语模块是指单独地或呈任何组合的任何硬件、软件、固件、电子控制部件、处理逻辑和/或处理器装置，包括但不限于：专用集成电路(asic)、电子电路、处理器(共享、专用或成组)以及执行一个或多个软件或固件程序的存储器、组合逻辑电路和/或提供所述功能性的其它合适部件。

在本文描述的一个或多个示例性实施例中，能够进行至少某种等级的自主操作的车辆包括多个不同的装置，这些装置从不同的视角并且以不同的采样或刷新速率捕获图像或以其它方式产生表示车辆附近的场景或环境的数据。特定装置的关系可以相对于另一个装置或参照系(诸如车辆参照系或装置的坐标系)来校准(反之亦然)，从而产生可以用于从一个参照系到另一个参照系的转化以建立数据集之间的相关性。

例如，来自一个车载成像装置的图像数据可以基于成像装置的视线和/或视场与在车辆上的测距装置正在勘测或扫描与成像装置相关联的视场期间的时间示例处捕获的测距数据之间的关系与来自该测距装置的测距数据相关。校准特定成像装置与特定测距装置之间的关系产生转换参数值，其可以用于将来自测距装置的三维测距数据转化为由成像装置捕获的二维图像，反之亦然。例如，可以使用测距数据和转换参数值向图像的部分分配坐标位置以将测距数据参照系内的坐标或点转化为图像数据参照系。即，测距数据的三维点可以与二维像素位置相关。

出于解释目的，本文中可以主要在成像装置被实现为相机而测距装置被实现为光检测和测距(激光雷达)装置的背景下描述该主题。即，应当明白的是，本文描述的主题不必限于与光学相机和激光雷达一起使用。替代实施例可以采用其它类型的相机或成像装置、雷达或其它类型的测距装置，或者成像装置和测距装置的任何数量的组合。

下面主要在图4到6的背景下更详细地描述的示例性实施例通常涉及使用图像分类来将测距数据描绘并划分成与道路表面或地面对应的数据点的子集。测距数据的地面或道路子集可以用于调整、微调或以其它方式确定车辆相对于道路或地球的当前定向(例如，俯仰、滚转以及偏航)。测距数据的剩余非地面子集(在本文中替代地称为测距数据的环境子集)可以用于向图像数据的像素分配深度或距离，并且进行分析以检测车辆附近的对象、障碍物或其它特征。另外，在一些实施例中，测距数据的环境子集可以与用于车辆定位目的的映射数据结合使用。

在一个或多个实施例中，测距装置和成像装置之间的校准关系用于将测距数据描绘或划分成与道路和非道路数据点对应的不同子集。在这方面，通过将被分类为道路或地面的图像像素映射到测距数据内的对应点来确定与道路对应的测距数据的初始子集。例如，可以分析来自成像装置的图像数据以对图像内与道路对应的像素进行分类。当测距装置扫描成像装置的视场时捕获的测距数据使用表征成像装置和测距装置之间的关系的校准变换参数被转化或以其它方式转换为像素位置。然后，映射到先前被分类为属于道路的像素位置的测距数据的点被类似地分类或以其它方式指定为属于道路，从而产生测距数据点的道路子集。

然后，通过分析被分类为道路的点与测距数据内的相邻点之间的深度或距离的相对差值，可以进一步增强或增加使用图像分类识别的测距数据的道路子集。在这方面，因为地面或道路的表面切线在车辆位置处可能相对平滑或大致上是平面的，所以当在测距数据内沿着道路移动时，与道路对应的数据点将会表现出相对小的深度或距离变化。例如，在道路表面中可能存在凸起或其它细微变化，使得表面切线不一定是完全平面的，但是在没有表现出深度不连续的障碍物或特征的情况下，表面切线的变化应当相对平滑。因此，当深度或距离的相对差值小于阈值时，可以分析与基于图像映射分类的与道路点相邻的点并且还将这些点分类为道路点，等等，直到与对象或障碍物对应的到达点为止，此时深度或距离的变化超过用于将点分类为属于道路的阈值。然后可以利用测距数据的增强图像分类道路子集来基于先前映射或勘测的道路俯仰或高度数据来微调车辆定向(例如，俯仰、滚转以及偏航)，或者执行其它处理任务，这取决于道路测距数据的参照子集。

在其它实施例中，基于测距数据内的相邻点之间的相对差值来确定与道路对应的测距数据的初始子集，然后使用图像分类以及测距装置与成像装置之间的校准关系来增强该初始子集。测距数据被转化或以其它方式转换为像素位置，并且被映射到被分类为属于道路的像素位置的测距数据的点被分类或以其它方式指定为属于道路。因此，可以增强基于测距数据的分析确定的测距数据的初始子集以包括测距数据中映射到被分类为属于道路的像素位置但是先前未包括在测距数据的的初始子集中的任何附加点。

在示例性实施例中，未被分类到测距数据的道路子集中的测距数据的点的剩余子集可以被指定或以其它方式被分类为测距数据的环境子集。测距数据的环境子集用于(例如，通过使用校准数据将那些点映射到对应的像素位置)向图像数据的像素分配深度或距离。另外，可以分析测距数据的环境子集(独立于或结合图像数据)以检测、分类、跟踪或以其它方式分析车辆附近的对象、障碍物或其它特征。在一些实施例中，还将测距数据的环境子集与映射数据(例如，高分辨率三维地图数据等)进行比较，以确定车辆相对于先前映射的特征(例如，交通信号)的当前位置，或者相反地，基于测距数据的环境子集和与估计的车辆位置对应的映射数据之间的关系来确定那些先前映射的特征的相对位置。例如，可以利用全球定位系统数据或其它位置数据来获取当前车辆位置的初始估计，可以获取与估计的车辆位置对应的映射数据并针对测距数据的环境子集进行分析以在映射数据坐标参照系的背景中确定当前车辆位置和/或定向。

基于映射参照系中的当前车辆姿态，可以识别先前映射的特征相对于当前车辆姿态的相对定向，并将该相对定向映射到预期基于映射数据定位那些特征的预期像素区域。然后分析预期的对象像素区域以检测和分类那些特征(例如，当前交通信号状态)，这进而可以影响车辆的后续自主操作。在这方面，可以利用映射到预期对象像素区域的测距数据点来向预期对象像素区域分配物理或维度属性以提高检测和分类过程的准确性或可靠性。

现在参照图1，根据一个或多个实施例，被示为100的自主车辆控制系统确定用于沿着路线以考虑由车载传感器28、40检测到的对象或障碍物的方式来确定用于自主操作车辆10的运动计划，如下文更详细地描述。在这方面，自主车辆10上的控制模块相对于彼此和/或车辆10校准不同类型的车载传感器28、40，由此允许来自那些不同类型的车载传感器28、40的数据在空间上彼此相关联或者基于该校准而相关联，由此改进对象检测、对象分类以及车辆10的所得自主操作。

如图1中所描绘，车辆10通常包括底盘、车身14，以及在车身14的相应拐角附近可旋转地联接到底盘的前轮16和后轮18。车身14被布置在底盘上并且大致上包围车辆10的部件，并且车身14和底盘可以共同形成框架。

在各种实施例中，车辆10是自主车辆，并且控制系统100被结合到自主车辆10(在下文中被称为自主车辆10)中。自主车辆10例如是被自动控制以将乘客从一个位置运送到另一个位置的车辆。在所说明的实施例中，车辆10被描绘为乘用车，但是应当明白的是，也可以使用包括摩托车、卡车、运动型多用途车辆(suv)、休闲车辆(rv)、船舶、飞行器等任何其它车辆。在示例性实施例中，自主车辆10是所谓的四级或五级自动化系统。四级系统指示“高度自动化”，其指代自动驾驶系统在动态驾驶任务的所有方面的驾驶模式所特有的性能，即使人类驾驶员对干预请求没有做出适当响应。五级系统指示“全自动化”，其指代自动驾驶系统在可由人类驾驶员管理的所有道路和环境状况下在动态驾驶任务的所有方面的全面性能。

如图所示，自主车辆10通常包括推进系统20、变速器系统22、转向系统24、制动系统26、传感器系统28、致动器系统30、至少一个数据存储装置32、至少一个控制器34以及通信系统36。推进系统20在各种实施例中可以包括内燃机、诸如牵引电动机等电机和/或燃料电池推进系统。变速器系统22被配置为根据可选速比将来自推进系统20的动力传输到车轮16、18。根据各种实施例，变速器系统22可以包括分级传动比自动变速器、无级变速器或其它适当的变速器。制动系统26被配置为向车轮16、18提供制动转矩。在各种实施例中，制动系统26可以包括摩擦制动器、线控制动器、诸如电机等再生制动系统，和/或其它适当的制动系统。转向系统24影响车轮16、18的位置。虽然为了说明目的而被描绘为包括方向盘，但是在本公开的范围内预期的一些实施例中，转向系统24可以不包括方向盘。

传感器系统28包括感测自主车辆10的外部环境和/或内部环境的可观察状况的一个或多个感测装置40a到40n。感测装置40a到40n可以包括但不限于雷达、激光雷达、全球定位系统、光学相机、热像仪、超声波传感器和/或其它传感器。致动器系统30包括一个或多个致动器装置42a到42n，其控制一个或多个车辆特征，诸如但不限于推进系统20、变速器系统22、转向系统24以及制动系统26。在各种实施例中，车辆特征可以进一步包括内部和/或外部车辆特征，诸如但不限于车门、行李箱以及诸如无线电、音乐、照明等驾驶室特征(未编号)。

数据存储装置32存储用于自动控制自主车辆10的数据。在各种实施例中，数据存储装置32存储可导航环境的定义地图。在各种实施例中，定义地图可以由远程系统预定义并且从远程系统获取(关于图2进一步详细描述)。例如，定义地图可以由远程系统组装并且(以无线方式和/或以有线方式)传送到自主车辆10并存储在数据存储装置32中。如将明白的是，数据存储装置32可以为控制器34的一部分，与控制器34分开，或作为控制器34的一部分以及单独系统的一部分。

控制器34包括至少一个处理器44和计算机可读存储装置或介质46。处理器44可以为任何定制的或商业上可用的处理器、中央处理单元(cpu)、图形处理单元(gpu)、与控制器34相关联的若干处理器中的辅助处理器、基于半导体的微处理器(呈微芯片或芯片集的形式)、宏处理器、它们的任何组合或通常用于执行指令的任何装置。计算机可读存储装置或介质46可以包括例如只读存储器(rom)、随机存取存储器(ram)和保活存储器(kam)中的易失性和非易失性存储器。kam是一种持久或非易失性存储器，其可以在处理器44断电时用于存储各种操作变量。计算机可读存储装置或介质46可以使用诸如prom(可编程只读存储器)、eprom(电prom)、eeprom(电可擦除prom)、闪速存储器或能够存储数据的任何其它电动、磁性、光学或组合存储器装置的许多已知存储器中的任何一种来实施，其中的某些数据表示由控制器34用于控制自主车辆10的可执行指令。

指令可以包括一个或多个单独的程序，每个程序包括用于实施逻辑功能的可执行指令的有序列表。指令在由处理器44执行时接收并处理来自传感器系统28的信号，执行用于自动控制自主车辆10的部件的逻辑、计算、方法和/或算法，并且向致动器系统30产生控制信号以基于逻辑、计算、方法和/或算法来自动地控制自主车辆10的部件。虽然图1中仅示出了一个控制器34，但是自主车辆10的实施例可以包括通过任何合适的通信介质或通信介质的组合进行通信并且协作以处理传感器信号、执行逻辑、计算、方法和/或算法且产生控制信号以自动控制自主车辆10的特征的任意数量的控制器34。

在各种实施例中，控制器34的一个或多个指令实施在控制系统100中(例如，实施在数据存储元件46中)，并且当由处理器44执行时使处理器44获取从成像和测距装置40捕获或产生的数据，并且利用装置40之间的校准关系将来自测距装置40的数据点分类为道路和环境子集，如下面更详细地描述的。此后，处理器44可以利用图像分类的道路测距数据来微调车辆定向确定，同时利用剩余的环境测距数据来改进车辆定位并执行障碍物检测、分类、跟踪以及相关分析。在这方面，检测到的对象以及其分类和预测行为影响用于自主操作车辆10的行驶计划，这进而影响由处理器44产生或以其它方式提供的用于控制致动器42的命令。

仍然参照图1，在示例性实施例中，通信系统36被配置为向和从其它实体48(诸如但不限于其它车辆(“v2v”通信)、基础设施(“v2i”通信)、远程系统和/或个人装置无线地传送信息(关于图2更详细地描述)。在示例性实施例中，通信系统36是被配置为经由使用ieee802.11标准的无线局域网(wlan)或通过使用蜂窝数据通信来进行通信的无线通信系统。然而，诸如专用短程通信(dsrc)信道等附加或替代通信方法也被认为在本公开的范围内。dsrc信道是指专门为汽车使用以及相应的一组协议和标准而设计的单向或双向短程到中程无线通信信道。

现在参照图2，在各种实施例中，关于图1描述的自主车辆10可以适用于在某个地理区域(例如，城市、学校或商业园区、购物中心、游乐园，活动中心等)的出租车或班车系统的背景下或可以只需由远程系统管理。例如，自主车辆10可以与基于自主车辆的远程运输系统相关联。图2说明了总体上以50示出的操作环境的示例性实施例，该操作环境包括基于自主车辆的远程运输系统52，其与关于图1所描述的一台或多台自主车辆10a到10n相关联。在各种实施例中，操作环境50进一步包括经由通信网络56与自主车辆10和/或远程运输系统52进行通信的一个或多个用户装置54。

通信网络56根据需要支持在由操作环境50支持的装置、系统和部件之间(例如，经由有形的通信链路和/或无线通信链路)的通信。例如，通信网络56可以包括无线载波系统60，诸如蜂窝电话系统，其包括多个手机信号塔(未示出)、一个或多个移动交换中心(msc)(未示出)以及将无线载波系统60与陆地通信系统连接所需要的任何其它联网部件。每个手机信号塔都包括发送和接收天线以及基站，其中来自不同手机信号塔的基站直接或经由诸如基站控制器等中间设备连接到msc。无线载波系统60可以实施任何合适的通信技术，包括(例如)诸如cdma(例如，cdma2000)、lte(例如，4glte或5glte)、gsm/gprs或其它当前或正涌现的无线技术等数字技术。其它手机信号塔/基站/msc布置是可能的并且可以结合无线载波系统60使用。例如，基站和手机信号塔可以共同位于相同站点处或它们可远离彼此，每个基站可以负责单个手机信号塔或单个基站可服务于各个手机信号塔，且各个基站可以联接到单个msc，这里仅列举几种可能布置。

除包括无线载波系统60外，可以包括呈卫星通信系统64的形式的第二无线载波系统来提供与自主车辆10a到10n进行的单向或双向通信。这可以使用一个或多个通信卫星(未示出)和上行链路传输站(未示出)来进行。单向通信可以包括(例如)卫星无线电服务，其中节目内容(新闻、音乐等)是由传输站接收、封装上传并且然后发送到卫星，从而向用户广播该节目。双向通信可以包括(例如)使用卫星以在车辆10与站之间中继电话通信的卫星电话服务。除了或代替无线载波系统60，可以利用卫星电话。

可以进一步包括陆地通信系统62，其为连接到一个或多个陆线电话的常规陆基电信网络并且将无线载波系统60连接到远程运输系统52。例如，陆地通信系统62可以包括诸如用于提供硬接线电话、分组交换数据通信和因特网基础设施的公共交换电话网(pstn)。一段或多段陆地通信系统62可以通过使用标准有线网络、光纤或其它光学网络、电缆网络、电力线、其它无线网络(诸如无线局域网(wlan))或提供宽带无线接入(bwa)的网络或其任何组合来实施。另外，远程运输系统52不需要经由陆地通信系统62连接，反而可以包括无线电话设备使得其可以直接与无线网络(诸如无线载波系统60)通信。

虽然在图2中仅示出了一个用户装置54，但是操作环境50的实施例可以支持任意数量的用户装置54，包括由一个人拥有、操作或以其它方式使用的多个用户装置54。由操作环境50支持的每个用户装置54可以使用任何合适的硬件平台来实施。在这方面，用户装置54可以任何常见外形规格来实现，包括但不限于：台式计算机；移动计算机(例如，平板计算机、膝上型计算机或上网本计算机)；智能电话；视频游戏装置；数字媒体播放器；一件家庭娱乐设备；数码相机或视频摄影机；可穿戴计算装置(例如，智能手表、智能眼镜、智能服装)；等。由操作环境50支持的每个用户装置54被实现为具有执行本文描述的各种技术和方法所需的硬件、软件、固件和/或处理逻辑的计算机实施的或基于计算机的装置。例如，用户装置54包括可编程装置形式的微处理器，该微处理器包括存储在内部存储器结构中并且被施加来接收二进制输入以创建二进制输出的一个或多个指令。在一些实施例中，用户装置54包括能够接收gps卫星信号并且基于那些信号产生gps坐标的gps模块。在其它实施例中，用户装置54包括蜂窝通信功能性使得该装置通过通信网络56使用一个或多个蜂窝通信协议(如本文所讨论)执行语音和/或数据通信。在各种实施例中，用户装置54包括可视显示器，诸如触摸屏图形显示器或其它显示器。

远程运输系统52包括一个或多个后端服务器系统，该后端服务器系统可以为基于云的、基于网络的或常驻在由远程运输系统52服务的特定校园或地理位置。远程运输系统52可以由现场顾问、自动顾问、人工智能系统或它们的组合来管理。远程运输系统52可以与用户装置54和自主车辆10a到10n进行通信以安排乘车、派遣自主车辆10a到10n等。在各种实施例中，远程运输系统52存储诸如用户认证信息、车辆标识符、简档记录、行为模式以及其它相关用户信息等账户信息。

根据典型的用例工作流程，远程运输系统52的注册用户可以经由用户装置54创建乘车请求。乘车请求通常将指示乘客希望的上车位置(或当前gps位置)、期望目的地位置(其可识别预定义的车辆停靠站和/或用户指定的乘客目的地)以及上车时间。远程运输系统52接收乘车请求、处理该请求，并且在指定的上车地点且在适当的时间派遣自主车辆10a到10n中的选定车辆来让乘客上车(当一台车辆可用时和如果一台车辆可用)。远程运输系统52还可以向用户装置54产生并发送适当配置的确认消息或通知，以使乘客知道车辆正在途中。

可以理解本文公开的主题提供了可以被认为是标准或基线的自主车辆10和/或基于自主车辆的远程运输系统52的某些增强的特征和功能。为此，自主车辆和基于自主车辆的远程运输系统可以被修改、增强或以其它方式补充以提供下面更详细描述的附加特征。

现在参照图3，根据各种实施例，控制器34实施如图3中所示的自主驾驶系统(ads)70。即，利用控制器34的合适软件和/或硬件部件(例如，处理器44和计算机可读存储装置46)来提供与车辆10结合使用的自主驾驶系统70，以例如自动地控制各种致动器30并且由此分别控制车辆加速、转向以及制动，而无人为干预。

在各种实施例中，自主驾驶系统70的指令可以由功能或系统组织。例如，如图3中所示，自主驾驶系统70可以包括传感器融合系统74、定位系统76、引导系统78以及车辆控制系统80。可以理解的是，在各种实施例中，由于本公开不限于本示例，所以可以将指令组织(例如，组合、进一步划分等)为任何数量的系统。

在各种实施例中，传感器融合系统74合成并处理传感器数据并且预测对象的存在、位置、分类和/或路径以及车辆10的环境的特征。在各种实施例中，传感器融合系统74可以结合来自多个传感器(包括但不限于相机、激光雷达、雷达和/或任何数量的其它类型的传感器)的信息。在本文描述的一个或多个示例性实施例中，传感器融合系统74支持或以其它方式执行本文所述并且下面主要在图6的背景中更详细地描述的地面参照确定过程。在示例性实施例中，传感器融合系统74使用与相应相机和参照系的配对相关联的校准转换参数值将图像数据与激光雷达点云数据、车辆参照系或某个其它参照坐标系相关，以将激光雷达点与像素位置相关，向图像数据分配深度，识别图像数据和激光雷达数据中一个或多个数据中的对象，或以其它方式合成相关图像数据和激光雷达数据。换句话说，来自传感器融合系统74的被提供给车辆控制系统80的传感器输出(例如，检测到的对象的标记和/或它们相对于车辆10的位置)反映相机图像、激光雷达点云数据等之间的校准和关联或以其它方式受其影响。

定位系统76处理传感器数据以及其它数据以确定车辆10相对于环境的位置(例如，相对于地图的本地位置、相对于道路车道的精确位置、车辆航向、速度等)。引导系统78处理传感器数据以及其它数据以确定车辆10遵循的路径。车辆控制系统80根据所确定的路径产生用于控制车辆10的控制信号。

在各种实施例中，控制器34实施机器学习技术以辅助控制器34的功能，诸如特征检测/分类、障碍物减少、路线穿越、映射、传感器集成、地面实况确定等。

图4描绘了示例性车辆400，其包括分布在车辆400周围的多个相机402和分布在车辆400周围的多个测距装置404。相机402被设置在不同的位置处并且被定向为提供捕获车辆400附近的周围环境的不同部分的不同视场。例如，第一相机402位于车辆400的左前(或驾驶员)侧，并且其视场相对于车辆400的纵向轴线在向前方向上逆时针定向45°，而另一个相机402可以位于车辆400的右前(或乘客)侧并且其视场相对于车辆400的纵向轴线顺时针定向45°。附加相机402位于车辆400的左后侧和右侧，并且类似地相对于车辆纵向轴线以45°远离纵向轴线定向，以及相机402位于车辆400的左侧和右侧并且远离与车辆纵向轴线垂直的纵向轴线定向。所说明的实施例还包括一对相机402，其定位在车辆纵向轴线处或附近，并且被定向成沿着与车辆纵向轴线大致上平行的视线捕获前视视场。

在示例性实施例中，相机402具有视角、焦距以及与一个或多个其它相机402的属性不同的其它属性。例如，车辆右侧和左侧上的相机402可以具有比与位于车辆左前侧、右前侧、左后侧或右后侧的相机402相关联的视角更大的视角。在一些实施例中，选择相机402的视角，使得不同相机402的视场至少部分地重叠以确保相对于车辆400的特定位置或定向的相机覆盖。

测距装置404也被设置在车辆400的不同位置处，并且在一个实施例中，关于车辆400的纵向轴线对称地设置以实现视差。在本文描述的示例性实施例中，测距装置404被实现为激光雷达装置。在这方面，每个测距装置404可以包括或结合一个或多个激光器、扫描部件、光学装置、光电检测器以及适当地被配置为以特定角频率或旋转速度水平地且可旋转地扫描车辆400附近的环境的其它部件。例如，在一个实施例中，每个测距装置404被配置为水平旋转并以10赫兹(hz)的频率扫描360°。如本文所使用，激光雷达扫描应当被理解为指代测距装置404的单次旋转。

在本文描述的示例性实施例中，相机402自主并自动地以可以大于激光雷达装置404的角频率的特定频率捕获图像。在一个实施例中，相机402的频率或采样速率至少是激光雷达装置404的角频率的两倍。例如，相机402以30hz的速率捕获与它们相应的视场对应的新图像数据，而激光雷达装置404以10hz的速率扫描并自动地提供更新数据。因此，每个相机402可以每次激光雷达扫描捕获多个图像，并且在不同时间捕获图像，这与激光雷达装置404的定向或扫描内的角位置无关。在这样的实施例中，可以基于获取图像的时间与激光雷达扫描的角度位置与激光雷达装置404的视线对应(该视线与相应相机402的视线或视角对齐)的时间之间的相对时间差来选择或识别来自每个相应相机402的图像，该图像在时间上与来自特定激光雷达扫描的激光雷达点云数据相关联。

在其它实施例中，在激光雷达扫描期间获取的图像可以被融合或以其它方式组合以实现与激光雷达扫描对应的代表性图像。在又其它实施例中，当激光雷达扫描的角位置与激光雷达装置404时(该视线与相应相机402的视线或视角对齐)，可以触发或以其它方式控制相机402以在激光雷达扫描期间及时捕获图像。在这方面，应当理解的是，存在许多不同的方式来同步或在时间上关联不同的数据集，并且本文描述的主题不旨在限于用于识别区域的图像数据或将图像数据与该区域的激光雷达或表示该区域的对应激光雷达数据关联的任何特定方式。

图5描绘了处理模块500(或控制模块)的实施例，该处理模块可以由控制器34、处理器44和/或传感器融合系统74实施或结合到其中。处理模块500联接到车辆上的成像装置502(例如，一个相机402)和测距装置508(例如，一个激光雷达装置404)。出于解释目的，本文在车载感测装置502、508被实现为相机和激光雷达装置的背景下描述了主题，然而，应当明白的是，本文描述的过程不限于任何特定类型的装置并且对于其它类型的装置可以等效方式来实施。另外，应当注意的是，虽然图5描绘了单独的装置502、508，但是实际上，处理模块500可以联接到车辆10、400上的多个感测装置40、402、404以大致上同时或并行地对多个装置40、402、404执行本文描述的过程。

在示例性实施例中，处理模块500校准感测装置502、508的相应坐标系与一个或多个不同坐标系之间的关系。例如，相机参照系可以相对于参照车辆姿态的坐标系(例如，车辆参照系)或与激光雷达装置508相关联的坐标系来校准，反之亦然。处理模块500存储或以其它方式维护校准数据，该校准数据表征用于在数据存储元件504中的参照系之间进行变换的关系。在这方面，校准数据可以包括用于在空间上从激光雷达点云参照系转化为相机参照系的函数的变量的值，反之亦然。此后，当将后续图像数据与激光雷达点云数据或其它环境数据相关时，处理模块500可以利用校准数据来向图像数据分配属性，反之亦然。例如，在一个或多个实施例中，处理模块500被配置为缓冲、存储或以其它方式维护与每次激光雷达扫描由相机502捕获的一个或多个图像(或样本)对应的图像数据，并且选择或以其它方式识别在时间上与相机视场的激光雷达扫描相关联的捕获的图像。然后可以利用变换参数值将激光雷达数据从相机视场的扫描投影到图像数据上(例如，通过将激光雷达点云数据点转换为图像参照系中的像素位置)来向选定图像分配深度、距离或其它维度特性，或者替代地利用图像数据基于校准关系对激光雷达数据内的所关注区域进行分类或识别。

如下面在图6的背景中更详细地描述，处理模块500对来自相机502的图像数据执行分类，以将图像数据的像素单独地分类为属于道路或地面。例如，可以应用卷积神经网络或另一种合适的图像分类算法来以特定方式对图像数据的像素进行分类。在示例性实施例中，处理模块500利用相机502与激光雷达装置508之间的校准来向激光雷达点云数据内基于校准变换参数值被映射到特定图像像素的位置的对应数据点分配被识别为属于道路或地面的那些特定图像像素的分类。可以分析激光雷达点云数据内与基于图像映射而分类为属于道路的那些点相邻的附加激光雷达点，以增加激光雷达点云数据点的道路子集的大小以包括相对于相邻道路激光雷达点具有小于阈值的深度或距离差值的那些相邻的激光雷达点。

然后，处理模块500利用道路激光雷达点和非道路环境激光雷达点的所得子集来进行车辆定向确定、车辆定位确定、对象检测和分类等目的。例如，处理模块500可以联接到车辆定位系统506(其可以被实施为定位系统76的一部分或与定位系统76结合)，该车辆定位系统处理传感器数据以确定车辆的当前速度、加速度、航向以及姿态。在示例性实施例中，当前车辆姿态包括定义车辆相对于地球的位置的坐标以及定义车辆相对于地球的定向的俯仰、滚转以及偏航值。例如，定位系统506可以从车辆上的gps接收器接收车辆的纬度和经度坐标，然后利用车辆的空间坐标从地图数据库504获取与该位置对应的映射数据。使用与道路表面和车辆周围环境对应的映射数据以及环境激光雷达数据子集，处理模块500可以确定车辆相对于映射数据的坐标系的当前三维坐标位置和航向。处理模块500还可以利用道路激光雷达数据子集以及与道路表面对应的映射数据来确定车辆相对于道路表面的当前俯仰、滚转以及偏航值。

现在参照图6并且继续参照图1到5，流程图说明了地面参照确定过程600的各种实施例，该过程可以嵌入在支持ads70的图1的控制系统100中的控制器34内。在这方面，车辆10、400上的一个或多个控制模块34、44、500可以实施或以其它方式执行地面参照确定过程600。该方法内的操作顺序不限于如图6中所描绘的顺序执行，而是可以根据需要并且根据本公开来以一个或多个不同顺序来执行。另外，在图6的背景中示出和描述的一个或多个任务可以从地面参照确定过程600的实际实施例中省略，同时仍然实现总体上预期的整体功能。在各种实施例中，地面参照确定过程600可以被安排为基于一个或多个预定事件运行，和/或可以在自主车辆10、400的操作期间连续运行。

在示例性实施例中，通过激光雷达装置404、508对每个360°扫描执行地面参照确定过程600，以将三维激光雷达点云数据分类为与道路或周围环境对应的不同子集。因此，对于特定车载相机402、502和相应激光雷达装置404、508的每个相应配对，与相应相机402、502的视场重叠或以其它方式对应的激光雷达点云数据的子集被映射到或相关于在该相机402、502的图像参照系内的像素位置以将激光雷达点分类为属于道路或地面。一旦对相机402、502中的每一个分析激光雷达点云数据，就可以进一步分析激光雷达点云数据以基于它们相对于相邻的道路激光雷达点的深度或距离的差值小于阈值量而将附加激光雷达点分类为属于道路或地面。然后利用激光雷达数据的所得道路子集来确定激光雷达扫描期间车辆的定向(例如，滚转、俯仰以及偏航)，同时利用激光雷达数据的非道路环境子集来在三维映射参照坐标系内定位车辆(例如，位置和航向)。此后，可以利用车辆姿态来识别图像数据或激光雷达点云数据内的所关注区域以进行进一步的对象分析。

在示例性实施例中，地面参照确定过程600开始于在602处从相应的车载成像装置接收或以其它方式获取图像数据，并且在604处将图像数据的像素分类或以其它方式表征为与道路或地面对应。例如，车辆上的控制模块34、500可以从车载相机402、502中选择图像，该图像在时间上与扫描该相机402、502的视场的激光雷达装置404、508相关联，然后将与选定图像数据对应的图像数据输入到或以其它方式提供给图像分类算法，以单独地将图像的像素指定为属于道路或地面。

例如，现在参照图7，卷积神经网络700可以用于对道路像素进行分类。卷积神经网络700接收输入图像710(例如，与激光雷达装置404、508扫描相机402、502的视场的时间对应的图像)并且产生与是否在图像内识别道路或地面以及在何种程度上识别道路或地面相关联的一系列输出740。然而，应当注意的是，地面参照确定过程600不限于卷积神经网络，并且实际上，可以使用各种附加或替代的机器学习技术，其包括例如递归神经网络(rnn)、随机森林分类器、贝叶斯分类器(例如，朴素贝叶斯)、主成分分析(pca)、支持向量机、线性判别分析等。

通常，卷积神经网络700实施卷积阶段722，接着是特征提取720和分类730。卷积阶段722使用适当大小的卷积滤波器，其产生与输入图像710的较小图块对应的一组特征图721。众所周知，作为过程的卷积是平移不变的，即，可以识别所关注的特征，而无论这些特征在图像710内的位置如何。然后执行子采样724以产生一组较小的特征图723，其被有效地“平滑”以降低卷积滤波器对噪声和其它变化的灵敏度。子采样可能涉及对输入721的样本取平均值或最大值。然后，如本领域中已知的，特征图723经历另一种卷积728，以产生大量较小的特征图725。然后对特征图725进行子采样以产生特征图727。

在分类阶段730期间，处理特征图727以产生第一层731，接着是完全连接的层733，从该层733中产生输出740。

通常，卷积神经网络700通过基于场景内的道路存在向该卷积神经网络呈现大量输入图像和“钳位”输出740来训练。然后使用本领域已知的反向传播来改善训练卷积神经网络700。然后，由控制模块34、500实施所得的卷积神经网络700，并且随后，在正常操作期间，使用经过训练的卷积神经网络700处理在车辆10、400行驶通过其环境并观察图像710内的道路区域时接收的图像710。然后利用所得输出740将图像710内的像素分类为属于道路。

在一个或多个实施例中，出于本文描述的主题的目的，使用完全连接的卷积神经网络来基于当前图像将每个像素分类为道路或非道路。卷积神经网络模型的输入是当前图像，而输出是大小相同的图像的二进制图，其中图上的每个像素被分配表示图像中的对应像素是属于道路还是地面的值。在一个实施例中，卷积神经网络模型的训练以带有标记数据的监督方式执行。

再次参照图6，地面参照确定过程600继续选择或以其它方式获取与特定成像装置的视场对应的测距数据的子集，并且在606处利用与成像和测距装置的相应配对相关联的校准变换参数来将子集的点映射到与该成像装置相关联的图像参照系中的对应像素位置。在这方面，对于来自激光雷达装置404、508的激光雷达点云数据的子集内的每个激光雷达点(与相应的相机402、502的视场重叠)，控制模块34、500利用与该装置配对相关联的校准变换参数值以将相应的激光雷达点从激光雷达点云参照系中的三维坐标位置转换为或以其它方式映射到与该相机402、502相关联的图像参照系中的二维像素位置。在608处，地面参照确定过程600继续在604处将被映射到先前被分类为属于道路或地面的像素位置的测距数据的每个点分类或以其它方式指定为属于测距数据的道路子集的道路测距数据点。因此，对于被映射到道路像素位置的每个激光雷达点，控制模块34、500标注、标记或以其它方式指定激光雷达点为激光雷达点云数据内的道路点。如上所述，对单独的激光雷达装置404、508关于每个车载相机402、502的单独扫描执行步骤602、604、606以及608，由此对与相机402、502中的至少一个的视场重叠的扫描的整个部分进行分类。

在所说明的实施例中，地面参照确定过程600继续在610处分析测距数据内与道路测距数据点相邻的未分类点，以在608处增强道路测距数据点的基于图像的分类。例如，对于在608处未被分类为属于道路的激光雷达扫描中的激光雷达点云数据内具有相邻激光雷达数据点的每个道路激光雷达点，控制模块34、500确定与该未分类的激光雷达数据点和相邻的道路激光雷达数据点相关联的深度或距离之间的差值是否小于阈值。在这方面，阈值指示道路的大致上平滑或平坦的表面特性。当未分类的激光雷达数据点与相邻的道路激光雷达数据点之间的差值小于阈值时，控制模块34、500将先前未分类的激光雷达数据点分类、指定或以其它方式分配给道路子集(例如，通过相应地标注、标记或以其它方式标出激光雷达数据点)。

在示例性实施例中，在从扫描确定测距数据的道路子集之后，地面参照确定过程600继续在612处使用测距数据的道路子集和道路映射数据来计算或以其它方式确定车辆的定向。例如，控制模块34、500可以利用与定位系统76、506中的当前车辆位置相关联的坐标位置来获取与和数据存储元件46、504中的当前车辆位置相关联的坐标位置处或周围的道路表面的俯仰或高度对应的映射数据，并且基于所映射的道路俯仰或高度信息与激光雷达点的道路子集之间的关系，控制模块34、500确定车辆相对于道路表面的当前滚转、俯仰以及偏航(例如，通过确定使数据集之间的差值最小化的变量值)。

在示例性实施例中，地面参照确定过程600还在614处使用测距数据和映射数据的非道路环境子集来计算或以其它方式确定车辆的位置和航向。在这方面，以与上述612类似的方式，控制模块34、500可以利用与当前车辆位置相关联的坐标位置来获取与数据存储元件46、504中的当前车辆位置处或周围的环境对应的高分辨率三维映射数据。基于由所映射的对象、障碍物或通过映射数据和激光雷达点的环境子集捕获的其它特征之间的关系，控制模块34、500确定车辆在与映射数据相关联的参照坐标系中的当前三维位置和航向(例如，通过确定使数据集之间的差值最小化的变量值)。

一旦在612和614处更新或以其它方式确定与激光雷达扫描相关联的当前车辆姿态，所说明的地面参照确定过程600就继续在616处识别或以其它方式确定车辆附近的所关注区域并且在618处分析传感器数据内的那些区域来检测和分类那些区域内的任何对象或障碍物。在一个或多个实施例中，基于激光雷达点云数据的环境子集来识别图像内的所关注区域。例如，控制模块34、500可以识别环境子集内的激光雷达点的连续或连续分组，其表现出表明应当针对潜在对象分析该区域的一个或多个物理特性，该物理特性，诸如例如面积、体积或者大于阈值大小的其它大小、距车辆的平均深度或距离(小于阈值距离)等。在这方面，控制模块34、500可以识别可能包含可能影响车辆操作的对象、障碍物或其它特征的环境激光雷达点子集的其它子集。此后，环境激光雷达数据的所识别的对象子集的激光雷达点可以(例如，使用与相机402、502和激光雷达装置404、508的配对相关联的校准变换参数)被映射到与具有与激光雷达点云数据的那些相应区域重叠的视场的相机402、502相关联的像素位置，以识别来自该相机402、502的在时间上与光区域的激光雷达扫描相关联的图像内的所关注区域。

然后，控制模块34、500可以从由相机402、502提供的图像数据中选择那些像素区域，然后将那些像素区域输入到或以其它方式提供给卷积神经网络或其它图像分类算法以对相对于车辆的该位置处的对象进行分类或以其它方式表征。在一些实施例中，距激光雷达点的深度或距离也被分配给被分析区域的像素，使得图像分类算法可以利用物理或维度特性来提高分类的准确性。然后，可以利用检测到的对象的分类类型和/或状态来影响或以其它方式命令自主操作车辆，以便以适当方式响应于相对于车辆的该位置处的对象的类型或状态。

在一些实施例中，还使用与车辆的当前位置对应的映射数据来识别车辆附近的所关注区域。例如，可以基于对象相对于车辆的映射位置来识别可能包含固定对象(诸如交通信号、交通标志等)的图像数据的区域。使用关于车载相机402、502的相应姿态的信息以及相机相对于车辆的视场与来自612和614的当前车辆姿态相结合，控制模块34、500可以确定相机402、502中的哪一个具有可能包含映射对象或与映射对象重叠的视场。然后可以使用校准变换参数值将映射对象的位置从映射数据参照坐标系映射到与该所识别的相机402、502相关联的图像参照系内的对应像素位置，以在与该相机402、502相关联的相机坐标系与车辆参照系和/或映射数据参照坐标系之间进行转换。基于映射对象的相关像素位置，可以识别或以其它方式确定预期在来自相机402、502的图像内捕获对象的像素区域，并且以与如上所述类似的方式将该像素区域提供给图像分类算法。同样，可以利用映射到所关注的像素区域的激光雷达数据来使用与像素区域相关联的物理或维度属性来提高分类的准确度。

图8描绘了与覆盖在由相机捕获的环境的图像802上的相机的视场对应的环境的激光雷达扫描数据800的图形表示。根据上述地面参照确定过程，基于图像802与激光雷达扫描数据800之间的映射以及激光雷达扫描数据800的相邻点的相对深度或距离，将激光雷达扫描数据800的点804的子集分类为属于道路或地面。如上所述，激光雷达数据800的道路子集804可以用于更新或改善车辆姿态，这进而结合分析激光雷达扫描数据800的非道路部分以及图像802的对应像素来对环境内的对象进行检测和分类等。

通过使用图像数据来建立激光雷达点云数据的地面参照子集，可以更准确地确定车辆的定向。另外，一旦识别图像分类的激光雷达点，就可以基于具有与先前被分类为属于地面的附加的激光雷达点的相邻激光雷达点类似的深度或距离来将附加的激光雷达点分类或表征为属于地面。因此，用于地面参照的所得激光雷达点的子集更加全面，这提高了车辆定向确定的准确性和可靠性。另外，从激光雷达点的剩余环境子集中排除更多地面点提高了基于周围环境特征的车辆定位的准确性和可靠性，同时还消除了进一步对象分析中的无关或外来点。

为了简明起见，本文可以不详细描述与信号处理、数据传输、信令、成像、测距、同步、校准、控制系统以及该系统(和该系统的单个操作部件)的其它功能方面有关的常规技术。另外，本文所包括的各个图式中所示的连接线旨在表示各个元件之间的示例功能关系和/或物理联接。应当注意的是，在本公开的实施例中可以存在许多替代或附加的功能关系或物理连接。

本公开的实施例在本文可以依据功能和/或逻辑块部件和各个处理步骤来描述。应当明白的是，这些块部件可以由被配置为执行指定功能的任何数量的硬件、软件和/或固件部件来实施。例如，本公开的实施例可以采用各种集成电路部件(例如，存储器元件、数字信号处理元件、逻辑元件、查找表等，其可以在一个或多个微处理器或其它控制装置的控制下执行多种功能)。另外，本领域技术人员将明白的是，本公开的实施例可以结合任何数量的系统来实践，并且本文所述的系统仅仅是本公开的示例性实施例。

虽然前述详细描述中已经提出了至少一个示例性实施例，但是应当明白的是，存在许多变化。还应当明白的是，示例性实施例仅仅是示例的并且不旨在以任何方式限制本公开的范围、适用性或配置。实情是，前文详细描述将给本领域技术人员提供用于实施示例性实施例或多个示例性实施例的便捷指引。应当理解的是，在不脱离所附权利要求书和其合法等同物的范围的情况下，可对元件的功能和设置作出各种改变。