用于自主车辆操作的校准验证的制作方法

本公开总体上涉及汽车，并且更具体地涉及用于验证表示操作环境的不同类型的数据之间的先前验证关系以支持持续的自主操作的系统和方法。

背景技术

自主车辆是能够感测其环境并且以很少或不需要用户输入进行导航的车辆。自主车辆使用诸如雷达、激光雷达、图像传感器等感测装置来感测其环境。自主车辆进一步使用来自全球定位系统(gps)技术、导航系统、车对车通信、车对基础设施技术和/或线控驱动系统的信息来对车辆进行导航。

车辆自动化已经被分类为从零(对应于全人为控制的非自动化)到五(对应于无人为控制的全自动化)的范围中的数值等级。各种自动驾驶员辅助系统(诸如巡航控制、自适应巡航控制以及驻车辅助系统)对应于较低自动化等级，而真正的“无人驾驶”车辆对应于较高自动化等级。

为了实现高等级的自动化，车辆通常配备有用于分析车辆周围环境的越来越多数量的不同类型的装置，诸如(例如)相机或捕捉环境影像的其它成像装置、雷达或用于勘测或检测环境内的特征的其它测距装置等。实际情形中，不同的车载装置位于车上的不同位置处，并且通常以不同采样速率或刷新速率操作，并且因而捕捉从不同视点或视角来看对应于不同时间点的不同类型的数据。校准不同装置之间的关系提高了在不同类型的数据之间准确地建立相关关系的能力，进而促进了更准确地将属性分配到环境内的对象或特征，由此改进自主车辆控制。

实际情形中，有数种噪声或误差来源可能会在最初或者随着时间而影响校准准确度。因此，还识别可能产生的校准异常并且采取适当的补救措施来缓解潜在的校准精度下降是合乎需要的。另外，结合附图和前文的技术领域及背景技术，从具体实施方式和所附权利要求书中，本发明的其它值得期待的特征和特性将变得显而易见。

技术实现要素：

提供了用于控制车辆的系统和方法。在一个实施例中，方法包括：通过车辆上的控制模块至少部分地基于车辆上的传感器系统的输出来检测车辆的静止状态；通过控制模块在静止状态期间响应于检测到静止状态而从车辆上的成像装置获取图像；通过控制模块获取在静止状态期间成像装置在车辆姿态下的视场的参考数据；通过控制模块基于参考数据识别参考对象的参考位置；通过控制模块识别在图像内的第二位置处的参考对象；以及通过控制模块基于参考位置与第二位置之间的差值来验证与成像装置相关联的变换。

在另一个实施例中，提供了一种自主车辆，其包括：车辆上的成像装置、参考数据源、车辆上的一个或多个传感器、车辆上的一个或多个致动器，以及控制器，该控制器通过处理器至少部分地基于一个或多个传感器的输出来检测静止状态、在静止状态期间从成像装置获取图像、从参考数据源获取在静止状态期间成像装置在车辆姿态下的视场的参考数据、基于参考数据识别参考对象的参考位置、识别在图像内的第二位置处的参考对象、基于参考位置与第二位置之间的差值来验证与成像装置相关联的变换，并且此后以受验证变换影响的方式自主地操作车辆上的一个或多个致动器。

在另一个实施例中，一种控制车辆的方法包括：在静止状态期间从车辆上的感测装置获取第一数据；基于对应于感测装置的视场的参考数据以及与感测装置相关联的一个或多个校准变换参数值在第一数据内识别参考对象的预期位置；在第一数据内识别观察位置处的参考对象；当预期位置与观察位置之间的差值大于阈值时，发起关于感测装置的补救动作；以及当预期位置与观察位置之间的差值小于阈值时，验证一个或多个校准变换参数值。

附图说明

下文将结合以下附图描述示例性实施例，其中相同标号表示相同元件，且其中：

图1是说明根据各种实施例的自主车辆的功能框图；

图2是说明根据各种实施例的具有图1的一个或多个自主车辆的运输系统的功能框图；

图3是根据各种实施例的适用于由图1的车辆实施的自动驾驶系统(ads)的示意框图；

图4是根据各种实施例的在诸如图1的自主车辆等车辆上的多个成像装置和多个测距装置的布置的图示；

图5是根据一个或多个示例性实施例的用于在图1或图4的车辆上实施的处理模块的框图；

图6是说明根据一个或多个示例性实施例的校准验证过程的流程图；并且

图7至图8描绘了根据一个或多个示例性实施例的表示车辆上的相机的捕捉视场的环境的示例性图像，其包括适合于结合图6的校准验证过程使用的参考对象。

具体实施方式

以下具体实施方式本质上仅仅是示例性的，而不旨在限制应用和用途。另外，不存在被任何前述的技术领域、背景技术、摘要或以下具体实施方式中提出的任何明示的或暗示的理论约束的意图。如本文所使用，术语模块是指个别或呈任何组合形式的任何硬件、软件、固件、电子控制部件、处理逻辑和/或处理器装置，包括但不限于：专用集成电路(asic)、电子电路、处理器(共享、专用或成组)和执行一个或多个软件或固件程序的存储器、组合逻辑电路和/或提供所述功能性的其它合适部件。

本公开的实施例在本文可依据功能和/或逻辑块部件和各个处理步骤来描述。应当明白的是，这些块部件可由被配置为执行指定功能的任何数量的硬件、软件和/或固件部件来实施。例如，本公开的实施例可采用各种集成电路部件(例如，存储器元件、数字信号处理元件、逻辑元件、查找表等，其可以在一个或多个微处理器或其它控制装置的控制下执行多种功能)。另外，本领域技术人员将明白的是，本公开的实施例可结合任何数量的系统来实践，并且本文所述的传感器平台仅仅是本公开的一个示例性实施例。

为了简明起见，本文可不详细描述与信号处理、数据传输、信令、成像、测距、同步、校准、控制系统以及该系统(和该系统的单个操作部件)的其它功能方面有关的常规技术。另外，本文所包括的各个图式中所示的连接线旨在表示各个元件之间的示例功能关系和/或物理联接。应当注意的是，在本公开的实施例中可存在许多替代或附加的功能关系或物理连接。

在本文描述的一个或多个示例性实施例中，能够进行某种级别的自主操作的车辆包括多个不同的装置，它们从不同的视角并且以不同的采样或刷新速率捕捉图像或以其它方式产生表示车辆附近的场景或环境的数据。可相对于另一个参考系(诸如车辆参考系或另一个装置的坐标系)来校准特定装置的关系，从而导致可用于从一个参考系转化到另一个参考系以建立数据集之间的相关性的变换函数。

例如，来自一个车载成像装置的图像数据可基于成像装置的视线和/或视场与测距装置勘测或扫描与成像装置相关联的视场的时刻之间的关系与来自车辆上的测距装置的测距数据相关。校准特定成像装置与特定测距装置之间的关系导致可用于将来自测距装置的测距数据转化为由成像装置捕捉的图像的转换参数值，并且反之亦然。例如，可使用测距数据和转换参数值将坐标位置或多个坐标位置分配给图像的部分，以将测距数据参考系内的坐标或点转化为图像数据参考系。以此方式，可将相对深度或其它尺寸或物理属性分配给图像内的区域，其进而可用于检测或以其它方式识别图像内的特定类型的对象，计算或确定对象与车辆之间的距离，并且以受到车辆环境中的对象的类型和相对位置影响的方式来确定用于转向或以其它方式操作车辆的命令。

为了解释目的，本主题可在本文主要在成像装置被实现为相机并且测距装置被实现为光检测和测距(激光雷达)装置的背景情境中进行描述。即，应当明白的是，本文描述的主题不一定限于与光学相机和激光雷达一起使用，并且替代实施例可采用其它类型的相机或成像装置、雷达或其它类型的测距装置，或者成像装置与测距装置的任何数量的组合。

下文主要以图4至图8为背景情境而更详细描述的示例性实施例总体上涉及：在车辆的自主操作期间使用在给定时刻在车辆附近的周围环境中具有大致上固定位置的对象或特征来周期性地或持续地验证现有校准的准确度。为了验证车载装置(诸如相机)的现有校准，基于一个或多个车载传感器系统的输出来检测车辆的静止状态。响应于检测到静止状态，在静止状态期间从正被分析的装置获取一组数据(例如，来自相机的图像)。还获取在静止状态时的当前车辆姿态并且将其用于获取与在车辆姿态下分析的装置的视场或视线对应的参考数据。就此而言，参考数据可包括与车辆姿态处或附近的环境对应的勘测或映射数据，其可包括具有大致上固定的真实世界位置的对象或特征。在用于装置视场的参考数据内识别具有固定位置的这种对象或特征，并且基于参考数据识别该对象或特征相对于车辆或在一些其它参考系中的对应参考位置。此后，在来自被分析的装置的数据集内识别对应的对象或特征，然后利用该对象的已知参考位置与该数据集内的对应对象的位置之间的差值来验证用于从装置的坐标系转换或转化为参考系的变换参数。当差值小于阈值或以其它方式指示该校准保持有效时，继续使用现有的变换参数以对装置数据集分配属性并且自主地操作车辆上的致动器。然而，当差值指示该校准可能无效时，采取一个或多个补救动作来解决任何差异或异常，诸如例如重新校准装置。

例如，响应于检测到车辆已经停止或以其它方式在交叉路口达到静止状态，车载相机可捕捉图像并且利用该图像来验证与该相机相关联的现有校准。使用当前的车辆姿态，可从地图数据库等获取与停止在该位置时该相机的预期视场对应的参考数据。诸如交通信号、交通标志、消防栓等的一个或多个固定对象可被识别为相机视场内的参考对象，并且可识别它们在车辆参考系中相对于车辆姿态的对应已知的或勘测得到的定位或位置。可利用用于在车辆参考系与图像坐标系之间转换的校准变换参数来将参考对象的固定位置映射到图像坐标系中的预期位置。此后，分析图像以定位与图像数据内的参考对象对应的对象并且获取它们在图像坐标系中的相应观察位置。确定参考对象的预期位置与图像中的对应对象的观察位置之间的差值，并且可基于相对位置差值来计算指示该校准的相对有效性的度量。在这方面，当度量的值指示位置差值超过某个阈值量时，可采取补救动作，诸如例如重新校准相机或暂停使用现有的变换参数值直到相机重新校准。

现在参考图1，根据一个或多个实施例，所示出的自主车辆控制系统100确定用于沿着路线以如下方式自主地操作车辆10的运动计划：考虑由如下面更详细地描述的车载传感器28、40检测到的对象或障碍。就此而言，自主车辆10上的控制模块相对于彼此和/或车辆10校准不同类型的车载传感器28、40，由此允许来自这些不同类型的车载传感器28、40的数据在空间上基于校准而彼此相关联或不关联，由此改进车辆10的对象检测、对象分类以及所得自主操作。

如图1中所描绘，车辆10通常包括底盘、车身14以及在车身14的相应角部附近可旋转地联接到底盘的前车轮16和后车轮18。车身14被布置在底盘上并且大致上包围车辆10的部件，并且车身14和底盘可共同形成车架。

在示例性实施例中，车辆10是自主车辆并且控制系统100被结合到自主车辆10(在下文中被称为自主车辆10)中。自主车辆10例如是被自动控制以将乘客从一个位置运送到另一个位置的车辆。在所说明的实施例中，车辆10被描绘为乘用车，但是应当明白的是，也可使用包括摩托车、卡车、运动型多用途车辆(suv)、休闲车辆(rv)、船舶、飞行器等任何其它交通工具。在示例性实施例中，自主车辆10是所谓的四级或五级自动化系统。四级系统指示“高度自动化”，其指代自动驾驶系统在动态驾驶任务的所有方面的驾驶模式所特有的性能，即使人类驾驶员对干预请求没有做出适当响应。五级系统指示“全自动化”，其指代自动驾驶系统在可由人类驾驶员管理的所有道路和环境条件下在的动态驾驶任务的所有方面的全面性能。

如所示，自主车辆10通常包括推进系统20、变速器系统22、转向系统24、制动系统26、传感器系统28、致动器系统30、至少一个数据存储装置32、至少一个控制器34和通信系统36。推进系统20在各种实施例中可包括内燃机、诸如牵引电动机等电机和/或燃料电池推进系统。变速器系统22被配置为根据可选速比将来自推进系统20的动力传输到多个车轮16到18。根据各种实施例，变速器系统22可包括分级传动比自动变速器、无级变速器或其它适当的变速器。制动系统26被配置为向车轮16到18提供制动转矩。在各种实施例中，制动系统26可包括摩擦制动器、线控制动器、诸如电机等再生制动系统，和/或其它适当的制动系统。转向系统24影响车轮16到18的位置。虽然为了说明目的而被描绘为包括方向盘，但是在本公开的范围内预期的一些实施例中，转向系统24可不包括方向盘。

传感器系统28包括感测自主车辆10的外部环境和/或内部环境的可观察条件的一个或多个感测装置40a到40n。感测装置40a到40n可包括但不限于雷达、激光雷达、全球定位系统、光学相机、热像仪、超声波传感器和/或其它传感器。致动器系统30包括一个或多个致动器装置42a到42n，其控制一个或多个车辆特征，诸如但不限于推进系统20、变速器系统22、转向系统24和制动系统26。在各种实施例中，车辆特征可进一步包括内部和/或外部车辆特征，诸如但不限于车门、行李箱，以及诸如无线电、音乐、照明等舱室特征(未编号)。

数据存储装置32存储用于自动控制自主车辆10的数据。在各种实施例中，数据存储装置32存储可导航环境的限定地图。在各种实施例中，限定地图可由远程系统预定义并且从远程系统获取(关于图2进一步详细描述)。例如，限定地图可由远程系统组装并且(以无线方式和/或以有线方式)传送到自主车辆10并存储在数据存储装置32中。可以理解的是，数据存储装置32可为控制器34的一部分，与控制器34分开，或作为控制器34的一部分以及单独系统的一部分。

控制器34包括至少一个处理器44和计算机可读存储装置或介质46。处理器44可为任何定制的或商业上可用的处理器、中央处理单元(cpu)、图形处理单元(gpu)、与控制模块34相关联的若干处理器中的辅助处理器、基于半导体的微处理器(呈微芯片或芯片集的形式)、宏处理器、它们的任何组合或通常用于执行指令的任何装置。计算机可读存储装置或介质46可包括例如只读存储器(rom)、随机存取存储器(ram)和保活存储器(kam)中的易失性和非易失性存储装置。kam是一种持久或非易失性存储器，其可在处理器44断电时用于存储各种操作变量。计算机可读存储装置或介质46可使用诸如prom(可编程只读存储器)、eprom(电prom)、eeprom(电可擦除prom)、闪速存储器或能够存储数据的任何其它电动、磁性、光学或组合存储器装置的许多已知存储器中的任何一种来实施，其中的某些数据表示由控制器34用于控制自主车辆10的可执行指令。

指令可包括一个或多个单独的程序，每个程序包括用于实施逻辑功能的可执行指令的有序列表。指令在由处理器44执行时接收并处理来自传感器系统28的信号，执行用于自动控制自主车辆10的部件的逻辑、计算、方法和/或算法，并且产生控制信号给致动器系统30以基于逻辑、计算、方法和/或算法来自动地控制自主车辆10的部件。虽然图1中仅示出了一个控制器34，但是自主车辆10的实施例可包括通过任何合适的通信介质或通信介质的组合进行通信并且协作以处理传感器信号、执行逻辑、计算、方法和/或算法且产生控制信号以自动控制自主车辆10的特征的任意数量的控制器34。

在各种实施例中，控制器34的一个或多个指令被实施在控制系统100中(例如，数据存储元件46中)，并且当由处理器44执行时使处理器44基于来自一个或多个车辆传感器40(例如，速度传感器、定位传感器等)的输出数据来检测或识别车辆10的静止状态，在车辆10静止的同时获取从成像和测距装置40捕捉或产生的数据，并且以相应装置40验证校准关系，如下面更详细地描述。此后，处理器44可利用验证校准来在数据集或车辆参考系之间的相关性和变换以将来自一个数据集的属性分配给另一个数据集，并且由此改进对象检测、对象分类、对象预测等。所得对象以及它们的分类和预测行为影响用于自主操作车辆10的行驶计划，其继而影响由处理器44产生或以其它方式提供到控制致动器42的命令。在一个或多个实施例中，处理器44检测或识别车辆10的静止状态并且周期性地验证或证实一个或多个现有校准的准确性，并且响应于关于校准的异常状态，处理器44发起补救动作，诸如例如重新校准相应装置40或暂停使用相应装置40。

仍然参考图1，在示例性实施例中，通信系统36被配置为向和从其它实体48(诸如但不限于其它车辆(“v2v”通信)、基础设施(“v2i”通信)、远程运输系统和/或用户装置(关于图2更详细地描述))无线地传送信息。在示例性实施例中，通信系统36是被配置为经由使用ieee802.11标准的无线局域网(wlan)或通过使用蜂窝数据通信来进行通信的通信系统。然而，诸如专用短程通信(dsrc)信道等附加或替代通信方法也被认为在本公开的范围内。dsrc信道是指专门为汽车使用而设计的单向或双向短程到中程无线通信信道，以及对应的一组协议和标准。

现在参考图2，在各种实施例中，关于图1描述的自主车辆10可适用于在某个地理区域(例如，城市、学校或商业园区、购物中心、游乐园，活动中心等)的出租车或班车系统的背景下或可只需由远程系统管理。例如，自主车辆10可与基于自主车辆的远程运输系统相关联。图2说明了总体上以50示出的操作环境的示例性实施例，该操作环境包括基于自主车辆的远程运输系统52，其与关于图1所描述的一个或多个自主车辆10a到10n的一种或多种情况相关联。在各种实施例中，操作环境50进一步包括经由通信网络56与自主车辆10和/或远程运输系统52通信的一个或多个用户装置54。

通信网络56根据需要支持在由操作环境50支持的装置、系统和部件之间(例如，经由有形的通信链路和/或无线通信链路)的通信。例如，通信网络56可包括无线载波系统60，诸如蜂窝电话系统，其包括多个手机信号塔(未示出)、一个或多个移动交换中心(msc)(未示出)以及将无线载波系统60与陆地通信系统连接所需要的任何其它联网部件。每个手机信号塔均包括发送和接收天线以及基站，其中来自不同手机信号塔的基站直接或经由诸如基站控制器等中间设备连接到msc。无线载波系统60可实施任何合适的通信技术，包括(例如)诸如cdma(例如，cdma2000)、lte(例如，4glte或5glte)、gsm/gprs或其它当前或正涌现的无线技术等数字技术。其它手机信号塔/基站/msc布置是可能的并且可结合无线载波系统60使用。例如，基站和手机信号塔可共同位于相同站点处或它们可远离彼此，每个基站可负责单个手机信号塔或单个基站可服务于各个手机信号塔，且各个基站可联接到单个msc，这里仅列举几种可能布置。

除包括无线载波系统60外，可包括呈卫星通信系统64的形式的第二无线载波系统来提供与自主车辆10a到10n进行的单向或双向通信。这可使用一个或多个通信卫星(未示出)和上行链路传输站(未示出)来进行。单向通信可包括(例如)卫星无线电服务，其中节目内容(新闻、音乐等)是由传输站接收、封装上传并且然后发送到卫星，从而向用户广播该节目。双向通信可包括(例如)使用卫星以在车辆10与站之间中继电话通信的卫星电话服务。除了或代替无线载波系统60，可利用卫星电话。

可进一步包括陆地通信系统62，其为连接到一个或多个陆线电话的常规陆基电信网络并且将无线载波系统60连接到远程运输系统52。例如，陆地通信系统62可包括诸如用于提供硬接线电话、分组交换数据通信和因特网基础设施的公共交换电话网(pstn)。一段或多段陆地通信系统62可通过使用标准有线网络、光纤或其它光学网络、电缆网络、电力线、其它无线网络(诸如无线局域网(wlan))或提供宽带无线存取(bwa)的网络或其任何组合来实施。另外，远程运输系统52不需要经由陆地通信系统62连接，反而可包括无线电话设备使得其可直接与无线网络(诸如无线载波系统60)通信。

虽然在图2中仅示出了一个用户装置54，但是操作环境50的实施例可支持任意数量的用户装置54，包括由一个人拥有、操作或以其它方式使用的多个用户装置54。由操作环境50支持的每个用户装置54可使用任何合适的硬件平台来实施。就此而言，用户装置54可以任何常见形式因素来实现，包括但不限于：台式计算机；移动计算机(例如，平板计算机、膝上型计算机或上网本计算机)；智能电话；视频游戏装置；数字媒体播放器；一件家庭娱乐设备；数码相机或视频摄影机；可穿戴计算装置(例如，智能手表、智能眼镜、智能服装)；等等。由操作环境50支持的每个用户装置54被实现为具有执行本文描述的各种技术和方法所需的硬件、软件、固件和/或处理逻辑的计算机实施的或基于计算机的装置。例如，用户装置54包括可编程装置形式的微处理器，该微处理器包括存储在内部存储器结构中并且被施加来接收二进制输入以创建二进制输出的一个或多个指令。在一些实施例中，用户装置54包括能够接收gps卫星信号并且基于那些信号产生gps坐标的gps模块。在其它实施例中，用户装置54包括蜂窝通信功能性使得该装置通过通信网络56使用一个或多个蜂窝通信协议(如本文所讨论)执行语音和/或数据通信。在各种实施例中，用户装置54包括可视化显示器，诸如触摸屏图形显示器或其它显示器。

远程运输系统52包括一个或多个后端服务器系统，该后端服务器系统可为基于云的、基于网络的或驻留在由远程运输系统52服务的特定校园或地理位置。远程运输系统52可由现场顾问、自动顾问、人工智能系统或它们的组合来人工操作。远程运输系统52可与用户装置54和自主车辆10a到10n进行通信以安排乘车、派遣自主车辆10a到10n等等。在各种实施例中，远程运输系统52存储诸如用户认证信息、车辆标识符、简档记录、行为模式和其它相关用户信息等账户信息。

根据典型的用例工作流程，远程运输系统52的注册用户可经由用户装置54创建乘车请求。乘车请求通常将指示乘客希望的乘车位置(或当前gps位置)、期望目的地位置(其可识别预定义的车辆停靠站和/或用户指定的乘客目的地)以及乘车时间。远程运输系统52接收乘车请求、处理该请求，并且在指定的乘车地点且在适当的时间派遣自主车辆10a到10n中的一个车辆来让乘客乘车(当一个车辆可用时和如果一个车辆可用)。运输系统52还可产生并向用户装置54发送适当配置的确认消息或通知，以使乘客知道车辆正在途中。

可以理解的是，本文公开的主题提供了可被认为是标准或基准自主车辆10和/或基于自主车辆的远程运输系统52的某些增强的特征和功能。为此，自主车辆和基于自主车辆的远程运输系统可被修改、增强或以其它方式补充以提供下面更详细描述的附加特征。

现在参考图3，根据各种实施例，控制器34实施如图3中所示的自主驾驶系统(ads)70。即，利用控制器34(例如，处理器44和计算机可读存储装置46)的合适软件和/或硬件部件来提供与车辆10结合使用的自主驾驶系统70，以例如自动地控制各种致动器30并且由此在无人类干预的情况下分别控制车辆加速、转向和制动。

在各种实施例中，自主驾驶系统70的指令可由功能或系统组织。例如，如图3中所示，自主驾驶系统70可包括传感器融合系统74、定位系统76、引导系统78和车辆控制系统80。如可明白的是，在各种实施例中，由于本公开不限于本示例，所以可将指令组织(例如，组合、进一步划分等)为任何数量的系统。

在各种实施例中，传感器融合系统74合成并处理传感器数据并且预测车辆10的环境的对象和特征的存在、位置、分类和/或路径。在各种实施例中，传感器融合系统74可结合来自多个传感器(包括但不限于相机、激光雷达、雷达和/或任何数量的其它类型的传感器)的信息。在本文描述的一个或多个示例性实施例中，传感器融合系统74主要在图6的背景情境中支持或以其它方式执行本文更详细描述的校准验证过程。在示例性实施例中，传感器融合系统74使用与相应相机和参考系的配对相关联的经校准转换参数值将图像数据与激光雷达点云数据、车辆参考系或某个其它参考坐标系相关，以将深度分配给图像数据，识别一个或多个图像数据中的对象，或以其它方式合成相关图像数据和其它数据，诸如激光雷达数据。换言之，来自传感器融合系统74的被提供给车辆控制系统80的传感器输出(例如，检测到的对象和/或它们相对于车辆10的位置的标记)反映相机之间的校准和关联、激光雷达点云数据等或以其它方式受其影响。

定位系统76处理传感器数据以及其它数据以确定车辆10相对于环境的定位(例如，相对于地图的本地位置、相对于道路车道的精确位置、车辆航向、速度等)。引导系统78处理传感器数据以及其它数据以确定车辆10遵循的路径。车辆控制系统80根据所确定的路径产生用于控制车辆10的控制信号。

在各种实施例中，控制器34实施机器学习技术以辅助控制器34的功能，诸如特征检测/分类、障碍物减少、路线穿越、映射、传感器集成、地面实况确定等。

图4描绘了示例性车辆400，其包括分布在车辆400周围的多个相机402和分布在车辆400周围的多个测距装置404。相机402被设置在不同的位置处并且被定向为提供捕捉车辆400附近的周围环境的不同部分的不同视场。例如，第一相机402位于车辆400的左前(或驾驶员)侧，并且其视场相对于车辆400的纵向轴线在前进方向上逆时针地定向成45°，并且另一个相机402可位于车辆400的右前方(或乘客)侧，并且其视场相对于车辆400的纵向轴线顺时针定向成45°。附加相机402位于车辆400的左后侧和右后侧并且类似地相对于车辆纵向轴线以45°的角度定向远离纵向轴线，且相机402位于车辆400的左侧和右侧并且垂直于车辆纵向轴线远离该纵向轴线定向。所说明的实施例还包括一对相机402，其位于车辆纵向轴线处或附近并且被定向成沿着大致平行于车辆纵向轴线的视线捕捉前视视场。

在示例性实施例中，相机402具有可能不同于一个或多个其它相机402的视角、焦距和其它属性。例如，车辆的右侧和左侧上的相机402可具有的视角大于与位于车辆的左前方、右前方、左后方或右后方的相机402相关联的视角。在一些实施例中，相机402的视角被选择使得不同相机402的视场至少部分地重叠以确保相对于车辆400的相对于特定位置或定向下的相机覆盖。

一个或多个测距装置404也被设置在车辆400的不同位置处，并且在一个实施例中，关于车辆400的纵向轴线对称地设置以实现视差。在本文描述的示例性实施例中，测距装置404被实现为激光雷达装置。就此而言，每个测距装置404均可包括或结合有一个或多个激光器、扫描部件、光学布置、光电检测器以及适当地被配置为以特定角频率或转速水平地和可旋转地扫描车辆400附近的环境的其它部件。例如，在一个实施例中，每个激光雷达装置404被配置为以10赫兹(hz)的频率水平旋转和扫描360°。如本文所使用，激光雷达扫描应当被理解为指激光雷达装置404的单次旋转。

在本文描述的示例性实施例中，相机402以特定频率自动地并且自动捕捉图像，该特定频率可大于激光雷达装置404的角频率。在一个实施例中，相机402的频率或采样频率是激光雷达装置404的角频率的至少两倍。例如，当激光雷达装置404以10hz速率扫描并自动提供更新的数据的同时，相机402可以30hz速率捕捉与它们的相应视场对应的新图像数据。因此，每个相机402可每次激光雷达扫描捕捉多个图像，并且在不同时间捕捉图像，这与激光雷达装置404的定向或扫描内的角位置无关。在这样的实施例中，可基于获取图像的时间与激光雷达扫描的角位置对应于激光雷达装置404的视线(与相应相机402的视线或视角对齐)的时间之间的相对时间差来选择或识别来自每个相应的相机402的图像，该图像与来自特定激光雷达扫描的激光雷达点云数据在时间上相关联。

在其它实施例中，在激光雷达扫描期间获取的图像可被融合或以其它方式组合以实现对应于激光雷达扫描的典型图像。在其它实施例中，当激光雷达扫描的角位置对应于激光雷达装置404的视线(与相应相机402的视线或视角对齐)时，可触发或以其它方式控制相机402以在激光雷达扫描期间捕捉每个时刻的图像。就此而言，应当明白的是，存在许多不同的方式来同步或在时间上关联不同的数据集，并且本文所描述的主题不旨在限于用于识别区域的图像数据或将区域的图像数据与该区域的激光雷达扫描或该区域的对应激光雷达数据相关联的任何特定方式。

图5描绘了可由控制器34、处理器44和/或传感器融合系统74实施或者结合到其中的处理模块500(或控制模块)的实施例。处理模块500联接到车辆上的感测装置502，诸如相机(例如，一个相机402)或激光雷达装置(例如，一个激光雷达装置404)。为了解释目的，本文在被实施为相机的车载感测装置502的背景情境中描述本主题，然而，应当明白的是，本文描述的校准验证过程不限于任何特定类型的装置，并且可以用于激光雷达装置或任何其它感测装置的等效方式来实施。另外，应当注意的是，虽然图5描绘了单个相机502，但是实际上，处理模块500可联接到车辆10、400上的多个感测装置40、402、404以大致上同时或并行地执行本文关于多个装置40、402、404描述的校准验证过程。

在示例性实施例中，处理模块500校准相机502的坐标框架(或相机参考系)与一个或更多个不同的坐标系(诸如参考车辆姿态的坐标系(例如，车辆参考系)或与车辆上的激光雷达或其它测距装置相关联的坐标系)之间的关系。处理模块500将特征化该关系的校准数据存储或保持在数据存储元件504中。就此而言，校准数据可包括用于在空间上从相机参考系转化为另一个参考系的函数的变量的值，或者反之亦然。此后，当将后续图像数据与激光雷达点云数据或其它环境数据相关时，处理模块500可利用校准数据来向图像数据分配属性，或者反之亦然。例如，在一个或多个实施例中，处理模块500被配置为缓冲、存储或以其它方式维持对应于由相机502在每个激光雷达扫描中所捕捉的一个或多个图像(或样本)的图像数据，并且选择或以其它方式识别在时间上与相机视场的激光雷达扫描相关联的所捕捉的图像。然后可利用变换参数值以将来自相机视场扫描的激光雷达数据投影到图像数据上(例如，通过转换为相机参考系)以将深度、距离或其它尺寸特性分配给选定图像，或替代地利用图像数据来识别激光雷达数据内用于对象检测和/或分类的感兴趣区域。以此方式，处理模块500可利用图像数据与点云数据之间的校准相关性来检测用于分类、预测和分析的对象。

如下文以图6为背景情境的更详细描述，处理模块500检测车辆的静止状态并且使用与从参考数据源508获取的车辆的当前位置对应的参考数据(诸如，来自地图数据库的映射数据或勘测数据)来验证相机502的现有校准。就此而言，处理模块500联接到车辆定位系统506(其可作为定位系统76的一部分或结合定位系统76实施)，其处理传感器数据以确定车辆的当前速度、加速度、航向和姿态。在示例性实施例中，当前车辆姿态包括限定车辆相对于地球的位置的坐标以及限定车辆相对于地球的定向的俯仰角、滚转角和横摆角值。例如，定位系统506可从车辆上的gps系统接收车辆的纬度和经度坐标，并且利用车辆的空间坐标来从地图数据库508获取与该位置对应的映射数据。使用与道路表面和车辆周围环境对应的映射数据，定位系统506可使用车辆航向、激光雷达数据和/或潜在的其它传感器数据(例如，来自车载陀螺仪、加速计等的俯仰角、滚转角、横摆角数据)来确定车辆相对于映射数据的坐标系的当前三维坐标位置以及车辆相对于道路表面的当前俯仰角、滚转角和横摆角。

响应于检测到车辆静止(例如，基于当前速度和/或加速度)，处理模块500利用当前车辆姿态来基于相机502相对于车辆的位置和定向确定相机502相对于周围环境的预期当前视场。此后，处理模块500分析与当前车辆姿态相关联的映射数据以识别预期当前视场内的一个或多个参考对象以及这些参考对象在映射数据的坐标系中的对应参考位置。使用与相机502相关联的现有校准变换参数值，处理模块500将参考对象的参考位置从映射坐标系转换为相机参考系内的对应参考位置，在相机参考系中，相机502将期望观察相机视场内的参考对象。

处理模块500在静止状态期间获取由相机502在车辆姿态下捕捉的图像，并且分析图像以在图像数据内识别与参考对象以及它们在相机坐标系中的对应观察位置对应的对象或特征或以其它方式将这些对象或特征定位在图像数据内。处理模块500基于所识别的对象在相机坐标系中的观察位置与参考对象在相机坐标系中的预期位置之间的差值来计算或以其它方式确定校准有效性度量，并且基于该度量来验证相机的现有校准。在一些实施例中，处理模块500还可将与静止状态的不同情况相关联的计算的校准有效性度量值存储或以其它方式保存在数据存储元件504中，以识别指示异常校准的趋势或模式，如下面更详细描述。

现在参考图6并且继续参考图1到图5，流程图说明了可嵌入在图1的支持ads70的控制系统100中的控制器34内的校准验证过程600的各种实施例。就此而言，车辆10、400上的一个或多个控制模块34、44、500可实施或以其它方式执行校准验证过程600。该方法内的操作顺序不限于如图6中所描绘的顺序来执行，而是可按照适用和根据本公开的一个或多个不同顺序来执行。另外，校准验证过程600的实际实施例中可省略在图6的背景情境中示出和描述的一个或多个任务，同时仍然实现通常预期的总体功能。在各种实施例中，校准验证过程600可被安排为基于一个或多个预定事件运行，和/或可在自主车辆10、400的操作期间周期性地或连续地运行。

在示例性实施例中，校准验证过程600开始于在602处从一个或多个车载传感器接收或以其它方式获取数据，并且在604处检测或以其它方式识别车辆何时静止。例如，如上所述，车辆上的控制模块34、500可联接到一个或多个车载传感器40，该车载传感器40(诸如速度传感器、定位传感器、节气门传感器、制动传感器等)提供可被分析或监测以确定车辆10、400何时静止的相应输出。可从车辆10、400上的定位系统76、506接收附加的车辆姿态信息(诸如例如纬度和经度坐标、gps坐标或一些其它位置信息)，其也可被分析以检测车辆10、400是否是静止的。当车辆10、400的速度(speed或velocity)等于零，车辆10、400的加速度等于零，并且车辆10、400的位置稳定或不变时，校准验证过程600可检测车辆10、400的静止状态。在一些实施例中，控制模块34、500还可分析当前提供给各种车辆致动器30、42的命令(例如，车辆控制系统80的输出)，诸如制动命令、节气门命令等，以确认车辆10、400的位置旨在保持稳定或不变持续至少大于或等于对应于相机402、502的取样频率的持续时间的阈值时间量，以确保可在静止状态期间获取来自相机402、502的图像。以此方式，校准验证过程600确保用于校准验证的图像数据将不包括可能由车辆10、400的移动引入的噪声或其它伪像。

在识别静止状态之后，通过识别或以其它方式选择在静止状态期间由相机在当前车辆姿态下捕捉的一个或多个图像以用于在606处验证相机的校准来继续进行验证过程600。例如，基于与来自相机402、502的图像相关联的时间戳以及与静止状态相关联的时间，处理模块500可选择或以其它方式识别在静止状态期间由相机402、502捕捉的图像以用于验证现有的相机校准。

通过在608处识别具有已知固定位置的一个或多个参考对象并在610处计算或以其它方式确定这些参考对象在相机坐标系中的对应参考位置来继续进行验证过程600，这些固定位置被预期在静止状态期间处于当前车辆姿态下的相机的视场内。例如，使用关于相机402、502的姿态以及其相对于车辆的视场的信息，以及在静止状态期间的当前车辆姿态，可在用于车辆姿态的参考坐标系中确定相机402、502相对于车辆的预期视场(替代地，预期相机观看区域)，在示例性实施例中，该参考坐标系是用于存储在地图数据库32、508中的勘测或映射的环境数据的相同参考坐标系。换言之，基于相机相对于车辆10、400的姿态来识别对应于车辆姿态的映射数据的子集，该车辆姿态在静止状态期间对应于相机402、502的视场。使用参考坐标系中的预期相机视场的坐标，控制模块34、500可存取地图数据库32、508以获取与预期相机观看区域对应的映射数据，然后分析映射数据以识别在预期相机观看区域内已被映射或勘测的一个或多个固定对象，诸如例如交通信号灯、交通标志等。

对于所识别的每个固定对象，控制模块34、500可诸如例如通过计算参考坐标系中的对象的几何中心来确定该对象在参考坐标系中的对应参考位置。使用现有的校准参数值将参考对象的固定参考位置变换为图像数据坐标系中的对应参考位置。例如，可利用用于在相机坐标系与车辆参考系之间转换的校准变换参数值来将车辆参考系中的固定参考位置转换为相机坐标系中的对应参考位置，其表示参考对象在捕捉的图像数据内的期望位置。

在一些实施例中，来自激光雷达装置404或车辆10、400上的另一个装置的测距数据可用于在确定相机坐标系中的预期位置之前增大相应参考对象在参考坐标系中的参考位置。例如，使用激光雷达装置404检测到或测量到的参考对象的位置可被转换为参考系(例如，使用与激光雷达装置404相关联的校准变换参数值)以获取参考对象在参考系中的测量位置，其可被平均化或以其它方式与参考对象在参考系中的映射或勘测位置组合以到达参考位置，然后该参考位置用于确定参考对象在相机坐标系中的预期位置。

在识别具有固定参考位置的一个或多个参考对象之后，通过在612处定位或以其它方式识别在静止状态期间捕捉的图像数据内的参考对象来继续进行验证过程600。在一个实施例中，使用现有的校准参数值将参考对象的固定参考位置变换为图像数据坐标系中的对应参考位置。例如，可利用用于在相机坐标系与车辆参考系之间转换的校准变换参数值来将车辆参考系中的固定参考位置转换为相机坐标系中的对应参考位置，其对应于参考对象在捕捉的图像数据内的期望位置。参考对象的预期位置可用于限定包含预期位置的捕捉图像数据的区域。然后可搜索区域以在图像数据内定位参考对象。就此而言，区域可以与正被搜索的特定类型的参考对象的特性形状(例如，大致矩形交通信号的矩形区域)对应的形状来产生。在一个实施例中，将卷积神经网络应用于图像数据的区域以识别区域内的参考对象，然而，也可利用用于处理或分析图像的其它技术。例如，可利用作为一种类型的参考对象的特性的区域内的强度、颜色或其它图形特性的变化来识别或以其它方式识别该图像数据区域内的那种类型的参考对象。对于图像数据内识别的每个参考对象，控制模块34、500可例如通过计算参考坐标系中的对象的几何中心来计算或以其它方式确定相应的对象在图像坐标系中的观察位置。

基于捕捉图像内的观察位置与捕捉图像中的参考对象的预期位置之间的关系，验证过程600在614处计算或以其它方式确定校准有效性度量的值，并且在616处基于校准有效性度量来确定现有校准是否有效。就此而言，当校准有效性度量的值指示潜在的异常校准时，验证过程600在618处发起一个或多个补救动作。例如，在一个实施例中，相机402、502的使用可以避免利用潜在的异常校准参数值的方式而暂停或限制，并且产生或以其它方式提供指示需要维护的通知(例如，通过控制模块34、500启动或以其它方式照亮车辆10、400的仪表板上的一个或多个灯、指示器或其它元件)。在另一个实施例中，控制模块34、500发起相机402、502的重新校准，以使用相机402、502促进车辆10、400的持续自主操作。即，当校准有效性度量指示现有校准是准确的或者以其它方式有效时，控制模块34、500继续确定用于以受变换参数值和捕捉的图像数据影响的方式自主操作车辆10、400的命令(例如，基于变换参数值避开在图像数据中检测到或特征化的对象)。

在一个实施例中，校准有效性度量是对象在捕捉图像内的观察位置与其预期位置之间的差值。就此而言，对于相机视场内的多个参考对象，可通过对每个参考对象的观察位置和期望位置之间的相应差值进行平均化来计算累计差值度量。差值度量可与阈值进行比较，并且当差值度量超过阈值时可识别异常状况。还可选择阈值以考虑潜在的噪声源、装置性能、车辆姿态等的可变性或公差、由于估计或介入计算而产生的偏差等。

在示例性实施例中，将对象在所捕捉图像内的观察位置与其预期位置之间的差值标准化以考虑对象距相机的距离。例如，随着对象距相机的距离增加，对象的预期位置与观察位置之间的像素数量将根据距离而不是根据校准准确度而降低。因此，可基于距离来放大与远处对象相关联的较小位置差值，以使其等于与更靠近相机的对象相关联的类似位置差值，或者反之亦然。就此而言，可对相对差值进行标准化或缩放使得它们以距相机的特定参考距离作为参考。

在一些实施例中，校准有效性度量的计算值可与有效性处理600的特定迭代相关联地存储，并且与前几个或后几个校准有效性度量值进行比较以识别校准有效性度量中指示异常校准的趋势或模式。例如，即使单独的差值度量值可能小于指示异常校准的阈值，当前一个时间间隔内的每个单独的差值度量值超过第二阈值时，验证过程600仍然可识别潜在的异常校准并发起补救动作。例如，可基于单独的校准有效性度量值选择较低的阈值(例如，阈值的75％)作为用于识别异常校准的阈值的一部分，并且当前一个时间间隔(例如，前2小时)内的一系列连续校准有效性度量各自超过该较低阈值时，验证过程600可确定相对较高的校准有效性度量值不归因于噪声、装置变动或处理变动，而更可能归因于异常校准。

在验证过程600的替代实施例中，可在612处结合校准有效性阈值，在这种情况下，验证过程600中可省略任务614。例如，可利用校准有效性阈值来计算或以其它方式确定包含参考对象的期望位置的图像坐标系内的区域的大小或面积。在这样的实施例中，当现有的校准参数值有效时，参考对象在图像数据内的观察位置至少部分驻留在所计算的区域内或至少部分地与其重叠。因此，当现有校准参数值无效或现有校准可能异常时，验证过程600可能无法在包含参考对象的预期位置的图像数据的区域内的观察位置处识别参考对象。在616处，响应于未能在图像数据内的预期位置的阈值距离处或该阈值距离内检测到参考对象，验证过程600继续在618处发起如上所述的补救行动。

图7描绘了在验证过程600的示例性迭代期间在静止状态期间捕捉的相机的视场的示例性图像700，其中现有校准表现出异常状况。如上所述，基于当前车辆姿态和相对于车辆的相机姿态，控制模块34、500计算相机的预期视场，并且使用地图数据库在预期视场内识别具有固定位置的多个参考对象(交通信号)。使用与相机相关联的校准变换参数值，将交通信号的参考位置变换为图像坐标系内的对应像素位置或坐标，并且可计算或以其它方式确定包含图像700内的那些预期位置的对应区域702、704、706。卷积神经网络可应用于区域702、704、706中的每一个以针对相应的交通信号搜索这些区域。如所描绘的，由于校准的变换参数值可能不准确，交通信号712、714、716的观察位置在它们相应的预期观察区域之外。如上所述，基于未能识别图像700的预期观察区域702、704、706内的交通信号712、714、716或者基于交通信号712、714、716的观察位置与它们的预期位置(例如，区域702、704、706的几何中心)之间的差值，与相机相关联的现有校准可被指示为潜在无效或异常，并且可发起一个或多个补救动作。

图8描绘了在验证过程600的另一个示例性迭代期间在静止状态期间捕捉的相机的视场的另一个示例性图像800。在图8的实施例中，交通信号812、814的观察位置驻留在基于用于这些交通信号的映射数据和与相机相关联的现有校准变换参数值计算的预期观察区域802、804内。因此，将卷积神经网络或类似图像分析算法应用于预期观察区域802、804导致控制模块34、500识别预期观察区域802、804内的交通信号812、814。基于交通信号812、814的观察位置(例如，图像坐标系中的观察交通信号812、814的几何中心)与它们的预期位置(例如，图像坐标系中的区域802、804的几何中心)之间的差值，控制模块34、500可计算或以其它方式确定校准有效性度量，该校准有效度度量进而可用于基于图像800验证现有校准或者基于图像800发起一个或多个补救动作，如上所述。

简而言之，本文描述的主题允许将具有固定位置的特征的测量位置与该特征的受校准参数值影响的预期位置进行比较，由此证实那些校准参数值的持续准确度并且验证现有校准。在验证相机校准的背景情境中，预期在相机视场中获取对特征的估计，在相机视场中，使用当前车辆姿态(例如，位置[x,y,z]和定向[俯仰角,滚转角,横摆角])、相机相对于车辆的姿态以及从映射数据中导出的该特征的已知固定姿态，将相对于相机定位的位于三维平面中的特征投影到图像的二维平面上。然后可将卷积神经网络应用于包含该特征在二维图像平面内的估计预期位置的图像区域，以确定该特征在该图像内的测量或观察位置。基于特征的预期位置和观察位置之间的差值，可验证校准或者可发起补救动作(例如，指示需要维护或重新校准)。通过确保当用于校准验证的图像被捕捉时车辆静止，可归因于车辆运动的噪声的影响可减小。

虽然前述详细描述中已经提出了至少一个示例性实施例，但是应当明白的是，存在许多变化。还应当明白的是，示例性实施例或多个示例性实施例仅仅是示例并且不旨在以任何方式限制本公开的范围、适用性或配置。实情是，前文详细描述将给本领域技术人员提供用于实施示例性实施例或多个示例性实施例的便捷指引。应当理解的是，在不脱离所附权利要求书和其合法等同物的范围的情况下，可对元件的功能和设置做出各种改变。