用于自主车辆操作的校准验证方法与流程

这里描述的主题涉及与本专利同时提交的美国专利申请号15/642,876(代理人案号003.1402)中描述的主题。

本公开总体上涉及汽车，并且更具体地涉及用于使用表示操作环境的不同类型的数据之间的校准关系来对车载部件进行自主控制的系统和方法。

背景技术：

自主车辆是能够感测其环境并且以很少或不需要用户输入进行导航的车辆。自主车辆通过使用诸如雷达、激光雷达、图像传感器等感测装置来感测其环境。自主车辆系统进一步使用来自全球定位系统(gps)技术、导航系统、车对车通信、车对基础设施技术和/或线控驱动系统的信息来对车辆进行导航。

车辆自动化已经被分类为从零(对应于全人为控制的非自动化)到五(对应于无人为控制的全自动化)的范围中的数值等级。各种自动驾驶员辅助系统(诸如巡航控制、自适应巡航控制以及停车辅助系统)对应于较低自动化等级，而真正的“无人驾驶”车辆对应于较高自动化等级。

为了实现高水平的自动化，车辆通常配备有用于分析车辆周围环境的越来越多的不同类型的装置，诸如获环境图像的摄像头或捕其它成像装置、用于勘测或检测环境内的特征的雷达或其它测距装置等。实际上，不同的车载装置位于车辆上的不同位置，并且通常以不同的采样速率或刷新速率操作，并且因此从不同的观点或视角捕捉与不同时间点对应的不同类型的数据。因此，期望提供用于校准不同装置之间的关系以提高精确建立不同类型数据之间的相关性的能力的系统和方法，该校准进而促进从数据中收集关于环境的更准确信息和/或更精确地将属性分配到环境内的物体或特征，由此提高自主车辆控制。另外，还期望识别可能会影响校准并且采取适当的补救措施以缓解校准的潜在退化的潜在异常状况。另外，从以下结合附图和前面的技术领域及背景技术进行的具体实施方式和所附权利要求书中将更清楚地明白本发明的其它理想特征和特性。

技术实现要素：

提供用于控制车辆的系统和方法。在一个实施例中，一种方法包括：响应于车辆的静止状况从车辆上的成像装置获取第一图像和在静止状况期间从车辆上的测距装置获取与成像装置的视场对应的第一组测距数据，基于车辆上的传感器系统的输出来检测该静止状况；将来自第一图像的第一边缘区域与第一组测距数据的第二边缘区域相关；基于相关的第一和第二边缘区域之间的关系相对于与一个或多个变换参数值相关联的参考关系来检测存在异常状况；以及发起针对异常状况的一个或多个补救措施。

在另一个实施例中，提供了一种自主车辆，该车辆包括：在车辆上提供第一数据的第一装置；在车辆上提供第二数据的第二装置；车辆上的数据存储元件，其保持与第一装置和第二装置的配对相关联的一个或多个变换参数值；车辆上的一个或多个传感器；以及控制器，其由处理器基于一个或多个传感器的输出来检测静止状况，在静止状况期间从第一装置获取第一组第一数据，从第一组中过滤水平边缘区域从而产生过滤后的一组第一数据组，在静止状况期间获取第二组第二数据，并且基于过滤后的一组第一数据与第二组第二数据之间的关系来证实一个或多个变换参数值。

在另一个实施例中，一种控制车辆的方法包括：响应于车辆的静止状况从车辆上的成像装置获取图像和在静止状况期间从车辆上的测距装置获取与成像装置的视场对应的一组测距数据来基于车辆上的传感器系统的输出来检测该静止状况；从图像中过滤水平边缘；识别该组测距数据中的非水平边缘区域；以及基于过滤后的图像的非水平边缘区域与该组测距数据中的非水平边缘区域之间的关系来确定最小变换成本。当最小变换成本大于与用于在与成像装置相关联的参考系和与测距装置相关联的参考系之间进行变换的一个或多个校准后的变换参数值相关联的参考变换成本时，该方法通过以下项来继续进行：基于过滤后的图像的非水平边缘区域与该组测距数据中的第二非水平边缘区域之间的关系来确定针对成像装置和测距装置中的一个是否存在异常状况；以及响应于异常状况而针对成像装置和测距装置中的一个发起补救措施。

附图说明

下文将结合以下附图描述示例性实施例，其中相同标号表示相同元件，且其中：

图1是说明根据各种实施例的自主车辆的功能框图；

图2是说明根据各种实施例的具有图1的一台或多台自主车辆的运输系统的功能框图；

图3是根据各种实施例的适用于由图1的车辆实施的自动驾驶系统(ads)的示意框图；

图4是根据各种实施例的在诸如图1的自主车辆等车辆上的多个成像装置和多个测距装置的布置的图示；

图5是根据一个或多个示例性实施例的用于在图1或图4的车辆上实施的处理模块的框图；

图6是说明根据一个或多个示例性实施例的用于获取数据组用于其随后的校准或验证的数据收集过程的流程图；

图7描绘了表示车辆上的摄像头的捕获的视场的环境的示例性图像；

图8描绘了图7的图像的示例性过滤版本，其说明了适用于结合图6的数据收集过程使用的图像数据的水平边缘的过滤和非水平边缘的保持；

图9描绘了关于车辆上适用于结合图6的数据收集过程进行相关的摄像头的捕获的视场的底层图像的未校准测距数据的示例性表示；

图10是说明根据一个或多个示例性实施例的用于使用根据图6的数据收集过程收集的数据组来校准一对装置的校准过程的流程图；

图11描绘了根据一个或多个示例性实施例的表示车辆上的摄像头的捕获的视场的并且覆盖来自摄像头根据图10的校准过程校准的测距装置的测距数据的环境的示例性图像；并且

图12是说明根据一个或多个示例性实施例的用于验证一对装置的现有校准并且针对一个装置检测异常状况的校准验证过程的流程图。

具体实施方式

具体实施方式本质上仅仅是示例性的，并且不旨在限制应用和用途。另外，不存在被任何前述的技术领域、背景技术、发明内容或具体实施方式中提出的任何明确的或暗示的理论约束的意图。如本文所使用，术语模块是指单独地或呈任何组合的任何硬件、软件、固件、电子控制部件、处理逻辑和/或处理器装置，包括但不限于：专用集成电路(asic)、电子电路、处理器(共享、专用或成组)以及执行一个或多个软件或固件程序的存储器、组合逻辑电路和/或提供所述功能性的其它合适部件。

本公开的实施例在本文可依据功能和/或逻辑块部件和各个处理步骤来描述。应当明白的是，这些块部件可由被配置为执行指定功能的任何数量的硬件、软件和/或固件部件来实现。例如，本公开的实施例可采用各种集成电路部件(例如，存储器元件、数字信号处理元件、逻辑元件、查找表等，其可以在一个或多个微处理器或其它控制装置的控制下执行多种功能)。另外，本领域技术人员将明白的是，本公开的实施例可结合任何数量的系统来实践，并且本文所述的系统仅仅是本公开的示例性实施例。

为了简明起见，本文可不详细描述与信号处理、数据传输、信令、成像、测距、同步、校准、控制系统以及该系统(和该系统的单个操作部件)的其它功能方面有关的常规技术。另外，本文所包括的各个图式中所示的连接线旨在表示各个元件之间的示例功能关系和/或物理联接。应当注意的是，在本公开的实施例中可存在许多替代或附加的功能关系或物理连接。

在本文描述的一个或多个示例性实施例中，能够进行某种级别的自主操作的车辆包括多个不同的装置，其从不同的视角并且以不同的采样或刷新速率来捕捉图像或以其它方式产生表示车辆附近的场景或环境的数据。基于成像装置的视线和/或视场与期间测距装置正在勘测或扫描与成像装置相关联的视场的时刻之间的关系，来自一个车载成像装置的图像数据可与来自车辆上的测距装置的测距数据相关。在示例性实施例中，校准特定成像装置与特定测距装置之间的关系以获取转换参数值，该转换参数值可用于将来自测距装置的测距数据转化为由成像装置捕获的图像，反之亦然。例如，可使用测距数据和转换参数值将测距数据参考系内的坐标或点转化为图像数据参考系来将坐标位置或位置分配给图像的各部分。以此方式，可将相对深度或其它尺寸或物理属性分配给图像内的区域，这进而可用于检测或以其它方式识别图像内的特定类型的物体、计算或确定物体与车辆之间的距离，并且以受到车辆环境中的物体的类型和相对位置的影响的方式来确定用于转向或以其它方式操作车辆的命令。为了解释目的，本文可主要在成像装置被实现为摄像头并且测距装置被实现为光检测和测距(激光雷达)装置的背景下描述本主题。即，应当明白的是，本文描述的主题不一定限于与光学摄像头和激光雷达一起使用，并且替代实施例可采用其它类型的摄像头或成像装置、雷达或其它类型的测距装置或感测装置(例如，声纳、光图案传感器、视差算法等)或成像装置与测距装置的任意数量的组合。

如下面主要在图4到11的背景中更详细描述，在示例性实施例中，通过获取或以其它方式选择在车辆静止期间由每个装置产生或以其它方式输出的数据来用激光雷达校准摄像头。就此而言，可在执行校准数据收集过程之前检测或以其它方式识别车辆的静止状况。当车辆静止时获取由摄像头捕获的图像，并且当车辆静止时还获取由激光雷达输出的一组测距数据，其中该组测距数据对应于摄像头的视场。在一个或多个示例性实施例中，在摄像头在静止状况期间捕获多个图像的情况下，利用在时间上与激光雷达扫描摄像头的视场最接近的图像进行校准。

一旦获取图像和对应的测距数据，处理或以其它方式分析图像数据以检测或以其它方式识别图像内的水平边缘。例如，可对图像数据执行一种或多种图像处理技术以识别图像内的边缘，这些边缘被过滤以通常从进一步考虑中排除或以其它方式移除大致水平的任何边缘，这些边缘表现为当沿垂直扫描线或像素列从一行像素垂直移动到另一行像素时图像特性存在不连续性或变化。在一个示例性实施例中，对图像数据执行高斯平滑以降低噪声，然后应用索贝尔内核(sobelkernel)来根据图像强度量化像素之间的差异或不连续性的大小。就此而言，索贝尔内核被配置为优先量化或捕获沿着像素行的强度变化以及量化或捕获对角方向上的强度变化(虽然具有减小的权重)，同时大致上滤除了沿着像素列的强度变化。就此而言，索贝尔内核函数过滤水平边缘(例如，沿着垂直扫描线或像素列的不连续性)，同时隔离、强调或以其它方式仅识别图像内相对于图像的水平参考平面大致上垂直或对角线对齐的那些边缘(例如，沿着水平像素行的不连续性或从一个像素到另一个像素的对角线上的不连续性)。

选择或以其它方式保持非水平边缘区域以用于与和那些边缘区域对应的测距数据相关。就此而言，使用边缘区域在图像内的位置，可基于摄像头的视场与获取该视场的测距数据时的激光雷达的定向之间的关系来确定或以其它方式识别测距数据内的对应区域的位置。通常，图像中的非水平边缘区域当从一个像素向左或向右水平横跨大致上水平像素行移动到另一个像素时或者当从一个像素沿着对角线移动到另一个像素时表现为强度或图像的另一个特性的变化，而测距数据中的非水平边缘当在激光雷达点云数据组内从一个点横跨一行点水平移动到另一点时表现为深度或距离的变化。

在识别与成像数据的边缘区域子集对应的测距数据的子集之后，成像数据的非水平边缘区域子集和测距数据的非水平边缘区域子集可被存储或以其它方式保持，然后用于校准该摄像头捕获的图像与该摄像头的视场的激光雷达扫描之间的关系。例如，用于将测距数据变换为图像参考系(反之亦然)的平移和旋转转换参数值可通过求解使与该变换相关联的成本函数最小化的参数值来确定。此后，对于激光雷达针对摄像头视场产生的随后的一组测距数据，转换参数值可用于将激光雷达点从激光雷达参考系变换为图像参考系。一旦激光雷达点被变换为图像参考系，激光雷达点可使用摄像头的固有参数(例如，焦距、主点和失真参数等)被投影到图像像素位置，由此允许深度或其它物理或尺寸属性分配给图像像素位置(或其区域或组)。就此而言，可使用从校准和相关激光雷达数据导出的深度、距离、尺寸或其它信息来改进基于图像数据的物体检测、分类和分析，这进而又凭借用于操作受到车辆附近环境中的那些物体的影响的车辆的命令改进了车辆的自主操作。例如，通过更准确地将图像数据的像素与投影激光雷达相关，可确定图像中物体的更精确的边界框，这进而在将神经网络应用于边界框内所包括的图像数据以确定为何种物体(例如，汽车、行人、交通标志等)时改进了物体分类。

在一些实施例中，利用多对图像和对应组的测距数据来校准摄像头-激光雷达对。例如，在已经针对初始车辆姿态获取了成像数据和测距数据的初始组的非水平边缘区域子集之后，车辆可行驶或以其它方式移动直到检测到随后的静止状况。一旦检测到静止状况，就获取在车辆静止时由激光雷达在扫描摄像头的视场时捕获的更新的一组测距数据，并且将该组测距数据与车辆静止时由摄像头在接近激光雷达扫描摄像头的视场时捕获的更新图像进行配对。再次，更新图像中的图像数据的非水平边缘区域被识别并且与更新测距数据的对应的非水平边缘区域相关联。例如，通过考虑来自初始车辆姿态的最初配对的非水平边缘区域数据之间的关联和来自更新车辆姿态的非水平边缘区域数据的更新配对之间的关联这两者后将成本函数最小化，更新数据的配对的非水平边缘区域可类似地被存储或以其它方式保持并用于校准摄像头-激光雷达对。

另外，在一些实施例中，配对的非水平边缘区域数据可与获取对应的图像和测距数据时的车辆姿态相关联地被存储或以其它方式保持，由此考虑配对的摄像头-激光雷达数据组之间的车辆姿态变化。例如，在一些实施例中，与摄像头-激光雷达数据组相关联的车辆姿态之间的最小阈值差异确保摄像头-激光雷达数据组的底层数据充分不相似(例如，避免在校准中使用大致上冗余的数据)。在又其它实施例中，成本函数可考虑配对的摄像头-激光雷达数据组之间的相对车辆姿态差异，例如以提高其中图像的各部分重叠或捕获公共物体或区域等的校准的准确性。例如，当从不同的车辆位置或定向捕获车辆周围的大致相同的场景或环境时(例如，当配对的摄像头-激光雷达数据组之间的车辆姿态差异小于最小阈值差异时)，可通过将车辆姿态以及摄像头和激光雷达的对应位置和定向结合或以其它方式考虑到成本函数中来改进校准。

滤除水平边缘并将校准限制为图像和测距数据的大致非水平边缘区域减少了测距数据中的噪声的影响，并且还可减少校准摄像头-激光雷达对所需的计算资源和时间。就此而言，可大致同时校准多个摄像头-激光雷达对。例如，当包括具有不同视场的多个不同摄像头的车辆静止持续足以使激光雷达扫描车辆周围的完整一圈的持续时间时，每个摄像头都可与激光雷达以与上文针对每个摄像头描述相同的方式相关(例如，通过将由相应的摄像头在车辆静止时捕获的图像的非水平边缘区域与和激光雷达扫描相应摄像头的视场对应的测距数据的一部分中的对应区域相关)。通过滤除水平边缘，可更快速地执行校准并且校准不易受噪声的影响，由此允许多个摄像头即时针对激光雷达装置进行校准。例如，在一个实施例中，每次车辆启动时，车载摄像头最初可在车辆最初处于静止位置时利用激光雷达装置进行校准，然后随后在车辆的下一个静止状况下更新校准。因此，多个摄像头针对给定激光雷达装置的校准可周期性地更新并且不需要执行任何特定的校准程序或操纵。

如下面主要在图12的背景中更详细地描述，在本文描述的示例性实施例中，每个特定摄像头-激光雷达对的现有校准的持续有效性或准确性可在车辆的自主操作期间周期性地验证，以检测或以其它方式识别针对摄像头或激光雷达中的一个的异常状况并且采取一种或多种补救措施来缓解异常状况。例如，可使用最近获取的图像和测距数据的配对来重新评估与摄像头-激光雷达对相关联的成本函数和转换参数值，以验证来自先前校准的转换参数值使成本函数最小化。响应于确定转换参数值不再使成本函数最小化，分析图像和测距数据的最近配对内的边缘以识别或以其它方式确定针对一个装置是否存在异常状况。例如，可在图像内识别非水平边缘，然后可验证或确认对应的非水平边缘的存在存在于激光雷达点云数据中。相反，可在激光雷达点云数据内识别非水平边缘，然后可验证或确认对应的非水平边缘的存在存在于图像数据中。然而，应当注意的是，本文描述的校准验证过程不一定限于不连续性，并且实际上可利用不一定依赖于水平不连续性的其它类型的对齐算法或相关性。

响应于图像数据中不存在与激光雷达点云数据中的非水平边缘区域对应的非水平边缘区域，可标记或以其它方式指示该摄像头潜在地展现出异常状况。例如，可产生或以其它方式提供用户通知以通知车辆操作员、车主或乘客关于摄像头的潜在异常状况。此后，可执行摄像头的手动检查或维护以恢复摄像头的操作(例如，清洁镜头、固定电连接等)。另外，还可执行一个或多个附加的补救措施，诸如例如临时停止使用摄像头或者减弱或减少来自该摄像头的图像数据相对于其它摄像头的影响(例如，通过调整一个或多个加权算法中的因子)。类似地，响应于激光雷达数据中不存在与图像数据中的非水平边缘区域对应的非水平边缘区域，激光雷达可被标记或以其它方式指示为潜在地表现出异常状况，并且还可执行一个或多个附加的补救措施(例如，当车辆上有其它激光雷达或雷达可用时，临时停止使用该激光雷达)。

现在参考图1，根据一个或多个实施例，总体上以100示出与车辆10相关联的自主车辆控制系统。通常，如下面更详细描述，控制系统100确定用于沿着路线以考虑由车载传感器28、40检测到的物体或障碍物的方式自主操作车辆10的运动计划。如上所述并且在下面更详细地描述，自主车辆10上的控制模块校准相对于彼此不同类型的车载传感器28、40，由此允许来自这些不同类型的车载传感器28、40的数据在空间上相关联或者以其它方式基于校准而彼此相关联，由此改进物体检测、物体分类以及由此产生的车辆10的自主操作。

如图1中所描绘，车辆10通常包括底盘12、车身14、前轮16和后轮18。车身14被布置在底盘12上并且大致上包围车辆10的部件。车身14和底盘12可共同形成框架。车轮16到18各自在车身14的相应拐角附近旋转地联接到底盘12。

在各种实施例中，车辆10是自主车辆并且控制系统100被结合到自主车辆10(以下称为自主车辆10)中。自主车辆10例如是自动控制以将乘客从一个位置运送到另一个位置的车辆。在所说明的实施例中，车辆10被描绘为乘用车，但是应当明白的是，也可使用包括摩托车、卡车、运动型多用途车辆(suv)、休闲车辆(rv)、船舶、飞行器等任何其它车辆。在示例性实施例中，自主车辆10是所谓的四级或五级自动化系统。四级系统指示“高度自动化”，其指代自动驾驶系统在动态驾驶任务的所有方面的驾驶模式所特有的性能，即使人类驾驶员对干预请求没有做出适当响应。五级系统指示“全自动化”，其指代自动驾驶系统在可由人类驾驶员管理的所有道路和环境状况下在动态驾驶任务的所有方面的全面性能。

如图所示，自主车辆10通常包括推进系统20、变速器系统22、转向系统24、制动系统26、传感器系统28、致动器系统30、至少一个数据存储装置32、至少一个控制器34以及通信系统36。推进系统20在各种实施例中可包括内燃机、诸如牵引电动机等电机和/或燃料电池推进系统。变速器系统22被配置为根据可选速比将来自推进系统20的动力传输到车轮16到18。根据各种实施例，变速器系统22可包括分级传动比自动变速器、无级变速器或其它适当的变速器。制动系统26被配置为向车轮16到18提供制动转矩。在各种实施例中，制动系统26可包括摩擦制动器、线控制动器、诸如电机等再生制动系统，和/或其它适当的制动系统。转向系统24影响车轮16到18的位置。虽然为了说明目的而被描绘为包括方向盘，但是在本公开的范围内预期的一些实施例中，转向系统24可不包括方向盘。

传感器系统28包括感测自主车辆10的外部环境和/或内部环境的可观察状况的一个或多个感测装置40a到40n。感测装置40a到40n可包括但不限于雷达、激光雷达、全球定位系统、光学摄像头、热像仪、超声波传感器和/或其它传感器。致动器系统30包括一个或多个致动器装置42a到42n，其控制一个或多个车辆特征，诸如但不限于推进系统20、变速器系统22、转向系统24和制动系统26。在各种实施例中，车辆特征可进一步包括内部和/或外部车辆特征，诸如但不限于车门、行李箱以及诸如无线电、音乐、照明等驾驶室特征(未编号)。

数据存储装置32存储用于自动控制自主车辆10的数据。在各种实施例中，数据存储装置32存储可导航环境的定义地图。在各种实施例中，定义地图可由远程系统预定义并且从远程系统获取(关于图2进一步详细描述)。例如，定义地图可由远程系统组装并且(以无线方式和/或以有线方式)传送到自主车辆10并存储在数据存储装置32中。如将明白的是，数据存储装置32可为控制器34的一部分，与控制器34分开，或作为控制器34的一部分以及单独系统的一部分。

控制器34包括至少一个处理器44和计算机可读存储装置或介质46。处理器44可为任何定制的或商业上可用的处理器、中央处理单元(cpu)、图形处理单元(gpu)、与控制器34相关联的若干处理器中的辅助处理器、基于半导体的微处理器(呈微芯片或芯片集的形式)、它们的任何组合或通常用于执行指令的任何装置。计算机可读存储装置或介质46可包括例如只读存储器(rom)、随机存取存储器(ram)和保活存储器(kam)中的易失性和非易失性存储器。kam是一种持久或非易失性存储器，其可在处理器44断电时用于存储各种操作变量。计算机可读存储装置或介质46可使用诸如prom(可编程只读存储器)、eprom(电prom)、eeprom(电可擦除prom)、闪速存储器或能够存储数据的任何其它电动、磁性、光学或组合存储器装置的许多已知存储器中的任何一种来实施，其中的一些数据表示由控制器34用于控制自主车辆10的可执行指令。

指令可包括一个或多个单独的程序，每个程序包括用于实施逻辑功能的可执行指令的有序列表。指令在由处理器44执行时接收并处理来自传感器系统28的信号，执行用于自动控制自主车辆10的部件的逻辑、计算、方法和/或算法，并且向致动器系统30产生控制信号以基于逻辑、计算、方法和/或算法来自动地控制自主车辆10的部件。虽然图1中仅示出了一个控制器34，但是自主车辆10的实施例可包括通过任何合适的通信介质或通信介质的组合进行通信并且协作以处理传感器信号、执行逻辑、计算、方法和/或算法且产生控制信号以自动控制自主车辆10的特征的任意数量的控制器34。

在各种实施例中，控制器34的一个或多个指令被实施在控制系统100(例如，数据存储元件46)中，并且当由处理器44执行时使处理器44基于来自一个或多个车辆传感器40(例如，速度传感器、定位传感器等)的输出数据来检测或识别车辆10的静止状况，当车辆10静止时获取从成像和测距装置40捕获或产生的数据，并且使用如下文更详细描述的非水平边缘来校准相应的成像装置40与相应的测距装置40之间的关系。此后，处理器44可利用校准来建立数据组之间的相关性和变换以将来自一个数据组的属性分配给另一个数据组，并且由此改进物体检测、物体分类、物体预测等。由此产生的物体及其分类和预测行为影响用于自主操作车辆10的行驶计划，这继而影响由处理器44产生或以其它方式提供的命令以控制致动器42。

另外，在一个或多个实施例中，处理器44检测或识别车辆10的静止状况并且周期性地验证或证实现有校准的准确性，并且响应于针对校准的异常状况，处理器44确定成像装置40或测距装置40是否表现出使用非水平边缘的异常状况。在不存在针对成像装置40或测距装置40的异常状况的情况下，处理器44可重新校准该对并且使用更新校准来恢复车辆10的上述操作。

仍然参考图1，在示例性实施例中，通信系统36被配置为向和从其它实体48无线地传送信息，实体48诸如但不限于其它车辆(“v2v”通信)、基础设施(“v2i”通信)、远程系统和/或个人装置(关于图2更详细地描述)。在示例性实施例中，通信系统36是被配置为经由使用ieee802.11标准的无线局域网(wlan)或通过使用蜂窝数据通信来进行通信的无线通信系统。然而，诸如专用短程通信(dsrc)信道等附加或替代通信方法也被认为在本公开的范围内。dsrc信道是指专门为汽车使用以及对应的一组协议和标准而设计的单向或双向短程到中程无线通信信道。

现在参考图2，在各种实施例中，关于图1描述的自主车辆10可适用于在某个地理区域(例如，城市、学校或商业园区、购物中心、游乐园，活动中心等)的出租车或班车系统的背景下或可只需由远程系统管理。例如，自主车辆10可与基于自主车辆的远程运输系统相关联。图2说明了总体上以50示出的操作环境的示例性实施例，该操作环境包括基于自主车辆的远程运输系统52，其与关于图1所描述的一台或多台自主车辆10a到10n相关联。在各种实施例中，操作环境50进一步包括经由通信网络56与自主车辆10和/或远程运输系统52进行通信的一个或多个用户装置54。

通信网络56根据需要支持在由操作环境50支持的装置、系统和部件之间(例如，经由有形的通信链路和/或无线通信链路)的通信。例如，通信网络56可包括无线载波系统60，诸如蜂窝电话系统，其包括多个手机信号塔(未示出)、一个或多个移动交换中心(msc)(未示出)以及将无线载波系统60与陆地通信系统连接所需要的任何其它联网部件。每个手机信号塔都包括发送和接收天线以及基站，其中来自不同手机信号塔的基站直接或经由诸如基站控制器等中间设备连接到msc。无线载波系统60可实施任何合适的通信技术，包括(例如)诸如cdma(例如，cdma2000)、lte(例如，4glte或5glte)、gsm/gprs或其它当前或正涌现的无线技术等数字技术。其它手机信号塔/基站/msc装置是可能的并且可结合无线载波系统60使用。例如，基站和手机信号塔可共同位于相同站点处或它们可远离彼此，每个基站可负责单个手机信号塔或单个基站可服务于各个手机信号塔，且各个基站可联接到单个msc，这里仅列举几种可能装置。

除包括无线载波系统60外，可包括呈卫星通信系统64的形式的第二无线载波系统来提供与自主车辆10a到10n进行的单向或双向通信。这可使用一个或多个通信卫星(未示出)和上行链路传输站(未示出)来进行。单向通信可包括(例如)卫星无线电服务，其中节目内容(新闻、音乐等)是由传输站接收、封装上传并且然后发送至卫星，从而向用户广播该节目。双向通信可包括(例如)使用卫星以在车辆10与站之间中继电话通信的卫星电话服务。除了或代替无线载波系统60，可利用卫星电话。

可进一步包括陆地通信系统62，其为连接到一个或多个陆线电话的常规陆基电信网络并且将无线载波系统60连接到远程运输系统52。例如，陆地通信系统62可包括诸如用于提供硬接线电话、分组交换数据通信和因特网基础设施的公共交换电话网(pstn)。一段或多段陆地通信系统62可通过使用标准有线网络、光纤或其它光学网络、电缆网络、电力线、其它无线网络(诸如无线局域网(wlan))或提供宽带无线存取(bwa)的网络或其任何组合来实施。另外，远程运输系统52不需要经由陆地通信系统62连接，反而可包括无线电话设备使得其可直接与无线网络(诸如无线载波系统60)通信。

虽然在图2中仅示出了一个用户装置54，但是操作环境50的实施例可支持任意数量的用户装置54，包括由一个人拥有、操作或以其它方式使用的多个用户装置54。由操作环境50支持的每个用户装置54可使用任何合适的硬件平台来实施。就此而言，用户装置54可以任何常见外形规格来实现，包括但不限于：台式计算机；移动计算机(例如，平板计算机、膝上型计算机或上网本计算机)；智能电话；视频游戏装置；数字媒体播放器；一件家庭娱乐设备；数码相机或视频摄影机；可穿戴计算装置(例如，智能手表、智能眼镜、智能服装)；等。由操作环境50支持的每个用户装置54被实现为具有执行本文描述的各种技术和方法所需的硬件、软件、固件和/或处理逻辑的计算机实施的或基于计算机的装置。例如，用户装置54包括可编程装置形式的微处理器，该微处理器包括存储在内部存储器结构中并且被施加来接收二进制输入以创建二进制输出的一个或多个指令。在一些实施例中，用户装置54包括能够接收gps卫星信号并且基于那些信号产生gps坐标的gps模块。在其它实施例中，用户装置54包括蜂窝通信功能性使得该装置通过通信网络56使用一个或多个蜂窝通信协议(如本文所讨论)执行语音和/或数据通信。在各种实施例中，用户装置54包括可视显示器，诸如触摸屏图形显示器或其它显示器。

远程运输系统52包括一个或多个后端服务器系统，该后端服务器系统可为基于云的、基于网络的或常驻在由远程运输系统52服务的特定校园或地理位置。远程运输系统52可由现场顾问、自动顾问、人工智能系统或它们的组合来人工操作。远程运输系统52可与用户装置54和自主车辆10a到10n进行通信以安排乘车、派遣自主车辆10a到10n等。在各种实施例中，远程运输系统52存储诸如用户认证信息、车辆标识符、简档记录、行为模式和其它相关用户信息等账户信息。

根据典型的用例工作流程，远程运输系统52的注册用户可经由用户装置54创建乘车请求。乘车请求通常将指示乘客希望的乘车位置(或当前gps位置)、期望目的地位置(其可识别预定义的车辆停靠站和/或用户指定的乘客目的地)以及乘车时间。远程运输系统52接收乘车请求、处理该请求，并且在指定的乘车地点且在适当的时间派遣自主车辆10a到10n中的一个车辆来让乘客乘车(当一台车辆可用时和如果一台车辆可用)。远程运输系统52还可向用户装置54产生并发送适当配置的确认消息或通知，以使乘客知道车辆正在途中。

如可明白，本文公开的主题提供了可被认为是标准或基线的自主车辆10和/或基于自主车辆的远程运输系统52的某些增强的特征和功能。为此，自主车辆和基于自主车辆的远程运输系统可被修改、增强或以其它方式补充以提供下面更详细描述的附加特征。

现在参考图3，根据各种实施例，控制器34实施如图3中所示的自主驾驶系统(ads)70。即，利用控制器34的合适软件和/或硬件部件(例如，处理器44和计算机可读存储装置46)来提供与车辆10结合使用的自主驾驶系统70，例如以自动地控制各种致动器30并且由此分别控制车辆加速、转向和制动，而无需人为干预。

在各种实施例中，自主驾驶系统70的指令可由功能或系统组织。例如，如图3中所示，自主驾驶系统70可包括传感器融合系统74、定位系统76、引导系统78和车辆控制系统80。如可明白的是，在各种实施例中，由于本公开不限于本示例，所以可将指令组织(例如，组合、进一步划分等)为任何数量的系统。

在各种实施例中，传感器融合系统74合成并处理传感器数据并且预测物体的存在、位置、分类和/或路径以及车辆10的环境的特征。在各种实施例中，传感器融合系统74可结合来自多个传感器(包括但不限于摄像头、激光雷达、雷达和/或任何数量的其它类型的传感器)的信息。在本文描述的一个或多个示例性实施例中，传感器融合系统74支持或以其它方式执行下文在图6到12的背景中更详细描述的数据收集、校准和校准验证过程。在示例性实施例中，传感器融合系统74使用与作为图像和激光雷达点云数据组的相应来源的摄像头-激光雷达对相关联的校准的转换参数值将图像数据与激光雷达点云数据相关，以将深度分配给图像数据、识别图像数据和激光雷达数据中的一个或多个中的物体，或者以其它方式合成相关联的图像数据和激光雷达数据。换句话说，来自传感器融合系统74的提供给车辆控制系统80的传感器输出(例如，检测到的物体和/或它们相对于车辆10的位置的标记)反映摄像头图像与激光雷达点云数据之间的校准和关联或者受其影响。

定位系统76处理传感器数据以及其它数据以确定车辆10相对于环境的位置(例如，相对于地图的本地位置、相对于道路车道的精确位置、车辆航向、速度等)。引导系统78处理传感器数据以及其它数据以确定车辆10遵循的路径。车辆控制系统80根据所确定的路径产生用于控制车辆10的控制信号。

在各种实施例中，控制器34实施机器学习技术以辅助控制器34的功能，诸如特征检测/分类、障碍物减少、路线穿越、绘图、传感器集成、地面实况确定等。

图4描绘了示例性车辆400，其包括围绕车辆400分布的多个摄像头402和围绕车辆400分布的多个测距装置404。摄像头402被设置在不同的位置处并且被定向成提供捕获车辆400附近的周围环境的不同部分的不同视场。例如，第一摄像头402位于车辆400的左前(或驾驶员)侧，并且其视场相对于车辆400的纵向轴线在向前方向上逆时针地定向45°，并且另一个摄像头402可位于车辆400的右前方(或乘客)侧，并且其视场相对于车辆400的纵向轴线顺时针定向成45°。附加摄像头402定位在车辆400的左后侧和右后侧并且类似地相对于车辆纵向轴线以45°的角度远离纵向轴线，连同摄像头402位于车辆400的左侧和右侧并且垂直于车辆纵向轴线的纵向轴线远离定位。所说明的实施例还包括一对摄像头402，其位于车辆纵向轴线处或附近并且被定向成沿着大致平行于车辆纵向轴线的视线捕获前视视场。

在示例性实施例中，摄像头402具有可能不同于一个或多个其它摄像头402的视角、焦距和其它属性。例如，车辆的右侧和左侧上的摄像头402可具有大于与位于车辆左前方、右前方、左后方或右后方的摄像头402相关联的视角的视角。在一些实施例中，摄像头402的视角被选择为使得不同摄像头402的视场至少部分地重叠以确保在相对于车辆400的特定位置或定向处进行摄像头覆盖。

一个或多个测距装置404还被设置在车辆400的不同位置处，并且在一个实施例中，关于车辆400的纵向轴线对称地设置以实现视差。在本文描述的示例性实施例中，测距装置404被实现为激光雷达装置。就此而言，每一个测距装置404可包括或结合有一个或多个激光器、扫描部件、光学装置、光电检测器以及适当地被配置为以特定角度频率或旋转速度水平地和可旋转地扫描车辆400附近的环境的其它部件。例如，在一个实施例中，每个激光雷达装置404被配置为以10赫兹(hz)的频率水平旋转和扫描360°。如本文所使用的，激光雷达扫描应当被理解为指代激光雷达装置404的单次旋转。

在本文描述的示例性实施例中，摄像头402以特定频率自主地且自动地捕获图像，并且摄像头402捕获图像的频率或速率大于激光雷达装置404的角频率。在一个实施例中，摄像头402的频率或采样速率是激光雷达装置404的角频率的至少两倍。例如，当激光雷达装置404以10hz的速率扫描并自动提供更新数据时，摄像头402可以30hz的速率捕获与它们相应的视场对应的新图像数据。因此，每个摄像头402可每次激光雷达扫描捕获多个图像，并且在不同时间捕获图像，而与激光雷达装置404的定向或扫描内的角度位置无关。在这样的实施例中，可基于获取图像的时间与激光雷达扫描的角位置与激光雷达装置404的视线(其与相应摄像头402的视线或视角对齐)对应的时间之间的相对时间差来选择或识别获来自每个相应的摄像头402的与来自特定激光雷达扫描的激光雷达点云数据在时间上相关联的图像。在其它实施例中，在激光雷达扫描期间获取的图像可被融合或以其它方式组合以实现与激光雷达扫描对应的典型图像。在又其它实施例中，当激光雷达扫描的角位置与激光雷达装置404的视线(其与相应摄像头402的视线或视角对齐)对应时，可触发或以其它方式控制摄像头402以在激光雷达扫描期间的时刻捕获图像。就此而言，应当理解的是，存在许多不同的方式来同步或在时间上关联不同的数据组，并且本文描述的主题不旨在限于用于识别区域的图像数据或将该图像数据与表示该激光雷达的该区域或对应的激光雷达数据的激光雷达扫描相关联的任何特定方式。

图5描绘了可由控制器34、处理器44和/或传感器融合系统74实施或者被结合到其中的处理模块500(或控制模块)的实施例。图像处理模块500联接到车辆上的摄像头502(例如，一个摄像头402)和车辆上的激光雷达装置504(例如，一个激光雷达装置404)。应当注意的是，虽然图5描绘了单个摄像头502，但是实际上，图像处理模块500可联接到车辆10、400上的多个摄像头40、402，以将来自多个摄像头40、402的图像在时间上与激光雷达装置504的单独扫描的激光雷达点云数据相关联并相关，并且大致上同时或并行地执行本文关于多个摄像头40、402描述的校准相关过程。另外，图像处理模块500可联接到车辆10、400上的附加激光雷达装置40、504以在时间上将来自车载摄像头40、402、502的不同图像与来自不同的激光雷达装置40、404、504的扫描的激光雷达点云数据相关联并相关，并且由此大致上同时或并行地执行本文关于多个摄像头40、402和多个激光雷达装置40、404、504描述的校准相关过程。

在一个或多个实施例中，图像处理模块500被配置为缓冲、存储或以其它方式保持与由摄像头502在每一次激光雷达扫描时捕获的一个或多个图像(或样本)对应的图像数据，并且(例如，基于与缓冲器中的图像相关联的时间戳)选择或以其它方式识别缓冲器中在时间上与激光雷达装置504相关联的图像(该激光雷达装置504与摄像头502的视场对齐)。例如，基于从激光雷达装置504接收到的指示激光雷达装置504何时在扫描内以其起始或参考定向对齐的信号或指示、激光雷达装置504的角频率以及然后摄像头的角度或定向502，图像处理模块500可计算激光雷达装置504的视线与摄像头502对齐的采样时间，在本文中替代地称为激光雷达采样时间，并且选择具有最接近激光雷达采样时间的时间戳的图像数据组以用于与表示摄像头视场的激光雷达数据相关联或相关。

图像处理模块500联接到激光雷达装置504以从激光雷达扫描检索或以其它方式获取激光雷达点云数据，然后将激光雷达点云数据的至少一部分与时间相关的图像数据相关。例如，图像处理模块500可选择或以其它方式识别与激光雷达装置504穿过摄像头502的视角对应的激光雷达点云数据的子集。

如下面更详细描述，在示例性实施例中，图像处理模块500校准摄像头502与激光雷达装置504之间的关系，并且存储或以其它方式保持特征化数据存储元件506中的关系的校准数据。就此而言，校准数据可包括用于在空间上从激光雷达点云参考系转化为图像数据参考系(反之亦然)的函数的变量的值。此后，当使后续图像数据与点云数据相关时，图像处理模块500可利用校准数据将激光雷达数据投影到图像数据上，以向图像数据分配深度、距离或其它尺寸特性。以此方式，图像数据与点云数据之间的相关性可被图像处理模块500利用来检测物体以便于后续分类和预测并且将这样的预处理输出提供给一个或多个附加物体或障碍物分析模块、车辆控制模块等。

现在参考图6并且继续参考图1到5，流程图说明了可嵌入支持ads70的图1的控制系统100中的控制器34内的数据收集过程600的各种实施例。就此而言，数据收集过程600可由车辆10、400上的一个或多个控制模块34、44、500来实施或执行。如根据本公开可理解，该方法内的操作顺序不限于如图6中所说明的顺序执行，而是可根据需要并且根据本公开来以一个或多个不同顺序来执行。另外，在图6的背景中示出和描述的一个或多个任务可从数据收集过程600的实际实施例中省略，同时仍然实现通常预期的总体功能。在各种实施例中，数据收集过程600可被安排为基于一个或多个预定事件运行，和/或可在自主车辆10、400的操作期间连续运行。

在示例性实施例中，数据收集过程600可被执行以收集多对图像数据和激光雷达数据以校准相应摄像头与激光雷达装置之间的关系，或者替代地持续地验证校准的有效性或准确性。所说明的数据收集过程600开始于在602处从一个或多个车辆传感器接收或以其它方式获取数据并且在604处检测或以其它方式识别车辆何时静止。例如，如上所述，车辆上的控制模块34、500可联接到提供可被分析或监测以确定车辆10、400何时静止的相应输出的一个或多个车载车辆传感器40，诸如速度传感器、定位传感器、节流阀传感器、制动传感器等。就此而言，当车辆10、400的速度等于零，车辆10、400的加速度等于零，并且车辆10、400的位置稳定或不变时，数据收集过程600可检测车辆10、400的静止状况。以此方式，数据收集过程600确保用于校准的所收集的数据组将不包括可能由车辆10、400的移动引入的噪声或其它伪像。

在一个或多个实施例中，数据收集过程600还在606处基于当前车辆姿态来验证或以其它方式确认满足一个或多个校准标准。就此而言，在一些实施例中，数据收集过程600可施加一个或多个最小阈值，通过该最小阈值，当前车辆姿态一定会偏离与先前收集的数据组相关联的车辆姿态，以确保由收集的数据组表示的场景或环境并非大致上类似于先前收集的数据组以确保充分不同的深度不连续性。例如，数据收集过程600可要求当前车辆位置和与一个或多个先前收集的数据组相关联的先前车辆位置之间的距离大于最小阈值距离，与当前车辆位置相关联的当前定向或航向和与一个或多个先前收集的数据组相关联的定向或航向之间的差大于最小阈值差，与当前车辆姿态相关联的时间和与与先前收集的数据组相关联的时间之间的时间差是大于最小时间差或其一些组合。以此方式，数据收集过程600可确保车辆具有足够的改变姿态以确保由当前数据组表示的场景或环境可能不同于与先前收集的数据组相关联的场景或环境，或者替代地，数据组之间的时间差可能会导致由当前数据组表示的场景或环境与先前收集的数据组之间的差。

在一些实施例中，数据收集过程600可利用地图数据库来基于相对于地图的当前车辆姿态确定车辆周围的可能环境(例如，繁忙家插口相对于停车场等)，然后基于环境类型或环境特特性来相应地调整校准标准。例如，当车辆在繁忙交叉口的交通灯处表现出静止状况时，数据收集过程600可仅需要数据组之间的最小时间差(例如，1秒)而不需要改变车辆姿态，但是相反，当静止状况发生在停车场时，数据收集过程600可能需要数据组之间车辆姿态的最小改变。

一旦数据收集过程600检测到满足适用校准标准的静止状况，数据收集过程600就通过进行以下项来继续进行：在608处接收或以其它方式获取与在静止状况期间捕获的被校准的摄像头的视场对应的激光雷达数据，并且在610处接收或以其它方式获取与在静止状况期间捕获并且在时间上与激光雷达数据相关联的被校准的摄像头的视场对应的图像数据。就此而言，控制模块34、500获取与激光雷达装置504穿过摄像头502的视场对应的激光雷达数据的子集，然后还从摄像头502选择或以其它方式获取与在静止状况期间激光雷达装置504穿过摄像头502的视场或视线的时刻最接近对应的图像数据。

一旦获取了在静止状况期间捕获的在时间上相关联的激光雷达组和图像数据，数据收集过程600就会通过在612处过滤或以其它方式处理图像数据以识别非水平边缘区域来继续进行，并且由此在校准期间从进一步分析或使用中过滤或以其它方式排除水平边缘区域。例如，图7描绘了由摄像头的视场内的环境的摄像头捕获的示例性未过滤图像700，并且图8描绘了仅包括非水平边缘区域802的图像800的示例性过滤版本。为了获取过滤或除去水平边缘并仅保持非水平边缘区域802的过滤图像800，控制模块34、500将原始图像700的像素转换为灰度强度值，执行灰度强度值的高斯平滑以降低噪声，然后应用诸如索贝尔过滤器等过滤器，该过滤器识别强度值由于沿着一行像素水平移动或在像素中对角线地移动而改变同时滤除沿着一列像素(即，水平边缘)的垂直强度变化的区域。此后，控制模块34、500将水平或对角线方向上存在足够强度变化的像素的其余区域802识别为用于后续校准和/或校准验证的图像数据的非水平边缘区域。

再次参考图6，在识别图像数据的非水平边缘区域之后，数据收集过程600通过在614处选择或以其它方式识别激光雷达数据中用于与图像数据的非水平边缘区域相关联的对应区域而继续进行。就此而言，控制模块34、500选择或以其它方式识别当沿着激光雷达扫描水平参考平面水平移动时发生深度或距离变化的激光雷达点云数据的子集。在一个示例性实施例中，激光雷达数据点云包括三十二条水平扫描线(或行)，其中控制模块34、500选择或以其它方式识别每一行内深度不连续性相对于该行的邻近点为最大的点，然后将那样的三十二个点以及它们在点云和深度信息内的相对位置保持为激光雷达数据中用于与图像数据的非水平边缘区域相关联的区域。就此而言，限制用于校准的点数减少了计算时间，并且通过选择具有更显著的深度不连续性的点来提高校准精度。

图9描绘了与覆盖在环境的示例图像902上的摄像头的视场对应的环境的未校准激光雷达扫描数据900的图形表示，其中激光雷达扫描数据900的阴影或填充图案通常对应于与激光雷达装置相距的测量深度或距离。就此而言，图9描绘了激光雷达扫描数据900与示例图像902之间的未校准关系，使得沿着与激光雷达装置504的水平参考平面对应的行的深度不连续性不一定与图像902中的对应特征或元素对齐。激光雷达扫描数据900包括相对于与其相关联的激光雷达装置504具有不同深度或距离的多行点。为了识别用于与图像数据相关联的非水平边缘区域，控制模块34、500可分析激光雷达数据900的行，并且识别在水平移动穿过行内的点时深度或距离改变阈值量以上的点，并且选择或以其它方式将那些点标识为非水平边缘。

如上所述，在该行内的非水平边缘点中，相对于其在行中的相邻点具有最大深度或距离差的点可被识别或选择为该行内具有最大深度不连续性的点，该点被保持用于与图像数据的非水平边缘区域相关。就此而言，在同一行内具有大致相等的深度不连续性的点中，可选择并保持与激光雷达装置相距最小深度或距离的点(例如，最接近车辆的点)以用于后续分析，这是由于较靠近车辆的边缘有可能以比远处的物体更大准确度和更大精度被测量或观测的可能性。例如，与柱的左边缘对应的点910可被选择作为其激光雷达扫描数据900的相应行内具有最大深度不连续性的点，而与柱的右边缘对应的点912、914可被选择作其激光雷达扫描数据900的相应行内具有最大深度不连续性的点。在环境902的所捕获图像内识别的柱的大致上垂直的左边缘可与点910(以及来自激光雷达数据900的较低行的潜在其它点)相关，并且在环境902的所捕获图像内识别的柱的大致上垂直的右边缘可与点912、914(以及来自激光雷达数据900的较高行的潜在其它点)相关，以确定用于在激光雷达数据900内的点910、912、914之间转换的变换参数以及柱的相应边缘在图像数据中的对应像素位置，如本文所述。

再参考图6，在数据收集过程600识别出非水平边缘区域图像数据子集和非水平边缘区域激光雷达数据子集之后，数据收集过程600在616处存储相关非水平边缘区域数据子集以及与当前车辆姿态或以其它方式保持相关非水平边缘区域数据子集彼此以及与当前车辆姿态相关联。就此而言，控制模块34、500在数据存储元件506中存储用于图像的非水平边缘区域(在612处识别)的像素位置和对应的图像数据、基于沿着水平扫描线(在614处识别)的深度不连续性选择的点云内的三维点(相对位置和深度或距离)，以及特征化或量化当前车辆姿态以及与其相关联的时间的信息(例如，定位坐标、航向、高度等)。

数据收集过程600可被重复以持续地检测或以其它方式识别满足校准标准的车辆的静止车辆状况，并且获取用于校准车载装置或验证现有校准的对应数据组。例如，数据收集过程600可被执行以首先在校准摄像头502与激光雷达装置504之间的关系之前获取至少最小阈值数量的配对数据组。在一个实施例中，在车辆10、400启动之后，数据收集过程600被执行阈值次数以获取用于校准摄像头502与激光雷达装置504之间的关系的数据组以便进行后续车辆操作。在校准之后，可重复数据收集过程600以在静止车辆状况期间获取数据组并且大致上实时验证现有校准。此后，如果校准未被验证，则可执行数据收集过程600以获取用于重新校准摄像头502与激光雷达装置504之间的关系的附加数据组，如下面更详细描述的。

现在参考图10并且继续参考图1到6，,在示例性实施例中，校准过程1000被嵌入在车辆10、400上的控制模块34、500内，用于使用根据数据收集过程600收集的一个或多个数据组来校准摄像头502与车辆10、400上的激光雷达装置504之间的关系。即，校准过程1000不一定限于结合数据收集过程600的实施方案，并且操作顺序不一定限于如图10中所说明的顺序执行，而是可根据需要并且根据本公开来以一个或多个不同顺序来执行。另外，在图10的背景中示出和描述的一个或多个任务可从校准过程1000的实际实施例中省略，同时仍然实现通常预期的总体功能。在各种实施例中，校准过程1000可被安排为基于一个或多个预定事件运行，和/或可在自主车辆10、400的操作期间周期性地运行(例如，以使用最近的数据组来动态地更新该校准)。

校准过程1000在1002处将配对数据组之间的非水平边缘特征相关或以其它方式相关联并且在1004处构造或以其它方式产生特征化配对数据组之间的非水平边缘特征之间的相关性的成本函数。就此而言，配对数据组的图像数据的每个非水平边缘区域与配对数据组的图像数据的对应非水平边缘区域在空间上相关，其中特征化从点云参考系到变换为像素参考系(或像素位置)的等式作为平移和旋转参数的函数以用于将激光雷达点云内的点变换或转换为相对像素位置，反之亦然。

此后，校准过程1000在1006处计算或以其它方式确定用于将与变换相关联的成本最小化的变换参数的值。换句话说，校准过程1000通过确定转换参数的值在所有配对数据组中将摄像头与激光雷达参考系之间的变换成本最小化，这根据变换位置与相关边缘特征的实际位置之间的差来将总体成本最小化。例如，在一个实施例中，校准过程1000确定六个变换参数、三个平移参数值(例如，x轴、y轴和z轴)和三个旋转参数(例如，俯仰、滚转和偏转)的值，其使基于激光雷达数据的非水平边缘区域计算的变换像素位置和与激光雷达数据的相应的非水平边缘区域对应的图像数据的非水平边缘区域的实际像素位置之间的累积差最小化。

校准过程1000在1008处存储或以其它方式保持与摄像头-激光雷达装置配对相关联来最小化转换成本的因此产生的参数值。就此而言，控制模块34、500存储或保持平移和旋转参数值，以用于与用于摄像头502和/或激光雷达装置504相关联地从激光雷达装置504的点云参考系转化为数据存储元件506中的配对摄像头502的图像像素系，以用于将与来自激光雷达装置504的摄像头视场对应的后续激光雷达数据变换为对应的像素位置，反之亦然。以此方式，与激光雷达点相关联的深度或距离信息可被分配给由摄像头502捕获的图像内的像素位置，由此向图像的不同部分投影或以其它方式分配不同的深度或距离。

图11描绘了与覆盖在由摄像头捕获的环境的图像1102上的摄像头的视场对应的环境的校准激光雷达扫描数据1100的图形表示。由于校准变换参数，激光雷达扫描数据1100可被变换为像素位置，使得沿着与激光雷达装置504的水平参考平面对应的行的深度不连续性与图像1102中的对应特征或元素更加紧密地对齐。相应地，像素位置可与激光雷达点相关，并且对应的深度或距离可由于校准而以更高的精确度或精度被分配给那些像素位置。

再参考图10，在一个或多个示例性实施例中，校准过程1000还在1010处与摄像头-激光雷达装置配对相关联地存储或以其它方式保持最小化变换成本，以支持校准的验证或证实，如下文在图12的背景中更详细描述。就此而言，可在车辆的后续操作期间大致上实时地周期性地分析或监测变换成本，以检测或以其它方式识别校准的潜在损失或重新校准或分析一个或多个车载装置的一些其它需求。例如，如果随后确定变换成本可通过转换参数值的不同组合来进一步最小化，则在1006处先前确定的转换参数值的组合不再提供最小变换成本，并且因此可能不再提供反映校准关系。

现在参考图12并且继续参考图1到5，流程图说明了根据本公开的可嵌入支持ads70的图1的控制系统100和图5的图像处理模块500中的控制器34内的校准验证过程1200的各种实施例。该方法内的操作顺序再次不限于如图12中所说明的顺序执行，而是可根据需要并且根据本公开来以一个或多个不同顺序来执行。另外，在图12的背景中示出和描述的一个或多个任务可从校准验证过程1200的实际实施例中省略，同时仍然实现通常预期的总体功能。在各种实施例中，验证过程1200可被安排为基于一个或多个预定事件(例如，每当车辆10、400表现出满足校准标准的静止状况时)来运行，和/或可在自主车辆10、400的操作期间周期性地或连续地运行。例如，验证过程1200可根据周期时间间隔(例如，每5分钟)、周期距离间隔(例如，每5英里行程)等来执行。

校准验证过程1200在1202处通过从配对摄像头502和激光雷达装置504获取更新的一组图像数据和激光雷达数据来开始或以其它方式初始化，此时将分析现有校准。在示例性实施例中，校准验证过程1200调用上述数据收集过程600以从相应的车载装置502、504获取相关的一组图像和激光雷达数据，同时车辆10、400表现出也满足适用校准标准的静止状况。因此，由校准验证过程1200使用的配对数据组可能不如上述那样易受噪声影响，并且在与获取时用于先前校准的配对数据组时的车辆状况大致类似的车辆状况期间被获取。

校准验证过程1200在1202处还获取与和分析的摄像头-激光雷达对相关联的校准变换参数值相关联的变换成本的参考最小值。就此而言，控制模块34、500可在1010处从数据存储元件506检索或以其它方式获取与成对摄像头502和激光雷达装置504的现有校准相关联的存储的最小变换成本值。即，在其它实施例中，可在校准验证过程1200的每次迭代时计算参考变换成本值。例如，可使用现有变换参数值、用于现有校准的先前配对数据组以及用于验证的更新配对数据组来计算参考变换成本值，使得该参考值考虑用于验证现有校准的配对数据组。

在示例性实施例中，校准验证过程1200在1206处通过改变或以其它方式调整一个或多个变换参数值以使用更新数据组来最小化变换成本并且在1208处确定是否可实现小于参考值的变换成本值来继续进行。就此而言，以与上面在1006处描述的类似的方式，控制模块34、500通过确定用于转换参数的值来使包括1202中的更新数据组的一个或多个配对数据组中的摄像头参考系和激光雷达参考系之间的变换的成本最小化，这根据相关非水平边缘特征的变换位置和实际位置之间的差来使总体成本最小化。当使用更新组来最小化变换成本值的控制模块34、500大于或等于参考变换成本值时，校准验证过程1200证实或以其它方式验证现有校准并退出。

当使用1202中的更新数据组可实现小于参考值的变换成本值时，校准验证过程1200通过在1210处比较或以其它方式分析更新数据组的非水平边缘区域以在1212处验证或以其它方式确认配对装置都没有表现出异常状况来继续进行。就此而言，校准验证过程1200区分针对先前确定的校准变换参数值的校准损失或其它异常状况以及针对先前彼此校准的车载装置502、504中的一个的损伤或其它异常状况。

在示例性实施例中，当在更新图像数据内识别的非水平边缘区域不存在于激光雷达点云数据中时，或者相反，当一行激光雷达点云数据中的深度不连续性在更新图像数据内不具有对应的非水平边缘区域时，控制模块34、500检测或以其它方式发现异常状况。换句话说，校准验证过程1200可确保在更新图像数据和激光雷达数据两者中都存在相同数量的非水平边缘，并且验证在一个数据组中识别的每个非水平边缘特征在其它数据组中具有对应的非水平边缘特征。当更新图像数据的非水平边缘区域与更新激光雷达数据的非水平边缘区域匹配或以其它方式对应时(反之亦然)，校准验证过程1200识别不存在异常状况或以其它方式验证配对车载装置502、504正常运行。

在验证异常状况不存在并且配对车载装置502、504正常运行之后，校准验证过程1200继续在1214处以与上述类似的方式重新校准车载装置502、504。在一个实施例中，校准验证过程1200调用或以其它方式执行校准过程1000以识别或以其它方式确定经更新的校准变换参数值，这使在用于先前校准的配对数据组和更新数据组中累积地在摄像头与激光雷达参考系之间变换的成本最小化。在一些实施例中，校准验证过程1200可通过将产生1206处的最小变换成本的变换参数值存储在数据存储元件506中来代替先前的变换参数值来更新所存储的变换参数值。在其它实施例中，校准验证过程1200可调用或以其它方式执行数据收集过程600以获取附加的新的或更新的配对数据组，其然后可用于通过使用这样的后续获取的配对数据组调用或执行校准过程1000来重新校准车载装置502、504之间的关系。由于验证车载装置502、504在重新校准关系之前正常运行，校准验证过程1200确保更新的变换参数值有可能比先前的变换参数值更准确或更可靠。

当更新的图像数据的非水平边缘区域与更新的激光雷达数据的非水平边缘区域不匹配或者更新的图像数据的非水平边缘区域和更新的激光雷达数据的非水平边缘区域原本在整个数据组中缺少对应关系时，校准验证过程1200在1216处发起或以其它方式执行针对表现出异常状况的装置的一个或多个补救措施。就此而言，在示例性实施例中，控制模块34、500检测或以其它方式识别一个数据组中缺少非水平边缘，这指示针对该数据的相应源装置502、504表现出异常状况。例如，当在更新的激光雷达数据内识别具有大于阈值量的深度不连续性的一个或多个非水平边缘，但是更新的图像数据中缺少对应的非水平边缘区域时，控制模块34、500可确定摄像头502表现出异常状况。相反，控制模块34、500可基于在更新的激光雷达数据中缺少的更新的图像数据内识别的一个或多个非水平边缘来确定激光雷达装置504表现出异常状况。

实际上，控制模块34、500可利用与车载装置502、504的其它示例的关系来确保车载装置502、504中的哪一个正常运行并且哪一个可能表现出异常状况。例如，当多个摄像头502与单独的激光雷达装置504配对时，当来自一个摄像头502的更新的图像数据内识别的一个或多个非水平边缘不存在于与该摄像头的视场对应的更新的激光雷达数据中，并且在来自另一个摄像头502的更新的图像数据内识别的一个或读个非水平边缘也不存在于与该摄像头视场对应的更新的激光雷达数据中时，控制模块34、500可确定激光雷达装置504表现出异常状况。类似地，在确定摄像头502表现出异常状况之前，控制模块34、500可利用来自另一个摄像头502的更新图像数据以及与该更新图像数据中的非水平边缘的激光雷达数据对应关系，以确认激光雷达装置504没有表现出异常状况。

在一个或多个实施例中，由校准验证过程1200发起的补救措施涉及临时停止使用表现出异常状况的装置502、504。例如，当激光雷达装置404、504表现出异常状况时，控制模块34、500可禁用或以其它方式停止使用从该激光雷达装置404、504输出的测距数据，并且利用由车辆上的激光雷达装置404、504的另一个示例输出的测距数据。相反，当摄像头402、502表现出异常状况时，控制模块34、500可临时停止使用来自该摄像头402、502的图像数据以用于物体分类等。

由校准验证过程1200发起的补救措施还可包括或结合一个或多个用户通知。例如，在一个实施例中，控制模块34、500可激活或以其它方式点亮车辆10、400的仪表板上的一个或多个灯、指示器或其它元件，由此向车辆乘员通知异常状况。在一些实施例中，仪表板指示还可识别哪个车载装置40、502、504被怀疑表现出异常状况并且可能需要检查或维护。控制模块34、500还可记录或以其它方式存储关于异常状况的事件信息，其可包括例如表现出异常状况的装置的识别、检测到异常状况的车辆姿态以及特征化当发生异常状况时车辆10、400的背景或状态的其它信息。在一些实施例中，控制模块34、500向远程装置48、52、54发送或以其它方式提供装置40、502、504表现出异常状况的指示，该远程装置继而产生或以其它方式提供装置40、502、504表现出异常状况的图形指示。

响应于异常状况的通知，用户可检查怀疑表现出异常状况的装置40、502、504并且对装置40、502、504采取措施以恢复装置40、502、504的正常操作。例如，用户可清洁装置40、502、504的镜头或传感器，相对于装置40、502、504的视线移除可能的障碍物，调整装置40、502、504的壳体，调整装置40、502、504与车辆10、400接合或布置在车辆10、400上的方式，调整装置40、502、504之间的电连接或通信接口等。在又其它实施例中，用户可用装置40、502、504的不同示例替换装置40、502、504。一旦解决了异常状况，就可清除通知，并且作为响应，控制模块34、500随后可重新初始化数据收集过程600和校准过程1000并且使用先前怀疑表现出异常状况的装置40、502、504来恢复车辆10、400的自主操作。

由于校准验证过程1200能够识别车载装置40、502、504中的哪些装置被怀疑表现出异常状况，可降低与任何维护相关联的停机时间和其它成本，并且可类似地提高这种维护的效率。例如，维护可最初集中在怀疑表现出异常状况的特定装置40、502、504上，而不要求用户访问和/或检查可能存在于任何给定车辆10、400上的多个摄像头502和测距装置504中的每一个。另外，由于校准验证过程1200在1212处区分校准损失的潜在原因，校准验证过程1200可帮助确保一对装置40、502、504在装置40、502、504中的一个装置没有正常运行时被重新校准，由此避免使用潜在异常装置40、502、504和/或具有潜在不准确的变换参数值的后续操作。

将明白的是，本文描述的主题允许通过隔离和相关不易受噪声和其它伪像影响的非水平边缘来进行更加有利和更准确的校准，因此，可能需要更少的数据组(或来自较少数量的不同车辆位置的数据组)来实现期望的校准准确度。例如，当在环境内识别的非水平边缘的数量大于阈值量时(或者，替代地，当对于至少阈值数量的边缘，非水平边缘处的深度或距离变化的大小比阈值量大时)，可利用单个图像和激光雷达数据对来校准摄像头-激光雷达对。另外，使用车辆测距或姿态信息允许实时检测车辆何时静止以获取更新的数据组，其由于车辆静止而不易受噪声影响。多个摄像头和激光雷达装置对也可使用静止时收集的数据组进行校准(或重新校准)或使它们相应的校准大致同时并行验证。虽然本文主要在将摄像头图像校准为激光雷达点云数据的背景中描述该主题，但是主题不一定涉及摄像头或激光雷达，并且可在不同成像或勘测类型的装置的任何其它对或组合的背景中使用或来校准来自彼此独立操作的不同装置的数据组之间的关系。

虽然前述详细描述中已经提出了至少一个示例性实施例，但是应当明白的是，存在许多变化。还应当明白的是，示例性实施例或多个示例性实施例仅仅是示例并且不旨在以任何方式限制本公开的范围、适用性或配置。实情是，前文详细描述将给本领域技术人员提供用于实施示例性实施例或多个示例性实施例的便捷指引。应当理解的是，在不脱离所附权利要求书和其合法等同物的范围的情况下，可对元件的功能和设置作出各种改变。