车辆用的方法、设备和计算机程序与流程

实施例涉及车辆用的方法、设备和计算机程序，以及涉及车辆，更具体但非排他地，涉及确定激光雷达传感器数据和摄像头传感器数据的组合图像。

背景技术：

自动驾驶和辅助驾驶是汽车研究的两个主要课题。两者的主要前提是感测车辆周围的环境，从而使得能够识别物体和其他驾驶员。一种途径是利用激光雷达传感器来感测车辆周围的物体的距离。

技术实现要素：

需要一种改进的概念来探测车辆附近的物体，从而使得能够更精确地确定这些物体的位置。

这种需求可以由权利要求的技术方案来满足。

实施例涉及车辆用的方法、设备和计算机程序，以及涉及车辆。所述方法可组合(激光雷达传感器的)激光雷达传感器数据和(摄像头的)摄像头传感器数据，来确定包含(激光雷达传感器数据的)距离信息和(摄像头传感器数据的)颜色信息两者的组合图像。为了创建更精确的距离信息和颜色信息的叠加，在组合图像的确定中可以补偿车辆的运动，以便例如考虑到激光雷达传感器的旋转所需的时间。

实施例提供一种车辆用的方法。所述方法包括：获得车辆的摄像头的摄像头传感器数据。所述方法还包括：获得车辆的激光雷达传感器的激光雷达传感器数据。所述方法还包括：确定与车辆的运动相关的信息。所述方法还包括：基于与车辆的运动相关的信息来确定摄像头传感器数据和激光雷达传感器数据的组合图像。

这使得能够考虑到在激光雷达传感器的旋转期间车辆行驶的距离，从而使得能够例如借助改善的对准来更精确地确定组合图像。

在至少一些实施例中，所述方法还可包括：在组合图像的确定中，补偿车辆的运动。作为结果的组合图像在激光雷达传感器数据和摄像头传感器数据之间有更好的对准。

在至少一些实施例中，所述方法还可包括：基于与运动相关的信息来变换激光雷达传感器数据内的点云。组合图像的确定可以基于变换后的点云。在各个实施例中，基于与运动相关的信息，点云的变换把点云的至少一部分转换到点云的所述部分在获取摄像头传感器数据的对应摄像头图像时的估计位置。变换点云能使在利用摄像头传感器来获取摄像头传感器数据时的点云的距离/深度/强度值的确定成为可能。

在各个实施例中，所述方法还可包括：进行摄像头传感器数据和激光雷达传感器数据之间的时间同步。组合图像的确定可进一步基于摄像头传感器数据和激光雷达传感器数据之间的时间同步。时间同步可以使摄像头传感器数据和激光雷达传感器数据更好地对准。

在至少一些实施例中，可以基于激光雷达传感器来触发时间同步的确定。例如，时间同步可以基于激光雷达传感器的旋转角度。将激光雷达传感器、例如激光雷达传感器的旋转角度作为参考，可以使摄像头传感器数据和激光雷达传感器数据更精确地对准，因为利用摄像头传感器的对图像捕捉的触发可以更容易调整。

在各个实施例中，所述方法还可包括：确定与摄像头传感器数据内的一个或多个边缘相关的信息和与激光雷达传感器数据内的一个或多个强度不连续性相关的信息。组合图像的确定可基于与所述一个或多个边缘相关的信息和基于与所述一个或多个强度不连续性相关的信息。匹配所述边缘和强度不连续性可以使距离/深度/强度值映射到摄像头传感器数据的图像帧的像素。

在至少一些实施例中，所述方法还可包括：基于与所述一个或多个边缘相关的信息和基于与所述一个或多个强度不连续性相关的信息，来确定摄像头传感器数据和激光雷达传感器数据的校准。组合图像的确定可基于摄像头传感器数据和激光雷达传感器数据的校准。校准可以将摄像头传感器数据和激光雷达传感器数据匹配到公共坐标系。

在各个实施例中，在车辆运动时，可以进行与所述一个或多个边缘相关的信息和与所述一个或多个强度不连续性相关的信息的确定。这可以使(外部)校准的不断再调整成为可能，并可能使基于工厂的外部校准过时。

在至少一些实施例中，组合图像的确定可包括把距离值、深度值和强度值至少之一赋予组合图像的像素。例如，组合图像的确定可包括把激光雷达传感器数据的距离信息叠加到由摄像头传感器数据构成的图像上。这使得能够例如利用卷积神经网络来组合处理组合图像的距离信息和颜色信息。

实施例还提供一种计算机程序，所述计算机程序具有当在计算机、处理器或可编程硬件组件上执行所述计算机程序时，用于实施所述方法的程序代码。

实施例还提供一种车辆用的设备。所述设备包括：配置成与车辆的摄像头通信以及与车辆的激光雷达传感器通信的至少一个接口。所述设备还包括：配置成获得摄像头的摄像头传感器数据的处理模块。所述处理模块还被配置成获得激光雷达传感器的激光雷达传感器数据。所述处理模块还被配置成确定与车辆的运动相关的信息。所述处理模块还被配置成基于与车辆的运动相关的信息来确定摄像头传感器数据和激光雷达传感器数据的组合图像。

实施例还提供包含这样的设备的车辆。

附图说明

下面参考附图举例说明设备和/或方法的一些例子，附图中：

图1a表示车辆用的方法的流程图；

图1b表示车辆用的设备的方框图；

图1c表示车辆用的方法的另一流程图；

图2a和2b表示时间同步对物体检测的影响的例示；

图3a和3b表示自我运动补偿对摄像头传感器数据和激光雷达传感器数据的叠加的影响的例示；

图4a表示包含激光雷达传感器和摄像头的车辆的示意图。

具体实施方式

下面参考其中图解说明一些例子的附图，更充分地说明各个例子。附图中，为了清楚起见，可能夸大了线条、层次和/或区域的厚度。

因而，尽管另外的例子可以有各种修改和备选形式，不过，附图中表示了并且随后将详细说明其中的一些特定例子。但是，该详细说明并不把另外的例子限制于说明的特定形式。另外的例子可覆盖在本公开的范围内的所有修改、等同物和备选方案。贯穿附图的说明，相同的附图标记指的是相同或相似的元件，在提供相同或类似功能的同时，这些元件可以以相互比较时相同的方式实现，或者以修改后的形式实现。

要理解的是当一个元件被称为“连接”或“耦接”到另一个元件时，这些元件可以直接连接或耦接，或者可通过一个或多个居间元件连接或耦接。如果两个要素a和b是利用“或”组合的，则应理解为公开所有可能的组合，即仅仅a、仅仅b以及a和b。对于相同组合的另一种说法是“a和b中的至少一个”。这同样适用于不止2个要素的组合。

对于更多的例子，这里为说明特定例子而使用的术语并不是限制性的。每当使用单数形式时，如果既不明确地也不隐含地强制性定义只使用一个元件，那么另外的例子也可利用多个元件来实现相同的功能。同样地，在功能随后被描述成是利用多个元件实现的时候，另外的例子可利用一个元件或者处理实体实现相同的功能。还要理解的是当使用时，用语“包含”和/或“包括”指定所陈述的特征、整数、步骤、操作、处理、动作、元件和/或组件的存在，但是不排除一个或多个其他特征、整数、步骤、操作、处理、动作、元件、组件和/或它们的任意群组的存在或添加。

除非另有定义，否则所有术语(包括技术术语和科学术语)在本文中均按它们在示例所属领域的一般含义使用。

图1a图解说明用于车辆100的方法的流程图。图1b图解说明用于车辆100的对应设备的方框图。设备10包括配置成与车辆100的摄像头通信和与车辆100的激光雷达传感器通信的至少一个接口12。设备10还包括配置成执行图1a的方法(例如方法步骤110-170)的处理模块14。所述至少一个接口12耦接到处理模块14。在各个实施例中，所述设备10还包括激光雷达传感器和/或摄像头。图1b进一步图解说明包含设备10的车辆100的方框图。在至少一些实施例中，车辆100可以是汽车、摩托车、自动驾驶车辆、半自动驾驶车辆、船舶、火车、卡车、货车或厢式货车之一。

(图1a的)方法包括获得110车辆100的摄像头的传感器数据。所述方法还包括获得120车辆100的激光雷达传感器的激光雷达传感器数据。

在各个实施例中，摄像头可以是摄像机、高速照相机或静止图像照相机之一。摄像头传感器数据可以是摄像头的原始输出。或者，摄像头传感器数据可以是摄像头的预处理的传感器数据。例如，摄像头传感器数据可包含多个图像帧。所述多个图像帧中的一个图像帧可包括多个像素，例如，二维排列中的多个像素。例如，可以使摄像头传感器数据的帧速率和/或摄像头传感器数据内的帧的触发与激光雷达传感器的旋转速度和/或旋转角度匹配。例如，摄像头可包含摄像头传感器(例如，cmos(互补金属氧化物半导体)传感器或ccd(电荷耦合器件))和摄像头镜头。摄像头可被配置成把摄像头传感器数据提供给设备10。例如，摄像头传感器数据可包括原始摄像头传感器数据(例如，传感器的原始输出)或预处理的摄像头传感器数据(例如，图像信息、颜色信息)。在一些实施例中，摄像头传感器数据可包含图像帧的流(例如，呈运动图像文件格式)。或者，摄像头传感器数据可包含单独的图像(图像帧)。摄像头传感器数据可包含图像信息，例如，图像信息的各个像素的颜色信息。

激光雷达(或者lidar)是光和雷达(无线电探测和测距)的合成词，或者是光探测和测距或光成像、探测和测距的缩写词。在至少一些实施例中，激光雷达传感器可被配置成基于发射光(例如，脉冲激光)，并测量从在激光雷达传感器附近的物体反射的光的一部分来确保激光雷达传感器数据。激光雷达传感器数据可包含距离信息。在至少一些情况下，术语深度(或深度信息、深度值)和距离(或距离信息、距离值)是可以互换地使用的。例如，激光雷达传感器数据可包含距离信息的点云。例如，距离信息可包括与(例如点云的)多个点离激光雷达传感器的距离相关的信息(距离值)，与由激光雷达传感器周围的物体分界的激光雷达传感器附近的空间的深度相关的信息(深度值)，和/或与由激光雷达传感器发射，然后被激光雷达传感器附近的物体反射，并由激光雷达传感器测量的一部分光的强度相关的信息(强度值)。例如，强度值可指示反射发射光的所述部分的物体的距离和/或着色。点云可包括绕激光雷达传感器的旋转轴的不同竖直和/或水平角度的距离信息。例如，激光雷达传感器可被配置成以预先定义的可调旋转频率旋转。激光雷达传感器数据可包括激光雷达传感器的每次旋转或者多次旋转的子集的距离信息的点云。例如，激光雷达传感器数据的空间分辨率可能比摄像头传感器数据的空间分辨率低。

所述方法还包括：确定150与车辆100的运动相关的信息。所述方法还包括：基于与车辆的运动相关的信息，确定160摄像头传感器数据和激光雷达传感器数据的组合图像。这使得可以考虑到在激光雷达传感器旋转期间，车辆行驶的距离。

例如，与车辆的运动相关的信息可包括与车辆的移动相关的信息，例如，与车辆的速度、车辆的转向角度、车辆沿着道路的移动和车辆垂直于道路方向的移动中的至少一个相关的信息。例如，组合图像的确定160可包括：例如基于摄像头传感器数据与激光雷达传感器数据之间的时间同步，来针对组合图像进行车辆的运动的补偿。例如，所述方法还可包括：在组合图像的确定中补偿车辆的运动。作为结果的组合图像可在激光雷达传感器数据和摄像头传感器数据之间有更好的对准。例如，所述方法还可包括：基于与运动相关的信息和例如基于(由时间同步指示的)激光雷达传感器数据与摄像头传感器数据之间的预定时间偏移，来变换激光雷达传感器数据内的点云。组合图像的确定160可基于变换后的点云。对运动的补偿可变换点云，以致变换后的点云指示在特定时间点(与旋转激光雷达传感器的旋转所需的时间段相反)在车辆附近的物体的估计距离，例如，就好像激光雷达传感器在该特定时间点同时记录了全部点云一样。点云的变换可基于与运动相关的信息，例如，基于预先确定的(由时间同步指示的)激光雷达传感器数据与摄像头传感器数据之间的时间偏移，来把点云的至少一部分转换到点云的所述部分在获取摄像头传感器数据的对应摄像头图像时的估计位置。变换点云可以使在利用摄像头传感器获取摄像头传感器数据时的点云的距离/深度/强度值的确定成为可能。

在各个实施例中，所述方法还包括：进行140摄像头传感器数据和激光雷达传感器数据之间的时间同步。例如，时间同步的进行140可包括使摄像头为摄像头传感器数据进行的图像捕捉与激光雷达传感器为激光雷达传感器数据进行的点云的测量同步。另一方面或另外地，时间同步的进行140可包括确定激光雷达传感器数据与摄像头传感器数据之间的时间偏移。例如，时间同步的进行可使摄像头为摄像头传感器数据捕捉的图像的捕捉时间与激光雷达传感器为激光雷达传感器数据捕捉的点云的捕捉时间达到预先确定的时间关系。例如，组合图像的确定160可进一步基于摄像头传感器数据和激光雷达传感器数据之间的时间同步。时间同步可以使得更好地对准摄像头传感器数据和激光雷达传感器数据。例如，所述方法还可包括：基于时间同步来触发摄像头以捕捉摄像头传感器数据的图像(帧)。例如，所述方法还可包括：基于时间同步来触发激光雷达以捕捉激光雷达传感器数据的点云。

在至少一些实施例中，时间同步的进行140是基于激光雷达触发的。例如，时间同步可以基于激光雷达传感器的旋转，例如，基于旋转的频率，基于旋转的时间和/或基于旋转角度。例如，当激光雷达传感器完成或者开始激光雷达传感器的一次旋转的点云的记录时，摄像头传感器可被触发。或者，可基于激光雷达传感器的当前旋转角度来触发摄像头传感器。时间同步可以基于激光雷达传感器的旋转角度。例如，硬件传感器(例如，(感测激光雷达传感器的磁标记的)感应传感器，或者光学传感器)可被配置成检测激光雷达传感器的旋转的预定角度(例如，编码器位置)，和被配置成基于检测的预定角度来触发摄像头传感器。或者，可基于旋转频率和基于激光雷达传感器的旋转的预定开始时间来确定旋转角度。可基于自旋转的预定开始时间以来的时间偏移和基于旋转频率来确定旋转角度。将激光雷达传感器、例如激光雷达传感器的旋转角度用作参考可以使得更精确地对准摄像头传感器数据和激光雷达传感器数据，因为利用摄像头传感器的图像捕捉的触发更容易调整。

例如，组合图像的确定160可包括确定激光雷达传感器数据内的距离信息与摄像头传感器数据内的颜色信息(例如图像信息或像素信息)之间的映射。例如，组合图像的确定160可包括确定摄像头传感器数据内的颜色信息的每个像素或者摄像头传感器数据内的颜色信息的裁剪部分的每个像素的距离信息。组合图像的确定160可包括向组合图像的像素/点、例如向组合图像的各个像素/点赋予距离值、深度值或强度值。这可使组合图像的确定成为可能。例如，激光雷达传感器数据可包括距离信息的点云。组合图像的确定160可包括把点云的点投影到摄像头传感器数据的摄像头平面上。例如，把点云投影到摄像头平面上可包括把点云的点平移到摄像头传感器数据的坐标系，或者平移到用于组合图像的公共坐标系。投影可使距离(或者深度、强度)值映射到摄像头传感器数据的图像帧的像素。例如，组合图像的像素/点的距离值/深度/强度值可以指示所述像素/点离车辆100(例如，离激光雷达传感器)的距离。组合图像可包含距离信息(例如，组合图像的点/像素的距离值/深度/强度值)和颜色信息(例如，组合图像的像素/点的三通道颜色信息)。这可使例如利用(卷积)神经网络的组合图像的组合处理成为可能。组合图像的确定160可包括把激光雷达传感器数据的距离信息叠加在由摄像头传感器数据构成的图像上。

在至少一些实施例中，组合图像可以基于公共坐标系，所述公共坐标系可以不同于颜色信息(或像素信息/图像信息)的坐标系以及不同于深度信息的坐标系。或者，所述公共坐标系可以是颜色信息的坐标系(例如，摄像头的摄像头坐标系)。所述公共坐标系可以是指定排列成二维队形的多个点的二维坐标系。例如，组合图像的确定160可包括确定由公共坐标系指定的多个点中的每个点的距离信息。例如，组合图像的确定160可包括把摄像头传感器数据(例如，摄像头传感器数据内的颜色信息)映射到公共坐标系(例如，映射到由公共坐标系指定的多个点)。

在至少一些实施例中，所述方法还可包括上采样组合图像内的距离信息(例如，距离值、深度值、强度值)的分辨率，以匹配组合图像内的颜色信息的空间分辨率。所述上采样可以改进神经网络的处理。例如，上采样可包括确定组合图像内的颜色信息的每个像素的距离值(或者深度值、强度值)。例如，上采样可包括确定公共坐标系内的每个点的距离值(深度值、强度值)。例如，上采样可基于激光雷达传感器数据的双边滤波。

在各个例子中，如图1c中所示，所述方法还可包括：确定130与摄像头传感器数据内的一个或多个边缘相关的信息和与激光雷达传感器数据内的一个或多个强度不连续性(或者一个或多个深度不连续性/距离不连续性)相关的信息。例如，与所述一个或多个边缘相关的信息的确定130可包括检测摄像头传感器数据内的一个或多个亮度不连续性和/或一个或多个颜色不连续性。例如，与所述一个或多个边缘相关的信息的确定可包括比较摄像头传感器数据内的相邻像素的颜色值和/或亮度值，以识别所述一个或多个边缘。与所述一个或多个强度不连续性相关的信息的确定可包括比较激光雷达传感器数据的点云内的相邻点的强度值和/或深度值，以识别所述一个或多个强度不连续性(或者深度不连续性)。所述一个或多个边缘可以与组合图像内的所述一个或多个亮度不连续性和/或所述一个或多个颜色不连续性对准。组合图像的确定160可以基于与所述一个或多个边缘相关的信息以及基于与所述一个或多个强度不连续性相关的信息。匹配边缘和强度不连续性可以使距离/深度/强度值映射到摄像头传感器数据的图像帧的像素。例如，组合图像的确定160可包括：例如在摄像头传感器数据内的多个帧中和在激光雷达传感器数据的多个点云中，减小摄像头传感器内的一个或多个边缘与激光雷达传感器数据内的一个或多个强度不连续性的叠加的失配。例如，失配的减小可包括变换(例如，移动、旋转、平移和/或缩放)激光雷达传感器数据和/或摄像头传感器数据，以改善一个或多个边缘与一个或多个强度不连续性的对准。失配的减小可包括确定平移和旋转参数，以减小摄像头传感器数据内的一个或多个边缘和激光雷达传感器数据内的一个或多个强度不连续性之间的失配。例如，平移和旋转参数的确定可基于初始猜测(例如，基于预先减小的在一个或多个边缘和一个或多个强度不连续性之间的失配)，以及平移和旋转参数的随后调整。例如，可以从初始猜测逐渐调整平移和旋转参数，只要失配减小即可。校准可把摄像头传感器数据和激光雷达传感器数据匹配或投影到公共坐标系。

在各个例子中，所述方法还可包括：基于与一个或多个边缘相关的信息和基于与一个或多个强度不连续性相关的信息，来变换激光雷达传感器数据的点云。例如，点云的变换可在公共坐标系内，将一个或多个强度不连续性与一个或多个边缘(基本)对准。例如，点云的变换可把点云投影到公共坐标系，以致使一个或多个强度不连续性与一个或多个边缘基本对准。组合图像的确定160可以基于变换后的点云。变换点云(例如，缩放、移动或平移点云)可把距离/深度/强度值映射到摄像头传感器数据的图像帧的像素。

在至少一些例子中，与摄像头传感器数据内的一个或多个边缘相关的信息和与激光雷达传感器数据内的一个或多个强度不连续性相关的信息的确定130可基于摄像头传感器数据的多个帧和基于激光雷达传感器数据的多个点云。例如，所述摄像头传感器数据的多个帧和所述多个点云可以基于不断变化的景色，例如在车辆运动时。例如，可以在车辆运动时、例如在车辆运动中和/或基于不断变化的景色，进行与一个或多个边缘相关的信息和与一个或多个强度不连续性相关的信息的确定130。这可使(外部)校准的不断再调整成为可能，并可能使基于工厂的外部校准过时。例如，所述摄像头传感器数据的多个帧和所述多个点云可不基于静态景色，例如，可不基于校准棋盘。在各个实施例中，摄像头传感器数据可包含多个帧。与一个或多个边缘相关的信息的确定130可包括在多个帧内检测所述一个或多个边缘。例如，与一个或多个边缘相关的信息的确定130可提高所述多个帧的一个或多个边缘的检测精度。与一个或多个边缘相关的信息的确定130可包括在多个帧内跟踪所述一个或多个边缘。激光雷达传感器数据可包括激光雷达传感器数据的多个点云。与一个或多个强度不连续性相关的信息的确定130可包括在多个点云内检测所述一个或多个不连续。与一个或多个边缘相关的信息的确定130可包括跟踪多个点云的所述一个或多个强度不连续性。这可使更精确的对准成为可能，例如在车辆运动时。所述摄像头传感器数据的多个帧和所述多个点云可以在预定时间范围内从摄像头和激光雷达传感器获得。例如，可以在利用激光雷达传感器和摄像头记录所述摄像头传感器数据的多个帧和所述多个点云之后，进行与一个或多个边缘相关的信息的确定130。例如，所述多个帧可包括至少5(或者至少10、或者至少20、或者至少30)帧。所述多个点云可包括至少5(或者至少10、至少20、至少30)个点云。例如，可以在车辆运动中时，进行与摄像头传感器数据内的一个或多个边缘相关的信息和与激光雷达传感器数据内的一个或多个强度不连续性相关的信息的确定130。例如，组合图像的确定160可包括(逐渐)减小摄像头传感器数据的多个(图像)帧内的一个或多个边缘和激光雷达传感器数据内的多个点云的一个或多个强度不连续性的叠加的失配。或者，可以在车辆停止不动(静止)时，进行与摄像头传感器数据内的一个或多个边缘相关的信息和与激光雷达传感器数据内的一个或多个强度不连续性相关的信息的确定130。

在至少一些实施例中，所述方法还包括：基于与一个或多个边缘相关的信息和基于与一个或多个强度不连续性相关的信息，来确定摄像头传感器数据和激光雷达传感器数据的校准。例如，校准可以是摄像头传感器数据和激光雷达传感器数据的外部校准。校准可指示用于把激光雷达传感器数据和/或摄像头传感器数据投影或变换到公共坐标系的至少一个变换参数(例如，第一和第二变换参数)。校准可指示用于叠加激光雷达传感器数据和摄像头传感器数据的至少一个变换参数(例如，第一和第二变换参数)，以致包含在激光雷达传感器数据内的物体的轮廓基本匹配包含在摄像头传感器数据内的该物体的轮廓。组合图像的确定160可以基于摄像头传感器数据的校准和激光雷达传感器数据的校准。例如，校准的确定可基于，例如在摄像头传感器数据内的多个帧和激光雷达传感器数据内的多个点云范围内，减小摄像头传感器数据内的一个或多个边缘与激光雷达传感器数据内的一个或多个强度不连续性的失配。例如，失配的减小可包括确定减小摄像头传感器数据内的一个或多个边缘和激光雷达传感器数据内的一个或多个强度不连续性之间的失配的平移和旋转参数。校准可把摄像头传感器数据和激光雷达传感器数据匹配到公共坐标系。

在各个实施例中，校准的确定包括确定用于把摄像头传感器数据从摄像头坐标系变换到公共坐标系的第一变换参数。校准的确定可包括确定用于把激光雷达传感器数据从激光雷达坐标系变换到公共坐标系的第二变换参数。例如，第一变换参数和/或第二变换参数可包括一组裁剪参数、缩放参数、移动参数和旋转参数中的至少一个元素。组合图像可以基于公共坐标系。例如，组合图像的确定160可包括基于第一变换参数，来把摄像头传感器数据变换或投影到公共坐标系。组合图像的确定160可包括基于第二变换参数，把激光雷达传感器数据(例如，激光雷达传感器数据内的一个或多个点云)变换或投影到公共坐标系。公共坐标系可以使例如利用(卷积)神经网络的组合图像的组合处理成为可能。

在各个实施例中，可按照预先定义的时间间隔(例如，每小时、每个预定的小时数、每天、每周)、基于车辆100的动力循环(例如，每次启动车辆100)和/或基于车辆100的运动，来进行或触发校准的确定。当可能发生校准失配时，这样的事件可触发校准。例如，如果车辆的运动违反了运动阈值，例如如果车辆遇到路面凹凸不平或者不利于校准的精度的道路状况，那么可触发校准的确定。

在至少一些实施例中，所述方法还可包括利用人工神经网络来处理组合图像170。例如，神经网络可以进行对象识别和/或识别组合图像中的感兴趣的区域。例如，人工神经网络可以是预先训练的神经网络。或者，可以至少部分基于激光雷达传感器和/或基于摄像头(例如，基于激光雷达传感器模型和/或基于摄像头传感器模型)，来训练人工神经网络。人工神经网络可被配置成检测和/或分类所述组合图像内的至少一个对象。例如，人工神经网络可被配置成确定组合图像内的至少一个分类的对象的边界框。例如，人工神经网络可被配置成检测组合图像内的一个或多个类别的对象。人工神经网络可被配置成检测组合图像内的其他车辆、行人和交通标志组中的至少一个元素。另一方面或另外地，人工神经网络可被配置成分割组合图像。例如，人工神经网络可被配置成识别组合图像内的感兴趣的区域。所述方法还可包括：例如利用所述人工神经网络，利用另外的人工神经网络和/或利用处理器，来处理感兴趣的区域。在各个实施例中，所述人工神经网络和/或另外的人工神经网络可以利用专用电路，例如用于实现人工神经网络的专用集成电路，来实现。或者，人工神经网络可以用例如由处理模块的处理器执行的软件实现。

在至少一些实施例中，人工神经网络是卷积神经网络。卷积神经网络在图像数据的处理方面有许多优点。例如，组合图像可包括作为卷积神经网络的输入的以图像格式的距离信息。人工神经网络可包括多个输入。所述多个输入中的至少一个可以基于组合图像的颜色信息。所述多个输入中的至少一个可以基于组合图像的距离信息(例如，距离值、深度值或强度值)。例如，所述多个输入中的3个输入可基于组合图像的颜色信息(例如，红色、绿色和蓝色通道)。所述多个输入中的3个输入可基于组合图像的距离信息(例如，转换成3通道图像格式)。在人工神经网络中对组合图像的颜色信息和深度、距离或强度信息进行处理，可以改善物体的识别或分类，以及组合图像的分割。

在各个实施例中，所述方法还可包括把组合图像的距离信息(例如，深度/距离/强度值)变换成三通道图像格式。组合图像的处理170可以基于三通道图像格式。例如，三通道图像格式可以基于提供距离值(或深度值、强度值)与颜色值之间的线性变换的三通道颜色图，例如，jet着色或者类似于jet着色的着色。三通道图像格式基于水平差、离地高度和与重力的夹角(hha)中的一个或多个元素。三通道图像格式可以使用预先训练的卷积神经网络来分析。

所述至少一个接口12可对应于用于在模块内、在模块之间、或者在不同实体的模块之间接收和/或发送信息(所述信息可以是与指定的代码相应的数字(比特)值)的一个或多个输入端和/或输出端。在实施例中，处理模块14可以利用一个或多个处理单元、一个或多个处理设备、任何处理用装置，比如处理器、计算机或者可借助相应适配的软件工作的可编程硬件组件来实现。换句话说，说明的处理模块14的功能也可以用随后在一个或多个可编程硬件组件上执行的软件实现。这样的硬件组件可包括通用处理器、数字信号处理器(dsp)、微控制器等。

用于提供rgb-深度融合数据的其他系统可包括组合传感器。如果涉及多个传感器，那么一些系统的问题可能是定时问题，因为不同的传感器可能在不同的频率下工作，可能需要时间来测量场景。这一点，再加上场景中的物体之间的相对运动，可能会导致较大的误差，因为不同的传感器取决于这些因素地在不同的位置看到‘同一’物体。另外，只具有绑定到rgb的稀疏深度地图对场景中的物体的机器学习或定位来说可能并不理想。

至少一些实施例可包括可通过自动校准处理而相互作用的旋转激光扫描仪(例如，激光雷达传感器)和摄像头(例如，摄像头)。为了考虑到当激光雷达移动时点云的变形，可基于车辆测程(例如，基于车辆的运动)，来进行自我运动补偿(例如，补偿车辆的运动)。这可减小车辆移动时静态物体的误差。通过触发/时间同步两种传感器，动态误差和静态误差均可被减小。多传感器布置可以类似于其他系统。在至少一些实施例中，成对的点云可被上采样到与来自摄像头的rgb图像相同的密度，从而产生类似于kinect的户外场景。

在其中激光雷达以10hz的频率旋转的例证实施例中，一次完整的测量可能需要100ms。在此期间，车辆可能移动，因此激光雷达的坐标系可能不断移动。借助自我运动补偿，(所有)被测点可被变换到一个基本激光雷达坐标系(例如，公共坐标系)。该基本激光雷达坐标系可以是参考摄像头被触发以拍摄图像的时间的坐标系。

通过改善传感器融合的质量，各个实施例可允许在检测(神经)网络、特别是分割(神经)网络中更好地利用融合数据。

通过上采样结构类似于rgb的深度图(例如，激光雷达传感器数据内的点云)，至少一些实施例可以更精心地扩展深度表示(例如距离信息)，例如从深度表示生成jet特征或hha特征(用于三通道图像格式)，这些特征可以作为卷积神经网络的输入，用于特征学习。

至少一些实施例可以基于自我运动补偿、多个传感器的时间同步/触发，和深度图(例如，激光雷达传感器数据内的点云)的上采样，以匹配rgb(红、绿、蓝)密度(例如，图像信息内的空间分辨率)。

连同一个或多个前面详细说明的例子和附图一起提及和说明的各个方面和特征也可以与一个或多个其他例子组合，以便替换其他例子的类似特征，或者将该特征额外引入其他例子中。

图2a和2b表示按照一个实施例的时间同步对物体(用边界框210a；220a，210b，220b)检测的影响的例示。在至少一些实施例中，(用于传感器触发的)时间同步可用于动态场景。这可减小摄像头&lidar对的测量值之间(例如，摄像头传感器数据与激光雷达传感器数据之间)的时间差。在至少一些实施例中，velodyne(例如，激光雷达传感器)可触发摄像头。图2a和2b表示按照一个实施例的朝向车辆的前方的组合图像的视图。与在表示基于激光雷达传感器数据检测的边界框210b和基于摄像头传感器数据检测的边界框220b的图2b内(有时间同步)检测的物体相比，在图2a内(无时间同步)检测的物体可能显示在基于激光雷达传感器数据检测的边界框210a和基于(rgb)摄像头传感器数据检测的边界框220a之间的较大失配。在对比测试中，与自由运行的组合图像(无时间同步)的60％相比，时间同步的组合图像的平均iou(交并比)值为78％，与自由运行的组合图像(无时间同步)的25％相比，最小iou为53％，d(com)(l2-范数)值分别为5.4像素和12.6像素。

图3a和3b表示按照一个实施例的自我运动补偿对摄像头传感器数据(310a；310b)和激光雷达传感器数据(320a；320b)的叠加的影响的例示。自我运动补偿可补偿由车辆运动引起的点云(的歪斜)。可以利用车辆测程(例如，与车辆的运动相关的信息)来移动点云，从而可提高(世界上的)静态物体的精度((世界上的)动态物体的精度更差)。图3a和3b可以表示在基于从桥下经过的公共汽车的传感器分析的组合图像中的距离信息与颜色信息之间的例证匹配。图3a表示与摄像头传感器数据310b和激光雷达传感器数据320b的有自我运动补偿的组合图像相比，在摄像头传感器数据310a与激光雷达传感器数据320a之间存在较大失配的无(来自移动中车辆)的自我运动补偿的组合图像。在对比测试中，自我运动补偿的组合图像和无自我运动补偿的组合图像的平均iou值分别为74％和77％，最小iou分别为78％和81％，d(com)(l2-范数)值分别为6.2像素和4.8像素。d(com)(l2-范数)指的是质心(com)的误差。两个对应边界框的质心(com)的误差用作衡量融合质量的另一指标。外部校准的误差可能引起这两个边界框间的系统偏移。尽管对于较大的边界框来说不显著，不过，这种系统误差会严重影响较小边界框的iou。矩形边界框的com(cx,cy)是矩形n的中心点，利用以前的角落定义，为质心的误差(ecom)是在摄像头图像和投影点云中的同一物体的边界框的com之差。

至少一些实施例可以基于自我运动补偿(基于车辆的自我运动)和摄像头与激光雷达的时间同步二者。至少一些实施例可在旋转的激光雷达与摄像头面向同一方向时触发摄像头拍摄。

在至少一些实施例中，(激光雷达传感器数据内的)点云可被上采样(处理，以按与组合图像内的颜色信息相同的空间分辨率确定距离信息)。与摄像头图像相比，lidar输出(例如，激光雷达传感器数据中的点云)可能是稀疏的。为了对于大多数像素获得可信的深度信息(距离信息)，深度图可被上采样。在各个实施例中，双边滤波被证明适用于lidar数据。

(例如组合图像内的)数据融合可以以检测(神经)网络能够理解的方式对深度信息进行编码。它可包括对稀疏深度图(例如，距离信息的点云)上采样，并利用jet着色和/或hha特征对距离信息着色。

图4a表示包含布置在车辆顶部的激光雷达传感器402和摄像头404的车辆400(可对应于车辆100)的示意图。

例子还可以是或者涉及计算机程序，所述计算机程序具有当所述计算机程序在计算机或处理器上执行时，进行上述方法中的一种或多种方法的程序代码。各个上述方法的步骤、操作或处理可由程控的计算机或处理器进行。例子还覆盖程序存储设备，比如数字数据存储介质，所述程序存储设备是机器、处理器或计算机可读的，并对机器可执行、处理器可执行或计算机可执行的指令程序进行编码。所述指令进行或导致进行上述方法的一些或全部动作。程序存储设备可包括或者可以是例如数字存储器、诸如磁盘和磁带之类的磁存储介质、硬盘驱动器，或者光学可读数字数据存储介质。进一步的例子还可以覆盖被编程以进行上述方法的动作的计算机、处理器或控制单元，或者被编程以进行上述方法的动作的(现场)可编程逻辑阵列((f)pla)或(现场)可编程门阵列((f)pga)。

说明和附图仅仅举例描述本公开的原理。此外，本文中列举的所有例子主要意图是明确地仅仅用于教学目的，以帮助读者理解本公开的原理，和发明人对促进现有技术所贡献的概念。本文中详述本公开的原理、方面和例子的所有陈述，及其具体例子都意图包含其等同物。

进行某种功能的表示成“用于...的装置”的功能块可以指的是配置成进行某种功能的电路。从而，“用于某事的装置”可被实现成“配置成或者适合于某事的装置”，比如配置成或者适合于相应任务的设备或电路。

附图中所示的各个元件的功能，包括标记为“装置”、“用于提供传感器信号的装置”、“用于生成传送信号的装置”等的任意功能块可以专用硬件，比如“信号提供器”、“信号处理单元”“处理器”、“控制器”等，以及能够与适当的软件联合，执行软件的硬件的形式实现。当由处理器提供时，这些功能可以由一个专用处理器、由一个共享处理器或者由多个单独的处理器提供，所述多个单独的处理器中的一些或全部可以是共享的。然而，术语“处理器”或“控制器”到目前为止不限于仅能执行软件的硬件，相反可包括数字信号处理器(dsp)硬件、网络处理器、专用集成电路(asic)、现场可编程门阵列(fpga)、用于保存软件的只读存储器(rom)、随机存取存储器(ram)和非易失性存储器。也可包括其他常规和/或定制的硬件。

方框图例如可图解说明实现本公开的原理的高级电路图。类似地，流程图、状态转换图、伪代码等可表示各种处理、操作或步骤，这些处理、操作或步骤例如可以实质上用计算机可读介质表示，从而由计算机或处理器执行，而不论是否明确地表示了这样的计算机或处理器。在说明书和权利要求书中公开的方法可以由具有进行这些方法的各个相应动作的装置的设备实现。

需要理解的是除非例如由于技术原因而明确或隐含地另有说明之外，否则在说明书或权利要求书中公开的多个动作、处理、操作、步骤或功能的公开不得被解释成是按照特定的顺序的。于是，多个动作或功能的公开不会将所述多个动作或功能限制于特定的顺序，除非这些动作或功能由于技术原因不能互换。此外，在一些例子中，一个单独的动作、功能、处理、操作或步骤可分别包括或分成多个子动作、子功能、子处理、子操作或子步骤。除非明确被排除，否则这类子动作可包括在该单独动作的公开内容中，和作为该单独动作的公开内容的一部分。

此外，以下权利要求在此并入具体实施方式部分中，其中每个权利要求可独自作为单独的例子。尽管每个权利要求可独自作为单独的例子，不过要注意的是-尽管在权利要求书中，从属权利要求可能涉及与一个或多个其他权利要求的具体组合-不过其他例子也可包括该从属权利要求与各个其他从属或独立权利要求的主题的组合。这样的组合在此被明确地提出，除非声明不想要特定的组合。此外，还意图把某个权利要求的特征包含到任何其他独立权利要求中，即使该权利要求不直接从属于该独立权利要求。