用于辅助载具导航的方法和装置与流程

本发明一般涉及辅助驾驶载具，例如，飞行器或陆地载具。

本发明更具体地涉及通过使用三维场景的彩色图像以及通过对这些图像应用三维(3d)推断方法产生的图像来辅助驾驶的方法和系统。

以已知的方式，三维场景的3d感知呈现对于驾驶系统或驾驶辅助系统非常重要的信息。这种感知通常通过使用3d采集系统获得：激光测距仪、运动图像摄影机或立体摄像机等。

然而，根据环境，访问该类型的系统并不总是很简单。此外，在载具上或在设备的单独部件(例如智能手机)上使用单目系统，例如单台相机，正变得越来越普遍。

3d推断的目的是使用由单台相机或等效采集系统获取的“原始”图像以评估那些图像中包含的3d信息。为此目的，并且作为示例，各种现有的3d推断方法可以利用与原始图像中包含的照明或视频(遮挡，移动等)等相关的几何和/或语义索引，使提提取关于图像中显示的场景的深度信息以及关于构成场景的对象的深度信息成为可能。这些方法生成的3d信息可以采用多种形式：

以深度地图的形式表示，通常使用不同的颜色代码表示构成场景的对象的不同表面的深度；

或者以方向地图的形式表示，通常使用不同的颜色代码来表示垂直于构成场景的对象的各个表面的矢量的方向。

作为说明，对于如图1a中所示的原始图像，图1b和1c分别示出了通过使用3d推断方法从该原始图像获得的示例深度地图和示例定向地图。

如今，可以区分三大类3d推理方法，即：

基于几何和体积约束的方法：这些方法通过平行六面体或更一般地通过已知的3d形状提取近似于场景中的某些表面的线和平面。举例来说，delage等人在文献中描述了一种这样的方法，题为“室内曼哈顿世界场景的自动单幅三维重建(automaticsingle-image3dreconstructionsofindoormanhattanworldscenes)”，2005年；

基于语义分析的方法：这些方法依赖于检测和/或估计场景中的语义表示，从而能够分配深度。举例来说，这样的表示是“墙是垂直的”，“地面是水平的”，“天空是无限的”等。特别地，hoiem等人在文献中描述了这种方法的一个例子，题为“看到图像背后的世界：3d场景理解的空间布局(seeingtheworldbehindtheimages:spatiallayoutfor3dsceneunderstanding)”，2005-2007年；和

通过训练的方法：这些方法使用包含多个(图像，深度)对的数据库，以确定参数和/或限定模型或体系结构，从而直接学习原始图像和它包含的3d信息之间存在的关系。举例来说，karsch等人在文献中描述了一种这样的方法，题为“深度传输：使用非参数采样从视频中提取深度(depthtransfer:depthextractionfromvideousingnon-parametricsampling)”，2014年。

当然，这三类方法的目的是提供代表视觉上正确的原始图像中包含的3d信息的图像，以便它们可以被驾驶系统使用。如今，通过训练的3d推理方法是能够实现最佳结果的方法，即提供最佳质量的3d推断图像的方法。在下面的描述中，使用术语“3d推断图像”是指通过应用3d推断方法表示原始图像中包含的3d信息的图像。没有限制与该图像采用的形式相关联(图像表示深度地图或方向地图)。

为了确定3d推断图像的质量，可以将3d推断图像中包含的数据与“地形真实”进行比较，换句话说，与在真实场景上进行的深度测量进行比较。可以从这些测量中限定各种质量指数。可以特别地通过3d推断图像中示出的3d信息的形式，即3d推断图像是显示原始图像的深度地图还是定向地图，来指导与另一个相比，选择哪个指数来估计3d推断图像的质量。在非穷举的方式中，可以通过以下质量指数的例子提及：

对于显示深度地图的3d推断图像：

在整个3d推断图像上进行评估，并基于l-1范数(从绝对值限定的范数)的平均相对深度误差由下式给出：

其中n表示3d推断图像中的像素数量，dp表示与3d推断图像中的像素p相关联的深度，表示在对应于像素p的地形上测量的深度；

基于l-2范数(平方范数)的平均相对深度误差由下式给出：

对于表示方向地图的3d推断图像：

平均角度差(或误差)由下式给出：

其中θp表示垂直于3d推断图像的像素p的矢量与在场景中测量并且对应于该像素的法线矢量之间的角度；

角度差(或误差)由角度θp，p＝1，...，n构成的集合的中值给出。应该记得，一组值的中值是一个统计值，表示将集合的值分成两个相同大小的子集的值。

对于使用3d推断图像的驾驶系统，了解这种质量指数是宝贵的，因为它们可以判断使用或不使用那些推断图像来协助驾驶的针对性。然而，遗憾的是，并不总是可以获得那些用作参考并且为了评估上述质量指数而需要的“地形”测量值。

技术实现要素：

本发明特别通过提出一种辅助驾驶载具的方法来减轻上述缺点，该方法包括：

构建步骤，用于根据在原始图像和3d推断图像之间限定的多个相似性度量构建数字模型，所述数字模型限定通过将3d推断方法应用于所述原始图像而产生的3d推断图像的质量指数，所述构建步骤使用针对多个参考3d推断图像获得的一组观察值，所述多个参考3d推断图像是通过将至少一种3d推断方法应用于多个参考原始图像而得到的，所述观察值包括在所述参考3d推断图像上表示的3d信息的测量值；

获取步骤，用于获取可能对载具的驾驶产生影响的三维场景的第一图像；

生成步骤，用于通过将3d推断方法应用于所述第一图像，使用所述第一图像生成3d推断第二图像；

估计步骤，用于估计所述第一图像和所述3d推断第二图像之间的所述多个相似性度量；

评估步骤，用于通过使用所述数字模型和估计的所述多个相似性度量来评估所述3d推断第二图像的质量指数；和

如果估计的质量指数大于预定参考阈值，则使用所述3d推断第二图像来辅助驾驶载具的利用步骤；和

其中构建数字模型的步骤包括：

评估步骤，用于针对每个观察值：

通过使用所述参考3d推断图像的像素值和由这些像素表示的3d信息的测量值，评估由所述数字模型限定的质量指数；和

通过使用所述参考3d推断图像的像素值和相应参考原始图像的像素值，评估所述多个相似性度量；和

确定步骤，用于通过将回归技术应用于在所述评估步骤期间评估的所述质量指数和相似性度量来确定所述数字模型。

相应地，本发明还提供了一种辅助驾驶载具的辅助系统，该系统包括：

构建装置，用于根据在原始图像和其3d推断图像之间限定的多个相似性度量构建数字模型，所述数字模型限定通过将3d推断方法应用于所述原始图像而产生的“3d推断”图像的质量指数，所述构建装置配置为使用针对多个参考3d推断图像获得的一组观察值，所述多个参考3d推断图像是通过将至少一种3d推断方法应用于多个参考原始图像而得到的，所述观察值包括在所述参考3d推断图像上表示的3d信息的测量值，并且所述用于构建数字模型的构建装置还配置为针对每个观察值：

通过使用所述参考3d推断图像的像素值和由这些像素表示的3d信息的测量值，评估由所述数字模型限定的质量指数；和

通过使用所述参考3d推断图像的像素值和相应参考原始图像的像素值，评估所述多个相似性度量；

并通过将回归技术应用于所述质量指数和评估的所述相似性度量来确定所述数字模型；

获取装置，用于获取可能对载具的驾驶产生影响的三维场景的第一图像；

生成装置，用于通过将3d推断方法应用于所述第一图像，使用所述第一图像生成3d推断第二图像；和

评估装置，用于评估所述3d推断第二图像的质量，所述评估装置包括：

估计模块，用于估计所述第一图像和所述3d推断第二图像之间的所述多个相似性度量；和

评估模块，用于通过使用所述数字模型和估计的所述多个相似性度量来评估所述3d推断第二图像的质量指数；

如果估计的所述质量指数大于预定的参考阈值，则用于辅助驾驶载具的系统被配置为使用所述3d推断第二图像。

举例来说，所述辅助系统配置为使载具避开障碍物和/或碰撞。

因此，本发明提出了一种新颖的质量指数，其给出了从原始图像(本发明意义上的“第一”图像)生成的3d推断图像(本发明意义上的“第二”图像)的质量的良好估计。该质量指数有利地基于预先建立的数字模型来估计，该数字模型考虑了3d信息的真实观察值(在地形上所需的测量值)，并且根据在原始图像和相应的3d推断图像之间计算的多个相似性测量值限定质量指数。一旦构建了模型，有利地可以忽略了解地形测量值以估计3d推断图像的质量。

可以基于可用于参考图像的真实(“地形”)测量值容易地构建数字模型。这种测量值很容易获得；举例来说，公众可以获得可用于训练(即构建)数字模型的数据库。举例来说，这样的数据库是已知的数据库：make3d，msr-v3d，kitti，nyudepthv1和v2等。特别地，它们包含使用深度传感器(如kinect传感器或激光器)进行各种室内和/或室外场景所需的测量值。

为了构建数字模型，应该观察到本发明有利地利用针对不同3d推断方法获得的观察值，从而使得可以更有效地利用可访问数据及其密度。

当需要实时提供3d推断图像的估计质量时，本发明具有优选的应用。这通常在辅助驾驶时适用，其中图像是实时获取的，并且需要快速获得关于是否考虑这些图像的决定，以使辅助对于最终用户是有用的和相关的。选择本发明中考虑的参考阈值，以便抛开质量不足以辅助驾驶载具的3d推断图像。

此外，考虑多个相似性测量值使得可以限定与不同3d推断方法相关的质量指数。为此，在构建数字模型时，考虑与各种方法相关的相似性测量值就足够了。具体地，取决于3d推断方法所属的类别，它们可能呈现实质上不同的响应。通过考虑由各种不同的相似性度量构建的“复合”指数，可以考虑这些差异并提供适合于许多3d推断方法的质量指数。

因此，举例来说，可以从以下选择多个相似性度量：

在3d推断图像的像素值和相应原始图像的像素值之间评估的l-1或l-2范数；

在表示3d推断图像的像素值的矩阵和表示相应原始图像的像素值的矩阵之间评估的标量积；

在由3d推断图像的像素值形成的集合与由相应原始图像的像素值形成的集合之间评估的广义杰卡德指数(jaccardindex)；

在3d推断图像的像素值和相应原始图像的像素值之间评估的统计相关性；

在3d推断图像的像素值和相应原始图像的像素值之间评估的互信息；和

在3d推断图像的像素值和相应原始图像的像素值之间评估的结构相似性指数。

当然，该列表并非详尽无遗，可以考虑其他相似性度量。

在特定实现中，本发明中使用的数字模型是多个相似性度量的线性函数。

换句话说，估计的质量指数是在原始第一图像和3d推断第二图像之间计算的相似性度量的加权组合。这种模型特别简单，并且能够快速计算质量指数。它也很容易构建。

在确定步骤期间，所使用的回归技术可以依赖于例如套索方法。

这种方法本身是已知的。举例来说，r.tibshirani在题为“通过套索进行回归收缩和选择(regressionshrinkageandselectionviathelasso)”，皇家统计学会杂志系列b(journaloftheroyalstatisticalsocietyseriesb)，58(1)，第267-288页，1996的文献中描述了它，并且包括在惩罚约束下的最小二乘最小化。

当试图基于多个潜在解释变量(特别是所考虑的原始图像和3d推断图像之间的相似性度量)以线性方式解释变量(具体地，3d推断图像的质量指数)时，套索方法特别合适。它使得可以考虑多个相似性度量而不需要关于那些度量的相关性的先验知识。具体而言，套索方法可以消除无用的度量，因为它们对质量指数几乎没有影响。

当然，可以设想其他数字模型，例如，所述数字模型比线性模型更复杂，也可以设想其他回归方法。

如上所述，取决于3d推断图像中表示的3d信息的性质(法向矢量的深度或方向)，某些质量指数可能比其他质量指数更相关。

在特定实现中，3d推断第二图像表示深度地图，并且数字模型限定对应于3d推断图像的像素百分比的质量指数，所述像素百分比具有相对于3d信息的测量值呈现对数查或相对差的值，实施3d信息的测量值由小于第一预定阈值的那些像素表示。

举例来说，第一阈值等于0.1(即估计深度的10％的相对误差或数量级误差)。

在另一实现中，3d推断第二图像表示方向地图，并且数字模型限定对应于3d推断图像的像素百分比的质量指数，所述像素百分比具有相对于3d信息的测量值呈现平均差或中值的值，所述3d信息的测量值由小于第二预定阈值的那些像素表示。

举例来说，第二阈值可以等于30°。

当然，可以设想除了上述指数之外的质量指数来构建数字模型。然而，发明人已经将上述两个质量指数识别为与大量3d推断方法相关，因此可以获得适合于多种3d推断方法的质量指数。具体地，考虑到对数差或相对差使得可以在图像像素集合上更好地区分良好的3d推断和差的3d推断。此外，考虑“好”像素的百分比，因为质量指数对于所使用的观察值中包含的噪声更具鲁棒性，因为其表示相对于阈值有效的像素的最佳部分。调整阈值以管理质量指数可以容忍的噪声水平。所提出的0.1和30°的阈值是本发明人通过实验确定的优选值，并且有利于处理数据库中的观察值中包含的噪声水平。

在特定实现中，导航辅助方法的所有或一些步骤由计算机程序指令确定。

因此，本发明还提供了一种数据介质上的计算机程序，所述程序适合于在用于辅助驾驶的系统中执行或者更一般地在计算机中执行，所述程序包括适于执行如上所述的驾驶辅助方法的步骤的指令。

该程序可以使用任意编程语言，并且其形式上可以为源代码，目标代码，或者源代码和目标代码之间的中间代码(codeintermediate)，例如部分编译的形式，或者任何其他所期望的形式。

本发明还提供了一种计算机可读数据介质，包括如上所述的计算机程序的指令。

该数据介质可以是能够存储程序的任何实体或装置。例如，介质可以包括存储装置，例如只读存储器(rom)，例如光盘(cd)rom或微电子电路rom，或者实际上是磁记录装置，例如硬盘。

此外，数据介质可以是可以通过电缆或光缆，通过无线电，或者通过其他手段传输的可传送介质，例如电信号或光信号。本发明的程序尤其可以从因特网类型的网络下载。

或者，数据介质可以是包含程序的集成电路，该电路适于执行或者用于执行所述方法。

附图说明

通过下面参考附图进行的描述，可以理解本发明的其他特征和优点，这些附图显示了实现方式，不具有限制性。在图中：

图1a，1b和1c如上所述示出了彩色图像(图1a)和从该彩色图像生成的3d推断图像的示例(图1b中示出了深度地图，图1c中示出了方向地图)；

图2示出了根据本发明特定实施方式的驾驶辅助系统；

图3显示了评估装置的硬件架构示例，用于评估3d推断图像的质量并构成图2驾驶辅助系统的一部分；和

图4以流程图的形式示出了根据本发明的特定实施方式的驾驶辅助方法的主要步骤，其中该方法由图2所示的驾驶辅助系统执行。

具体实施方式

图2示出了根据本发明的用于辅助驾驶载具(未示出)的系统1在其环境中的特定实施方式。

举例来说，驾驶辅助系统1装载在载具上。举例来说，它可以配置成使载具能够避开障碍物和/或碰撞。没有限制与所讨论的载具的性质相关，它同样可以是飞行器(例如飞机)，陆地载具或船舶等。

驾驶辅助系统1包括传统驾驶辅助系统(例如全球定位系统(gps)等)的所有特征。在辅助驾驶载具的同时，它还被配置为利用载具附近的三维场景的图像、可能对载具的驾驶产生影响的图像，以及可以从这些图像中提取的各种信息项。

为此，驾驶辅助系统1包括：

图像获取装置2，例如，静止或运动图像摄影机，适用于获取可能对载具行驶产生影响的三维场景的图像。在当前描述的示例中，所获取的图像是红绿蓝(rgb)彩色图像。在一个变型中，可以设想使用用于获取红外图像或灰度编码图像的装置；和

3d推断装置3，其适于响应由图像获取装置2提供的原始图像，以生成表示包含在原始图像中的3d信息的3d推断图像。

应该观察到，没有限制与装置3使用的3d推断方法相关联：它同样可以是基于几何和体积约束的方法，基于语义分析的方法，或者通过训练的方法。同样地，没有限制与装置3生成的3d推断图像的性质相关联：它可以是深度地图或方向地图。

然而，对于原始图像和由装置3提供的相应3d推断图像做出以下假设：

原始rgb彩色图像中的颜色和亮度的变化与原始图像所示的场景中的深度的变化和表面的取向的变化有关。

原始图像和基于该图像生成的3d推断图像彼此对齐(图像像素对应)；

以像素为单位测量的原始图像中对象的大小与生成的3d推断图像中的对象大小相同，同样以像素为单位测量；和

场景的空间包络的属性(例如，场景边界的开放性和扩展，粗糙度等)在原始图像和3d推断图像中是类似的。

有利地，本发明的驾驶辅助系统1被配置为评估(和使用)由3d推断装置3从提供给其的原始图像生成的3d推断图像的质量。为此，驾驶辅助系统1包括评估装置4，用于评估由3d推断装置3生成的3d推断图像的质量，该评估装置4具有当前描述的实施方式中的计算机的硬件架构。

更确切地说，如图3所示，用于评估3d推断图像的质量的评估装置4具体包括处理器5、随机存取存储器(ram)6、rom7、非易失性存储器8、以及通信模块9。

通信模块9使评估装置4能够与驾驶辅助系统1的其他装置通信。举例来说，该通信通过将系统1的各装置连接在一起的数字数据总线或通过无线连接(例如，蓝牙等)进行。它还使得驾驶系统能够与一个或多个数据库(以附图标记10一起表示)通信，该数据库可以在驾驶系统外部并且例如可以通过电信网络访问。这些数据库包含根据本发明的驾驶辅助系统1所使用的地形观测结果obs(特别是通过传感器获得的3d信息的实际测量值)。

评估装置4的rom7构成根据本发明的数据介质，其可由处理器5读取并且存储根据本发明的计算机程序prog，包括用于执行本发明的驾驶辅助方法的全部或一些步骤的指令。

以等同的方式，在该示例中，计算机程序prog限定了被配置为执行本发明的驾驶辅助方法的所述步骤的软件和功能模块。这些功能模块依赖于或控制评估装置的上述硬件元件5-9。在这个例子中，它们特别包括(参见图1)：

构建模块4a(或装置)，用于构建数字模型mod，数字模型限定通过将3d推断方法应用于原始图像而得到的3d推断图像的质量指数，该数字模型根据在原始图像与其3d推断图像之间限定的多个相似性度量来构建。模块4a被配置为使用包含在数据库10中的3d信息，并且为此目的，它特别依赖于系统1的通信模块9；

估计模块4b，用于估计在数字模型mod中针对由图像获取装置2提供的每个图像考虑的多个相似性度量以及由3d推断装置3提供的相应3d推断图像；和

评估模块4c，用于通过利用数字模型和由模块4b估计的多个相似性度量来评估由3d推断装置3提供的每个3d推断图像的质量指数。

下面更详细地描述这些各种模块的功能。

驾驶辅助系统1还包括驾驶装置11，该驾驶装置11被配置为利用由3d推断装置3提供的3d推断图像来辅助载具的驾驶，所述图像被用作模块4c为它们估计的质量指数的函数。

参考图4，下面描述了由图1中所示的驾驶辅助系统1的特定实施方式执行的辅助驾驶的方法的主要步骤。

根据本发明，驾驶辅助系统1的卓越之处在于，其被配置为从由图像获取装置2获取的图像估计由3d推断装置3生成的每个3d推断图像的质量指数。为此目的，系统1的评估装置4依赖于在包含在数据库10中的地形观测值obs的预备步骤(步骤e10)期间构建的数字模型mod。然而，应该观察到数字模型mod不一定是恒定的，并且它可以随时间更新，例如当数据库10提供其他观察值时。

举例来说，数据库10可以是公众可访问的数据库，并且提供有来自通过在室内和/或室外场景上使用深度传感器(例如激光或kinect类型的传感器)测量的各种地形观测结果的数据。作为示例，并且以非穷尽的方式，这样的数据库可以是以下已知数据库：make3d，msr-v3d，kitti，nyudepthv1和v2，sunrgb-d，b3do，rmrc2013和2014等。

它们包括在各种不同的上下文中获取的三维场景的多个“参考”图像(不一定与驾驶辅助系统1辅助驾驶的载具周围的上下文相关联)，它们包括从参考图像生成的“参考”3d推断图像的多个“参考”3d图像(使用什么3d推理方法不重要)，以及它们包括在地形上实际测量的并且对应于参考3d推断图像中表示的信息的相应3d信息(例如，在图像的所有或一些像素上测量的法向矢量的深度和方向)。

由评估装置4，更具体地，由其构建模块4a构建的数字模型mod限定通过将3d推断方法(不限于所考虑的3d推断方法)应用于原始图像而产生的3d推断图像的质量指数(记为qidx)，所述数字模型mod是根据在原始图像和相关联的3d推断图像之间限定的多个相似性度量进行构建的，相似性度量记为(ξ1,…,ξp)，其中p表示大于1的整数。

在当前描述的实现中，根据3d推断图像是深度地图还是方向地图，考虑两个不同的质量指数(并因此考虑两个不同的数字模型)。更具体地：

如果3d推断图像代表深度地图：数字模型mod是限定质量指数qidx^(d)的模型mod^(d)，该质量指数qidx^(d)对应于3d推断图像的像素百分比，所述像素百分比具有相对于由这些像素表示的3d信息的测量值呈现低于第一预定阈值th1的对数差或相对差的值；

如果3d推断图像代表方向地图：数字模型mod是限定质量指数qidx⁽ⁿ⁾的模型mod⁽ⁿ⁾，该质量指数qidx⁽ⁿ⁾对应于3d推断图像的像素百分比，所述像素百分比具有相对于由这些像素表示的3d信息的测量值呈现低于第二预定阈值的标准偏差或中值的值。

下面，为简化起见，省略了用于指定构成哪个数字模型的上标^(d)和⁽ⁿ⁾以及由该数字模型限定的质量指数，因为除了限定相应质量指数的方式之外，模型mod^(d)和mod⁽ⁿ⁾两者的构建方式是相同的。

在当前描述的实现中，用于限定质量指数的p相似性度量(ξ1,…,ξp)选自：

在3d推断图像(例如，记为d)的像素值和原始图像(例如，记为d^im)的像素值之间评估的l-1或l-2范数，例如：

其中，n表示3d推断图像d的像素数量，dp表示3d推断图像d^im中的像素p的值，表示原始图像中的像素p的值；

在表示3d推断图像的像素值的矩阵和表示原始图像的像素值的矩阵之间评估的标量积；

在由3d推断图像d^im的像素值形成的集合与由原始图像d的像素值形成的集合之间评估的广义杰卡德(jaccard)指数。以已知的方式，两个集合a和b之间的jaccard指数j的定义如下：

在3d推断图像d^im的像素值和原始图像d的像素值之间评估的统计相关性。以已知的方式，分别对应于图像d和d^im的两组值之间的相关性由下式限定：

其中cov表示协方差和标准差；

在3d推断图像的像素值和原始图像的像素值之间评估的互信息。举例来说，互信息的定义在网站https://en.wikipedia.org/wiki/mutual_information上给出；和

在3d推断图像的像素值和原始图像的像素值之间评估的结构相似性指数。举例来说，在网站https://en.wikipedia.org/wiki/structural_similarity中描述了计算这种结构相似性指数的一种方式。

当然，该列表并非详尽无遗，并且可以使用其他相似性度量，例如，例如基于gist描述符的相似性度量或者从图像的粒度分析导出的相似性度量。

此外，在当前描述的实现中，数字模型mod将质量指数qidx定义为相似性度量(ξ1,…,ξp)的加权组合。更确切地说，数字模型mod是由下式给出的线性函数：

mod：qidx＝β0+[ξ1ξ2...ξp]^t.[β1β2...βp]

其中β⁰是常数，β1,β2,...,βp是用于加权相似性度量的系数(例如，实数)，并且^t表示转置算子。

为了估计常数β0和加权系数β1,β2,...,βp,，构建模块4a使用数据库10中可用并且与构建数字模型mod相关的每个观察值obs(i)(i是大于1的整数)(步骤e11)，以便计算针对3d推断图像观察到的质量指数qidx_obs(i)(步骤e12)。在该示例中，每个观察值obs(i)包括从参考原始图像i(i)和从参考3d推断图像的像素上表示的所有或一些3d信息的实际测量值obs3d(i)(即，例如，通过传感器测量的值)生成的参考3d推断图像inf3d(i)(使用什么3d推理方法不重要)。当然，仅考虑与所寻找的数字模型相关的观察值(即mod^(d)或mod⁽ⁿ⁾)，即如果mod＝mod^(d)，仅考虑表示深度地图的观察值，或者如果mod＝mod⁽ⁿ⁾，仅考虑表示方向地图的观察值。

如上所述，如果3d推断图像inf3d(i)表示深度地图，则计算的观察质量指数qidx_obs(i)是3d推断图像inf3d(i)的像素百分比，所述像素百分比具有相对于针对像素测量的值obs3d(i)呈现低于第一预定阈值th1的对数差或相对差δ1的值。

因此，举例来说，构建模块4a可以将差值δ1视为由l-1范数(由绝对值限定的范数)限定的平均相对差：

其中n表示3d推断图像inf3d(i)中的像素数量，dp表示与3d推断图像inf3d(i)中的像素p相关联的深度，表示从测量值obs3d(i)中提取的对应于像素p的地形上测量的深度。

在另一示例中，构建模块4a可以将差值δ1视为由l-2范数(平方范数)限定的平均相对差：

在又一示例中，构建模块4a可以将差值δ1视为由以下限定的平均相对对数差：

在当前描述的实现中，第一阈值th1优选地被选择为等于0.1。该阈值0.1相当于3d推断方法得出的估计值的10％的相对误差或数量级误差，换句话说，对于1米(m)的估计深度，测量到相差±0.1m的像素数。

相反，如果3d推断图像inf3d(i)表示方向地图，则计算的观察质量指数qidx_obs(i)是3d推断图像inf3d(i)的像素百分比，所述像素百分比具有相对于针对像素测量的值obs3d(i)呈现低于第二预定阈值th2的平均差或中值δ2的值。

因此，举例来说，构建模块4a可以将差值δ2视为由以下限定的平均差：

其中θp表示垂直于3d推断图像inf3d(i)的像素p的矢量与在场景中测量并且对应于该像素的法线矢量之间的角度。

在另一示例中，构建模块4a可以将差值δ2视为由角度(θ1,θ2,...,θn)构成的集合的中值。

在当前描述的实现中，第二阈值th2优选地被选择为等于30°。具体地，发明人已经观察到，该阈值th2与上面限定的阈值th1为0.1一样，用于考虑通常影响数据库10中的观察值obs(i)的噪声水平。

当然，为了执行本发明，可以考虑除“良好像素”的百分比或其他差异之外的质量指数。例如，对于差值δ1，可以设想使用如下限定的线性或对数均方根误差(rmse)：

或

然而，发明人已经观察到相对相似性度量倾向于更严重地惩罚相对于浅深度的测量值呈现差异的3d推断图像。相比之下，均方根误差(rmse)类型度量更严重地惩罚相对于更大深度的测量值呈现差异的3d推断图像。对数度量(特别是基于基数10对数log10的度量)根据深度的数量级(theordersofamplitude)来惩罚3d推断图像。因此，这种对数相似性度量构成3d推断图像的更好质量指示符，用于对所考虑的三维场景中的所有深度进行总体评估。

同样，可以设想阈值th1和th2的其他值，例如：th2＝11.25°或22.5°。如上所述，这些阈值用于考虑影响用于构建数字模型mod的参考数据库的噪声。具体而言，平均度量对所使用的训练测量值的质量相对敏感。它们依赖于测量值的质量相对较高的假设：没有噪声的、密集的、准确的、没有数据缺失的数据，具有相同分辨率的图像等。不幸的是，可用于构建数字模型的数据库通常不满足所有这些约束：数据库中包含的地形测量值(例如测量的深度)通常通过使用噪声深度传感器(例如kinect类型的传感器)获取，并且并不总是处于所希望的密度(例如激光扫描的点云)。

对于与构建数字模型mod相关的每个观察值obs(i)，构建模块4a还评估相对于观察值的相似性度量(ξ1,…,ξp)的观测值(步骤e13)，下面记为(ξ1obs(i),…,ξpobs(i))。为此目的，使用参考推断图像inf3d(i)的像素值和相应参考原始图像i(i)的像素值。

构建模块4a评估观察到的质量指数和数据库10中可用的每个观察值obs(i)的相似性度量的观测值。假设n个观察值可用，即i＝1，...，n(参见增量步骤e11和测试步骤e14)。

此后，构建模块4a使用观察到的质量指数qidx_obs(i)和针对所有观察值obs(i)计算的相似性度量(ξ1obs(i),…,ξpobs(i))的观测值，i＝1，...，n，以确定数字模型mod。

为此目的，它对质量指数和计算的相似性度量的观测值应用回归技术(步骤e15)。

在当前描述的实现中，所应用的技术是套索方法。举例来说，r.tibshirani在题为“通过套索进行回归收缩和选择(egressionshrinkageandselectionviathelasso)”，皇家统计学会杂志系列b(journaloftheroyalstatisticalsocietyseriesb)，58(1)，第267-288页，1996的文献中描述了该发方法。它包括在惩罚约束下的最小二乘最小化。

更具体地，在该实现中，套索技术在于最小化在约束下平方的误差之和，所述约束涉及在系数β1,β2,...,βp上限定的l-1范数。在目前描述的实现中，因此使用套索技术来估计满足以下条件的变量β0,β1,β2,...,βp：

其中表示估计的变量，n表示所考虑的观察值数量，λ表示正实数正则化参数。可以以任意方式选择λ的值。然而，选择的λ值越小，套索方法选择的相似性度量的数量越大。

应该观察到，有利地，套索技术使得可以消除冗余的相似性度量。换句话说，对于这样的度量，通过套索方法估计的系数是零。而且，因为在最小化期间考虑在系数β1,β2,...,βp的范数上建立的约束，所以确保在计算质量指数时，j＝1，...，p反映每个相似性度量的能力。

在应用套索技术之后，构建模块4a拥有用于由(步骤e16)给出的质量指数的数字模型mod：

或

以同等方式：

然后，数字模型mod由构建模块4a存储在评估装置4的非易失性存储器8中(步骤e17)。

应该观察到，本发明既不限于线性的数字模型，也不限于使用套索方法来确定数字模型。可以设想使用更复杂的数字模型(例如二次或多项式)以及其他优化方法，例如其他稳健的回归方法，例如，如下已知方法：m估计，最小截平方和(lts)，岭回归，弹性网，贝叶斯规则(bayesianregulation)等。

根据本发明，数字模型mod然后可以用于评估从原始图像生成的3d推断图像的质量，与所使用的3d推断方法无关。应该观察到，数字模型mod可以在评估图像质量之前的任何时刻构建，通常在与其使用不相关的初步阶段期间，并且可能在这种使用的上游很长一段时间。

还应该观察到，数字模型mod可以是适合于深度地图类型的3d推断图像的数字模型，或者是适合于方向地图类型的3d推断图像的数字模型。如果驾驶系统要处理两种类型的图像，则构造模块4a为每种类型的图像构建不同的数字模型，并将它们中的每一个存储在非易失性存储器8中。

为了说明驾驶系统1对数字模型mod的使用，下面假设系统1使用其获取装置2来获取可能对与其相关联的载具的驾驶产生影响的三维场景的图像im(步骤e20)。如上所述，在该示例中，图像im是rgb彩色图像。它是本发明意义上的“第一”图像。

该图像im由获取装置2提供给3d推断装置3。3d推断装置3将3d推断方法应用于图像im，以便提取包含在图像im中的3d信息并生成3d推断图像inf3d-im(本发明意义上的“第二”图像)(步骤e30)。

没有限制与装置3用于生成3d推断图像inf3d-im的3d推断方法相关联(基于几何和/或体积约束的方法，基于语义约束的方法，通过训练的方法等)。此外，也不存在与3d推断图像inf3d-im的形式相关联的任何限制：因此它同样可以是深度地图或方向地图。

此后，驾驶辅助系统1的评估装置4使用图像im和inf3d-im(及其像素的值)来估计每个相似性度量ξj，j＝1,…,p(步骤e40)。这获得估计的度量ξestj，j＝1,…,p。

评估装置4通过将以这种方式估计的相似性度量ξestj，j＝1,…,p放入数字模型mod来评估3d推断图像inf3d-im的质量指数qidx(inf3d-im)(步骤e50)。更确切地说，如果3d推断图像inf3d-im是深度地图，则将这些度量放入对应于深度地图的模型mod^(d)中，或者3d推断图像inf3d-im是方向地图，则将这些度量放入对应于方向地图的模型mod⁽ⁿ⁾。此后，质量指数qidx(inf3d-im)被提供给系统1的驾驶装置11，其使用该指数来估计图像inf3d-im的质量是否足以用于驾驶载具。为此目的，驾驶装置11可以例如将质量指数qidx(inf3d-im)的值与参考阈值th3进行比较(测试步骤e60)。参考阈值th3可以通过实验确定，以确保3d推断图像具有足够的质量，以便能够在帮助驾驶载具的同时利用包含在该图像中的信息。

如果质量指数qidx(inf3d-im)大于参考阈值th3(对测试步骤e60的响应“是”)，则3d推断图像的质量被认为是令人满意的，并且驾驶装置11使用3d推断图像inf3d-im来辅助驾驶载具(步骤e70)。

例如，装置11可以使用该图像来避免障碍，如j.michels等人的文献中所述，题为“使用单目视觉的高速障碍避免(highspeedobstacleavoidanceusingmonocularvision)”，第22届国际机器学习会议论文集(proceedingsofthe22ndinternationalconferenceonmachinelearning)，2005年，或用于检测载具路径上的物体，如x.chen等人的文献中所述，题为“用于自主驾驶的单目三维物体检测(monocular3dobjectdetectionforautonomousdriving)”，计算机视觉国际会议(internationalconferenceoncomputervision(iccv))，2015年。

否则(对测试步骤e60响应“否”)，3d推断图像的质量被认为是不足的，并且驾驶装置11不使用它来辅助驾驶载具(步骤e80)。

应该观察到，参考用于辅助驾驶载具的系统来描述本发明。然而，由本发明确定的质量指数可以用于生成和使用3d推断图像的其他环境中，例如在视频监视系统中。