用于对象检测模型中的不确定性估计的方法与流程

本公开涉及一种评估可用于检测对象的模型的预测质量的计算机实现方法，以及一种使用根据评估模型的预测质量的方法评估的模型来进行对象检测的计算机实现方法。此外，本公开还涉及相应的对象检测模型、计算机程序、设备以及包括上述设备的车辆。

背景技术：

1、通常，在机械设备(如车辆、小汽车、机器人等)中使用对象检测模型，以使它们能够检测其周围环境中的障碍物。随着对象检测模型的日益成熟，这些模型被应用于所有行业的许多使用情况，诸如车辆的自主驾驶、利用机器人的生产自动化或预测性维护。然而，特别是对于安全关键的使用情况，仅有对象检测模型是不够的。相反，需要模型来另外预测与其对象检测和/或分类预测相关联的不确定性。这种不确定性可以表示该模型关于给定预测的置信度，并且可以允许技术系统/机械设备使用该信息来影响其进一步的动作。

2、本领域已知的考虑不确定性的解决方案由feng,di；rosenbaum,lars；dietmayer,klaus在“towards safe autonomous driving:capture uncertainty in the deepneural network for lidar 3d vehicledetection”(2018,21st internationalconference on intelligent transportation systems(itsc).ieee,2018)中提出。在所提出的方法中，作者尤其公开了捕获偶然不确定性(也称为观察不确定性，表示由传感器中固有的观察噪声引入的不确定性)的方式。虽然对于分类任务，这可以通过使用softmax函数来实现，但是可以通过将观测似然建模为多变量高斯分布来捕获回归任务(即，对象检测)的偶然不确定性。

3、然而，本领域中已知的关于不确定性预测的解决方案具有缺乏用于验证预测的不确定性的真是数据的缺点。因此，难以验证模型的预测的不确定性是否准确地表示底层技术系统/机械设备的偶然不确定性。在确保准确的不确定性预测的尝试中，通常在大的数据集上并且针对许多时期来训练模型。然而，由于没有对不确定性预测质量的实际精度的可靠验证，模型的训练通常依赖于这样的假设，即基于增加的训练数据集和增加的训练时间的更密集的训练导致改进的预测的不确定性估计。然而，这种方法可能是不成功的，因为过度训练(过度拟合)模型甚至可能恶化模型的预测精度，这可能对底层技术系统的安全性具有严重影响。在其他情况下，过度训练可能不会恶化模型的预测精度，但是可能不会增加预测精度，导致低效率的计算资源使用。

4、针对这种背景，需要一种评估可用于检测例如机械设备附近的对象的模型的预测质量的方法。

技术实现思路

1、本发明的一个方面涉及一种评估可用于检测对象的模型的预测质量的计算机实现方法，该方法包括以下步骤：将一组数据样本输入到模型中，各数据样本包括包含对象的场景表示；通过所述模型输出一组预测，该组预测针对该组数据样本的每个数据样本包括所述场景表示中的所述对象的预测的特征和与所述预测的特征相关联的预测的不确定性；基于该组预测估计所述模型的不确定性估计质量；以及基于所述不确定性估计质量确定是否需要对所述模型的进一步训练以提高所述不确定性估计质量。

2、通过基于估计的不确定性质量确定模型是否需要进一步训练或已应用就绪，验证了仅将准确且可靠地预测不确定性的模型部署到技术系统/机械设备中，这提高了系统的效率和安全性。对象检测可以例如应用于机械设备(例如，车辆、小汽车、无人驾驶飞机、轮船或机器人)的附近。

3、根据另一方面，估计不确定性估计质量包括：针对该组预测中的每个预测的特征，通过缩放对象的预测的特征与相应的真实数据之间的差来生成不确定性分布。

4、缩放对象的预测的特征和相应的真实数据之间的差可以提供产生不确定性分布的有效方式，而不管模型以确定性方式操作的事实。换句话说，可以使用多个不同的样本来产生不确定性分布，然后可以使用不确定性分布来评估不确定性估计的质量。

5、根据另一方面，估计不确定性估计质量还包括通过计算不确定性分布的统计特性来确定不确定性质量。

6、计算统计特性提供了可允许合理地解释不确定性估计质量是否足够高或过低的度量，即模型是应用就绪还是需要进一步训练。

7、在又一方面中，缩放包含基于预测的不确定性来确定经后处理的预测的不确定性以及将所述差除以所述经后处理的预测的不确定性。

8、经后处理的预测的不确定性值可允许上述度量的简化操作。

9、根据另一方面，对模型进行进一步训练包括：使用回归损失函数来确定与第一损失权重相关联的第一损失；使用不确定性损失函数来确定与第二损失权重相关联的第二损失；以及根据相关联的第一和第二损失权重来组合第一损失和第二损失。

10、组合(例如，求和)损失可以允许将不确定性估计的能力添加到已经存在的模型架构，而不必修改模型通常包括的回归损失函数，这可以进一步降低计算复杂度。

11、根据一个附加方面，训练所述模型还包括：基于所述第一损失和/或所述第二损失来调整所述第一权重的值和/或所述第二权重的值；其中，所述第一权重的值和所述第二权重的值处于权重上限值与权重下限值之间。

12、调整权重的值可以允许平衡单个损失对组合损失函数的影响，为训练模型提供额外的灵活性。

13、根据另一方面，该方法还包括：在训练之前，将所述第一权重的值设置为所述权重上限值，并且将所述第二权重的值设置为所述权重下限值；并且其中，调整还包括：确定所述第一损失小于或等于检测质量阈值；以及将所述第二权重的值设置为所述权重上限值；或者将所述第二权重的值增加预设值。

14、通过将所述第一权重的值设置为权重上限并且将单独第二权重的值设置为权重下限，可以确保训练模型以精确地预测对象的特征。这可能是必要的，因为如果已经训练了特征预测，则训练与特征预测相关联的不确定性预测是最有效的。一旦实现了这一点，可以采用二进制或逐步的方式来训练不确定性预测模型。。

15、根据另一方面，基于以下中的至少一者来生成所述场景表示：雷达数据、图像数据、光检测和测距(激光雷达lidar)。

16、根据另一方面，所述场景表示中的所述对象的所述预测的特征指示与所述对象相关联的边界框信息，其包括以下中的至少一者：对象的位置、对象的尺寸、对象的速度、对象的旋转。

17、基于传感器数据生成场景表示增加了场景表示的准确性，并因此用作预测的更精确的数据基础。

18、本发明的另一方面涉及一种检测车辆附近的对象的计算机实现方法，该方法包括以下步骤：接收场景表示；以及生成所述场景表示内的对象的预测的特征和与所述场景表示内的所述对象的预测的特征相关联的预测的不确定性；其中，生成是基于根据前述方面中任一方面的方法评估的可用于检测对象的模型的。

19、由于已经根据本发明的方法提供了该模型，所以该模型可以输出对象的特征的准确和可靠的预测以及与该对象相关联的准确的不确定性。因此，可以提高应用效率和安全性。

20、本发明的另一方面涉及一种可用于检测对象的模型，该模型是根据前述方面中任一方面的方法来评估的。

21、根据另一方面，该模型包括：对象检测头(object detection head)，其被配置为输出所述场景表示内的对象的预测的特征；以及不确定性头(uncertainty head)，其被配置为输出与场景表示内的对象的预测的特征相关联的预测的不确定性。

22、通过添加用于输出预测的不确定性的单独的不确定性头，由于与对象检测头共享较少的特征嵌入而提高了不确定性预测的准确性。

23、本发明的另一方面涉及一种包括指令的计算机程序，所述指令在由计算机执行时使所述计算机执行上述方法。

24、本发明的另一方面涉及一种设备，其包括被配置为执行如上所述的方法的装置和/或包括如上所述的模型。

25、本发明的另一方面涉及一种包括上述设备的车辆。