用于修正用于检查机器学习模型的精度的真值的装置和方法与流程

本公开涉及机器学习模型，更特别地，涉及用于测试机器学习模型的精度的真值(ground truth)数据。

背景技术：

1、典型地，自主驾驶应用为了作出确定，对由传感器捕获的数据进行分析。例如，自主驾驶应用能够利用由摄像机捕获的图像数据。为了检测车辆的周围的对象物，能够将该图像数据输入到使用训练数据集训练出的机器学习模型。

2、参照图8，例如能够根据由摄像机捕获的图像数据来感知或检测对象物(即，车辆101、102、乘坐在摩托车上的人103以及行人104)，并能够分类为不同的类别(即，车辆、行人、乘坐在摩托车上的人等)。确定是基于检测出的对象物进行的，例如，为了避免与检测出的对象物碰撞而自主地变更或修正车辆的位置和/或速度。

3、如上所述，机器学习模型能够用于检测图像中的对象物。例如，us2018/0336424中的电子装置检测帧中的对象物，使用第1已训练模型以及包含在车辆的驾驶中获取的多个帧的视频序列，识别对象物的位置。在us2020/0074230的自动化的训练数据集生成器中，生成器生成基于虚拟环境的、用于在现实世界的自主驾驶应用中使用的训练数据集。训练数据集能够与为了控制现实世界的自主车辆而训练机器学习模型的情况相关联。

4、基于为测试模型的精度而使用的测试数据例如训练数据而精练和更新相关技术的机器学习模型。在测试模型的精度时，来自测试数据集的图像被输入到机器学习模型。然后，机器学习模型典型地输出诸如二维或三维边界框、图像中的目标对象物的类别(例如，车辆、行人、摩托车等)、图像分割等的结果。为了测试模型的精度，将这些结果与图像中的目标对象物的真值数据(即，实际的分类、分割等)进行比较。

5、在由模拟器生成的图像数据中，例如，在包围车辆模型的虚拟世界的、由自主驾驶模拟器的摄像机传感器模型所捕获的图像的状况下，所有目标对象物的位置包含于真值(例如，真值数据或信号)中。换言之，由模拟器生成或输出的真值数据包含有被隐藏的目标对象物。例如，模拟器输出包括在由虚拟世界的传感器捕获的图像中隐藏的车辆、或者位于摩托车的背后的车辆的真值数据。然而，在为了测试机器学习模型的精度或者为了定义训练数据集的目标变量而使用该真值的情况下，精度将变低、且被评价得过低。这是因为，机器学习模型检测出被隐藏的对象物的可能性较低，而另一方面由模拟器输出的真值却包含有被隐藏的对象物。

6、例如，在图8中，机器学习模型检测到位于车辆101的背后的车辆102的可能性低，而另一方面真值分割却包含有整体的车辆102。

技术实现思路

1、本公开提供用于通过纳入测试数据的真值分割所包含的目标对象物的可见率，从而更加精度良好地测试在自主驾驶和自主驾驶模拟器中使用的机器学习模型的装置和方法。

2、本公开的方案提供用于对真值数据进行修正的方法，该真值数据用于测试对象物检测机器学习模型的精度。方法包括：获取从摄像机视点观察的图像捕获区域的图像数据；获取与图像捕获区域中的对象物相关的真值数据；确定所获取的图像数据中包含的对象物的可见率；以及基于确定出的可见率，修正真值数据。

3、确定可见率能够包括：确定对象物的整体的尺寸；计算所获取的图像数据中的对象物的可见区域的尺寸；以及为了获取可见率，将可见区域的尺寸除以对象物的整体的尺寸。

4、确定对象物的整体的尺寸能够包括：逐个完整地描绘对象物；以及计算逐个描绘出的对象物的区域。

5、确定对象物的整体的尺寸能够包括：获取针对图像捕获区域的整个场景的真值对象物分割；以及计算真值对象物分割中的对象物的区域。

6、计算所获取的图像数据中的对象物的可见区域的尺寸能够包括：确定可见区域中包含的像素的数量、或者确定形成可见区域的边界的多边形的区域。

7、获取图像捕获区域的图像数据能够包括：获取由自主驾驶模拟器的摄像机传感器模型生成的图像数据。

8、本公开的另一方案提供一种用于对用于测试对象物检测机器学习模型的精度的图像数据的真值进行修正的装置。装置包括储存有指令的存储器和至少1个处理器，至少1个处理器构成为为了进行如下动作而执行指令：获取从摄像机视点观察的图像捕获区域的图像数据，获取与图像捕获区域中的对象物相关的真值数据，确定所获取的图像数据中包含的对象物的可见率，基于确定出的可见率，修正真值数据。

9、至少1个处理器还能够构成为为了进行如下动作而执行指令：确定对象物的整体的尺寸，计算所获取的图像数据中的对象物的可见区域的尺寸，为了获取可见率，将可见区域的尺寸除以对象物的整体的尺寸。

10、至少1个处理器还能够构成为为了进行如下动作而执行指令：逐个完整地描绘对象物，作为对象物的整体的尺寸，计算逐个描绘出的对象物的区域。

11、至少1个处理器还能够构成为为了进行如下动作而执行指令：获取针对图像捕获区域的整个场景的真值对象物分割，作为对象物的整体的尺寸，计算真值对象物分割中的对象物的区域。

12、至少1个处理器还能够构成为为了进行如下动作而执行指令：通过确定可见区域所包含的像素的数量、或者通过确定形成可见区域的边界的多边形的区域，从而计算所获取的图像数据中的对象物的可见区域的尺寸。

13、至少1个处理器还能够构成为为了进行如下动作而执行指令：获取由自主驾驶模拟器的摄像机传感器模型生成的图像数据。

14、本公开的另一方案提供一种记录有指令的非易失性的计算机可读取记录介质，该指令能够由至少1个处理器执行，以执行用于对用于测试对象物检测机器学习模型的精度的图像数据的真值进行修正的方法。方法包括：获取从摄像机视点观察的图像捕获区域的图像数据；获取与图像捕获区域中的对象物相关的真值数据；确定所获取的图像数据中包含的对象物的可见率；以及基于确定的可见率，修正真值数据。

15、确定可见率能够包括：确定对象物的整体的尺寸；计算所获取的图像数据中的对象物的可见区域的尺寸；以及为了获取可见率，将可见区域的尺寸除以对象物的整体的尺寸。

16、确定对象物的整体的尺寸能够包括：逐个完整地描绘对象物；以及计算逐个描绘出的对象物的区域。

17、确定对象物的整体的尺寸能够包括：获取针对图像捕获区域的整个场景的真值对象物分割；以及计算真值对象物分割中的对象物的区域。

18、计算获取的图像数据中的对象物的可见区域的尺寸能够包括：确定可见区域所包含的像素的数量、或者确定形成可见区域的边界的多边形的区域。

19、获取图像捕获区域的图像数据能够包括：获取由自主驾驶模拟器的摄像机传感器模型生成的图像数据。

技术特征：

1.一种方法，用于对用于测试对象物检测机器学习模型的精度的图像数据的真值进行修正，其特征在于，该方法包括：

2.根据权利要求1所述的方法，其特征在于，

3.根据权利要求2所述的方法，其特征在于，

4.根据权利要求2所述的方法，其特征在于，

5.根据权利要求2～4中任一项所述的方法，其特征在于，

6.根据权利要求1～5中任一项所述的方法，其特征在于，

7.一种装置，用于对用于测试对象物检测机器学习模型的精度的图像数据的真值进行修正，其特征在于，所述装置具备：

8.根据权利要求7所述的装置，其特征在于，

9.根据权利要求8所述的装置，其特征在于，

10.根据权利要求8所述的装置，其特征在于，

11.根据权利要求8～10中任一项所述的装置，其特征在于，

12.根据权利要求7～11中任一项所述的装置，其特征在于，

13.一种非易失性的计算机可读取记录介质，记录有指令，其特征在于，

14.根据权利要求13所述的非易失性的计算机可读取记录介质，其特征在于，

15.根据权利要求14所述的非易失性的计算机可读取记录介质，其特征在于，

16.根据权利要求14所述的非易失性的计算机可读取记录介质，其特征在于，

17.根据权利要求14～16中任一项所述的非易失性的计算机可读取记录介质，其特征在于，

18.根据权利要求13～17中任一项所述的非易失性的计算机可读取记录介质，其特征在于，

技术总结
本发明涉及用于修正用于检查机器学习模型的精度的真值的装置和方法。提供一种用于对用于测试对象物检测机器学习模型的精度的真值数据进行修正的方法和装置。方法包括：获取从摄像机视点观察的图像捕获区域的图像数据；获取与图像捕获区域中的对象物相关的真值数据；确定所获取的图像数据中包含的对象物的可见率；以及基于确定的可见率，修正真值数据。

技术研发人员：孙林钰
受保护的技术使用者：织望丰田股份有限公司
技术研发日：
技术公布日：2024/1/15