用于检测深度神经网络推理质量的系统和方法与流程

本公开总体上涉及使用深度神经网络的人工智能，并且更具体地涉及用于在没有地面实况信息的情况下使用图像/数据操纵来检测深度神经网络(dnn)推理质量的系统和方法。

背景技术：

1、自动驾驶汽车依靠人工智能在几秒钟内进行检测和响应以避免事故。这种人工智能涉及由许多层互连的人工“神经元”组成的深度神经网络(dnn)。训练是通过馈送dnn数据来“教导”dnn对针对自动驾驶车辆或半自主车辆的图像识别执行人工智能以开发用于预测目的的经训练的深度学习模型的过程。误差是训练过程的一部分以加强dnn，直到提高准确性。对于图像，推理过程包括进行预测，以及基于互连的强度执行更新，使得呈现给dnn的下一个相同类型的图像更可能更准确地执行。一旦dnn被训练，模型就可以通过基于新图像的推理进行准确的预测。推理是使用经训练的dnn基于前所未见的图像进行预测的过程。

2、典型的dnn推理质量测量很难获得，因为典型的dnn需要大量的地面实况信息。

3、期望提供解决对用于dnn质量测量的地面实况信息的需求的解决方案。

技术实现思路

1、就总体概述而言，本公开总体上涉及用于神经网络的系统和方法。更具体地，本公开涉及提供深度神经网络并确定对不同的自主和半自主车辆操纵和驾驶(诸如代客泊车、自动泊车、挂车倒车辅助、挂车停放、收集数据、处理和映射)的应用有用的推理质量。

2、神经网络数据可以通过网络接收，诸如“空中下载”(“ota”)型数据，或者使用车辆上的传感器和相机硬件来收集。图像的预测质量和推理质量不能总是通过地面实况数据来确认。此外，当车辆移动时，无法在实时场景中检索真实的地面实况数据。因此，本文公开了使用神经网络的图像预测的改进。

3、在一个或多个实施例中，一种用于深度神经网络(dnn)的推理质量确定的方法包括：从源接收图像帧；将正常推理dnn模型应用于所述图像帧以使用正常推理dnn模型产生具有第一边界框的第一推理；将深度推理dnn模型应用于所述图像帧的多个滤波版本以产生具有多个边界框的多个深度推理；将所述多个边界框进行比较以识别所述多个边界框的聚类条件；以及根据所述聚类条件确定所述正常推理dnn模型的所述图像帧的推理质量。

4、在一个或多个实施例中，将所述深度推理dnn模型应用于所述图像帧的所述多个滤波版本以产生具有所述多个边界框的所述多个深度推理包括将至少四个滤波器应用于所述图像帧以产生作为所述多个边界框的至少四个附加边界框，所述四个滤波器至少包括缩放、图像增亮、图像锐化和超分辨率滤波器。

5、在一个或多个实施例中，所述应用所述深度推理dnn模型包括应用具有深度主干架构的深度推理dnn模型。

6、在一个或多个实施例中，将所述深度推理dnn模型应用于所述图像帧的所述多个滤波版本以产生具有所述多个边界框的所述多个深度推理包括应用所述深度推理dnn模型以产生具有所述多个边界框的所述多个深度推理，所述多个边界框包括识别所述多个边界框的拐角的多个x和y坐标以及多个边界框区域。

7、在一个或多个实施例中，比较所述多个边界框以识别所述聚类条件包括应用聚类技术诸如应用k均值聚类、基于密度的空间聚类(dbscan)、高斯混合建模类型聚类中的一者或多者以确定所述聚类条件。

8、在一个或多个实施例中，根据所述聚类条件确定所述正常推理dnn模型的所述图像帧的所述推理质量包括确定所述聚类条件是收敛，使得单聚类条件指示正向推理质量。

9、在一个或多个实施例中，根据聚类条件确定正常推理dnn模型的图像帧的推理质量包括确定所述聚类条件是发散，使得多聚类条件指示较差的推理质量，其包括当所述聚类条件指示所述较差的推理质量时手动注释所述图像帧，以及从车辆传输所述图像帧以实现所述dnn模型的空中下载更新。

10、在一个或多个实施例中，所述方法还包括迭代地重复所述使用来自所述源的第二图像帧确定所述推理dnn模型的所述图像帧的所述推理质量。

11、在其他实施例中，一种系统和驾驶员辅助车辆包括处理器和耦接到所述处理器的存储器，所述存储器存储指令，其中所述处理器执行所述指令以：将正常推理dnn模型应用于所述图像帧以产生具有第一边界框的第一推理；将非常深度的推理dnn模型应用于所述图像帧的多个滤波版本以产生具有多个边界框的多个深度推理；将所述多个边界框进行比较以识别所述多个边界框的聚类条件；以及识别具有第一边界框的多个边界框之间的第二聚类条件以确定所述正常推理dnn模型的所述图像帧的推理质量。

12、在一个或多个实施例中，如果正常推理dnn模型的图像帧的推理质量较差，则通过网络传输图像帧以实现对正常推理dnn模型的重新训练。例如，可以经由工具手动/自动地注释图像数据，然后将其用于重新训练正常dnn模型。

13、在一个或多个实施例中，独立于地面实况信息执行对图像帧的推理质量的确定。

技术特征：

1.一种用于深度神经网络(dnn)的推理质量确定的方法，其包括：

2.如权利要求1所述的方法，其中所述将所述深度推理dnn模型应用于所述图像帧的所述多个滤波版本以产生具有所述多个边界框的所述多个深度推理包括：

3.如权利要求1所述的方法，其中所述应用所述深度推理dnn模型包括应用具有深度主干架构的深度推理dnn模型。

4.如权利要求1所述的方法，其中所述将所述深度推理dnn模型应用于所述图像帧的所述多个滤波版本以产生具有所述多个边界框的所述多个深度推理包括：

5.如权利要求1所述的方法，其中所述比较所述多个边界框以识别所述聚类条件包括：

6.如权利要求1所述的方法，其中所述根据所述聚类条件确定所述正常推理dnn模型的所述图像帧的所述推理质量包括：

7.如权利要求1所述的方法，其中所述根据所述聚类条件确定所述正常推理dnn模型的所述图像帧的所述推理质量包括：

8.如权利要求7所述的方法，其还包括：

9.如权利要求8所述的方法，其还包括：

10.如权利要求1所述的方法，其还包括：

11.一种驾驶员辅助车辆，其包括：

12.如权利要求11所述的驾驶员辅助车辆，其中所述处理器还执行所述指令以：

13.如权利要求11所述的驾驶员辅助车辆，其中所述处理器还执行所述指令以：

14.如权利要求11所述的驾驶员辅助车辆，其中所述处理器还执行所述指令以：

15.如权利要求11所述的驾驶员辅助车辆，其中所述处理器还执行所述指令以：

技术总结
本公开提供了“用于检测深度神经网络推理质量的系统和方法”。本公开总体上涉及用于在不需要供在驾驶员辅助车辆中使用的地面实况信息的情况下的深度神经网络(DNN)的推理质量确定的系统和方法，所述方法包括：从源接收图像帧；将正常推理DNN模型应用于所述图像帧以使用正常推理DNN模型产生具有第一边界框的第一推理；将深度推理DNN模型应用于所述图像帧的多个滤波版本以产生具有多个边界框的多个深度推理；将所述多个边界框进行比较以识别所述多个边界框的聚类条件；以及根据所述聚类条件确定所述正常推理DNN模型的所述图像帧的推理质量。

技术研发人员：古吉特·辛格,A·马利克,Z·伊克巴尔,希塔·瑞瓦拉,S·赵,维贾伊·纳加萨米
受保护的技术使用者：福特全球技术公司
技术研发日：
技术公布日：2024/1/13