在自主机器应用程序中使用深度学习的能见度距离估计的制作方法

背景技术：

1、自动驾驶系统和半自动驾驶系统(例如，先进的驾驶辅助系统(adas))可以利用传感器(例如，相机、激光雷达传感器、雷达传感器等)来执行各种任务，例如盲点监测、自动紧急制动、车道保持、对象检测、障碍躲避和定位。例如，为了使自动驾驶系统和adas系统能够独立高效地运行，可以实时地或接近实时地生成对车辆周围环境的了解。为了准确、高效地了解该车辆周围环境，所述传感器必须生成可用的、未遮挡的传感器数据(例如图像、深度图、点云等的表示)。然而，传感器感知所述周围环境的能力可能会受到各种来源的影响，例如天气(如雨、雾、雪、冰雹、烟雾等)、交通状况、传感器阻塞(如碎片、湿气等)或模糊。因此，所产生的传感器数据可能不能清楚地描述该环境中的车辆、障碍物和/或其他对象。

2、处理受损能见度距离的传统系统使用特征级方法来检测单独的视觉证据的片段，随后将这些特征拼凑在一起，以确定受损的能见度距离的存在。这些传统的方法主要依赖于计算机视觉技术，例如通过分析图像区域中鲜明边缘特征(例如，梯度、颜色、强度上的急剧变化)的缺乏，使用基于颜色的像素分析或其他低级特征分析来检测潜在的能见度问题，和/或带有盲与非盲比输出的二重支持向量机器分类。然而，这种基于特征的计算机视觉技术需要对每个特征进行单独的分析——例如，每个特征是否与能见度有关——以及分析如何针对特定的传感器降低能见度的情况组合不同的特征，由于在现实环境中使用传感器观察到的数据可能会受到各种各样的条件和事件的固有复杂性的影响，因此限制了这种方法的可扩展性。例如，由于执行这些传统方法的计算成本，它们对于实时或接近实时的部署是渲染无效的。

3、此外，传统系统可能依赖于对降低传感器能见度的原因进行分类，如雨、雪、雾、眩光等，但可能无法对所述传感器数据的可用性提供准确的指示。例如，识别图像中的雨可能无法被所述系统用于确定对应的图像(或其部分)是否可用于各种自主或半自主任务。在这种情况下，如果有雨，传统系统可能认为图像无法使用，即使图像可以清楚地描述该车辆100米以内的所述环境。因此，所述图像可能会被错误地丢弃并且所述一个或更多个任务可能被禁用，而不是依赖于该可见范围内的一个或更多个任务的图像。这样，通过平等对待每一种受损的传感器能见度，不那么恶劣或有害的传感器类型可能会导致传感器数据的实例被视为不可用，即使这种确定可能不完全准确(例如，有小雨的环境图像可以用于一个或更多个操作，而有浓雾的环境图像则不行)。

技术实现思路

1、本发明的实施例涉及自主机器应用中用于能见度距离估计的深度神经网络处理，例如，与可识别对象或元素的传感器的最远距离。本公开的系统和方法使用一个或更多个机器学习模型(如深度神经网络(dnn))来计算指示估计能见度距离(如：以计算距离或包括距离范围的距离箱的形式)的对应于自主或半自主机器的一个或更多个传感器的输出。例如，通过预测估计的能见度距离，机器在一个或更多个下游任务(如对象检测、对象跟踪、障碍躲避、路径规划、控制决策等)中对相关传感器数据的依赖程度可调整。因此，在估计的能见度距离低(例如，20米或以下)的情况下，相应的传感器数据只能在0级(无自动化)或1级(驾驶员辅助)任务时依赖(例如，根据汽车工程师协会(sae)自动化级别)，或者只能被依赖在距离机器20米以内的预测(例如，超过20米的预测可能被忽略，或者更多的具有更低的可信度)。类似地，另一个例子是，如果估计的能见度距离很高——例如，1000米或更多——所述对应的传感器数据可能被依赖于3级(有条件驾驶自动化)和4级(高驾驶自动化)任务的全部性能，或者可以依赖于对应于机器1000米以内的位置的预测。

2、以这种方式，并与传统系统(如上所述那些)相比，本公开的系统和方法不仅可用于确定传感器数据的可用性，而且可以确定用能见度距离定义的所述传感器数据的可用性程度或等级——或能见度距离箱(visibility distance bin)具有相关的能见度距离范围。为训练机器学习模型——例如，dnn——来准确计算能见度距离的输出表示，所述dnn可以使用现实世界数据、增强现实世界的数据、和/或代表包括不同天气、照明、和/或其他条件的传感器数据表示(例如，图像、激光雷达点云等等)的合成数据来训练。每个传感器数据实例可以包括代表能见度距离和/或能见度距离箱的对应地面真实数据。在一些实施例中，可以使用一个或更多个训练过的模型自动生成所述地面真实数据，以便对于给定的参数——例如，雾的密度、雨的湿度、雨的强度等——存在已知的或估计的能见度距离。这样，鲁棒的训练集可以使用所述一个或更多个模型生成(例如，不同的模型可能对应于不同传感器的数据类型，如现实世界、增强、和/或合成)，所述机器学习模型可使用训练数据的组合和相关地面真实数据来训练。

技术特征：

1.一种处理器，包括：

2.如权利要求1所述的处理器，还包括：至少部分地基于所述传感器数据的所述可用性确定避免执行所述一个或更多个操作中的至少一个自主或半自主操作。

3.如权利要求1所述的处理器，其中所述数据的计算包括对所述能见度距离的值进行回归。

4.如权利要求3所述的处理器，还包括：

5.如权利要求1所述的处理器，其中所述数据指示多个能见度距离箱中的一个能见度距离箱，并且此外其中所述能见度距离箱指示所述传感器数据对于所述自我机器的一个或更多个操作的可用性。

6.如权利要求1所述的处理器，其中所述一个或更多个操作包括对象跟踪、对象检测、路径规划、障碍躲避或高级驾驶辅助系统adas操作中的至少一个。

7.如权利要求1所述的处理器，其中所述机器学习模型包括深度神经网络dnn，所述dnn使用现实世界数据、增强现实世界数据和合成数据的组合来训练。

8.如权利要求1所述的处理器，其中所述处理器被包括在以下至少一项中：

9.一种系统，包括：

10.如权利要求9所述的系统，其中所述参数对应于天气条件、照明条件或遮挡条件。

11.如权利要求9所述的系统，其中所述确定所述能见度距离包括使用所述值来计算所述能见度距离。

12.如权利要求11所述的系统，其中所述值被应用于经训练的模型，所述经训练的模型确定所述一个或更多个参数的相应值和能见度距离之间的对应关系。

13.如权利要求12所述的系统，其中使用注释或标签来训练所述经训练的模型，所述注释或标签指示与使用所述一个或更多个参数的相关值生成的训练传感器数据的实例相对应的能见度距离。

14.如权利要求9所述的系统，其中所述训练传感器数据的实例与现实世界传感器数据的实例相对应，并且生成所述训练传感器数据的实例包括使用与所述一个或更多个参数相对应的所述值增强所述现实世界传感器数据的实例以生成所述训练传感器数据的实例。

15.如权利要求9所述的系统，其中所述训练传感器数据的实例与传感器数据的合成实例相对应，并且生成所述传感器数据的合成实例包括：

16.如权利要求9所述的系统，其中训练所述机器学习模型来计算指示能见度距离的数据，并且所述训练包括使用损失函数，所述损失函数惩罚对所述能见度距离的高估多于对所述能见度距离的低估。

17.如权利要求9所述的系统，其中所述系统被包括在以下至少一项中：

18.一种处理器，包括：

19.如权利要求18所述的处理器，其中至少部分地基于能见度距离低于阈值能见度距离，至少一个操作不被包括在所述一组适当操作中。

20.如权利要求18所述的处理器，其中所述一组适当操作至少部分地基于落在与所述一组适当操作相对应的能见度距离箱内的所述能见度距离来确定。

技术总结
本公开涉及在自主机器应用程序中使用深度学习的能见度距离估计。在各种例子中，被公开的系统和方法使用一个或更多个机器学习模型(MLM)——如深层神经网络(DNN)——来计算输出指示与使用自主或半自主机器的一个或更多个传感器生成的传感器数据相对应的估计能见度距离。一旦使用一个或更多个MLM计算出所述能见度距离，就可以评估传感器数据对该机器的一个或更多个下游任务的可用性。因此，当估计的能见度距离较低时，相对于能见度距离较高时，可以依赖对应的传感器数据以用于较少任务。

技术研发人员：A·巴基帕耶,A·吉普塔,G·唐,H-J·徐
受保护的技术使用者：辉达公司
技术研发日：
技术公布日：2024/1/12