有凹图像放大用于自动驾驶生成物体检测标签的系统和方法与流程

背景技术：

1、对于自主操作的移动机器人来说，当移动机器人在其环境中移动时应该能够了解定位并且尽可能避开物体。例如，机器人可以获取其环境的图像，处理它们以识别和定位物体，然后绘制在图像中识别的物体周围的路径。因此，高效处理高分辨视频流或图像对比如自动驾驶这样的许多机器人应用是很重要的。比如自主车辆这样的机器人可以具有多个高分辨率摄像机来例如获取图像数据以用于物体检测和追踪。这样的自主车辆也可以使用比如radar或lidar这样的其他传感器以获取关于环境的附加数据。然而，这样的“过度感应”设置为基于视觉的算法(例如，用于物体检测)提供独特的挑战，因为视觉传感器不断地产生数据流，并且对于基于视觉的算法来说使用数据并且及时地汇报世界的状况是重要的。当基于视觉的算法用于处理视频流(即，一系列连续图像)时，这被进一步地加剧。

2、尽管存在比如量化、模型压缩和推理优化这样的许多技术使基于视觉的算法运行得更快，图像下采样仍然是满足延迟限制的最常见的方法之一。然而，这种朴素方法极大地限制了物体检测算法识别小物体的能力，因为图像下采样消除图像传感器的高像素密度的优势。一些其他方法利用时间信息以减少调用基于视觉的算法的次数。这样的方法在简单的数据集上工作得很好并且通常设计用于离线图像处理，但不适合用于自主车辆场景，在自主车辆场景情况下几乎每一帧中都会出现多个新的物体。

3、本文件描述针对解决上面描述的难题和/或其他问题的方法和系统。

技术实现思路

1、本公开包括实施公开的处理高分辨率图像(例如，以及由车辆接收的图像)的系统和方法。方法可以包括接收高分辨率图像以及使用显著性模型(saliency model)生成接收的图像的显著图(saliency map)。显著图可以包括与高分辨率图像的多个像素中的每一个相关联的显著性值。方法也包括使用显著图生成表示将扭曲图像中的一个或多个第一像素坐标逆映射到高分辨率图像中的一个或多个第二像素坐标的反变换函数，以及使用反变换函数实施用于将高分辨率图像转换为扭曲图像的图像扭曲。可选地，扭曲图像可以是至少一个区域的分辨率高于扭曲图像的一个或多个其他区域的有凹图像(foveated image)。扭曲图像可以保存到数据存储。

2、在各种实施方式中，方法也可以包括生成扭曲图像的参照系中的一个或多个边界框预测(例如，使用扭曲图像)。可以使用反变换函数将扭曲图像中的一个或多个边界框预测的坐标转换为高分辨率图像的参照系中的一个或多个边界框预测的第二坐标。可选地，一个或多个边界框预测的第二坐标可以用于控制自主车辆的导航。

3、在一个或多个场景中，方法可以包括基于包括高分辨率图像的视频流的至少一个先验帧中的一个或多个边界框预测生成显著性模型，并且在此情况下在至少一个先验帧之后捕获高分辨率图像。此外和/或可替代地，可以基于包括训练数据集的数据集范围先验中的一个或多个边界框预测生成显著性模型。

4、在各种实施方式中，扭曲图像中具有较高分辨率的至少一个区域具有高的可能性包括感兴趣的物体。可选地，可以降低扭曲图像的一个或多个其他区域的分辨率。

5、在一些实施方式中，可以使用反变换函数通过以下方式实施用于将高分辨率图像转换为扭曲图像的图像扭曲：通过为扭曲图像中的多个像素中的每一个找到高分辨率图像中的输入像素，以及从高分辨率图像中与输入像素相邻的一个或多个像素对那些像素的强度或颜色进行双线性插值。

6、可选地，反变换函数可以是使用反向传播进行训练的可微分函数。

7、此外和/或可替代地，可以对于显著图的多个边中的每一个引入对称性以用于裁剪正规化扭曲图像。

8、实施系统可以包括：处理器；以及包括编程指令的非暂时性计算机可读存储介质，编程指令配置成使处理器实施用于操作自动化系统的方法。此外和/或可替代地，非暂时性计算机可读存储介质和编程指令可以包括在计算机程序产品中。

技术特征：

1.一种用于处理高分辨率图像的方法，所述方法包括通过处理器：

2.根据权利要求1所述的方法，进一步地包括：

3.根据权利要求2所述的方法，进一步地包括使用一个或多个边界框预测的第二坐标来控制自主车辆的导航。

4.根据权利要求1所述的方法，进一步地包括基于视频流的至少一个先验帧中的一个或多个边界框预测生成显著性模型，所述高分辨率图像是所述视频流的一部分并且在至少一个先验帧之后被捕获。

5.根据权利要求1所述的方法，进一步地包括基于包括训练数据集的数据集范围先验中的一个或多个边界框预测生成显著性模型。

6.根据权利要求1所述的方法，其中所述扭曲图像中具有较高分辨率的至少一个区域具有高的可能性包括感兴趣的物体。

7.根据权利要求1所述的方法，进一步地包括降低所述扭曲图像的一个或多个其他区域的分辨率。

8.根据权利要求1所述的方法，其中使用所述反变换函数实施用于将所述高分辨率图像转换为所述扭曲图像的所述图像扭曲包括对所述扭曲图像的多个像素中的每一个：

9.根据权利要求1所述的方法，其中所述反变换函数是使用反向传播进行训练的可微分函数。

10.根据权利要求1所述的方法，进一步地包括对于所述显著图的多个边的每一个引入对称性以用于裁剪正规化所述扭曲图像。

11.一种用于处理高分辨率图像的系统，所述系统包括：

12.根据权利要求11所述的系统，进一步地包括编程指令，所述编程指令在由所述处理器执行时，将使所述处理器：

13.根据权利要求12所述的系统，进一步地包括编程指令，所述编程指令在由所述处理器执行时将使所述处理器使用一个或多个边界框预测的第二坐标来控制自主车俩的导航。

14.根据权利要求11所述的系统，进一步地包括编程指令，所述编程指令在由所述处理器执行时将使所述处理器基于视频流的至少一个先前帧中的一个或多个边界框预测生成所述显著性模型，所述高分辨率图像是所述视频流的一部分并且在至少一个先验帧之后被捕获。

15.根据权利要求11所述的系统，进一步地包括编程指令，所述编程指令在由所述处理器执行时将使所述处理器基于包括训练数据集的数据集范围先验中的一个或多个边界框预测生成所述显著性模型。

16.根据权利要求11所述的系统，其中所述扭曲图像中具有较高分辨率的至少一个区域具有高可能性包括感兴趣的物体。

17.根据权利要求11所述的系统，进一步地包括编程指令，所述编程指令在由所述处理器执行时将使所述处理器降低所述扭曲图像的一个或多个其他区域的分辨率。

18.根据权利要求11所述的系统，其中在由所述处理器执行时将使所述处理器使用所述反变换函数实施用于将所述高分辨率图像转换为所述扭曲图像的所述编程指令进一步地包括编程指令，所述编程指令使所述处理器对于所述扭曲图像中的多个像素中的每一个：

19.根据权利要求11所述的系统，其中所述反变换函数是使用反向传播进行训练的可微分函数。

20.一种用于处理高分辨率图像的计算机程序产品，所述计算机程序产品包括存储编程指令的存储器，所述编程指令配置成使处理器：

技术总结
公开用于处理高分辨率图像的系统和方法。方法包括使用显著性模型生成接收的高分辨率图像的显著图。显著图包括与高分辨率图像的多个像素中的每一个相关联的显著性值。方法然后包括使用显著图生成表示将扭曲图像中的一个或多个第一像素坐标逆映射到高分辨率图像中的一个或多个第二像素坐标的反变换函数，并且使用反变换函数实施用于将高分辨率图像转换为扭曲图像的图像扭曲。扭曲图像是至少一个区域的分辨率高于扭曲图像的一个或多个其他区域的有凹图像。

技术研发人员：尼古拉斯·勒布伦,德瓦·拉曼南,蒙恬·李,奇特什瓦兰·塔瓦马尼
受保护的技术使用者：福特全球技术公司
技术研发日：
技术公布日：2024/1/16