单视角图像重照明的制作方法

本公开涉及车辆中的图像重照明。

背景技术：

1、图像可以由传感器获取并使用计算机进行处理以确定关于系统周围环境中的对象的数据。感测系统的操作可以包括获取关于系统环境中的对象的准确且及时的数据。计算机可以从一个或多个图像传感器获取图像，所述图像可以被处理以确定对象的位置。计算机可以使用从图像中提取的对象位置数据来操作系统，包括车辆、机器人、安全和对象跟踪系统。机器学习算法可以在车辆上用于操作高级驾驶员辅助系统(adas)或基于在例如当车辆行驶时由车辆上的相机拍摄的图像中检测到对象来执行自主操作。

技术实现思路

1、本公开提供了用于使用第一照明条件下的场景的第一图像来生成第二照明条件下的场景的第二图像的技术。照明条件可以包括例如光线方向，例如日照角。第二图像可以是来自与第一图像的相同视角的相同场景的图像，但是具有来自不同照明条件的不同阴影。出于本公开的目的，图像的视角被定义为捕获该图像的相机的视点，或者对于人工生成的图像，被定义为将捕获该图像的假设相机的视点。例如，第一图像(即，自然图像)可以是上午9:00从沿道路行驶的车辆拍摄的道路的场景，并且本文的技术可以生成来自与第一图像的相同视角的相同场景的第二图像(即，人工图像)，就像在中午12:00、下午3:00和下午6:00拍摄的一样。由于第二图像是人工生成的，因此车辆不需要在稍后的时间重新行驶该道路。具有各种照明条件下的场景的图像的数据集对于训练用于诸如可能取决于解释阴影的对象识别等任务的机器学习算法可能是有用的。

2、具体地，计算机可以被编程为接收所述第一照明条件下的所述场景的所述第一图像，基于所述第一图像生成所述场景的三维表示，并且基于所述三维表示并基于所述第一图像来生成所述第二图像。重要的是，第一图像是用于生成三维表示和第二图像的所述场景的唯一图像。计算机不需要场景的多个视图来生成三维表示和第二图像。即使在许多非车辆背景下收集多个视图可为可行的，使用车辆上的相机收集多个视图也可能是困难的，因为收集多个视图通常需要车辆离开道路。本文的技术避免了与收集多个视图相关的困难。

3、一种计算机包括处理器和存储器，所述存储器存储指令，所述指令可由所述处理器执行以接收第一照明条件下的场景的第一图像，基于所述第一图像生成所述场景的三维表示，以及基于所述三维表示并基于所述第一图像生成第二照明条件下的所述场景的第二图像。所述第一图像是用于生成所述三维表示的所述场景的唯一图像。所述第一图像是用于生成所述第二图像的所述场景的唯一图像。

4、所述第一图像和所述第二图像可具有所述场景的相同视角。

5、所述指令还可包括用于生成来自所述第一图像的视角的所述第二照明条件下的所述场景的阴影掩模的指令，并且生成所述第二图像可基于所述阴影掩模。

6、所述指令还可包括用于生成所述第一图像的阴影掩模的指令，并且生成所述第二图像可基于所述阴影掩模。所述阴影掩模可为第一阴影掩模，所述指令还可包括用于生成来自所述第一图像的视角的所述第二照明条件下的所述场景的第二阴影掩模的指令，并且生成所述第二图像可基于所述第二阴影掩模。所述第二照明条件可包括光线方向，并且生成所述第二阴影掩模可包括通过沿着所述光线方向将对象投影在所述三维表示中来确定阴影位置。

7、生成所述第一阴影掩模可包括执行第一机器学习算法，生成所述第二阴影掩模可包括执行第二机器学习算法，并且所述第一图像可以是所述第一机器学习算法和所述第二机器学习算法的输入。可以共同训练第一机器学习算法和第二机器学习算法。

8、所述指令还可包括用于基于所述三维表示生成来自所述第一图像的视角的所述场景的反射图的指令，所述反射图可以是基于所述第二照明条件的光线方向的镜面反射方向的图，生成所述第二图像可基于所述反射图，生成所述第二图像可包括执行机器学习算法，并且第一图像、第一阴影掩模、第二阴影掩模和反射图可为机器学习算法的输入。

9、生成所述第二图像可包括执行机器学习算法，并且所述第一图像、所述第一阴影掩模和所述第二阴影掩模可以是所述机器学习算法的输入。所述机器学习算法可以是第一机器学习算法，生成所述第一阴影掩模可包括执行第二机器学习算法，生成所述第二阴影掩模可包括执行第三机器学习算法，并且所述第一图像可以是所述第二机器学习算法和所述第三机器学习算法的输入。可以共同训练第一机器学习算法、第二机器学习算法和第三机器学习算法。

10、所述第二照明条件可包括光线方向，生成所述第二阴影掩模可包括通过沿着所述光线方向将对象投影在所述三维表示中来确定具有阴影位置的初步第二阴影掩模，并且所述初步第二阴影掩模可以是第二机器学习算法的输入。

11、所述指令还可以包括用于基于所述三维表示生成来自所述第一图像的视角的所述场景的反射图的指令，所述反射图可以是基于所述第二照明条件的光线方向的镜面反射方向的图，并且生成所述第二图像可基于所述反射图。所述指令还可包括用于基于所述三维表示生成来自所述第一图像的所述视角的所述场景的法线图的指令，并且生成所述反射图可基于所述法线图和所述第二照明条件。

12、生成第二图像可以包括执行机器学习算法，并且机器学习算法可以是卷积神经网络。

13、所述三维表示可以是网格。所述网格可包括多个顶点，并且生成所述网格可包括生成所述第一图像的深度图并基于所述深度图确定所述顶点相对于所述第一图像的视角的深度值。

14、所述网格可包括多个顶点，并且生成所述网格可包括生成所述第一图像的特征图并基于所述特征图确定所述顶点相对于所述第一图像的视角的高度和宽度值。

15、一种方法包括接收第一照明条件下的场景的第一图像，基于所述第一图像生成所述场景的三维表示，以及基于所述三维表示并基于所述第一图像生成第二照明条件下的所述场景的第二图像。所述第一图像是用于生成所述三维表示的所述场景的唯一图像。所述第一图像是用于生成所述第二图像的所述场景的唯一图像。

技术特征：

1.一种方法，其包括：

2.如权利要求1所述的方法，其中所述第一图像和所述第二图像具有所述场景的相同视角。

3.如权利要求1所述的方法，其还包括生成来自所述第一图像的视角的所述第二照明条件下的所述场景的阴影掩模，其中生成所述第二图像是基于所述阴影掩模。

4.如权利要求1所述的方法，其还包括生成所述第一图像的阴影掩模，其中生成所述第二图像是基于所述阴影掩模。

5.如权利要求4所述的方法，其中所述阴影掩模为第一阴影掩模，所述方法还包括生成来自所述第一图像的视角的所述第二照明条件下的所述场景的第二阴影掩模，其中生成所述第二图像是基于所述第二阴影掩模。

6.如权利要求5所述的方法，其中所述第二照明条件包括光线方向，并且生成所述第二阴影掩模包括通过沿着所述光线方向将对象投影在所述三维表示中来确定阴影位置。

7.如权利要求5所述的方法，其中生成所述第二图像包括执行机器学习算法，并且所述第一图像、所述第一阴影掩模和所述第二阴影掩模是所述机器学习算法的输入。

8.如权利要求7所述的方法，其中所述机器学习算法是第一机器学习算法，生成所述第一阴影掩模包括执行第二机器学习算法，生成所述第二阴影掩模包括执行第三机器学习算法，所述第一图像是所述第二机器学习算法和所述第三机器学习算法的输入，并且所述第一机器学习算法、所述第二机器学习算法和所述第三机器学习算法共同被训练。

9.如权利要求1所述的方法，其还包括基于所述三维表示生成来自所述第一图像的视角的所述场景的反射图，其中所述反射图是基于所述第二照明条件的光线方向的镜面反射方向的图，并且生成所述第二图像是基于所述反射图。

10.如权利要求9所述的方法，其还包括基于所述三维表示生成来自所述第一图像的所述视角的所述场景的法线图，其中生成所述反射图是基于所述法线图和所述第二照明条件。

11.如权利要求1所述的方法，其中生成所述第二图像包括执行机器学习算法，并且所述机器学习算法是卷积神经网络。

12.如权利要求1所述的方法，其中所述三维表示是网格。

13.如权利要求12所述的方法，其中所述网格包括多个顶点，并且生成所述网格包括生成所述第一图像的深度图并基于所述深度图确定所述顶点相对于所述第一图像的视角的深度值。

14.如权利要求12所述的方法，其中所述网格包括多个顶点，并且生成所述网格包括生成所述第一图像的特征图并基于所述特征图确定所述顶点相对于所述第一图像的视角的高度和宽度值。

15.一种计算机，其包括处理器和存储器，所述存储器存储指令，所述指令能够由所述处理器执行以执行如权利要求1至14中一项所述的方法。

技术总结
本公开提供了“单视角图像重照明”。一种计算机包括处理器和存储器，所述存储器存储指令，所述指令可由所述处理器执行以接收第一照明条件下的场景的第一图像，基于所述第一图像生成所述场景的三维表示，以及基于所述三维表示并基于所述第一图像生成第二照明条件下的所述场景的第二图像。所述第一图像是用于生成所述三维表示的所述场景的唯一图像。所述第一图像是用于生成所述第二图像的所述场景的唯一图像。

技术研发人员：N·曾,尼基塔·斋普里亚,张显玲,罗汉·巴辛
受保护的技术使用者：福特全球技术公司
技术研发日：
技术公布日：2024/1/12