一种基于物体光照编辑的方法

1.本发明属于增强现实领域，尤其涉及一种基于物体光照编辑的方法，直接采用端到端的算法实现物体的光照编辑。


背景技术：

2.目前，常用的基于物体的光照编辑方式分为以下几种：一、利用传统的方法，通过对物体和场景的几何、材质和光照信息建模，实现物体的重光照，如在论文“karschet al”中所提出的技术，尽管该方法能够获得较好的编辑效果，但是其严重依赖于物体和场景的几何、光照等逆渲染信息，一旦几何、光照等信息估计不准就会造成较差的光照编辑结果；二、利用深度学习技术实现物体和场景融合，这类方法主要集中在处理场景中的物体与背景的色调一致性问题，该类方法只考虑到物体与场景的色调一致性，未能从真正意义上解决对物体的光照信息(物体的色温，光照强度及阴影)进行编辑。现有技术中，缺乏一种避免任何逆渲染技术且简单、鲁棒、有效地实现物体光照编辑的方法。


技术实现要素：

3.本发明就是为了解决现有技术地不足，提出了一种基于物体光照编辑的方法，解决了现有的方法对物体的光照编辑泛化能力不强、严重依赖于逆渲染技术而难以高效、准确地建模物体的光照信息等问题。
4.本发明所设计的一种基于物体光照编辑的方法，包括以下步骤：
5.步骤1、首先基于物理渲染构建大规模、高质量的光照数据集。
6.步骤2、将每种数据按照设计的网络输入要求进行划分，最终针对每种数据，获得相应的6元组形式的网络输入。
7.步骤3、提取输入的6元组数据特征，并通过多尺度注意力机制来学习场景中真实物体的阴影信息，从而推导出虚拟物体的合理阴影。
8.步骤4、通过光照交换机制，将插入的虚拟物体的光照信息与其所在的背景的光照信息进行交换并融合。
9.步骤5、根据步骤3和步骤4所述的虚拟物体的合理阴影信息、光照融合信息合成得到物体光照编辑后的光照和谐图像并输出。
10.优选的，所述步骤1包括以下子步骤：
11.步骤1.1、首先分别从laval数据集和互联网上下载并获取具有各种真实场景的hdr全景图数据共2686张。同时，在互联网上选取7个不同的三维模型，即bunny,lucy,buddha以及其他三个人物模型。
12.步骤1.2、对于每张全景图，截取任意8个有限的视角，分别作为不同的光照数据背景图像，最终获取22256张背景图。
13.步骤1.3、根据步骤1.1和步骤1.2所述的不同的三维模型和不同场景的背景图像，通过基于物理的渲染将不同的三维模型在各种光照条件下进行渲染并嵌入到背景图像中，
最终获取89898张光照合成图像。
14.优选的，所属步骤2包括以下子步骤：
15.步骤2.1、根据步骤1所述的光照数据集，分别对每种数据进行物体的掩模、背景的掩模、物体和背景对应的光照图像以及光照和谐图像的获取。
16.步骤2.2、根据步骤2.1所述的各个数据分量，分别对每种数据进行6元组组合，最终获取每种数据的6元组形式的网络输入，数据的5元组包括非光照和谐图像，物体掩模,背景掩模,物体光照信息，背景光照信息，光照和谐图像。
17.优选的，所述步骤3包括以下子步骤：
18.步骤3.1、首先利用所述的6元组光照数据作为神经网络的输入信息，并对其进行特征提取。
19.步骤3.2、根据步骤3.1所述的提取的特征，利用具有1
×
1，3
×
3，5
×
5三个不同尺度卷积核的多尺度注意力机制学习真实场景中的参考物的阴影信息来推导虚拟物体生成合理的阴影。
20.优选的，所述步骤4包括以下子步骤：
21.步骤4.1、重光照网络首先对输入的非光照和谐图像进行整体特征提取，即该特征包含图像的整体的光照特征和非光照特征。
22.步骤4.2、背景光照网络对输入的背景图像的光照信息进行特征提取，最终获取背景图像的光照特征。
23.步骤4.3、根据步骤4.1所述的图像的整体特征，将其与物体的掩模进行逐像素相乘操作，最后获取物体的整体特征，即物体的光照特征和非光照特征。
24.步骤4.4、根据步骤4.2所述的背景的光照特征和步骤4.3所述的物体的光照特征，通过光照交换机制实现其光照特征的交换。具体交换过程为：步骤4.2最终在编码器中提取的背景光照特征用512维向量表示，
25.步骤4.3中所述的特征共用1024维向量特征表示，其中512维为物体非光照特征，另外512维向量表示为物体的光照特征，在光照交换部分是将物体的光照特征与背景的光照特征进行交换。
26.优选的，所述步骤5包括以下子步骤：
27.步骤5.1、根据步骤4.4所述的光照交换后的特征，对其进行解码器解码，将光照信息与非光照信息进行融合，最终得到光照融合后的特征。
28.步骤5.2、根据步骤5.1所述的光照融合特征和步骤3.2所述的虚拟物体阴影特征，通过重光照网络的解码器解码，最终获得光照编辑后的场景和谐图像。
29.本发明的优点在于：首先提出了一种基于物理渲染技术，构建一套大规模、高质量的数据集，用于物体光照编辑任务。该数据集能够充分、全方位反映光照信息，即包括物体的阴影、色温和光照明暗度等信息，能够更好的满足本发明的光照编辑目的，实现更加理想的光照编辑效果。
30.其次，本发明提出了一种多尺度注意力机制和光照交换机制，通过多尺度注意力机制来指导物体生成合理的虚拟阴影，同时使用光照交换机制实现前景物体与背景之间的光照交换，完成物体的光照编辑。通过本发明的基于物体的光照编辑方法，可以完成单幅图像的场景光照和谐，具有准确的、高效的优点。
附图说明
31.图1为本发明实施例提供的用于训练网络模型的训练数据集的制作流程图。
32.图2为本发明实施例提供的一种基于图像的物体光照编辑方法的总体网络设计示意图。
33.图3为本实施例提供的一种基于图像的物体光照编辑方法实验效果图。
具体实施方式
34.为了更好地理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
35.本发明提供一种基于图像的物体光照编辑方法，主要包括以下步骤：
36.步骤1、首先基于物理渲染构建大规模、高质量的光照数据集。
37.步骤2、将每种数据按照设计的网络输入要求进行划分，最终针对每种数据，获得相应的6元组形式的网络输入。
38.步骤3、提取输入的6元组数据特征，并通过多尺度注意力机制来学习场景中真实物体的阴影信息，从而推导出虚拟物体的合理阴影。
39.步骤4、通过光照交换机制，将插入的虚拟物体的光照信息与其所在的背景的光照信息进行交换并融合。
40.步骤5、根据步骤3和步骤4所述的虚拟物体的合理阴影信息、光照融合信息合成得到物体光照编辑后的光照和谐图像并输出。
41.下面结合附图，对本发明作进一步的说明。
42.参考图1-图3，本实施例提供的一种基于图像的物体光照编辑方法，主要包括如下步骤：
43.首先分别从laval数据集和互联网上下载并获取具有各种真实场景的hdr全景图数据，并且对于每张全景图，截取任意8个有限的视角，分别作为不同的光照数据背景图像；同时，在互联网上选取bunny,lucy,buddha以及其他三个人物模型等7个不同的三维模型，然后通过基于物理的渲染(blender)将不同的三维模型在各种光照条件下进行渲染并嵌入到背景图像中，最终获取89898张大小为256
×
256的光照合成图像。现有模型已经扩展到了60个，可也可以用60个模型进行数据的制作。
44.从图1所示中可以看出，以3d模型buddha为例，将3d模型在光照信息(d)的条件下渲染插入到背景图像为(e)的场景中，最终获得渲染后的作为网络输入的光照和谐图像(f)，其大小为256
×
256。图1中(a)、(b)、(c)分别表示为3d模型的二维图像，二维物体的掩码以及非光照和谐的合成图像。
45.将获取的6元组数据[非光照和谐图像，物体掩码，物体光照信息，场景光照信息，光照和谐图像]作为网络的输入，通过神经网络对其进行特征提取。
[0046]
根据提取的特征，通过多尺度注意力机制和光照交换机制分别对提取的特征进行阴影的信息和光照信息的学习，并生成最终的光照和谐图像。
[0047]
从图2中可以看出，本发明提出了一种基于端到端的场景推导生成对抗网络si-gan，该网络通过对物体的阴影和光照进行建模，旨在解决现有的方法对物体的光照编辑泛化能力不强、严重依赖于逆渲染技术而难以高效、准确地建模物体的光照信息等问题。所涉
及的网络结构由两个分支网络构成，一个是重光照网络，一个是光照特征提取网络。其工作原理如下：
[0048]
首先网络输入由步骤1、2获取的6元组数据信息，6元组数据信息包括非光照和谐图像，物体掩码，场景掩码，物体光照信息，场景光照信息，光照和谐图像；然后重光照网络和背景光照预测网络分别对输入的6元组信息中的非光照和谐图像进行特征提取。
[0049]
在重光照网络编码的最终输出端通过将(a)中重光照网络提取的特征与物体的掩码逐像素相乘获取物体的光照特征和非光照特征，同时光照估计网络通过将输入的非光照和谐图像与背景掩码逐像素相乘获取背景信息并对其进行光照估计获取背景光照。通过(b)后，重光照网络的编码器输出端输出1024维特征表示物体的光照特征512维和非光照特征512维，光照估计网络的编码器最终输出512维特征向量表示背景光照。
[0050]
通过光照交换机制将(c)物体的512维光照特征与光照提取网络中输出的512维背景的光照特征进行交换。
[0051]
重光照网络的解码器对交换后的光照图像特征进行解码操作，并且整个特征提取和融合过程中充分利用多尺度注意力模块来学习背景中的真实物体的参考阴影来指导目标物体的阴影生成，同时利用原始输入的光照和谐图像作为约束，来不断迭代优化网络的学习准确率。其具体的约束算法表达式为：
[0052]
l
total
＝β1l
illu
+β2l
noillu
+β3l
per
+β4l
adv
[0053]
其中β1，β2，β3，β4的取值分别为25.0,6.0,0.04和0.5。l
total
为网络的总损失，l
illu
为光照损失项，l
noillu
为非光照损失项，l
per
为感知损失项，l
adv
为对抗损失项。
[0054]
l
illu
和l
noillu
损失项主要是用来协助光照交换机制实现对背景光照信息与物体的非光照信息的融合。l
illu
与l
noillu
的定义如下：
[0055][0056]
其中，分别表示为网络预测的物体光照图像和光照图像，y
oi
，y
bi
分别表示为它们相应的真实的图像。
[0057][0058]
其中，表示为相同物体在不同光照条件下的非光照特征，n
nonillu
表示为非光照特征图的逐像素数量。
[0059]
最终网络获得背景光照特征与物体非光照特征融合后的光照和谐图像并输出。
[0060]
图3可视化了一组基于物体光照编辑方法的实验结果，(a)，(b)，(c)，(d)分别表示为插入场景中的二维物体对象，插入物体的场景，非光照和谐图像，光照和谐图像。非光照和谐图像即网络的原输入图像，光照和谐图像即网络的输出图像。从实验结果中可以看出，受编辑的物体不仅产生出了合理的阴影同时该物体的光照信息与其背景的光照信息相一致，该实验结果表明了基于图像的物体光照编辑方法能够实现较好的光照和谐效果。
[0061]
最后所应说明的是，以上具体实施方式仅用以说明本发明的技术方案而非限制，
尽管参照实例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。