光照估计方法及电子设备与流程

1.本技术涉及数字图像处理领域，尤其涉及一种光照估计方法及电子设备。


背景技术：

2.随着数字图像处理技术的发展，基于图像的光照信息对图像进行处理成为了当前数字图像处理领域中较为重要的研究方向之一。在不同的光照环境下，物体会产生不同的表面颜色和阴影，因此，电子设备在基于不同的光照信息对图像进行处理时，就会得到完全不同的视觉效果。随着深度学习技术的发展，现有的图像光照估计方法常常会采用卷积神经网络(convolutionalneuralnetworks，cnn)。然而，基于卷积神经网络所分解出的图像的法向量往往不够精确，误差较大，导致基于法向量得到的光照估计结果也不精确。当电子设备基于上述不精确的光照估计结果进行图像处理时，最终所呈现出的视觉效果也会较差。因此，如何提高图像的光照估计结果的精度，成为了目前亟待解决的问题。


技术实现要素：

3.本技术提供了一种光照估计方法及电子设备，实现了基于tof摄像头和rgb摄像头获取到高精度的法向图。电子设备基于该精度较高的法向图进行光照估计时，可以提高光照估计的精度，获取到较为精确的第一场景的光照信息。当电子设备100基于该精确的光照信息进行图像处理后，图像所呈现出的视觉效果也会大大提升。
4.第一方面，本技术提供了一种光照估计方法，应用于电子设备，该电子设备包括第一摄像头和第二摄像头，该方法包括：该电子设备通过该第一摄像头，采集到第一场景的第一图像。其中，该第一图像记录有深度信息，该深度信息用于指示该第一图像中的物体到该第一摄像头的距离。该电子设备通过该第二摄像头，采集到该第一场景的第二图像。该电子设备基于该深度信息、该第一图像和该第二图像，生成第三图像。该第三图像指示该第一图像每个像素点的法向量。该电子设备基于该第二图像和该第三图像，确定出该第一场景的球谐系数。其中，该第一场景的球谐系数用于表征该第一场景的光照信息，该第一场景的球谐系数用于对图像进行光线处理。
5.在一种可能的实现方式中，该电子设备基于该深度信息、该第一图像和所第二图像，生成第三图像，具体包括：该电子设备基于该深度信息，将该第一图像上的像素点映射到该第二图像上，使得该第一图像和该第二图像配准。该电子设备基于已配准的该第一图像和该第二图像，补全该第一图像中深度信息缺失区域的深度信息。该电子设备基于该已补全的第一图像，计算出各像素点的法向量。该电子设备基于该各像素点的法向量，生成该第三图像。
6.在一种可能的实现方式中，该电子设备将该第一图像上的像素点映射到该第二图像上，使得该第一图像和该第二图像配准，具体包括：该电子设备基于该第一摄像头的内部参数，将该第一图像上各像素点的二维坐标，映射为各像素点对应的三维点在该第一坐标系下的三维坐标。该电子设备基于第一变换矩阵，将该第一图像上各像素点所对应的各三
维点在该第一坐标系下的三维坐标，映射为在第二坐标系下的三维坐标。该电子设备基于该第二摄像头的内部参数，将上述各三维点在该第二坐标系下的三维坐标，映射为该第二图像上对应像素点的二维坐标。
7.在一种可能的实现方式中，该第一场景的球谐系数用于对图像进行光线处理，包括：夜景人物补光和/或图像背景增强。
8.在一种可能的实现方式中，该第一场景的光照信息包括：第一场景的光照方向和/或第一场景的光照强度。
9.在一种可能的实现方式中，该第二图像为该第一场景的彩色rgb图像。
10.第二方面，本技术实施例提供了一种电子设备，包括计算机指令，包括：一个或多个处理器、一个或多个存储器和显示屏。该一个或多个存储器与一个或多个处理器耦合，该一个或多个存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，当该一个或多个处理器执行该计算机指令时，使得该电子设备执行上述第一方面任一项可能的实现方式中的方法。
11.第三方面，本技术实施例提供了一种计算机可读存储介质，当包括计算机指令，当该计算机指令在电子设备上运行时，使得该电子设备执行上述第一方面任一项可能的实现方式中的方法。
12.第四方面，本技术实施例提供了一种芯片或芯片系统，包括处理电路和接口电路，该接口电路用于接收代码指令并传输至该处理电路，该处理电路用于运行该代码指令以执行上述第一方面任一项可能的实现方式中的方法。
13.第五方面，本技术实施例提供了一种计算机程序产品，当该计算机程序产品在电子设备上运行时，使得该电子设备执行上述第一方面任一项可能的实现方式中的方法。
附图说明
14.图1a为本技术实施例提供的一种光照估计方案示意图；
15.图1b为本技术实施例提供的另一种光照估计方案示意图；
16.图1c为本技术实施例提供的另一种光照估计方案示意图；
17.图1d为本技术实施例提供的一种u-net网络示意图；
18.图2为本技术实施例提供的一种光照估计方法的具体流程示意图；
19.图3a为本技术实施例提供的一种深度信息采集方法的示意图；
20.图3b为本技术实施例提供的一种图像配准方法的示意图；
21.图3c为本技术实施例提供的一种像素点映射示意图；
22.图3d为本技术实施例提供的一种光照估计网络示意图；
23.图4为本技术实施例提供的一种电子设备100的硬件结构示意图；
24.图5为本技术实施例提供的一种电子设备100的软件模块及其交互示意图。
具体实施方式
25.本技术以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本技术的限制。如在本技术得到说明书和所附权利要书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式，除非其上下
文中明确地有相反指示。还应当理解，本技术中使用的术语“和/或”是指包含一个或多个所列出醒目的任何或所有可能组合。在本技术实施例中，术语“第一”、“第二”仅用于描述目的，而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征，在本技术实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
26.首先，介绍本技术实施例提供的一些基于单张图像进行光照估计的方案。
27.方案1：如图1a所示，电子设备可以通过摄像头采集到第一场景中部分场景区域的图像。其中，该包括第一场景中部分场景区域的图像可以被称为有限视场角(fieldofview，fov)图像。该有限fov图像可以是rgb图像，也即是说，该fov图像可以基于三种分量(也可以被称为通道)，也即红色(red，r)分量、绿色(green，g)分量和蓝色(blue，b)分量的叠加来显示物体的彩色成像。然后，电子设备可以通过由神经网络(neuralnetworks，nn)构成的编码器和全连接((fully connected，fc)层，基于上述有限fov图像进行光照估计，得出第一场景对应的球谐系数。其中，该球谐系数可以用于表征第一场景的光照信息。关于球谐系数的具体表达式，后续实施例中将详细描述，在此先不赘述。
28.从上述方案1的流程中可以看出，该方案1基于采集到的部分场景区域的图像进行光照估计，从而获取到全场景的光照信息。因此，光照估计的精度较差，所得出的光照信息与实际的光照信息之间的误差也较大。
29.方案2：如图1b所示，电子设备可以通过摄像头采集到第一场景的单张rgb图像。电子设备可以基于nn网络构成的编码器和解码器，对该rgb图像进行法向估计，以使得电子设备可以将第一场景的rgb图像转换成法向图(也可以被称为法向贴图、法线贴图)。然后，电子设备可以将上述法向图和第一场景的rgb图像进行张量拼接(concat)，并通过基于nn网络构成的编码器和fc层进行光照估计，得出第一场景对应的球谐系数。其中，该法向图可以包括图像中任一像素的法向量，该法向量为将rgb图像中的像素点转换到三维空间中之后，该像素所在曲面中，垂直于该像素的切线平面的三维向量。关于rgb图像和球谐系数的说明，可以参考上述实施例中的描述，在此不再赘述。
30.从上述方案2的流程中可以看出，该方案2基于单张rgb图像进行法向估计所得的法线方向精度较低，与实际的法线方向误差较大，因此，基于法向图进行光照估计所得到的光照信息与实际的光照信息之间的误差也较大。
31.方案3：如图1c所示，电子设备可以通过摄像头采集到第一场景的单张rgb图像。电子设备可以基于nn网络构成的编码器和解码器，对该rgb图像进行法向估计和反照率(也可以被称为反射率)估计，以使得电子设备可以将第一场景的rgb图像转换成第一场景的法向图和反照率图。然后，电子设备可以将第一场景的法向图、反照率图和rgb图像进行张量拼接(concat)，并通过基于nn网络构成的编码器和fc层进行光照估计，得出第一场景对应的球谐系数。其中，反照率指的是物体反射光线的能力。反照率图可以用于记录rgb图像上各物体的反照率。
32.在该方案中，电子设备可以基于u-net网络进行法向估计和反照率估计。如图1d所示，在该方案的示例中，u-net网络可以包括特征提取网络和特征融合网络。特征提取网络可以包括4个卷积网络，分别为：卷积网络1、卷积网络2、卷积网络3和卷积网络4。特征融合网络可以包括4个卷积网络，分别为：卷积网络5、卷积网络6、卷积网络7和卷积网络8。卷积
网络1提取特征后输出的特征图像1可以作为卷积网络2的输入；卷积网络2提取特征后输出的特征图像2可以作为卷积网络3的输入；卷积网络3提取特征后输出的特征图像3可以作为卷积网络4的输入；卷积网络4提取特征后输出的特征图像4可以在进行降维后，作为卷积网络5的输入。在特征融合的过程中，卷积网络5可以基于降维后的特征图像4与原始特征图像4进行特征融合。卷积网络6可以基于卷积网络5的输出与卷积网络3的输出进行特征融合。卷积网络7可以基于卷积网络6的输出与卷积网络2的输出进行特征融合。卷积网络8可以基于卷积网络7的输出与卷积网络1的输出进行特征融合。其中，卷积网络5获取卷积网络4的输出(即原始特征图像4)、卷积网络6获取卷积网络3的输出、卷积网络7获取卷积网络2的输出、卷积网络8获取卷积网络2的输出等这样的方式，可以被称为跳层连接。关于法向图、rgb图像和球谐系数的说明，可以参考上述实施例中的描述，在此不再赘述。
33.示例性的，在该方案中，球谐系数l可以基于如下公式进行推导计算：
34.首先，可以基于如下的渲染公式对图像进行渲染：
35.i＝a
⊙
lb(n)
36.其中，i为渲染信息，a为反照率，l为球谐系数，n为法向量，b(n)为基于法向量计算的球谐基函数，
⊙
为矩阵间对应位置的元素相乘。因此，球谐系数l的计算公式可以如下：
37.l＝(i/a)b(n)
+
38.其中，b(n)
+
为b(n)的伪逆矩阵，“/”为矩阵间对应位置的元素相除。
39.从上述方案3的流程中可以看出，该方案3基于单张rgb图像进行法向估计所得的法线方向精度较低，与实际的法线方向误差较大，并且，基于该单张rgb图像进行反照率估计所得到的反照率与物体实际反照率的误差也较大，因此，基于法向图和反照率图进行光照估计所得到的光照信息并不精确。
40.因此，本技术实施例提供了一种光照估计方法。
41.该方法可以应用于手机、平板电脑等电子设备上。后续统一使用电子设备100表示上述电子设备。不限于手机、平板电脑，电子设备100还可以是桌面型计算机、膝上型计算机、手持型计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，umpc)、上网本，以及蜂窝电话、个人数字助理(personal digital assistant，pda)、增强现实(augmented reality，ar)设备、虚拟现实(virtual reality，vr)设备、人工智能(artificial intelligence,ai)设备、可穿戴式设备、车载设备、智能家居设备和/或智慧城市设备，本技术实施例对该电子设备的具体类型不作特殊限制。
42.在该方法中，电子设备100可以通过飞行时间(timeofflight，tof)摄像头采集到第一图像，第一图像为第一场景的深度图。电子设备100可以基于rgb摄像头采集到第二图像，第二图像为第一场景的rgb图像。电子设备100可以基于第一图像和第二图像获取到第三图像，第三图像为法向图。然后，电子设备100可以将第三图像与第二图像进行张量拼接(concat)。电子设备100可以基于第三图像与第二图像进行张量拼接后得到的数据进行光照估计，获取到第一场景对应的球谐系数，该第一场景对应的球谐系数可以用于表征第一场景的光照信息。其中，tof摄像头可以用于检测拍摄物体到tof摄像头的距离并生成图像。
43.从上述流程中可以看出，本方案可以基于tof摄像头和rgb摄像头获取到法向图。相较于基于nn网络进行法向估计所得到的法向图，本方案获取到的法向图的精度较高，误差较小，因此，基于该精度较高的法向图进行光照估计，可以提高光照估计的精度，获取到
较为精确的第一场景的光照信息。当电子设备100基于该精确的光照信息进行图像处理后，图像所呈现出的视觉效果也会大大提升。
44.下面，介绍本技术实施例提供的一种光照估计方法的具体流程。
45.请参考图2，图2示例性示出了一种光照估计方法的具体流程示意图。
46.如图2所示，该方法的具体流程可以包括：
47.s201.电子设备100通过tof摄像头采集到第一场景的第一图像。
48.其中，第一图像可以是深度图，深度图可以指的是：包括第一场景中各物体上各点到tof摄像头的距离信息的图像。深度图中像素点的深度信息，可以用于表示该像素点所对应的实际空间中三维点(也可以简称为三维点)到tof摄像头的距离。例如，若深度图中有一像素点，其深度信息为q，则表示该像素点对应的三维点到tof摄像头的距离为q。深度图中每一个像素点的像素值可以存储该像素点的深度信息。当tof摄像头无法获取三维点到tof摄像头的距离信息时，此时其对应像素点的深度信息缺失，该像素点的像素值可以被赋值为0。
49.具体的，tof摄像头(也可以被称为第一摄像头)可以包括tof传感器。tof摄像头可以通过tof传感器向第一场景中的各物体表面发射光信号，然后接收从各物体表面反射回tof摄像头的光信号。tof摄像头可以通过tof传感器获取到从发射光信号到接收反射光信号的时间。tof摄像头可以基于该时间，计算得出各物体上各点到tof摄像头的距离，并基于各点到tof摄像头的距离值，采集到第一场景的深度图。
50.其中，该第一场景的深度图可以基于灰度图像显示，其每一个像素点的灰度值可以和像素值相同，因此，灰度值即是用于表示：该像素点对应的三维点到tof摄像头的距离，单位可以为毫米。示例性的，当某像素点的灰度值为m时，则表示该像素点所对应的三维点到tof摄像头的距离为m毫米。
51.示例性的，如图3a所示，例如第一场景中包括第一物体，第一物体上包括三维点a。tof摄像头可以通过tof传感器向第一物体的表面发射光信号，然后接收第一物体表面发射回该传感模块的光信号。因此，第一物体上的三维点a可以反射tof摄像头通过tof传感器发射的光信号。tof摄像头可以获取到光信号从tof摄像头发射到三维点a并被三维点a反射回来的时间t1。三维点a到tof摄像头的距离(也即深度信息)即为：光速乘以t1，再除以2。然后，tof摄像头基于该距离值，将第一物体上的三维点a，映射为深度图上的像素点b。像素点b的灰度值，即表示三维点a到tof摄像头的距离。
52.需要说明的是，不限于上述示例中的tof摄像头，电子设备100也可以通过其他方式(例如，结构光摄像头)来采集第一图像，本技术并不对采集第一图像的方法作限制。
53.s202.电子设备100通过rgb摄像头采集到第一场景的第二图像。
54.具体的，rgb摄像头也可以被称为第二摄像头。第二图像可以是第一场景的rgb图像。关于rgb图像的说明，可以参考前述实施例中的描述，在此不再赘述。
55.需要说明的是，不限于rgb摄像头采集的rgb图像，第二图像也可以是其他摄像头采集的其他图像，本技术对此不作限制。
56.s203.电子设备100将第一图像和第二图像进行配准。
57.其中，第一图像和第二图像进行配准指的是：使得第一图像中的像素点与第二图像中的像素点一一对应，且两对应的像素点所表征的物体信息(例如，物体的方位、形状、大
小等)相同。
58.具体的，电子设备100将第一图像和第二图像进行配准的实现方式可以如下：
59.如图3b所示，第一图像和第二图像进行配准的具体流程可以包括：
60.a).电子设备100基于tof摄像头的内部参数，将第一图像上各像素点的二维坐标，映射为各像素点对应的三维点在tof相机坐标系下的三维坐标。
61.其中，tof摄像头的内部参数(也可以被称为tof摄像头的内参)可以包括tof摄像头的焦距等。电子设备100可以通过张正友棋盘格标定法获取到tof摄像头的内参。各像素点的二维坐标为像素坐标系下的坐标，像素坐标系为：以图像的左上角顶点为原点，以图像的横行为x轴，以图像的纵列为y轴的坐标系。后续说明中的二维坐标皆为像素坐标系下的坐标。tof相机坐标系(也可以被称为第一坐标系)为：以tof摄像头的光轴中心为原点，以tof摄像头的光轴为z轴的坐标系。
62.示例性的，如图3c所示，若第一图像上包括一像素点e1，其对应的三维点为v。电子设备100可以基于如下公式，将像素点e1的二维坐标映射为三维点v在tof相机坐标系下的三维坐标s
v1
：
63.s
v1
＝z
e1
×kt-1
×ee1
64.其中，z
e1
为像素点e1的深度信息，k
t
为tof摄像头内参的矩阵表达式，k
t-1
为k
t
的逆矩阵，e
e1
为像素点e1的二维坐标，
“×”
表示矩阵相乘。
65.第一图像上其余像素点对应的三维点在tof相机坐标系下的三维坐标，也可以参考像素点i的计算方式，在此不再赘述。
66.b).电子设备100基于变换矩阵1，将第一图像上各像素点所对应的各三维点在tof相机坐标系下的三维坐标，映射为在rgb相机坐标系下的三维坐标。
67.其中，变换矩阵1(也可以被称为第一变换矩阵)可以用于：将某三维点在tof相机坐标系下的三维坐标映射为在rgb相机坐标系下的三维坐标，或者，在rgb相机坐标系下的三维坐标映射在tof相机坐标系下的三维坐标。电子设备100可以基于张正友棋盘格标定法获取到变换矩阵1。变换矩阵1可以包括旋转矩阵r和平移矩阵t。rgb相机坐标系(也可以被称为第二坐标系)可以指的是：以rgb摄像头的光轴中心为原点，以rgb摄像头的光轴为z轴的坐标系。
68.示例性的，如图3c所示，以上述三维点v为例，该三维点v在tof相机坐标系下的三维坐标为s
v1
，电子设备100可以基于如下公式，将s
v1
映射为在rgb相机坐标系下的三维坐标s
v2
：
69.s
v2
＝r
×sv1
+t
70.其中，
“×”
表示矩阵相乘。
71.将其余第一图像上各像素点所对应的各三维点在tof相机坐标系下的三维坐标，映射为在rgb相机坐标系下的三维坐标，可以参考三维点v的计算方式，在此不再赘述。
72.c).电子设备100基于rgb摄像头的内部参数，将上述各三维点在rgb相机坐标系下的三维坐标，映射为第二图像上对应像素点的二维坐标。
73.其中，rgb摄像头的内部参数(也可以被称为rgb摄像头的内参)可以包括rgb摄像头的焦距等。电子设备100可通过张正友棋盘格标定法获取到rgb摄像头的内参。
74.示例性的，如图3c所示，三维点v在rgb相机坐标系下的三维坐标为s
v2
，电子设备
100可以通过如下公式，将s
v2
映射为第二图像上对应像素点e2的二维坐标e
e2
：
75.e
e2
＝kr×sv2
76.其中，kr为rgb摄像头内部参数的矩阵表达式，
“×”
表示矩阵相乘。
77.将其余各三维点在rgb相机坐标系下的三维坐标，映射为第二图像上对应像素点的二维坐标，可以参考上述三维点v的计算方式，在此不再赘述。
78.s204.电子设备100基于已配准的第一图像和第二图像，补全第一图像中深度信息缺失区域的深度信息。
79.需要说明的是，当第一图像和第二图像进行配准后，会出现：由于tof摄像头和rgb摄像头的角度不一致，第一图像和第二图像包括的拍摄物体不完全相同，因此第二图像上存在无法与第一图像进行对应的像素点；或者，将各三维点在rgb相机坐标系下的三维坐标，映射为第二图像上对应像素点的二维坐标时，其计算结果为浮点数，取整后无法对应至第二图像等情况。因此，当第一图像和第二图像进行配准后，第一图像上会出现深度信息缺失区域。电子设备100需要补全第一图像中深度信息缺失区域的深度信息。
80.具体的，电子设备100可以基于插值计算，补全第一图像中深度信息缺失区域的深度信息。
81.首先，电子设备100以任意一个无深度信息的像素点n(也可以被称为无深度信息的像素点n)为中心，划分出指定大小的窗口w1(例如，5
×
5的窗口)。电子设备100可以统计出在该窗口w1中具有深度信息的像素点的个数。若电子设备100确定出该窗口w1中具有深度信息的像素点的个数大于或等于预设的指定阈值t1时，则电子设备100确定出该像素点n需要进行插值计算。否则，电子设备100不对该像素点n进行插值计算。
82.然后，当电子设备100确定出该像素点n需要进行插值计算时，电子设备100以该像素点n为中心，划分出指定大小的窗口w2(例如，3
×
3的窗口)。电子设备100计算出该窗口w2上四个顶点的平均深度信息以及标准差。当电子设备100确定出该标准差小于或等于预设的指定阈值t2时，电子设备100将上述平均深度信息作为该像素点n的深度信息。当电子设备100确定出该标准差大于预设的指定阈值t2时，则电子设备100不对该像素点n进行插值。其中，指定阈值t2可以是动态变化的，与窗口w2上四个顶点的平均深度信息成正比。
83.需要说明的是，不限于上述示例性列举出的插值计算方法，电子设备100也可以通过其他方法补全第一图像中深度信息缺失区域的深度信息，本技术对此不作限制。
84.s205.电子设备100基于已补全的第一图像生成第三图像。
85.其中，第三图像可以是法向图。第三图像可以用于指示第一图像上每个像素点的法线方向，法线方向可以用法向量来表示。可以理解的是，由于前述第一图像与第二图像已进行配准，因此，第三图像也可以用于指示第二图像上每个像素点的法线方向。
86.具体的，电子设备100可以基于第一图像中各像素点的二维坐标、各像素点的深度信息和tof摄像头的内部参数(例如，tof摄像头的焦距、像素大小等)，计算出第一图像中各像素点对应的三维点在tof相机坐标系下的三维坐标。然后，电子设备100可以基于各像素点的相邻像素点所对应的三维点，计算出各像素点的法向量，其计算公式可以如下所示：
87.ni(x，y)＝(vi(x+1，y)-vi(x，y))
×
(vi(x，y+1)-vi(x，y))
88.其中，ni(x，y)表示像素点i的法向量，(x，y)表示该像素点i的二维坐标，vi(x+1，y)表示该像素点i向x轴正方向平移一个单位的邻近像素点所对应三维点在tof相机坐标系下
的三维坐标，vi(x，y+1)表示该像素点i向y轴正方向平移一个单位的邻近像素点所对应三维点在tof相机坐标系下的三维坐标，vi(x，y)表示像素点i对应的三维点在tof相机坐标系下的三维坐标，
“×”
表示向量的叉乘。
89.接下来，电子设备100可以基于各像素点的法向量，生成第三图像。
90.示例性的，例如第一图像上有一像素点a1。a1的深度信息为z，a1的二维坐标为ea，tof摄像头内部参数的矩阵表达式为k
t
。则电子设备100可以基于z、ea和tof摄像头的内部参数，按以下公式计算出像素点a1对应的三维点在tof相机坐标系下的三维坐标s
a1
：
91.s
a1
＝z
×kt-1
×
ea92.其中，k
t-1
为矩阵k
t
的逆矩阵，
“×”
表示矩阵相乘。
93.又，像素点a1向x轴正方向平移一个单位的邻近像素点为a2，像素点a1向y轴正方向平移一个单位的邻近像素点为a3。与像素点a1的计算方式相同，电子设备100可以获取到像素点a2对应的三维点在tof相机坐标系下的三维坐标s
a2
；电子设备100可以获取到a3对应的三维点在tof相机坐标系下的三维坐标s
a3
。则电子设备可以基于如下公式获取到像素点a1的法向量n(a1)：
94.n(a1)＝(s
a2-s
a1
)
×
(s
a3-s
a1
)
95.第一图像上的其他各像素点的法向量的计算方式，可以参考如上所述像素点a1的计算方式，在此不再赘述。电子设备100可以基于第一图像上各像素点的法向量，生成第三图像。
96.需要说明的是，不限于上述示例性列举的方式，电子设备100还可以通过其他方式获取到第一图像上各像素点的法向量，继而生成第三图像，本技术对此不作限制。
97.在一些示例中，电子设备1 00执行图2所示实施例中s201-s205后获取到的法向图，也可以应用于前述方案3中。也即是说，前述方案3中的法向图不基于rgb图像通过编码器和解码器进行法向估计后获取，而是基于电子设备100执行s201-s205后获取，这样，获取到的法向图的精度较高，误差较小，因此，基于该精度较高的法向图进行光照估计，可以提高光照估计的精度，获取到较为精确的第一场景的光照信息。
98.s206.电子设备100将第二图像和第三图像进行张量拼接(concat)。
99.具体的，当电子设备100将第二图像和第三图像进行张量拼接(concat)后，其每一个像素点的信息可以基于6个通道值来表示，其中三个通道的值可以用于表示像素点的颜色，另外三个通道的值可以用于表示像素点的法向量。
100.示例性的，当电子设备100将第二图像和第三图像进行张量拼接(concat)后，有一像素点i1。该像素点i1的信息可以基于6个通道值来表示，其中三个通道的值为r
i1
、g
i1
和b
i1
，可以用于表示像素点i1的颜色；另外三个通道的值可以用于表示像素点i1的法向量(n
xi1
，n
yi1
，n
zi1
)。其中，n
xi1
表示像素点i1的法向量在x轴方向上的分量，n
yi1
表示像素点i1的法向量在y轴方向上的分量，n
zi1
表示像素点i1的法向量在z轴方向上的分量。
101.s207.电子设备100基于第二图像和第三图像进行张量拼接(concat)后的数据，获取到第一场景对应的球谐系数。
102.具体的，电子设备100可以将第二图像和第三图像进行张量拼接(concat)后的数据作为光照估计网络的输入，该光照估计网络的输出可以是第一场景对应的球谐系数。其中，光照估计网络可以是预设的。示例性的，如图3d所示，该预设的光照估计网络可以包括
local area networks，wlan)(如无线保真(wireless fidelity，wi-fi)网络)，蓝牙(bluetooth，bt)，全球导航卫星系统(global navigation satellite system，gnss)，调频(frequency modulation，fm)，近距离无线通信技术(near field communication，nfc)，红外技术(infrared，ir)等无线通信的解决方案。无线通信模块403可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块403经由天线接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器401。无线通信模块403还可以从处理器401中接收待发送的信号，对其进行调频、放大，经天线转为电磁波辐射出去。在一些实施例中，电子设备100还可以通过无线通信模块403中的蓝牙模块(图4未示出)、wlan模块(图4未示出)发射信号探测或扫描在电子设备100附近的设备，并与该附近的设备建立无线通信连接以传输数据。其中，蓝牙模块可以提供包括经典蓝牙(basic rate/enhanceddatarate，br/edr)或蓝牙低功耗(bluetooth low energy，ble)中一项或多项蓝牙通信的解决方案，wlan模块可以提供包括wi-fi direct、wi-fi lan或wi-fi softap中一项或多项wlan通信的解决方案。
112.显示屏404可以用于显示图像、视频等。显示屏404可以包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，lcd)，有机发光二极管(organic light-emitting diode，oled)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的，amoled)，柔性发光二极管(flex light-emitting diode，fled)，miniled，microled，micro-oled，量子点发光二极管(quantum dot light emitting diodes，qled)等。在一些实施例中，电子设备100可以包括1个或n个显示屏404，n为大于1的正整数。
113.摄像头405用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，ccd)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，cmos)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给isp转换成数字图像信号。isp将数字图像信号输出到dsp加工处理。dsp将数字图像信号转换成标准的rgb，yuv等格式的图像信号。在一些实施例中，电子设备100可以包括1个或n个摄像头405，n为大于1的正整数。
114.在本技术实施例中，摄像头405可以包括tof摄像头和rgb摄像头。其中，tof摄像头用于采集第一场景的第一图像，rgb摄像头用于采集第一场景的第二图像。具体的实现方式可以参考图2所示实施例的描述，在此不再赘述。
115.音频模块406可以用于将数字音频信息转换成模拟音频信号输出，也可以用于将模拟音频输入转换成数字音频信号。音频模块406还可以用于对音频信号编码和解码。在一些实施例中，音频模块406还可以设置于处理器401中，或将音频模块406的部分功能模块设置于处理器401中。
116.麦克风407，也可以称“话筒”，“传声器”，可以用于采集电子设备周围环境中的声音信号，再将该声音信号转换为电信号，再将该电信号经过一系列处理，例如模数转换等，得到电子设备的处理器401可以处理的数字形式的音频信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风407发声，将声音信号输入到麦克风407。电子设备100可以设置至少一个麦克风407。在另一些实施例中，电子设备100可以设置两个麦克风407，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，电子设备100还可以设置三个，
四个或更多麦克风407，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。
117.电子设备100还可以包括传感器模块(图中未示出)。传感器模块可以包括多个传感器件，例如，触摸传感器(图中未示出)等。触摸传感器也可以称为“触控器件”。触摸传感器可以设置于显示屏404，由触摸传感器与显示屏404组成触摸屏，也称“触控屏”。触摸传感器可以用于检测作用于其上或附近的触摸操作。
118.需要说明的是，图4中示出的电子设备100仅仅用于示例性解释本技术所提供的电子设备的硬件结构，并不对本技术构成具体限制。
119.下面，介绍本技术实施例提供的一种电子设备100的软件模块。
120.请参考图5，图5示例性示出了本技术实施例提供的一种电子设备100的软件模块及其交互示意图。
121.如图5所示，电子设备100中的软件模块可以包括：图像采集模块501、图像处理模块520、光照估计模块503和存储模块504。其中：
122.图像采集模块501可以基于tof摄像头采集到第一图像、基于rgb摄像头采集到第二图像。具体的实现过程可以参考前述图2所示实施例中的描述，在此不再赘述。
123.图像处理模块502可以用于对第一图像和第二图像进行图像处理。例如，将第一图像和第二图像配准、补全第一图像中深度信息缺失区域的深度信息、基于已补全的第一图像生成第三图像、将第二图像和第三图像进行张量拼接(concat)。具体的实现过程可以参考前述图2所示实施例中的描述，在此不再赘述。
124.光照估计模块503可以包括编码器和fc层。该模块可以将第二图像和第三图像进行张量拼接(concat)后的数据作为输入，通过编码器和fc层获取到第一场景的球谐系数，该第一场景的球谐系数可以用于表征第一场景的光照信息。
125.存储模块504可以用于存储第一场景的球谐系数，以便于后续电子设备100可以基于该第一场景的球谐系数进行图像处理。存储模块504还可以存储一些程序代码，以实现本技术实施例在电子设备100中的实现方法。具体的实现方式可以参考前述图2所示实施例中的描述，在此不再赘述。
126.上述实施例中所用，根据上下文，术语“当
…
时”可以被解释为意思是“如果
…”
或“在
…
后”或“响应于确定
…”
或“响应于检测到
…”
。类似地，根据上下文，短语“在确定
…
时”或“如果检测到(所陈述的条件或事件)”可以被解释为意思是“如果确定
…”
或“响应于确定
…”
或“在检测到(所陈述的条件或事件)时”或“响应于检测到(所陈述的条件或事件)”。
127.在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本技术实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含
一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如dvd)、或者半导体介质(例如固态硬盘)等。
128.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：rom或随机存储记忆体ram、磁碟或者光盘等各种可存储程序代码的介质。