图像处理方法、深度学习模型的训练方法、装置和设备与流程

1.本公开涉及人工智能技术领域，尤其涉及增强现实、虚拟现实、计算机视觉、深度学习等技术领域，可应用于元宇宙、虚拟数字人等场景下。更具体地，本公开提供了一种图像处理方法、深度学习模型的训练方法、装置、电子设备和存储介质。


背景技术：

2.随着人工智能技术的发展，图像处理技术不断地被完善。例如，基于人工智能技术，可以调整原图像中对象的光照效果。


技术实现要素：

3.本公开提供了一种图像处理方法、深度学习模型的训练方法、装置、设备以及存储介质。
4.根据本公开的一方面，提供了一种图像处理方法，该方法包括：对原图像的初始亮度通道图像进行编码，得到初始亮度通道图像的第一编码结果，其中，第一编码结果包括第一亮度图像特征；根据目标球谐系数和第一编码结果，得到目标亮度通道图像；以及将目标亮度通道图像与原图像的初始色度通道图像融合，得到目标图像。
5.根据本公开的另一方面，提供了一种深度学习模型的训练方法，深度学习模型包括编码网络和解码网络，该方法包括：将样本图像的初始亮度通道样本图像输入编码网络，得到初始亮度通道样本图像的第一样本编码结果，其中，第一样本编码结果包括第一样本球谐系数；将第一样本编码结果输入解码网络，得到输出亮度通道图像；将输出亮度通道图像和样本图像的初始色度通道样本图像融合，得到输出图像；以及根据输出图像、输出亮度通道图像和第一样本球谐系数中的至少一个，训练深度学习模型。
6.根据本公开的另一方面，提供了一种图像处理装置，该装置包括：编码模块，用于对原图像的初始亮度通道图像进行编码，得到初始亮度通道图像的第一编码结果，其中，第一编码结果包括第一亮度图像特征；第一获得模块，用于根据目标球谐系数和第一编码结果，得到目标亮度通道图像；以及第一融合模块，用于将目标亮度通道图像与原图像的初始色度通道图像融合，得到目标图像。
7.根据本公开的另一方面，提供了一种深度学习模型的训练装置，该装置包括：编码模块，用于对原图像的初始亮度通道图像进行编码，得到初始亮度通道图像的第一编码结果，其中，第一编码结果包括第一亮度图像特征；第一获得模块，用于根据目标球谐系数和第一编码结果，得到目标亮度通道图像；以及第一融合模块，用于将目标亮度通道图像与原图像的初始色度通道图像融合，得到目标图像。
8.根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行根据本公开提供的方法。
9.根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储
介质，该计算机指令用于使计算机执行根据本公开提供的方法。
10.根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现根据本公开提供的方法。
11.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
12.附图用于更好地理解本方案，不构成对本公开的限定。其中：
13.图1是根据本公开的一个实施例的深度学习模型的训练方法的流程图；
14.图2是根据本公开的一个实施例的深度学习模型的示意图；
15.图3是根据本公开的一个实施例的图像处理方法的流程图；
16.图4是根据本公开的一个实施例的深度学习模型的示意图；
17.图5是根据本公开的一个实施例的深度学习模型的训练装置的框图；
18.图6是根据本公开的一个实施例的图像处理装置的框图；以及
19.图7是根据本公开的一个实施例的可以应用图像处理方法和/或深度学习模型的训练方法的电子设备的框图。
具体实施方式
20.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
21.在脸部图像的处理过程中，可以调整图像的光照情况，使得图像光照均衡化。在采集图像的过程中，曝光不佳或背光可以导致图像光照情况不佳。由此，在光照不佳的情况下，在对脸部图像进行检测、关键点定位、识别或跟踪等处理之后，获得的处理结果的精度不佳。
22.在一些实施例中，可以利用二维脸部图像进行三维脸部图像重建。在重建过程中，可以基于二维图像的信息生成纹理贴图。在三维图像的渲染阶段，可以设置图像的光照参数，以便确定三维脸部图像的光照效果。
23.在一些实施例中，可以将蓝绿红(blue green red，bgr)图像空间的二维图像转换为yuv空间或lab空间。对转换后的二维图像的亮度通道(例如y通道)图像进行均衡化操作。然而，对二维图像的亮度通道图像进行均衡化处理，难以深度挖掘曝光不佳或背光的本质信息来源。在对亮度通道的均衡化处理过程中，可能也处理了与色度相关的通道(例如u通道和v通道)图像，进而有可能改变脸部的肤色。此外，亮度信息难以从颜色中剥离出，导致直接对二维图像的亮度通道图像进行处理之后，图像的光照效果难以得到有效的提高。
24.图1是根据本公开的一个实施例的深度学习模型的训练方法的流程图。
25.如图1所示，该方法100可以包括操作s110至操作s140。
26.在本公开实施例中，深度学习模型可以包括编码网络和解码网络。例如，编码网络可以为基于样式的生成对抗网络(style-based generative adversarial networks，
stylegan)模型的编码器。解码网络可以为基于样式的生成对抗网络模型的解码器。
27.在操作s110，将样本图像的初始亮度通道样本图像输入编码网络，得到初始亮度通道样本图像的第一样本编码结果。
28.在本公开实施例中，样本图像中可以包括样本对象。例如，样本对象可以具有面部、头部等等。又例如，样本对象可以是人、动物、机器人等各种对象。
29.在本公开实施例中，样本图像可以是bgr图像空间的图像，也可以是yuv图像空间的图像。例如，若样本图像为yuv图像空间的图像，可以将样本图像的y通道图像作为初始亮度通道样本图像。又例如，若样本图像为bgr图像空间的图像，可以将样本图像转换至yuv图像空间，再将转换后的样本图像的y通道图像作为初始亮度通道样本图像。
30.在本公开实施例中，第一样本编码结果可以包括第一样本球谐系数。可以理解，样本球谐系数可以反映出样本图像的光照情况。例如，第一样本球谐系数可以是9维的。
31.在操作s120，将第一样本编码结果输入解码网络，得到输出亮度通道图像。
32.例如，解码网络可以对第一样本编码结果进行解码。解码结果可以包括输出亮度通道图像。
33.在操作s130，将输出亮度通道图像和样本图像的初始色度通道样本图像融合，得到输出图像。
34.例如，样本图像的初始色度通道样本图像可以包括样本图像的u通道图像和v通道图像。将初始色度通道样本图像和输出亮度通道图像融合，可以得到输出图像。
35.在操作s140，根据输出图像、输出亮度通道图像和第一样本球谐系数中的至少一个，训练深度学习模型。
36.在本公开实施例中，基于有监督训练方式和无监督训练方式中的至少一种，可以训练深度学习模型。
37.例如，样本图像可以与标签图像对应。标签图像也可以包括上述的样本对象。样本图像和标签图像中样本对象可以一致。样本图像中样本对象的光照情况与标签图像中样本对象的光照情况可以不一致。又例如，以根据输出图像训练深度学习模型为示例，可以根据输出图像和标签图像，确定一个损失，利用该损失来调整深度学习模型的参数，使得该损失收敛。
38.通过本公开实施例，利用编码网络获取了样本图像的亮度通道图像的球谐系数。该球谐系数主要与样本图像的亮度通道图像相关，与色度通道图像(例如u通道图像和v通道图像)的关联性很低。由此，可以从样本图像的颜色信息中的充分地提取出样本图像的亮度信息。进而，在后续的处理过程中，可以有效地处理样本图像的亮度信息，降低了对样本图像的色度信息的影响。
39.通过本公开实施例，可以高效的调整样本图像的光照情况。此外，在调整过程中，也可以至少保持样本图像中样本对象的肤色稳定，使得输出图像中样本对象的肤色与样本图像中样本对象的肤色之间的差异大幅降低。
40.可以理解，上文对本公开的深度学习模型的训练方法进行了说明，下面将结合图2对本公开训练方法进行进一步说明。
41.图2是根据本公开的一个实施例的深度学习模型的示意图。
42.在一些实施例中，深度学习模型还可以包括卷积网络。例如，如图2所示，深度学习
模型可以包括编码网络210、卷积网络220和解码网络230。例如，卷积网络可以是卷积神经网络(convolutional neural network，cnn)。
43.在一些实施例中，样本图像包括与第一样本光照信息相关的样本对象，标签图像包括与第二样本光照信息相关的样本对象。例如，第一样本光照信息可以包括第一样本光照角度。第二样本光照信息可以包括第二样本光照角度。第一样本光照角度和第二样本光照角度可以不同。又例如，针对样本对象，可以按照多个预设的光照角度，采集多个图像。从这些图像中随机筛选两个图像，分别作为样本图像和标签图像。通过本公开实施例，在标签图像和样本图像中，样本对象的光照情况不同。经样本图像和标签图像训练之后，深度学习模型输出的图像中对象的光照情况，可以与输入图像不同。由此，经训练的深度学习模型可以高效地调整输入图像中对象的光照效果。
44.在一些实施例中，样本图像可以是bgr图像空间的图像。例如，可以将样本图像201转换至yuv图像空间。接下来，可以获取样本图像201的y通道图像，作为初始亮度通道样本图像2011，也可以获取样本图像201的u通道图像和v通道图像，作为初始色度通道样本图像2012。
45.在一些实施例中，在上述的操作s110的一些实施方式中，可以将初始亮度通道样本图像2011输入编码网络110，得到第一样本编码结果。第一样本编码结果可以包括第一样本球谐系数211和第一样本亮度图像特征。
46.在一些实施例中，在上述的操作s120的一些实施方式中，将第一样本编码结果输入解码网络，得到输出亮度通道图像包括：将第一样本编码结果输入卷积网络，得到第二样本编码结果。将第二样本编码结果输入解码网络，得到输出亮度通道图像。
47.在本公开实施例中，第二样本编码结果可以包括第二样本球谐系数。例如，可以将第一编码结果输入卷积网络220，得到第二样本编码结果。第二样本编码结果可以包括第二样本球谐系数221和第二样本亮度图像特征。接下来，可以将第二样本编码结果输入解码网络230，得到输出亮度通道图像231。通过本公开实施例，利用卷积网络对第一样本编码结果进行了卷积处理，可以进一步提取样本图像的亮度信息，使得第二样本编码结果与样本图像的亮度信息关联性更高，以便更加灵活地调整图像的光照情况，而不影响图像的色度。
48.在一些实施例中，在上述的操作s130的一些实施方式中，将输出亮度通道图像和样本图像的初始色度通道样本图像融合，得到输出图像可以包括：将输出亮度通道图像和初始色度通道样本图像融合，得到样本融合图像。将样本融合图像转换至蓝绿红图像空间，得到输出图像。例如，可以将输出亮度通道图像231和初始色度通道样本图像2012融合，得到样本融合图像。可以理解，样本融合图像可以是yuv图像空间的图像。可以将样本融合图像转换至bgr图像空间，得到输出图像244。
49.在一些实施例中，在上述的操作s140的一些实施方式中，根据输出图像、输出亮度通道图像和第一样本球谐系数中的至少一个，训练深度学习模型包括：根据输出图像、输出亮度通道图像、第一样本球谐系数和第二样本球谐系数中的至少一个，训练深度学习模型。
50.在本公开实施例中，根据第一样本球谐系数，可以得到第一损失。例如，利用预设函数处理样本图像，得到第一球谐系数标签。根据第一球谐系数标签和第一样本球谐系数，得到第一损失。又例如，预设函数可以是球谐函数(spherical harmonics)。利用球谐函数处理样本图像201，可以得到一个9维的球谐系数，作为第一球谐系数标签241。接下来，可以
基于各种损失函数，根据第一球谐系数标签241和第一样本球谐系数211，得到第一损失251。通过本公开实施例，将样本图像的球谐函数处理结果作为标签，来训练深度学习模型。由此，经训练的深度学习模型的编码网络可以准确地输出与图像亮度信息高度相关的球谐系数。
51.在本公开实施例中，根据第二样本球谐系数，可以得到第二损失。例如，利用预设函数处理样本图像的标签图像，得到第二球谐系数标签。根据第二球谐系数标签和第二样本球谐系数，得到第二损失。又例如，可以利用球谐函数处理标签图像202，可以得到另一个9维的球谐系数，作为第二球谐系数标签242。接下来，可以基于各种损失函数，根据第二球谐系数标签242和第二样本球谐系数221，得到第二损失252。通过本公开实施例，将标签图像的球谐函数处理结果作为标签，来训练深度学习模型。由此，经训练的深度学习模型可以将标签图像的部分或全部光照信息迁移至样本图像。
52.在本公开实施例中，根据输出亮度通道图像，可以得到第三损失。例如，根据样本图像的标签图像，可以得到亮度通道标签图像。根据亮度通道标签图像和输出亮度通道图像，得到第三损失。又例如，标签图像202也可以是bgr图像空间的图像。可以将标签图像202转换至yuv图像空间。接下来，可以获取标签图像201的y通道图像，作为亮度通道标签图像243。接下来，可以基于各种损失函数，根据亮度通道标签图像243和输出亮度通道图像231，得到第三损失253。通过本公开实施例，将标签图像的亮度通道图像结果作为标签，来训练深度学习模型。由此，经训练的深度学习模型可以将更加准确地将标签图像的光照信息迁移至样本图像。
53.在本公开实施例中，根据输出图像，可以得到第四损失。例如，根据输出图像和样本图像的标签图像，得到第四损失。又例如，可以基于各种损失函数，根据输出图像244和标签图像202，得到第四损失254。通过本公开实施例，将标签图像作为标签，来训练深度学习模型，标签图像与样本图像的样本对象可以相同，二者各自的光照信息不同。由此，经训练的深度学习模型可以将更加准确地将标签图像的光照信息迁移至样本图像。
54.在本公开实施例中，根据第一损失、第二损失、第三损失和第四损失，可以得到总损失。例如，根据第一损失251、第二损失252、第三损失253和第四损失254，可以进行各种运算(例如求和运算)，可以得到总损失255。
55.在本公开实施例中，可以调整深度学习模型的参数，使得总损失收敛。例如，可以调整深度学习模型200中的编码网络210、卷积网络220和解码网络230的参数。再进行i个轮次的训练，分别得到i个总损失。i为大于1的整数。若第i个轮次的总损失小于或等于第i-1个轮次的总损失且第i个轮次的总损失小于或等于第i+1个轮次的总损失，可以确定在i个轮次训练后，总损失收敛。i可以为大于1且小于i的整数。接下来，可以更换样本图像，重复上述过程。可以理解，在利用预设数量的样本图像训练深度学习模型之后，可以结束训练。
56.可以理解，上文根据第一损失至第四损失，确定了总损失。但本公开不限于此，在本公开实施例中，可以根据输出图像、输出亮度通道图像、第一样本球谐系数和第二样本球谐系数中的至少一个，训练深度学习模型。例如，可以根据第一损失、第二损失、第三损失和第四损失中的至少一个，得到总损失。根据总损失，可以调整深度学习模型的参数。
57.可以理解，上文对本公开的深度学习模型的训练方法进行了说明，下面将对本公开的图像处理方法进行说明。
58.图3是根据本公开的一个实施例的图像处理方法的流程图。
59.如图3所示，该方法300可以包括操作s310至操作s330。
60.在操作s310，对原图像的初始亮度通道图像进行编码，得到初始亮度通道图像的第一编码结果。
61.在本公开实施例中，原图像中可以包括目标对象。例如，目标对象可以具有面部、头部等等。又例如，目标对象可以是人、动物、机器人等各种对象。
62.在本公开实施例中，原图像可以是bgr图像空间的图像，也可以是yuv图像空间的图像。例如，若原图像为yuv图像空间的图像，可以将原图像的y通道图像作为初始亮度通道图像。又例如，若原图像为bgr图像空间的图像，可以将原图像转换至yuv图像空间，再将转换后的原图像的y通道图像作为亮度通道图像。
63.在本公开实施例中，第一编码结果包括第一亮度图像特征。可以理解，可以利用各种方式进行编码。第一亮度图像特征可以与初始亮度通道图像中的信息相关。
64.在操作s320，根据目标球谐系数和第一编码结果，得到目标亮度通道图像。
65.在本公开实施例中，目标球谐系数可以是用户输入的。例如，目标球谐系数可以与用户期望的图像光照情况相关。又例如，目标球谐系数可以是9维的。
66.在本公开实施例中，可以对目标球谐系数和第一编码结果中的第一亮度图像特征进行解码，得到解码结果。解码结果可以包括目标亮度通道图像。可以理解，可以利用各种方式进行解码。
67.在操作s330，将目标亮度通道图像与原图像的初始色度通道图像融合，得到目标图像。
68.在本公开实施例中，原图像的初始色度通道图像可以包括原图像的u通道图像和v通道图像。将初始色度通道图像和目标亮度通道图像融合，可以得到目标图像。
69.通过本公开实施例，利用编码网络获取了原图像的亮度通道图像的球谐系数。该球谐系数主要与原图像的亮度通道图像相关，与色度通道图像(例如u通道图像和v通道图像)的关联性很低。由此，可以从原图像的颜色信息中的充分地提取出样本图像的亮度信息。进而，在后续的处理过程中，可以有效地处理原图像的亮度信息，降低了对原图像的色度信息的影响。
70.通过本公开实施例，可以高效地调整原图像的光照效果。此外，在调整过程中，也可以至少保持原图像中目标对象的肤色稳定，使得目标图像中目标对象的肤色与原图像中目标对象的肤色的差异大幅降低。
71.此外，通过本公开实施例，可以利用用户提供的目标球谐系数，改变原图像的光照情况。由此，降低了调整图像光照所需的门槛，提高了用户体验，提升了相关产品的竞争力。
72.可以理解，可以利用各种方式进行编码和解码，来获取编码结果和解码结果。在本公开实施例中，可以利用一深度学习模型进行编码和解码，下面将进行详细说明。
73.图4是根据本公开的一个实施例的深度学习模型的示意图。
74.在一些实施例中，深度学习模型可以包括编码网络、卷积网络和解码网络。例如，如图4所示，深度学习模型可以包括编码网络410、卷积网络420和解码网络430。又例如，编码网络410可以为基于样式的生成对抗网络模型的编码器。解码网络可以为基于样式的生成对抗网络模型的解码器。
75.在一些实施例中，原图像可以是bgr图像空间的图像。例如，可以将原图像401转换至yuv图像空间。接下来，可以获取原图像401的y通道图像，作为初始亮度通道图像4011，也可以获取原图像201的u通道图像和v通道图像，作为初始色度通道图像4012。
76.在一些实施例中，在上述的操作s310的一些实施方式中，将初始亮度通道图像输入编码网络，可以得到第一编码结果。例如，可以将初始亮度通道图像4011输入编码网络410，得到第一编码结果。第一编码结果可以包括第一球谐系数411和第一亮度图像特征412。
77.在一些实施例中，在上述的操作s320的一些实施方式中，根据目标球谐系数和第一编码结果，得到目标亮度通道图像可以包括：对第一编码结果进行卷积，得到初始亮度通道图像的第二编码结果。根据目标球谐系数和第二编码结果，得到目标亮度通道图像。
78.在本公开实施例中，将第一编码结果输入卷积网络，可以得到第二编码结果。例如，可以将第一编码结果输入卷积网络420，得到第二编码结果。第二编码结果可以包括第二亮度图像特征422和第二球谐系数421。通过本公开实施例，利用卷积网络对第一编码结果进行了卷积处理，可以进一步提取原图像的亮度信息，使得第二球谐系数与原图像的亮度信息关联性更高，以便进行后续处理。
79.在本公开实施例中，根据目标球谐系数和第二编码结果，得到目标亮度通道图像可以包括：利用目标球谐系数替换第二编码结果中的第二球谐系数，可以得到第三编码结果。例如，可以利用目标球谐系数403替换第二编码结果中的第二球谐系数421，得到第三编码结果。第三编码结果可以包括第二亮度图像特征422和目标球谐系数403。
80.在本公开实施例中，根据目标球谐系数和第二编码结果，得到目标亮度通道图像还可以包括：对第三编码结果进行解码，可以得到目标亮度通道图像。例如，将第三编码结果输入解码网络430，可以得到目标亮度通道图像431。第二球谐系数原图像的亮度信息关联性较高。通过本公开实施例，将第二球谐系数替换为目标球谐系数，并利用解码网络对包含目标球谐系数和第二亮度图像特征的编码结果进行了解码，可以提高目标亮度通道图像与目标球谐系数之间的关联性，可以有效地利用目标球谐系数来调整原图像中目标对象的光照情况。
81.在一些实施例中，在上述的操作s330的一些实施方式中，将目标亮度通道图像与原图像的初始色度通道图像融合，得到目标图像可以包括：将目标亮度通道图像和初始色度通道图像融合，得到融合图像。将融合图像转换至蓝绿红图像空间，得到目标图像。例如，可以将目标亮度通道图像431和初始色度通道图像4012融合，得到融合图像。可以理解，融合图像可以是yuv图像空间的图像。可以将融合图像转换至bgr图像空间，得到目标图像444。
82.在一些实施例中，原图像包括与初始光照信息相关的目标对象，目标图像包括与目标光照信息相关的目标对象。例如，初始光照信息可以包括初始光照角度。目标光照信息可以包括目标光照角度。初始光照角度和目标光照角度可以不同。
83.在一些实施例中，上述的编码网络、卷积网络和解码网络中的至少一个可以是利用方法100训练的。例如，上述的编码网络410、卷积网络420和解码网络430可以是经训练的编码网络210、卷积网络220和解码网络230。
84.可以理解，上文利用目标球谐系数替换了第二编码结果中的第二球谐系数。但本
公开不限于此，在本公开实施例中，也可以利用目标球谐系数替换第一编码结果中的第一球谐系数，下面将进行详细说明。
85.在另一些实施例中，第一编码结果还包括第一球谐系数，根据目标球谐系数和第一编码结果，得到目标亮度通道图像可以包括：利用目标球谐系数替换第一编码结果中的第一球谐系数，得到第四编码结果。对第四编码结果进行卷积，得到卷积后的第四编码结果。对卷积后的第四编码结果进行解码，得到目标亮度通道图像。例如，第四编码结果可以包括目标球谐系数和第一亮度图像特征。将第四编码结果输入卷积网络，可以得到卷积后的第四编码结果。将卷积后的第四编码结果输入解码网络，可以得到解码结果。该解码结果中可以包括目标亮度通道图像。将该目标亮度通道图像与初始色度通道图像融合，再进行图像空间转换，可以得到目标图像。通过本公开实施例，将第一球谐系数替换为目标球谐系数，并对包含第一球谐系数和第一亮度图像特征的编码结果进行了进一步地卷积和解码处理，可以使得目标图像中目标对象的光照效果更加协调，有助于提高图像质量。
86.图5是根据本公开的一个实施例的图像处理装置的框图。
87.如图5所示，该装置500可以包括编码模块510、第一获得模块520和第一融合模块530。
88.编码模块510，用于对原图像的初始亮度通道图像进行编码，得到初始亮度通道图像的第一编码结果。例如，第一编码结果包括第一亮度图像特征；
89.第一获得模块520，用于根据目标球谐系数和第一编码结果，得到目标亮度通道图像。
90.第一融合模块530，用于将目标亮度通道图像与原图像的初始色度通道图像融合，得到目标图像。
91.在一些实施例中，第一获得模块包括：第一卷积子模块，用于对第一编码结果进行卷积，得到初始亮度通道图像的第二编码结果。第一获得子模块，用于根据目标球谐系数和第二编码结果，得到目标亮度通道图像。
92.在一些实施例中，第一融合模块包括：第一融合子模块，用于将目标亮度通道图像和初始色度通道图像融合，得到融合图像。第一转换子模块，用于将融合图像转换至蓝绿红图像空间，得到目标图像。
93.在一些实施例中，第二编码结果包括第二球谐系数和第二亮度图像特征。第一获得子模块包括：替换单元，用于利用目标球谐系数替换第二编码结果中的第二球谐系数，得到第三编码结果。解码单元，用于对第三编码结果进行解码，得到目标亮度通道图像。
94.在一些实施例中，第一编码结果还包括第一球谐系数，第一获得模块包括：替换子模块，用于利用目标球谐系数替换第一编码结果中的第一球谐系数，得到第四编码结果。第二卷积子模块，用于对第四编码结果进行卷积，得到卷积后的第四编码结果。解码子模块，用于对卷积后的第四编码结果进行解码，得到目标亮度通道图像。
95.在一些实施例中，编码模块包括：第二获得子模块，用于将初始亮度通道图像输入编码网络，得到第一编码结果。
96.在一些实施例中，第一卷积子模块包括：第一获得单元，用于将第一编码结果输入卷积网络，得到第二编码结果。
97.在一些实施例中，解码子模块包括：第二获得单元，用于将第四编码结果输入解码
网络，得到目标亮度通道图像。
98.在一些实施例中，原图像包括与初始光照信息相关的目标对象，目标图像包括与目标光照信息相关的目标对象。
99.图6是根据本公开的另一个实施例的深度学习模型的训练装置的框图。
100.如图6所示，该装置600可以包括第二获得模块610、第三获得模块620、第二融合模块630和训练模块640。深度学习模型包括编码网络和解码网络。
101.第二获得模块610，用于将样本图像的初始亮度通道样本图像输入编码网络，得到初始亮度通道样本图像的第一样本编码结果。例如，第一样本编码结果包括第一样本球谐系数；
102.第三获得模块620，用于将第一样本编码结果输入解码网络，得到输出亮度通道图像。
103.第二融合模块630，用于将输出亮度通道图像和样本图像的初始色度通道样本图像融合，得到输出图像。
104.训练模块640，用于根据输出图像、输出亮度通道图像和第一样本球谐系数中的至少一个，训练深度学习模型。
105.在一些实施例中，深度学习模型还包括卷积网络。第三获得模块包括：第三获得子模块，用于将第一样本编码结果输入卷积网络，得到第二样本编码结果。例如，第二样本编码结果包括第二样本球谐系数。第四获得子模块，用于将第二样本编码结果输入解码网络，得到输出亮度通道图像。
106.在一些实施例中，第二融合模块包括：第二融合子模块，用于将输出亮度通道图像和初始色度通道样本图像融合，得到样本融合图像。第二转换子模块，用于将样本融合图像转换至蓝绿红图像空间，得到输出图像。
107.在一些实施例中，训练模块包括：训练子模块，用于根据输出图像、输出亮度通道图像、第一样本球谐系数和第二样本球谐系数中的至少一个，训练深度学习模型。
108.在一些实施例中，训练子模块包括以下单元至少之一：第三获得单元，用于根据第一样本球谐系数，得到第一损失。第四获得单元，用于根据第二样本球谐系数，得到第二损失。第五获得单元，用于根据输出亮度通道图像，得到第三损失。第六获得单元，用于根据输出图像，得到第四损失。
109.在一些实施例中，训练子模块还包括：第七获得单元，用于根据第一损失、第二损失、第三损失和第四损失中的至少一个，得到总损失。调整单元，用于调整深度学习模型的参数，使得总损失收敛，以训练深度学习模型。
110.在一些实施例中，第三获得单元包括：第一处理子单元，用于利用预设函数处理样本图像，得到第一球谐系数标签。第一获得子单元，用于根据第一球谐系数标签和第一样本球谐系数，得到第一损失。
111.在一些实施例中，第四获得单元包括：第二处理子单元，用于利用预设函数处理样本图像的标签图像，得到第二球谐系数标签。第二获得子单元，用于根据第二球谐系数标签和第二样本球谐系数，得到第二损失。
112.在一些实施例中，第五获得单元包括：第三获得子单元，用于根据样本图像的标签图像，得到亮度通道标签图像。第四获得子单元，用于根据亮度通道标签图像和输出亮度通
道图像，得到第三损失。
113.在一些实施例中，第六获得单元包括：第五获得子单元，用于根据输出图像和样本图像的标签图像，得到第四损失。
114.在一些实施例中，样本图像包括与第一样本光照信息相关的样本对象，标签图像包括与第二样本光照信息相关的样本对象。
115.本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
116.根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
117.图7示出了可以用来实施本公开的实施例的示例电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
118.如图7所示，设备700包括计算单元701，其可以根据存储在只读存储器(rom)702中的计算机程序或者从存储单元708加载到随机访问存储器(ram)703中的计算机程序，来执行各种适当的动作和处理。在ram 703中，还可存储设备700操作所需的各种程序和数据。计算单元701、rom 702以及ram 703通过总线704彼此相连。输入/输出(i/o)接口705也连接至总线704。
119.设备700中的多个部件连接至i/o接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
120.计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如图像处理方法和/或深度学习模型的训练方法。例如，在一些实施例中，图像处理方法和/或深度学习模型的训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由rom 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到ram 703并由计算单元701执行时，可以执行上文描述的图像处理方法和/或深度学习模型的训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像处理方法和/或深度学习模型的训练方法。
121.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、复杂可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算
机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
122.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
123.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
124.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)显示器或者lcd(液晶显示器))；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
125.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
126.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
127.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
128.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。