一种阴影生成模型训练方法、装置、设备及存储介质与流程

本技术涉及图像处理，具体而言，涉及一种阴影生成模型训练方法、装置、设备及存储介质。

背景技术：

1、基于深度学习的图像阴影去除技术的成功需要建立在成对图像组成的大规模训练数据集的基础上，其中，训练数据集的成对图像中包括阴影图像和相应的无阴影图像。然而，捕获和收集这样大规模的训练数据集是耗时且困难的。

2、虽然现在已经存在，无需阴影图像就可得到训练数据集的方法。但是，利用现有技术构建得到的训练数据集质量低下，进而影响利用训练数据集训练得到的去阴影模型的性能，即使图像去阴影的精确度低下。

3、所以，如何提高训练数据集的质量，进而提高图像去阴影的精确度是当前亟待解决的问题。

技术实现思路

1、本技术的目的在于，针对上述现有技术中的不足，提供一种阴影生成模型训练方法、装置、设备及存储介质，可以提高训练数据集的质量，进而提高图像去阴影的精确度。

2、为实现上述目的，本技术实施例采用的技术方案如下：

3、第一方面，本技术实施例提供了一种阴影生成模型训练方法，所述方法包括：

4、将阴影图像输入初始伪阴影生成模型中的初始编码器中进行编码，得到阴影特征，并将无阴影图像输入所述初始编码器中进行编码，得到无阴影特征，其中，所述阴影图像和所述无阴影图像来自同一原始阴影图像；

5、将所述阴影特征以及所述无阴影图像同时输入所述初始伪阴影生成模型中的初始生成器中进行解码，得到第一图像，并将所述无阴影特征以及所述阴影图像同时输入所述初始生成器中进行解码，得到第二图像；

6、将所述第一图像以及所述阴影图像分别输入阴影鉴别器中，得到第一阴影鉴别结果以及第二阴影鉴别结果，并将所述第二图像以及所述无阴影图像分别输入无阴影鉴别器中，得到第一无阴影鉴别结果以及第二无阴影鉴别结果；

7、根据所述第一阴影鉴别结果、所述第二阴影鉴别结果、所述第一无阴影鉴别结果以及所述第二无阴影鉴别结果，对所述初始伪阴影生成模型中的模型参数进行修正，训练得到目标伪阴影生成模型，所述目标伪阴影生成模型中包括目标编码器以及目标生成器。

8、可选地，所述根据所述第一阴影鉴别结果、所述第二阴影鉴别结果、所述第一无阴影鉴别结果以及所述第二无阴影鉴别结果，对所述初始伪阴影生成模型中的模型参数进行修正，训练得到目标伪阴影生成模型，包括：

9、根据所述第一阴影鉴别结果、所述第二阴影鉴别结果、所述第一无阴影鉴别结果以及所述第二无阴影鉴别结果，确定鉴别器损失信息；

10、分别提取所述第一图像、所述无阴影图像、所述第二图像以及所述阴影图像分别在颜色空间的通道信息，得到第一通道信息、第二通道信息、第三通道信息以及第四通道信息；

11、根据所述第一通道信息、所述第二通道信息、所述第三通道信息以及所述第四通道信息，确定颜色损失信息；

12、根据所述鉴别器损失信息以及所述颜色损失信息，确定所述初始伪阴影生成模型的损失信息；

13、根据所述损失信息，对所述初始伪阴影生成模型中的模型参数进行修正，训练得到目标伪阴影生成模型。

14、可选地，所述根据所述鉴别器损失信息以及所述颜色损失信息，确定所述初始伪阴影生成模型的损失信息，包括：

15、将所述第一图像输入所述初始编码器中，得到第一特征，并将所述第一特征以及所述阴影特征作为第一损失函数的参数，得到第一损失；

16、将所述第二图像输入所述初始编码器中，得到第二特征，并将所述第二特征以及所述无阴影特征作为所述第一损失函数的参数，得到第二损失；

17、将所述第一损失与所述第二损失相加，得到阴影特征损失信息；

18、根据所述鉴别器损失信息、所述颜色损失信息以及所述阴影特征损失信息，确定所述初始伪阴影生成模型的损失信息。

19、可选地，所述根据所述鉴别器损失信息、所述颜色损失信息以及所述阴影特征损失信息，确定所述初始伪阴影生成模型的损失信息，包括：

20、将所述阴影特征以及所述第二图像同时输入所述初始生成器中，得到第三图像；

21、将所述无阴影特征以及所述第一图像同时输入所述初始生成器中，得到第四图像；

22、根据所述阴影图像、所述无阴影图像、所述第三图像以及所述第四图像，确定循环自重建损失信息；

23、根据所述鉴别器损失信息、所述颜色损失信息、所述阴影特征损失信息以及所述循环自重建损失信息，确定所述初始伪阴影生成模型的损失信息。

24、可选地，所述根据所述阴影图像、所述无阴影图像、所述第三图像以及所述第四图像，确定循环自重建损失信息，包括：

25、将所述阴影图像以及所述第三图像作为第一损失函数的参数，得到第三损失；

26、将所述无阴影图像以及所述第四图像作为第一损失函数的参数，得到第四损失；

27、将所述第三损失与所述第四损失相加，得到所述循环自重建损失信息。

28、可选地，所述根据所述鉴别器损失信息以及所述颜色损失信息，确定所述初始伪阴影生成模型的损失信息，包括：

29、将所述阴影图像以及所述阴影特征同时输入所述初始生成器中，得到第五图像；

30、根据第一损失函数、关注频率损失函数、所述阴影图像以及所述第五图像，确定第五损失；

31、将所述无阴影图像以及所述无阴影特征同时输入所述初始生成器中，得到第六图像；

32、根据第一损失函数、关注频率损失函数、所述无阴影图像以及所述第六图像，确定第六损失；

33、将所述第五损失与所述第六损失相加，得到自重建损失信息；

34、根据所述自重建损失信息、所述鉴别器损失信息以及所述颜色损失信息，确定所述初始伪阴影生成模型的损失信息。

35、可选地，所述方法还包括：

36、对样本原始阴影图像进行分割处理，得到样本原始阴影图像中阴影部分对应的样本阴影图像以及无阴影部分对应的样本无阴影图像；

37、将分别将所述样本阴影图像以及所述样本无阴影图像输入所述目标伪阴影生成模型中，得到所述样本无阴影图像对应的样本伪阴影图像，将所述样本无阴影图像和所述样本伪阴影图像加入训练数据集中；

38、将所述训练数据集中的样本伪阴影图像输入初始去阴影模型中的第一网络中，得到第一去阴影结果；

39、根据所述第一去阴影结果、所述样本原始阴影图像以及所述初始去阴影模型中的第二网络，得到第二去阴影结果，并将所述第二去阴影结果输入所述初始去阴影模型中的第二网络中，得到第三去阴影结果；

40、根据所述第一去阴影结果、所述第三去阴影结果、所述样本伪阴影图像、所述样本原始阴影图像以及所述样本伪阴影图像对应的阴影掩膜，确定去阴影损失信息；

41、根据所述去阴影损失信息，对所述初始去阴影模型中的模型参数进行修订，训练得到目标去阴影模型。

42、第二方面，本技术实施例还提供了一种阴影生成模型训练装置，所述装置包括：

43、编码模块，用于将阴影图像输入初始伪阴影生成模型中的初始编码器中进行编码，得到阴影特征，并将无阴影图像输入所述初始编码器中进行编码，得到无阴影特征，其中，所述阴影图像和所述无阴影图像来自同一原始阴影图像；

44、解码模块，用于将所述阴影特征以及所述无阴影图像同时输入所述初始伪阴影生成模型中的初始生成器中进行解码，得到第一图像，并将所述无阴影特征以及所述阴影图像同时输入所述初始生成器中进行解码，得到第二图像；

45、输入模块，用于将所述第一图像以及所述阴影图像分别输入阴影鉴别器中，得到第一阴影鉴别结果以及第二阴影鉴别结果，并将所述第二图像以及所述无阴影图像分别输入无阴影鉴别器中，得到第一无阴影鉴别结果以及第二无阴影鉴别结果；

46、修订模块，用于根据所述第一阴影鉴别结果、所述第二阴影鉴别结果、所述第一无阴影鉴别结果以及所述第二无阴影鉴别结果，对所述初始伪阴影生成模型中的模型参数进行修正，训练得到目标伪阴影生成模型，所述目标伪阴影生成模型中包括目标编码器以及目标生成器。

47、可选地，所述修订模块，具体用于根据所述第一阴影鉴别结果、所述第二阴影鉴别结果、所述第一无阴影鉴别结果以及所述第二无阴影鉴别结果，确定鉴别器损失信息；分别提取所述第一图像、所述无阴影图像、所述第二图像以及所述阴影图像分别在颜色空间的通道信息，得到第一通道信息、第二通道信息、第三通道信息以及第四通道信息；根据所述第一通道信息、所述第二通道信息、所述第三通道信息以及所述第四通道信息，确定颜色损失信息；根据所述鉴别器损失信息以及所述颜色损失信息，确定所述初始伪阴影生成模型的损失信息；根据所述损失信息，对所述初始伪阴影生成模型中的模型参数进行修正，训练得到目标伪阴影生成模型。

48、可选地，所述装置还包括：确定模块；

49、所述确定模块，用于将所述第一图像输入所述初始编码器中，得到第一特征，并将所述第一特征以及所述阴影特征作为第一损失函数的参数，得到第一损失；将所述第二图像输入所述初始编码器中，得到第二特征，并将所述第二特征以及所述无阴影特征作为所述第一损失函数的参数，得到第二损失；将所述第一损失与所述第二损失相加，得到阴影特征损失信息；根据所述鉴别器损失信息、所述颜色损失信息以及所述阴影特征损失信息，确定所述初始伪阴影生成模型的损失信息。

50、可选地，所述确定模块，具体用于将所述阴影特征以及所述第二图像同时输入所述初始生成器中，得到第三图像；将所述无阴影特征以及所述第一图像同时输入所述初始生成器中，得到第四图像；根据所述阴影图像、所述无阴影图像、所述第三图像以及所述第四图像，确定循环自重建损失信息；根据所述鉴别器损失信息、所述颜色损失信息、所述阴影特征损失信息以及所述循环自重建损失信息，确定所述初始伪阴影生成模型的损失信息。

51、可选地，所述确定模块，还具体用于将所述阴影图像以及所述第三图像作为第一损失函数的参数，得到第三损失；将所述无阴影图像以及所述第四图像作为第一损失函数的参数，得到第四损失；将所述第三损失与所述第四损失相加，得到所述循环自重建损失信息。

52、可选地，所述确定模块，还用于将所述阴影图像以及所述阴影特征同时输入所述初始生成器中，得到第五图像；根据第一损失函数、关注频率损失函数、所述阴影图像以及所述第五图像，确定第五损失；将所述无阴影图像以及所述无阴影特征同时输入所述初始生成器中，得到第六图像；根据第一损失函数、关注频率损失函数、所述无阴影图像以及所述第六图像，确定第六损失；将所述第五损失与所述第六损失相加，得到自重建损失信息；根据所述自重建损失信息、所述鉴别器损失信息以及所述颜色损失信息，确定所述初始伪阴影生成模型的损失信息。

53、可选地，训练模块，用于对样本原始阴影图像进行分割处理，得到样本原始阴影图像中阴影部分对应的样本阴影图像以及无阴影部分对应的样本无阴影图像；将分别将所述样本阴影图像以及所述样本无阴影图像输入所述目标伪阴影生成模型中，得到所述样本无阴影图像对应的样本伪阴影图像，将所述样本无阴影图像和所述样本伪阴影图像加入训练数据集中；将所述训练数据集中的样本伪阴影图像输入初始去阴影模型中的第一网络中，得到第一去阴影结果；根据所述第一去阴影结果、所述样本原始阴影图像以及所述初始去阴影模型中的第二网络，得到第二去阴影结果，并将所述第二去阴影结果输入所述初始去阴影模型中的第二网络中，得到第三去阴影结果；根据所述第一去阴影结果、所述第三去阴影结果、所述样本伪阴影图像、所述样本原始阴影图像以及所述样本伪阴影图像对应的阴影掩膜，确定去阴影损失信息；根据所述去阴影损失信息，对所述初始去阴影模型中的模型参数进行修订，训练得到目标去阴影模型。

54、第三方面，本技术实施例提供了一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当所述电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行上述第一方面的所述阴影生成模型训练方法的步骤。

55、第四方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述第一方面的所述阴影生成模型训练方法的步骤。

56、本技术的有益效果是：

57、本技术实施例提供一种阴影生成模型训练方法、装置、设备及存储介质，该方法包括：将阴影图像输入初始伪阴影生成模型中的初始编码器中进行编码，得到阴影特征，并将无阴影图像输入初始编码器中进行编码，得到无阴影特征；将阴影特征以及无阴影图像同时输入初始伪阴影生成模型中的初始生成器中进行解码，得到第一图像，并将无阴影特征以及阴影图像同时输入初始生成器中进行解码，得到第二图像；将第一图像以及阴影图像分别输入阴影鉴别器中，得到第一阴影鉴别结果以及第二阴影鉴别结果，并将第二图像以及无阴影图像分别输入无阴影鉴别器中，得到第一无阴影鉴别结果以及第二无阴影鉴别结果；根据第一阴影鉴别结果、第二阴影鉴别结果、第一无阴影鉴别结果以及第二无阴影鉴别结果，对初始伪阴影生成模型中的模型参数进行修正，训练得到目标伪阴影生成模型。

58、采用本技术实施例提供的阴影生成模型训练方法，可基于对抗训练，根据与第一图像对应的第一阴影鉴别结果、与阴影图像对应的第二无阴影鉴别结果、与第二图像对应的第一无阴影鉴别结果、与无阴影图像对应的第二无阴影鉴别结果对初始伪阴影生成模型进行训练，在满足训练停止条件时，可训练得到目标伪阴影生成模型。这样可使第一图像接近于阴影图像，即提高训练得到的目标伪阴影生成模型的精确度，在目标伪阴影生成模型的精确度高的前提下，进而可以提高训练数据集的质量，从而可以提高图像去阴影的精确度。