图像跨域转换模型构建方法及图像跨域转换方法与流程

本发明涉及计算机，尤其涉及一种图像跨域转换模型构建方法及图像跨域转换方法。

背景技术：

1、语义分割是给图像的每个像元给予相应的语义类别标签的任务。近年来，得益于卷积神经网络的发展，基于深度学习的语义分割技术在精度表现上极大程度超越传统方法，并在遥感图像中得到了广泛应用。然而，尽管基于深度学习的语义分割技术展现出了压倒性的性能优势以及对场景的理解能力，其自身的一些缺陷也严重阻碍了该技术的应用与发展。卷积神经网络是一种统计方法，其性能与表现很大程度依赖于标注良好的数据集。当一个训练好的模型迁移到另一套数据集上时，模型的表现往往会出现下降，造成这种现象的原因是域间差异(domain gap)的存在。对于遥感图像而言，这种域间差异带来的模型性能下降的影响更为显著。遥感图像由于成像时间、地点、传感器、波段组合、天气情况、获取方式等等方面的差异，域间差异现象非常普遍。如何更高效的解决域间差异的问题也因此成为遥感领域跨域语义分割必须解决的内容。

2、然而在遥感领域，用于语义分割模型训练的遥感图像数据集大多都是无人机数据，遥感图像数据中包含有丰富的深度信息。在图像跨域转换过程中，这些深度信息并没有被充分利用起来，图像跨域转换效果并不理想。

技术实现思路

1、为充分利用遥感图像中的深度信息，提高图像跨域转换效果，本发明提出了一种图像跨域转换模型构建方法及图像跨域转换方法。

2、第一方面，本发明提供了一种图像跨域转换模型构建方法，图像跨域转换模型包括生成器和判别器，生成器包括编码器、第一解码器、第二解码器，方法包括：

3、获取训练数据集，训练数据集包括多个源域图像，以及各源域图像的第一深度信息；

4、分别将各源域图像输入至图像跨域转换模型的编码器，得到各源域图像的特征；

5、分别将各特征输入至第一解码器，得到各特征对应的第二深度信息；

6、分别将各特征输入至第二解码器，得到各源域图像对应的目标域图像；

7、根据各目标域图像，确定各目标域图像的第三深度信息；

8、根据各第一深度信息、各第二深度信息和各第三深度信息，对图像跨域转换模型中的生成器和判别器进行训练，得到训练好的图像跨域转换模型。

9、通过上述方法，将图像中的深度信息引入到图像跨域转换模型中，通过深度信息约束图像跨域转换的过程，使得图像在跨域转换过程中的深度信息保持不变，充分利用了图像中的深度信息，提高了图像跨域转换的效果。

10、在一种可选的实施方式中，根据目标域图像，确定目标域图像的第三深度信息，包括：

11、将目标域图像输入至编码器，得到目标域图像的特征；

12、将目标域图像的特征输入至第一解码器，得到目标域图像的特征对应的第三深度信息。

13、在一种可选的实施方式中，根据各第一深度信息、各第二深度信息和各第三深度信息，对图像跨域转换模型中的生成器和判别器进行训练，得到训练好的图像跨域转换模型，包括：

14、根据各第一深度信息、各第二深度信息和各第三深度信息，计算第一损失函数值；

15、对生成器中的参数和判别器中的参数进行调整，并重新计算图像跨域转换模型中的第一损失函数值，直到第一损失函数值不再下降，得到训练好的图像跨域转换模型。

16、在一种可选的实施方式中，根据各第一深度信息、各第二深度信息和各第三深度信息，计算第一损失函数值，包括：

17、根据各第二深度信息和各第一深度信息，计算第二损失函数值；

18、根据各第三深度信息和各第一深度信息，计算第三损失函数值；

19、获取图像跨域转换模型的生成对抗损失值和循环一致性损失值；

20、将第二损失函数值、第三损失函数值、生成对抗损失值和循环一致性损失值加权求和，得到第一损失函数值。

21、在一种可选的实施方式中，根据各第二深度信息和各第一深度信息，计算第二损失函数值，包括：

22、

23、

24、其中，ldsl(s)为第二损失函数值，zs为第一深度信息，为第二深度信息，l为预设阈值，s为源域。

25、在一种可选的实施方式中，根据各第三深度信息和各第一深度信息，计算第三损失函数值，包括：

26、

27、

28、其中，ldccl(s,t)为第三损失函数值，zs为第一深度信息，为第三深度信息，s为源域，t为目标域。

29、在一种可选的实施方式中，生成器还包括重采样单元，将特征输入至第二解码器，得到源域图像对应的目标域图像，包括：

30、将特征输入至第二解码器，得到初始目标域图像；

31、将源域图像、初始目标域图像输入至重采样单元，得到目标域图像。

32、第二方面，本发明还提供了一种图像跨域转换方法，该方法包括：

33、获取源域图像；

34、将源域图像输入至图像跨域转换模型，得到目标域图像，图像跨域转换模型是通过第一方面或第一方面的任一实施方式中的图像跨域转换模型构建方法得到的。

35、第三方面，本发明还提供了一种计算机设备，包括存储器和处理器，存储器和处理器之间互相通信连接，存储器中存储有计算机指令，处理器通过执行计算机指令，从而执行第一方面或第一方面的任一实施例的图像跨域转换模型构建方法，或，第二方面或第二方面的任一实施例的图像跨域转换方法的步骤。

36、第四方面，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现第一方面或第一方面的任一实施例的图像跨域转换模型构建方法，或，第二方面或第二方面的任一实施例的图像跨域转换方法的步骤。

技术特征：

1.一种图像跨域转换模型构建方法，其特征在于，所述图像跨域转换模型包括生成器和判别器，所述生成器包括编码器、第一解码器、第二解码器，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，根据所述目标域图像，确定所述目标域图像的第三深度信息，包括：

3.根据权利要求1所述的方法，其特征在于，所述根据各所述第一深度信息、各所述第二深度信息和各所述第三深度信息，对所述图像跨域转换模型中的生成器和判别器进行训练，得到训练好的图像跨域转换模型，包括：

4.根据权利要求3所述的方法，其特征在于，所述根据各所述第一深度信息、各所述第二深度信息和各所述第三深度信息，计算第一损失函数值，包括：

5.根据权利要求4所述的方法，其特征在于，所述根据各所述第二深度信息和各所述第一深度信息，计算第二损失函数值，包括：

6.根据权利要求4所述的方法，其特征在于，所述根据各所述第三深度信息和各所述第一深度信息，计算第三损失函数值，包括：

7.根据权利要求1所述的方法，其特征在于，所述生成器还包括重采样单元，将所述特征输入至第二解码器，得到所述源域图像对应的目标域图像，包括：

8.一种图像跨域转换方法，其特征在于，所述方法包括：

9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1-7中任一项所述的图像跨域转换模型构建方法，或，执行权利要求8所述的图像跨域转换方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的图像跨域转换模型构建方法，或，如权利要求8所述的图像跨域转换方法的步骤。

技术总结
本发明涉及计算机技术领域，提供了一种图像跨域转换模型构建方法及图像跨域转换方法。图像跨域转换模型包括生成器和判别器，生成器包括编码器、第一解码器、第二解码器，图像跨域转换模型构建方法包括：获取训练数据集，训练数据集包括多个源域图像，以及源域图像的第一深度信息；分别将源域图像输入至编码器，得到源域图像的特征；分别将特征输入至第一解码器，得到第二深度信息；分别将特征输入至第二解码器，得到目标域图像；根据目标域图像，确定第三深度信息；根据第一深度信息、第二深度信息和第三深度信息，对生成器和判别器进行训练，得到训练好的图像跨域转换模型。通过本发明，充分利用遥感图像中的深度信息，提高图像跨域转换效果。

技术研发人员：金和平,杨磊,周华杰,罗惠恒,胡金艳,张晓萌,姜鹏
受保护的技术使用者：中国长江三峡集团有限公司
技术研发日：
技术公布日：2024/1/15