图像融合模型的训练方法、装置、电子装置和存储介质与流程

本技术涉及图像处理领域，特别是涉及一种图像融合模型的训练方法、装置、电子装置和存储介质。

背景技术：

1、在图像处理领域，经典的图像数据集往往具有数十万张甚至数百万张样本图像，例如coco数据集。但是，上述图像数据集一般用于普通图像的检测，而在安检领域，由于可供训练的安检x光图像尤其是带有违禁品的图像数量较少，在多样性上更是难以满足网络模型的训练需求。

2、为了获取数量充足且样式各异的安检x光样本图像，一般通过图像融合的方式生成样本图像。在相关技术中，基于颜色、纹理等图像信息对待融合图像进行图像融合，但是，上述方法更适用于普通的图像，由于安检x光图像的纹理、颜色等图像信息并不丰富，导致融合后的图像质量不高。而针对安检x光图像，相关技术中还分别获取违禁品图像以及背景图像，从背景图像中直接抠出违禁品区域，用于融合违禁品图像，该方法直接剔除违禁品区域的背景图像部分，导致融合后的图像中局部背景信息缺失。因此，相关技术中的安检x光图像融合后的图像质量较低。

3、针对相关技术中存在的安检x光图像融合后的图像质量较低的技术问题，目前还没有提出有效的解决方案。

技术实现思路

1、在本实施例中提供了一种图像融合模型的训练方法、装置、电子装置和存储介质，以解决相关技术中安检x光图像融合后的图像质量较低的问题。

2、第一个方面，在本实施例中提供了一种图像融合模型的训练方法，包括：

3、获取第一样本图像以及第二样本图像，所述第一样本图像包括需要融合的目标对象，所述第二样本图像包括与所述目标对象关联的目标背景；

4、基于初始图像融合模型中的第一初始网络确定第一损失函数，所述第一初始网络用于提取所述第一样本图像的第一样本特征；

5、基于所述初始图像融合模型中的第二初始网络确定第二损失函数，所述第二初始网络用于提取所述第二样本图像的第二样本特征；

6、基于所述初始图像融合模型中的第三初始网络确定第三损失函数，所述第三初始网络用于对所述第一样本特征以及所述第二样本特征进行融合；

7、基于所述第一损失函数、所述第二损失函数以及所述第三损失函数对所述初始图像融合模型进行训练，得到目标图像融合模型。

8、在其中的一些实施例中，所述基于初始图像融合模型中的第一初始网络确定第一损失函数包括：

9、基于所述第一初始网络，获取所述第一样本特征；

10、对所述第一样本特征进行图像重建，得到第一重建图像；

11、基于所述第一样本图像以及所述第一重建图像，确定所述第一损失函数。

12、在其中的一些实施例中，所述基于所述初始图像融合模型中的第二初始网络确定第二损失函数包括：

13、基于所述第二初始网络，获取所述第二样本特征；

14、对所述第二样本特征进行图像重建，得到第二重建图像；

15、基于所述第二样本图像以及所述第二重建图像，确定所述第二损失函数。

16、在其中的一些实施例中，所述基于所述初始图像融合模型中的第三初始网络确定第三损失函数包括：

17、基于所述第三初始网络，获取所述第一样本图像以及所述第二样本图像中的重合区域；

18、将所述重合区域与所述第一样本图像进行比对，得到第一相似性函数；

19、将所述重合区域与所述第二样本图像进行比对，得到第二相似性函数；

20、基于所述第一相似性函数以及所述第二相似性函数，确定所述第三损失函数。

21、在其中的一些实施例中，所述基于所述第一损失函数、所述第二损失函数以及所述第三损失函数对所述初始图像融合模型进行训练包括：

22、将所述第一损失函数、所述第二损失函数以及所述第三损失函数进行加权求和，确定目标损失函数；

23、基于所述目标损失函数对所述初始图像融合模型进行训练。

24、在其中的一些实施例中，所述对所述第一样本特征以及所述第二样本特征进行融合包括：

25、基于所述第一样本特征以及所述第二样本特征，确定所述第一样本图像以及所述第二样本图像的重合区域；

26、对所述重合区域进行归一化处理，生成融合结果；

27、对所述融合结果进行图像重建，得到融合样本图像。

28、在其中的一些实施例中，所述对所述重合区域进行归一化处理包括：

29、基于所述第一样本特征，确定所述第一样本图像的掩膜图像；

30、基于所述掩膜图像、所述第一样本特征以及所述第二样本特征，确定归一化参数；

31、基于所述归一化参数，对所述重合区域进行归一化处理。

32、在其中的一些实施例中，所述得到目标图像融合模型之后还包括：

33、获取第一待融合图像以及第二待融合图像，所述第一待融合图像包括融合目标，所述第二待融合图像包括与所述融合目标关联的融合背景；

34、基于所述目标图像融合模型对所述第一待融合图像以及所述第二待融合图像进行图像融合，得到目标融合图像。

35、第二个方面，在本实施例中提供了一种图像融合模型的训练装置，包括：

36、获取模块，用于获取第一样本图像以及第二样本图像，所述第一样本图像包括需要融合的目标对象，所述第二样本图像包括与所述目标对象关联的目标背景；

37、第一确定模块，用于基于初始图像融合模型中的第一初始网络确定第一损失函数，所述第一初始网络用于提取所述第一样本图像的第一样本特征；

38、第二确定模块，用于基于所述初始图像融合模型中的第二初始网络确定第二损失函数，所述第二初始网络用于提取所述第二样本图像的第二样本特征；

39、第三确定模块，用于基于所述初始图像融合模型中的第三初始网络确定第三损失函数，所述第三初始网络用于对所述第一样本特征以及所述第二样本特征进行融合；

40、训练模块，用于基于所述第一损失函数、所述第二损失函数以及所述第三损失函数对所述初始图像融合模型进行训练，得到目标图像融合模型。

41、第三个方面，在本实施例中提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一个方面所述的图像融合模型的训练方法。

42、第四个方面，在本实施例中提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一个方面所述的图像融合模型的训练方法。

43、与相关技术相比，本技术提供了一种图像融合模型的训练方法、装置、电子装置和存储介质，其中，所述方法包括：获取第一样本图像以及第二样本图像，所述第一样本图像包括需要融合的目标对象，所述第二样本图像包括与所述目标对象关联的目标背景；基于初始图像融合模型中的第一初始网络确定第一损失函数，所述第一初始网络用于提取所述第一样本图像的第一样本特征；基于所述初始图像融合模型中的第二初始网络确定第二损失函数，所述第二初始网络用于提取所述第二样本图像的第二样本特征；基于所述初始图像融合模型中的第三初始网络确定第三损失函数，所述第三初始网络用于对所述第一样本特征以及所述第二样本特征进行融合；基于所述第一损失函数、所述第二损失函数以及所述第三损失函数对所述初始图像融合模型进行训练，得到目标图像融合模型。在初始图像融合模型中，通过对第一样本特征以及第二样本特征进行融合，以保证融合的图像中同时保留第一样本图像以及第二样本图像的图像信息，同时结合第一样本图像在特征提取过程中产生的第一损失函数、第二样本图像在特征提取过程中产生的第二损失函数以及特征融合过程中产生的第三损失函数，对图像融合过程中的所有损失数据进行提取，进而对初始图像融合模型进行损失调节，使得训练后的图像融合模型能够准确的对图像进行融合，解决了相关技术中安检x光图像融合后的图像质量较低的技术问题，降低了融合图像的数据损失，提高了融合图像的质量。

44、本技术的一个或多个实施例的细节在以下附图和描述中提出，以使本技术的其他特征、目的和优点更加简明易懂。