图像重建模型的训练方法及装置、图像重建方法及装置与流程

本发明涉及图像处理，具体涉及一种图像重建模型的训练方法及装置、图像重建方法及装置。

背景技术：

1、近年来，图像重建技术在医疗领域得到了广泛的应用。通过对基于人工智能技术的图像重建模型进行训练，可以在很大程度上提升图像重建的效率以及图像重建的质量。

2、由于在医疗领域，患者的医疗图像数据为患者的隐私数据，一般不可共享使用，导致对图像重建模型进行训练时常出现样本数据量不足的问题，进而导致模型的训练达不到理想的效果。而联邦学习技术，可以使得多家医疗机构在数据不共享的基础上联合训练图像重建模型，有效解决了图像重建模型在训练时对于大型数据集的依赖，提高了模型训练的效果。

3、然而，不同医疗机构在进行图像采集时，可能采集了不同模态的图像数据，不同终端的训练样本数据的模态差异导致图像重建模型训练效果不佳。

技术实现思路

1、本技术实施例提供一种图像重建模型的训练方法及装置、图像重建方法及装置，该方法可以提升对训练得到的模型的质量，进而提升对图像进行重建的重建质量。

2、本技术第一方面提供一种图像重建模型的训练方法，方法包括：

3、基于第一编码模块提取训练样本图像的模态不变性特征，以及基于第二编码模块提取所述训练样本图像的模态特异性特征，待训练模型包括所述第一编码模块以及解码模块；

4、对所述模态不变性特征以及所述模态特异性特征进行特征融合得到融合特征，并根据解码结果与所述训练样本图像之间的差异计算第一损失，所述解码结果为所述解码模块对所述融合特征进行解码得到的结果；

5、基于所述第一损失对所述待训练模型的模型参数进行调整，并将调整后的模型参数发送至服务器；

6、接收所述服务器返回的平均模型参数，并基于所述平均模型参数对所述待训练模型的模型参数进行更新；

7、循环执行重新获取训练样本图像，并基于获取到的训练样本图像对所述待训练模型的模型参数进行更新的过程，直至所述待训练模型参数收敛。

8、相应的，本技术第二方面提供一种图像重建模型的训练装置，装置包括：

9、提取单元，用于基于第一编码模块提取训练样本图像的模态不变性特征，以及基于第二编码模块提取所述训练样本图像的模态特异性特征，待训练模型包括所述第一编码模块以及解码模块；

10、计算单元，用于对所述模态不变性特征以及所述模态特异性特征进行特征融合得到融合特征，并根据解码结果与所述训练样本图像之间的差异计算第一损失，所述解码结果为所述解码模块对所述融合特征进行解码得到的结果；

11、调整单元，用于基于所述第一损失对所述待训练模型的模型参数进行调整，并将调整后的模型参数发送至服务器；

12、更新单元，用于接收所述服务器返回的平均模型参数，并基于所述平均模型参数对所述待训练模型的模型参数进行更新；

13、训练单元，用于循环执行重新获取训练样本图像，并基于获取到的训练样本图像对所述待训练模型的模型参数进行更新的过程，直至所述待训练模型参数收敛。

14、在一些实施例中，提取单元，包括：

15、提取子单元，用于基于待训练模型中的第一编码模块提取训练样本图像的第一图像特征，以及基于第二编码模块提取所述训练样本图像的第二图像特征；

16、第一发送子单元，用于将所述第二图像特征以及所述训练样本图像对应的模态标签数据发送至服务器，并接收所述服务器基于所述第二图像特征与所述模态标签数据返回的分类梯度；

17、确定子单元，用于根据所述第一图像特征以及所述第二图像特征的相似关系确定第二损失；

18、调整单元，还可以用于：

19、基于所述第一损失、所述第二损失以及所述分类梯度对所述待训练模型的模型参数进行调整。

20、在一些实施例中，本技术提供的模型训练装置，还包括：

21、检测子单元，用于对所述训练样本图像进行加密实例对齐检测；

22、第二发送单元，用于当检测到所述训练样本图像为垂直样本时，将所述第一图像特征发送给所述服务器，并接收所述服务器返回的一致性梯度；

23、调整单元，还可以用于：

24、基于所述第一损失、所述第二损失、所述分类梯度以及所述一致性梯度对所述待训练模型的模型参数进行调整。

25、在一些实施例中，本技术提供的模型训练装置，还包括：

26、获取子单元，用于当检测到所述训练样本图像为平行样本时，获取所述第一损失、所述第二损失以及所述分类梯度的权重系数；

27、调整子单元，用于基于所述权重系数、所述第一损失、所述第二损失以及所述分类梯度对所述待训练模型的模型参数进行调整。

28、在一些实施例中，计算单元，包括：

29、第一计算子单元，用于对所述模态不变性特征与所述模态特异性特征进行相加，得到融合特征；

30、解码子单元，用于根据所述解码模块对所述融合特征进行解码，得到解码结果；

31、第二计算子单元，用于根据所述解码结果与所述训练样本图像之间的差异计算第一损失。

32、本技术第三方面还提供一种图像重建方法，方法包括：

33、获取待重建的目标图像；

34、基于预设图像重建模型对所述待重建的目标图像进行重建，得到重建后的图像，所述预设图像重建模型为基于第一方面提供的图像重建模型的训练方法训练得到的模型。

35、相应地，本技术第四方面还提供一种图像重建装置，装置包括：

36、获取单元，用于获取待重建的目标图像；

37、重建单元，用于基于预设图像重建模型对所述待重建的目标图像进行重建，得到重建后的图像，所述预设图像重建模型为基于第一方面提供的图像重建模型的训练方法训练得到的模型。

38、本技术第五方面还提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本技术第一方面所提供的图像重建模型的训练方法或本技术第三方面提供的图像重建方法中的步骤。

39、本技术第六方面提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可以在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本技术第一方面所提供的图像重建模型的训练方法或本技术第三方面提供的图像重建方法中的步骤。

40、本技术第七方面提供一种计算机程序产品或计算机程序，所述计算机程序产品或计算机程序包括计算机指令，所述计算机指令存储在存储介质中。计算机设备的处理器从存储介质读取所述计算机指令，处理器执行所述计算机指令，使得所述计算机设备执行第一方面提供的图像重建模型的训练方法或本技术第三方面提供的图像重建方法中的步骤。

41、本技术实施例提供的图像重建模型的训练方法，通过基于第一编码模块提取训练样本图像的模态不变性特征，以及基于第二编码模块提取训练样本图像的模态特异性特征，待训练模型包括第一编码模块以及解码模块；对模态不变性特征以及模态特异性特征进行特征融合得到融合特征，并根据解码结果与训练样本图像之间的差异计算第一损失，解码结果为解码模块对融合特征进行解码得到的结果；基于第一损失对待训练模型的模型参数进行调整，并将调整后的模型参数发送至服务器；接收服务器返回的平均模型参数，并基于平均模型参数对待训练模型的模型参数进行更新；循环执行重新获取训练样本图像，并基于获取到的训练样本图像对待训练模型的模型参数进行参数更新的过程，直至待训练模型参数收敛。以此，本技术提供的图像重建模型的训练方法，通过对训练样本图像的模态不变特征进行解耦，使得不同终端的训练样本获得一致性的特征分布。从而可以提升训练得到的模型的模型质量，进而可以提升图像重建的重建质量。