基于对比学习的医学影像模态转换方法、系统和存储介质

本技术涉及数据处理和数据传输领域，更具体的，涉及基于对比学习的医学影像模态转换方法、系统和存储介质。

背景技术：

1、医学影像指的是为了某种医疗目的或者医学研究目的，对人体或者人体的部分组织结构，以非侵入式的方法取得内部组织影像的技术与处理过程。常见的医学影像包括x光，电脑断层扫描(ct)，超声，磁共振成像(mri)，正子发射断层扫描(pet)等等。不同模态的医学影像数据在疾病诊断、治疗以及评估预后方面都有各自的优势和劣势。临床上可能需要部分患者的多种模态影像来进行更全面的检查，然而大量重复的影像扫描可能会给患者带来经济和精神负担。由于同一患者的不同模态之间的医学影像之间具备相关性，模态本身也有特定的属性特征，因此医学影像模态转换成为了获取多种模态影像的一种方案。通过训练模态到模态之间的转换模型，则可在获取了患者特定模态的医学影像后，通过模态转换得到另一模态的影像。

2、早期的医学影像模态转换多采用传统方法，根据某种特定的先验信息，构建源模态到目标模态之间图像或提取的特征的映射关系，这种映射关系构建后一般不容易泛化到其他模态之间的转换上，因为不同模态之间有各自的先验假设。近年来随着深度学习的兴起，各种图像领域的研究应用广泛，其中自然图像风格转换的研究也给医学影像模态转换带来了新思路。在图像风格转换中，图像可以保持原有内容而被网络赋予其他图像的风格，这和医学影像模态转换极为类似，医学影像模态转换中，也需要保留原有影像对应的解剖结构，再结合目标模态的成像属性特征合成新的转换数据。基于深度学习的医学图像模态转换方法包括基于u型结构的深度卷积神经网络，一般用有监督的方式学习源模态到目标模态的映射，另一种则是基于生成对抗网络(gan)的方式，这种方式可以无需带标签的数据对，采用无监督的学习方式实现源模态到目标模态的转换。

3、目前采用的上述两类医学影像模态转换方法，多采用图像到图像之间的直接转换，如u-net模型中，输入源模态影像，经过编码解码最终得到目标模态影像，通过或者范数的方式约束生成的目标影像与训练集中的标签影像一致，即图像与图像之间的一致性。在基于gan的模型中，亦是希望生成的目标影像能骗过判别器，误导判别器错误识别其为真实而非生成的影像数据，该类方法也是直接学习端到端图像和图像之间的转换。这种图像和图像之间的转换将存在以下两个弊端，一则是图像空间处于高维空间的一个低维分布，直接学习高维空间中点到点的映射，学习起来相对困难，另一则是因为图像中包含内容和风格两种信息，两者交互混合，不易分离，在风格转换中容易参杂原有的风格信息。

4、因此现有技术存在缺陷，急需改进。

技术实现思路

1、鉴于上述问题，本发明的目的是提供基于对比学习的医学影像模态转换方法、系统和存储介质，本发明通过学习模态特征之间的映射，可在拥有较少训练数据下实现有效映射的学习。在此基础上，本发明通过对初始影像解耦，也可有效避免了目标影像中残存源影像的模态属性。

2、本发明第一方面提供了基于对比学习的医学影像模态转换方法，包括：

3、获取源目标影像数据；

4、根据所述源目标影像数据进行分析，得到所述源目标影像数据的内容特征和模态特征；

5、将所述源目标影像数据的模态特征转换为目标模态特征；

6、将所述目标模态特征与所述源目标影像数据的内容特征进行合并解码，得到目标模态影像。

7、本方案中，还包括：

8、构建初始医学影像模态转换模型；

9、获取配对的ct-mri影像数据；

10、将所述配对的ct-mri影像数据输入所述初始医学影像模态转换模型进行优化训练，得到预设医学影像模态转换模型。

11、本方案中，所述将所述配对的ct-mri影像数据输入所述初始医学影像模态转换模型进行优化训练，具体为：

12、根据预设方法对所述配对的ct-mri影像数据进行计算，得到多个损失函数；

13、将所述多个损失函数分别于相对应的损失函数的权重系数进行相乘，得到所述多个损失函数的权重得分；

14、对所述多个损失函数的权重得分进行累加，得到总损失函数；

15、根据所述总损失函数对所述初始医学影像模态转换模型进行优化训练；

16、所述多个损失函数包括结构对比损失函数、模态对比损失函数和影像一致性损失函数。

17、本方案中，所述根据所述源目标影像数据进行分析，得到所述源目标影像数据的内容特征和模态特征，包括：

18、对所述源目标影像数据进行解耦合，得到所述源目标影像数据的内容特征和模态特征；

19、所述解耦合用公式表示为：

20、[cx,mx]＝encoder(x)

21、其中x为输入的源模态影像，encoder为待训练的编码器，cx为影像x经过编码器得到的内容特征，mx为得到的模态特征。

22、本方案中，所述将所述源目标影像数据的模态特征转换为目标模态特征，包括：

23、通过模态转换网络对所述源目标影像数据的模态特征进行特征转换，得到目标模态特征；

24、所述特征转换用公式表示为：

25、my＝transfer(mx),

26、其中transfer为模态转换器，my为目标模态对应的模态特征，mx为源模态影像的模态特征。

27、本方案中，所述将所述目标模态特征与所述源目标影像数据的内容特征进行合并解码，得到目标模态影像，包括：

28、将所述源目标影像数据的内容特征与所述目标模态特征进行合并，得到合并特征数据；

29、对所述合并特征数据进行解码，得到目标模态影像；

30、所述合并解码用公式表示为：

31、y＝decoder(my,cx)

32、其中x为输入的源模态影像，y为生成的目标模态的影像，decoder为解码器。

33、本发明第二方面提供了基于对比学习的医学影像模态转换系统，包括存储器和处理器，所述存储器中包括基于对比学习的医学影像模态转换方法程序，所述基于对比学习的医学影像模态转换方法程序被所述处理器执行时实现如下步骤：

34、获取源目标影像数据；

35、根据所述源目标影像数据进行分析，得到所述源目标影像数据的内容特征和模态特征；

36、将所述源目标影像数据的模态特征转换为目标模态特征；

37、将所述目标模态特征与所述源目标影像数据的内容特征进行合并解码，得到目标模态影像。

38、本方案中，还包括：

39、构建初始医学影像模态转换模型；

40、获取配对的ct-mri影像数据；

41、将所述配对的ct-mri影像数据输入所述初始医学影像模态转换模型进行优化训练，得到预设医学影像模态转换模型。

42、本方案中，所述将所述配对的ct-mri影像数据输入所述初始医学影像模态转换模型进行优化训练，具体为：

43、根据预设方法对所述配对的ct-mri影像数据进行计算，得到多个损失函数；

44、将所述多个损失函数分别于相对应的损失函数的权重系数进行相乘，得到所述多个损失函数的权重得分；

45、对所述多个损失函数的权重得分进行累加，得到总损失函数；

46、根据所述总损失函数对所述初始医学影像模态转换模型进行优化训练；

47、所述多个损失函数包括结构对比损失函数、模态对比损失函数和影像一致性损失函数。

48、本方案中，所述根据所述源目标影像数据进行分析，得到所述源目标影像数据的内容特征和模态特征，包括：

49、对所述源目标影像数据进行解耦合，得到所述源目标影像数据的内容特征和模态特征；

50、所述解耦合用公式表示为：

51、[cx,mx]＝encoder(x)

52、其中x为输入的源模态影像，encoder为待训练的编码器，cx为影像x经过编码器得到的内容特征，mx为得到的模态特征。

53、本方案中，所述将所述源目标影像数据的模态特征转换为目标模态特征，包括：

54、通过模态转换网络对所述源目标影像数据的模态特征进行特征转换，得到目标模态特征；

55、所述特征转换用公式表示为：

56、my＝transfer(mx),

57、其中transfer为模态转换器，my为目标模态对应的模态特征，mx为源模态影像的模态特征。

58、本方案中，所述将所述目标模态特征与所述源目标影像数据的内容特征进行合并解码，得到目标模态影像，包括：

59、将所述源目标影像数据的内容特征与所述目标模态特征进行合并，得到合并特征数据；

60、对所述合并特征数据进行解码，得到目标模态影像；

61、所述合并解码用公式表示为：

62、y＝decoder(my,cx)

63、其中x为输入的源模态影像，y为生成的目标模态的影像，decoder为解码器。

64、本发明第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质中包括基于对比学习的医学影像模态转换方法程序，所述基于对比学习的医学影像模态转换方法程序被处理器执行时，实现如上述任一项所述的基于对比学习的医学影像模态转换方法的步骤。

65、本发明公开的基于对比学习的医学影像模态转换方法、系统和存储介质，所述方法包括：获取源目标影像数据；根据所述源目标影像数据进行分析，得到所述源目标影像数据的内容特征和模态特征；将所述源目标影像数据的模态特征转换为目标模态特征；将所述目标模态特征与所述源目标影像数据的内容特征进行合并解码，得到目标模态影像。本发明通过一种基于对比学习的方法从源模态影像转换到目标模态影像，从而避免了同一个体的同一解剖结构反复扫描。本发明专利在模态空间进行转换，能够避免以往方法在图像空间转换下的歧义性，能够进一步提高转换效率和精度。