基于对抗生成网络的多模态影像生成方法和装置与流程

本发明属于医学影像跨模态生成，具体涉及一种基于对抗生成网络的多模态影像生成方法和装置。

背景技术：

1、医学成像是一种强大的诊断和研究工具，可创建解剖结构的视觉表示，已广泛用于疾病诊断和手术计划。在目前的临床实践中，最常用的是计算机断层扫描(ct)和磁共振成像(mri)。由于ct和多种mr成像模式提供了互补信息，因此这些不同模式的有效整合可以帮助医生做出更明智的决定。由于很难获得成对的多模态图像，临床实践中，开发多模态图像生成以辅助临床诊断和治疗的需求日益增长。

2、医学影像生成分为传统的机器学习方法和深度学习方法。传统的机器学习方法依赖于显式特征表示。如随机森林，k邻近算法等，通过迭代的方法显式的优化特征表示。最近，卷积神经网络被广泛的应用于多种图像生成任务并且通过对抗生成网络实现了最先进的性能。

3、目前主流的基于对抗生成网络的模型，在提升判别器时，它们通过：梯度惩罚，光谱归一化，对比学习，一致性正则化等方法隐式或显式地正则化判别器。

4、例如公开号为cn112465118a的专利申请公开了一种面向医学影像生成的低秩生成式对抗网络构建方法，包括以下步骤：1)利用主成分模式近似gan模型中的全秩卷积操作，基于张量cp分解的计算规则构建低秩卷积操作；2)利用步骤1)的低秩卷积操作，构建低秩维度卷积层和低秩通道卷积层代替全秩卷积层，在低秩卷积层间添加relu激活函数和批正则化项，调整低秩卷积层的数据分布，设计低秩生成模型；3)融合低秩生成模型和全秩判别模型，构建完整的医学影像低秩生成式对抗网络。

5、再例如公开号为的专利申请cn113205567a公开了一种基于深度学习的mri影像合成ct影像的方法，包括以下步骤：s1，选取原始mri影像作和原始ct影像分别作为浮动影像以及和参考影像，而后进行n4偏置校正和标准化获得预处理后的mri及ct影像；s2，采用预处理mri影像和预处理ct影像训练用于mri影像合成ct影像的对抗式生成网络模型；s3，将预处理mri影像输入mri影像合成ct影像的对抗式生成网络模型，从而将预处理mri影像转换为合成ct影像。

6、以上两篇专利申请等现有技术公开的技术方案中，通常作用于判别器最后输出的高度任务相关的特征，而往往忽略了中间层的浅层特征，比如：颜色，纹理等，因此图像合成精度还有待提高。

技术实现思路

1、鉴于上述，本发明的目的是提供一种基于对抗生成网络的多模态影像生成方法和装置，通过基于对抗生成网络中判别器浅层特征的对比学习，提升判别器对图片风格信息的敏感度，进而提升多模态影像生成精度。

2、为实现上述发明目的，本发明实施例提供的一种基于对抗生成网络的多模态影像生成方法，包括以下步骤：

3、获取同一目标的第一模态影像和第二模态影像，对第一模态影像进行增强得到两幅增强后模态影像；

4、构建包括生成器和判别器的对抗生成网络，其中，生成器基于第一模态影像及其两幅增强后模态影像生成三幅预测第二模态影像，判别器对第二模态影像和第一模态影像对应的预测第二模态影像进行真伪区分判别，判别器还计算输出两幅增强后模态影像对应的两幅预测第二模态影像在判别器中间层的两幅中间特征图；

5、基于两幅中间特征图构建特征之间的对比损失，将对比损失结合对抗生成网络的原有损失对对抗生成网络进行参数优化；

6、提取参数优化的生成器用于多模态影像生成。

7、优选地，同一目标的第一模态影像和第二模态影像通过以下方式预处理得到：

8、对原始第一模态影像和原始第二模态影像进行滤波；

9、对滤波后的原始第一模态影像和原始第二模态影像进行基于目标区域的刚性配准；

10、对刚性配准后的原始第一模态影像和原始第二模态影像分别进行像素归一化；

11、对像素归一化后的原始第一模态影像和原始第二模态影像进行目标选取，得到同一目标的第一模态影像和第二模态影像。

12、优选地，所述生成器采用pixel to pixel模型中生成器结构。

13、优选地，所述判别器采用马尔科夫判别器。

14、优选地，所述方法还包括：

15、为判别器中间层输出的每幅中间特征图增加至少2层mlp，中间特征图经过mlp进行特征更新，更新后的中间特征图参与对比损失计算。

16、优选地，基于两幅中间特征图构建特征之间的对比损失，包括：

17、将两幅增强后模态影像对应的两幅预测第二模态影像在判别器相同中间层的两幅中间特征图作为正样本对；

18、将两幅增强后模态影像对应的两幅预测第二模态影像在判别器不同中间层的两幅中间特征图作为负样本对；

19、基于正样本对和负样本对构建对比损失。

20、优选地，对抗生成网络的原始损失包括基于第一模态影像对应的预测第二模态影像和第二模态影像构建的l1损失，还包括生成器和判别器的对抗损失。

21、为实现上述发明目的，实施例还提供了一种基于对抗生成网络的多模态影像生成装置，包括获取模块、网络构建模块、参数优化模块、影像生成模块，

22、所述获取模块用于获取同一目标的第一模态影像和第二模态影像，对第一模态影像进行增强得到两幅增强后模态影像；

23、所述网络构建模块用于构建包括生成器和判别器的对抗生成网络，其中，生成器基于第一模态影像及其两幅增强后模态影像生成三幅预测第二模态影像，判别器对第二模态影像和第一模态影像对应的预测第二模态影像进行真伪区分判别，判断器还计算输出两幅增强后模态影像对应的两幅预测第二模态影像在判别器中间层的两幅中间特征图；

24、所述参数优化模块用于基于两幅中间特征图构建特征之间的对比损失，将对比损失结合对抗生成网络的原有损失对对抗生成网络进行参数优化；

25、所述影像生成模块用于提取参数优化的生成器用于多模态影像生成。

26、为实现上述发明目的，实施例还提供了一种计算设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上执行的计算机程序，所述处理器执行所述计算机程序时实现上述基于对抗生成网络的多模态影像生成方法的步骤。

27、为实现上述发明目的，实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理执行时实现上述基于对抗生成网络的多模态影像生成方法的步骤。

28、与现有技术相比，本发明具有的有益效果至少包括：

29、在构建增强后模态影像的基础上，对抗生成网络的判别器计算输出两幅增强后模态影像对应的两幅预测第二模态影像在判别器中间层的两幅中间特征图，并基于两幅中间特征图构建特征之间的对比损失，这种通过在判别器的中间层增加对比学习，增强了判别器对于图像浅层特征的学习从而提升判别器对于图片风格信息的敏感度，进一步提升生成器多模态生成的精度。同时，该方法可以以简单地适用于任何其他医学影像生成算法并在不改变原本算法网络结构的基础上来提升性能。