基于循环生成对抗网络CycleGAN模型的跨模态MR影像互生成方法

本发明属于计算机视觉领域，具体涉及一种基于循环生成对抗网络cyclegan模型的跨模态mr影像互生成方法。

背景技术：

核磁共振成像技术是一种常用的且十分重要的疾病监测技术，核磁共振医学影像(mr印象)可以反映人体器官的侧面、冠状、矢状以及任何方向截断面的影像和人体器官的丰富的纹理信息，因此mr影像被广泛地用于临床诊断(如疾病的早期诊断)、手术模拟以及生物组织物理特性的评估。作为软组织病灶评估的首选方法，mr影像可以提供多种不同的对比度，通过同一处病理的不同对比度影像，提供更加丰富的诊断信息。如t1加权影像对于灰质和白质的描述很有效，而t2加权影像对于流体和脂肪的描述则更有用，其中t1与t2是mr成像过程中的两种弛豫时间，表示两种不同模态的mr影像。

近年来，随着深度学习的不断发展，mr成像技术在医学影像分析领域越发重要。对mr影像进行分类、分割等任务的神经网络深度学习模型需要大量的样本作为训练集，而mr影像不同于人脸、服装等影像，它涉及到病人的隐私等问题，一般难以获取到大量数据。同时，大量拍摄mr影像也存在着成本高昂，速度缓慢等缺点。

目前解决医学影像样本稀缺问题主要采用的是数据集扩充的方式，传统的数据集扩充方法包括旋转、翻转、裁剪等，但是这些方法只提供全局影像变换，不改变影像的细节，使得产生的影像是高度相似的，这会导致深度学习模型过拟合，影响得到的最终影像。随着生成对抗网络(gan)的产生和不断发展，提升了医学影像的生成质量和生成速度，其仅利用相同特征分布的影像数据，通过特征提取的方式进行影像的生成，为医学影像合成提供了新的思路。然而由于gan利用随机噪声生成影像不能模拟生物组织的纹理结构信息的局限性，其生成的影像质量依然不高，存在保真度较低以及生物组织结构信息丢失等问题。而且gan要求在模型训练的过程中，用作输入的源模态影像和目标模态的真实影像是配对的，以此来使得损失函数最小化，从而训练模型，在这种训练过程中，仍旧存在mr影像获取难度大，能够作为训练集的数据较为稀缺的问题。

技术实现要素：

本发明是为了解决上述问题而进行的，目的在于提供一种基于循环生成对抗网络cyclegan模型的跨模态mr影像互生成方法。

本发明提供了一种基于循环生成对抗网络cyclegan模型的跨模态mr影像互生成方法，具有这样的特征，包括如下步骤：步骤s1，将待使用mr影像进行预处理，得到源模态mr影像；步骤s2，将源模态mr影像输入训练好的循环生成对抗网络cyclegan模型模型中，得到目标模态的mr影像，其中，循环生成对抗网络cyclegan模型模型的训练过程如下：步骤a1，构建循环生成对抗网络cyclegan模型模型；步骤a2，将未配对的训练用源模态mr影像集合作为训练集输入到循环生成对抗网络cyclegan模型模型中，对循环生成对抗网络cyclegan模型模型进行训练，得到训练好的循环生成对抗网络cyclegan模型模型，循环生成对抗网络cyclegan模型模型包括生成器和判别器，生成器的输入为源模态mr影像，输出为目标模态的mr影像，判别器的输入为生成器输出的目标模态的mr影像，输出为概率值，概率值用于对生成器输出的目标模态的mr影像进行真假判别。

在本发明提供的基于循环生成对抗网络cyclegan模型的跨模态mr影像互生成方法中，还可以具有这样的特征：其中，步骤a2包括如下子步骤：步骤a2-1，选取训练集中的训练用源模态mr影像输入循环生成对抗网络cyclegan模型模型并进行一次迭代；步骤a2-2，采用最后一层的模型参数分别计算，得出损失误差，并将损失误差反向传播更新循环生成对抗网络cyclegan模型模型的参数；步骤a2-3，选取不同训练集重复步骤步骤a2-1和步骤a2-2直至达到训练完成条件，得到训练好的循环生成对抗网络cyclegan模型模型。

在本发明提供的基于循环生成对抗网络cyclegan模型的跨模态mr影像互生成方法中，还可以具有这样的特征：其中，生成器包括依次设置的生成器输入层、卷积层、9个残差块以及反卷积层，生成器输出的目标模态的mr影像与生成器的输入的源模态mr影像为相同尺寸大小。

在本发明提供的基于循环生成对抗网络cyclegan模型的跨模态mr影像互生成方法中，还可以具有这样的特征：其中，判别器包括依次设置的判别器输入层、全连接层以及归一化层。

发明的作用与效果

根据本发明所涉及的基于循环生成对抗网络cyclegan模型的跨模态mr影像互生成方法，因为使用了cyclegan模型模型，可以生成对目标模态真实影像具有良好近似度的合成影像，而采用了循环的网络结构可以将模型的训练集由两两配对的源模态与目标模态影像的限制弱化为不需要配对的影像，这使得模型的训练难度降低，使用场景更广。同时，本发明能够通过跨模态mr影像互生成模型获得较为真实的不同模态mr影像，相较于简单的数据增强方法，合成影像具有更好的保真度并保留了更多的生物组织结构信息的优势，能够作为mr影像的分割、分类等下游任务的模型的训练数据，起到了扩充训练集和数据增强的作用，能够有效缓解mr影像获取难度大和数据稀缺的问题。

附图说明

图1是本发明的实施例中循环生成对抗网络cyclegan模型的结构示意图；

图2是本发明的实施例中的大脑t1加权mr影像；

图3是本发明的实施例中循环生成对抗网络cyclegan模型的残差块结构图；

图4是本发明的实施例中的生成的大脑t2加权mr影像；

图5是本发明的实施例中循环生成对抗网络cyclegan模型的跨模态mr影像互生成方法的流程图；

图6是本发明的实施例中循环生成对抗网络cyclegan模型的模型训练步骤的流程图，

图7是本发明的实施例中循环生成对抗网络cyclegan模型的模型训练步骤a2的子步骤流程图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下实施例结合附图对本发明一种基于循环生成对抗网络cyclegan模型的跨模态mr影像互生成方法作具体阐述。

<实施例>

本实施例详细描述基于循环生成对抗网络cyclegan模型的跨模态mr影像互生成方法。

图1是本实施例中循环生成对抗网络cyclegan模型的结构示意图。

如图1所示，循环生成对抗网络cyclegan模型包括生成器和判别器。

生成器包括生成器输入层、卷积层、残差块以及反卷积层。

生成器输入层的输入为源模态mr影像。本实施例中输入的源模态mr影像为大脑t1加权mr影像(见图2)。本实施例中，以大脑t1加权mr影像为例进行说明。

卷积层对输入层输入的源模态mr影像进行卷积操作。

图3是本实施例中循环生成对抗网络cyclegan模型的残差块结构图。

如图3所示，残差块对输入的数据进行卷积操作后再通过relu函数得出结果，使得计算的效率和准确率均得到提高。

反卷积层对残差块中得出的结果进行反卷积操作，得出目标模态的mr影像。本实施例中得出的目标模态的mr影像为大脑t2加权mr影像(见图4)。

生成器输出的目标模态的mr影像与生成器的输入的源模态mr影像为相同尺寸大小。

判别器包括判别器输入层、全连接层以及归一化层。

判别器输入层输入生成器输出的目标模态的mr影像，并进行特征提取操作。

全连接层将提取到的特征综合后，归一化层对其进行归一化处理，得到一个概率值。概率值表示生成器输出的目标模态的mr影像的真假。当概率值为0.5％时，则说明生成器生成的目标模态的mr影像与真实目标模态的mr影像几乎一致。

图5是本实施例中循环生成对抗网络cyclegan模型的跨模态mr影像互生成方法的流程图。

如图5所示，本实施例提供的基于循环生成对抗网络cyclegan的跨模态mr影像互生成方法包括如下步骤：

步骤s1，将待使用mr影像进行预处理，得到源模态mr影像；

步骤s2，将所述源模态mr影像输入训练好的循环生成对抗网络cyclegan模型中，得到目标模态的mr影像。

图6是本发明的实施例中循环生成对抗网络cyclegan模型的模型训练步骤的流程图。

如图6所示，步骤s2中的循环生成对抗网络cyclegan模型的训练过程如下：

步骤a1，构建循环生成对抗网络cyclegan模型；

步骤a2，将未配对的训练用源模态mr影像集合作为训练集输入到所述循环生成对抗网络cyclegan模型中，对所述循环生成对抗网络cyclegan模型进行训练，得到所述训练好的循环生成对抗网络cyclegan模型。

图7是本发明的实施例中循环生成对抗网络cyclegan模型的模型训练步骤a2的子步骤流程图。

如图7所示，步骤a2包括如下子步骤：

步骤a2-1，选取所述训练集中的训练用源模态mr影像输入所述循环生成对抗网络cyclegan模型并进行一次迭代；

步骤a2-2，采用最后一层的模型参数分别计算，得出损失误差，并将所述损失误差反向传播更新所述循环生成对抗网络cyclegan模型的参数；

步骤a2-3，选取不同训练集重复步骤a2-1和步骤a2-2直至达到训练完成条件，得到所述训练好的循环生成对抗网络cyclegan模型。

实施例的作用与效果

根据本实施例所涉及的基于循环生成对抗网络cyclegan模型的跨模态mr影像互生成方法，因为使用了cyclegan模型模型，可以生成对目标模态真实影像具有良好近似度的合成影像，而采用了循环的网络结构可以将模型的训练集由两两配对的源模态与目标模态影像的限制弱化为不需要配对的影像，这使得模型的训练难度降低，使用场景更广。同时，本发明能够通过跨模态mr影像互生成模型获得较为真实的不同模态mr影像，相较于简单的数据增强方法，合成影像具有更好的保真度并保留了更多的生物组织结构信息的优势，能够作为mr影像的分割、分类等下游任务的模型的训练数据，起到了扩充训练集和数据增强的作用，能够有效缓解mr影像获取难度大和数据稀缺的问题。

此外，本实施例在损失函数中添加循环一致性损失与正则化项一方面能够提高模型的生成影像的效果，另一方面可以避免出现过拟合的现象。

上述实施方式为本发明的优选案例，并不用来限制本发明的保护范围。