一种肿瘤分割引导的磁共振图像翻译方法、系统、设备及介质

本发明涉及人工智能和计算机视觉领域，特别涉及一种肿瘤分割引导的磁共振图像翻译方法、系统、设备及介质。

背景技术：

1、磁共振成像(mri)是一种常见的医学上无创检查诊断途径，在提供清晰的人体软组织图像方面相较于ct、x片等表现优越。最重要的是它还具有多模态的特性即多种技术参数以形成不同图像序列，使得医生能够针对患者状况选择最适合的序列或者综合那些扫描的序列基础上进行诊断，例如t1序列显示水的亮度低脂肪等含蛋白质的组织亮度高，t2序列更适合显示高含水量的组织，flair序列抑制脑脊液的信号使得周边病灶凸显，此外还有通过向血液中打造影剂从而对供血丰富的区域(肿瘤病灶)形态大小及内部加以高亮显示的t1ce序列，但是临床上对于造影剂的使用有严格把控因为其具有对人体造成伤害的风险比如引发肾功能不全和青光眼等。

2、由于磁共振成像具有多模态(模态即序列的概念)的特点、一些医院考虑患者承担的经济成本致使其扫描的序列缺失，还有些患者个体原因无法接受造影剂从而无法获取对比增强序列，不同医院的扫描方案不同导致序列数据难以统一，综合种种原因，近些年来对于磁共振图像的合成已经成为了医学图像领域的研究热点。磁共振图像的合成指的是使用现有的模态合成出期望的目标模态图像，比如用t1模态图像合成出t2模态图像，从图像的角度来看，以t1和t2来说，都是对同一个解剖结构在不同参数设定下的显现，但是两个模态之间的映射关系并非是简单线性，有经验的放射学诊断医师往往可以根据一个模态的影像脑补出另一个模态的配对图像应该是怎样的形态，学习这样的映射关系，需要结合大量先验知识储备，如何将这种转换关系进行参数化，如何提升合成转换效果，是磁共振图像合成的难点。

3、对于磁共振图像的合成研究也经历了很长时间的发展，早期主要集中于传统机器学习的方法，后来随着深度学习的方法涌入医学图像处理的领域，基于变分自编码器、生成对抗网络等的一系列变体得以诞生，再后来还推出了扩散模型这种图像生成的手段。amodjog等人在论文random forest regression for magnetic resonance image synthesis中提出了称为replica的基于像素强度变换的传统机器学习方法，将局部图像块和图像全局上下文特征在多个尺度分辨率框架中进行整合形成特征空间，并在此特征空间中基于随机森林的集成方法完成非线性的回归，虽然它的合成效率高，但是这种方法的局部图像块之间的空间相关性很低。

4、基于深度学习的方法比如变分自编码器(vae)和生成对抗网络(gan)都是采用图像翻译的技术来解决模态合成的问题。将需要合成的模态图像作为目标域，将已有的模态图像作为源域，建立网络模型并拟合这种域到域的映射关系。qingqiao hu在论文domain-adaptive 3d medical image synthesis中使用了变分自编码器在3d医学图像翻译任务中并结合了kl散度在不同域的情况下做域自适应以解决domain shift的问题，并且验证了做医学图像翻译可以生成实际场景中缺失的数据从而辅助诊断并且为一系列下游任务实现数据增强，但是基于变分自编码器的方法生成的结果不清晰，难以捕捉细节。zhou在其论文hi-net:hybid-fusion network for multi-modal mr image synthesis中以生成对抗网络为基础并探索了结合多种输入模态特征的方法将任务拓展为多模态的翻译，并且为每一种源模态图像进行辅助的重建任务以提高翻译任务的鲁棒性和泛化能力。jiaofeng zhao在论文trpartite-gan中联合了腹腔肿瘤目标检测网络和腹腔对比增强磁共振图像翻译任务做端到端的联合训练，让目标检测损失中的分类损失项梯度反传给执行翻译任务的生成器模型从而在模态翻译的过程中让模型对肿瘤区域进行关注，但是局限性在于他使用的是框级肿瘤标注而且实验没有对目标检测任务在生成指标方面的影响进行消融研究。

5、综上，现有的相关技术方案的不足之处在于在磁共振图像的翻译过程中很少结合肿瘤病例区域先验知识的研究并且缺乏有效的将肿瘤分割相关任务同磁共振图像翻译任务相结合，从而辅助提升翻译结果相似度指标的技术方案。

技术实现思路

1、为了克服上述现有技术存在的问题，本发明的目的在于提出了一种肿瘤分割引导的磁共振图像翻译方法、系统、设备及介质，通过构建包括生成器网络g和判别器网络d的肿瘤分割引导的磁共振图像翻译模型，模型训练过程中，每次输入的源模态数据首先经过各自独立的编码器进行特征提取与特征相互融合，解码器将编码器输出的特征映射到多任务解耦空间上来，合成头负责将解耦空间中的特征合成为目标模态的图像，分割头负责对解耦空间中特征的肿瘤信息进行分割，由此实现磁共振图像合成任务与磁共振图像分割任务相结合，使得解耦空间中特征的每一个像素点都能在合成转换为目标模态形态的同时保持病例类别信息的准确；获取了更高的相似度指标的同时，病例区域的视觉效果也更加真实纹理更收敛。

2、为了实现上述目的，本发明采用的技术方案为：

3、一种肿瘤分割引导的磁共振图像翻译方法，具体包括以下步骤：

4、步骤一、获取磁共振图像数据样本并进行数据预处理；

5、步骤二、构建肿瘤分割引导的磁共振图像翻译模型，所述翻译模型包括生成器网络g和判别器网络d，生成器网络g由多模态编码器encoder、特征映射解码器decoder、分割头seghead和模态翻译头transhead构成；多模态编码器encoder对输入的多个模态图像进行特征提取、进行多模态特征交互，并且多模态编码器encoder输出端包含bottleneck对多模态特征进行整合提炼，特征映射解码器decoder将多模态编码器encoder提取到的特征映射到翻译-分割多任务共享空间，一方面由分割头seghead将此空间中的特征进行分割判别计算分割损失，另一方面由模态翻译头transhead进行像素级损失、对抗损失计算，并将此空间中的特征翻译成目标模态的形式并输出图像；判别器网络d判别对其输入的图像是生成器网络g生成的还是来自数据集中的真实目标模态；

6、步骤三、加载训练数据集并对于步骤二中构建好的肿瘤分割引导的磁共振图像翻译模型进行迭代训练，其中生成器网络g的多模态编码器encoder和特征映射解码器decoder使用来自分割头seghead计算的分割损失和模态翻译头transhead计算的像素级损失、对抗损失共同进行训练更新参数，分割头使用分割损失函数进行训练，模态翻译头transhead使用像素级损失函数和对抗损失函数进行训练；判别器网络d则通过对抗损失同生成器网络交替训练更新直至训练的当前迭代轮数t达到了预设的最大迭代轮数停止并将生成器网络g和判别器网络d的肿瘤分割引导的磁共振图像翻译模型保存；

7、步骤四、使用步骤三训练结束保存的肿瘤分割引导的磁共振图像翻译模型，加载测试集，输入测试集中的源模态图像数据，生成器网络g输出生成的目标模态图像；将源模态、生成目标模态、真实目标模态的图像保存为bmp图片格式并进行psnr、ssim相似度指标的计算评估。

8、所述步骤一的具体方法为：

9、1.1获取磁共振图像数据样本，对获取的每一例数据所有模态及其分割标签均采用冠状位的2d截面切片；

10、1.2对步骤1.1中切片后除分割标签以外的每一个模态样本进行归一化，然后，用截断方式消除极端异常值对整体分布的影响，对于分割标签中的区域，根据其类别不同(背景区域bg、坏死肿瘤核心区域nt、肿瘤周边水肿区域ed、增强肿瘤区域et)分别使用0、1、2、3对对应区域的值进行填充表示，得到数据集保存为numpy文件；

11、1.3将步骤1.2得到的数据集划分成训练集、验证集和测试集，t2模态图像和flair模态图像被确定为源模态进行输入，t1ce模态作为目标模态标签数据为生成器网络g提供输出。

12、所述步骤二的具体方法为：

13、2.1构建生成器网络g；建立生成器网络g的结构，包括并行的多模态编码器encoder以及与多模态编码器encoder串联的特征映射解码器decoder，同时在多模态编码器encoder之间进行多模态特征交互，并在多模态编码器encoder输出端设置瓶颈块bottleneck用于进一步提取特征及进行特征压缩；

14、2.1a对于多模态编码器encoder与特征映射解码器decoder；多个源模态编码器encoder各自独立输入不同源模态完成特征的提取，每个多模态编码器encoder包含三个构成上相同仅输出通道数配置不同的下采样块，分别表示为第一、第二、第三级下采样块；每个下采样块又包含卷积层、归一化层、非线性激活函数、卷积层、归一化层、非线性激活函数、最大池化层，第一个卷积层将当前下采样块输入的通道数增加一倍，最大池化层将特征空间维度尺寸缩减一半；每一个下采样块的输出特征同时与特征映射解码器decoder中对应的层级位置进行跳跃连接；多模态编码器encoder输出端设置瓶颈块bottleneck，瓶颈块bottleneck构成包含了连续层叠的四个残差映射resblock以及一个单独的特征整合块，残差映射resblock包括卷积层、批归一化、激活函数，卷积层、批归一化、激活函数；残差映射resblock中的恒等映射部分将输入残差映射resblock之前的特征保存下来，残差映射resblock将恒等映射的结果直接和经过第二个卷积层、第二个归一化层后的特征进行直接相加以缓解深层网络梯度消失情况；特征整合块由两个并联的卷积层(1x1与3x3)构成，使得输出特征通道数减半；

15、用fil、来表示第i多模态编码器encoder第l级下采样块的输入特征以及多模态特征交互后输出特征，多个多模态编码器encoder之间的特征交互计算过程如下：

16、

17、

18、

19、其中，max(·)、add(·)、mul(·)分别表示两个特征逐元素求最大、相加、相乘的运算操作，cat(·)则表示两个特征在通道维度层叠的操作。这里的atten表示注意力修正运算，是将堆叠后的特征通过级联的卷积层、归一化层、非线性激活层、卷积层、sigmoid激活函数得到的，wil为计算得到的修正权重系数，将其按照上述计算方式反馈到对应编码器支路即可对编码器提取的特征实现交互后的修正；

20、特征映射解码器decoder只由一条上采样干路构成，包含第一上采样层、第二上采样层、第三上采样层；每一个上采样层由一个双线性插值函数、卷积层、instancenorm归一化层、leakyrelu激活函数构成；特征每次经过卷积层之前首先需要与编码器中对应的跳跃连接特征在通道维度进行拼接；通过三个上采样层恢复空间维度与通道维度输出特征，作为多任务共享特征；

21、2.1b分割头seghead采用unet作为分割头的实现，接收步骤2.1a的多任务共享特征作为输入，unet采用编码器-解码器结构，前半部分是编码器，包含四个子模块，每个子模块由两个层叠的卷积层、归一化层、池化层构成；后半部分是解码器，也包含四个子模块，每个子模块由bilinear上采样层以及两个层叠的卷积层、归一化层、激活函数所构成；分割头通过unet的跳跃连接实现对于多任务共享空间中的特征经过编码器提取过程中输出的低层特征重复利用以准确捕捉空间信息；分割头最后输出的通道数等于分割任务进行分类的类别数量；

22、2.1c模态翻译头transhead采用resnet中的残差映射resblock模块作为模态翻译头的实现结构，一共包含三个级联的残差映射resblock以及一个输出前卷积层和tanh激活函数；残差映射resblock的恒等映射部分将输入每一个残差映射resblock之前的特征保存下来与残差映射resblock过程中第二个卷积层的的输出进行相加，以重复利用低层特征稳定梯度；所有残差映射resblock的通道数均和多任务共享空间中特征的通道数保持一致，通道数最后是通过输出前卷积层压缩到1，单通道特征通过tanh进行范围缩放最终翻译成目标模态图像的表现形式；

23、2.2构建判别器网络d，采用马尔可夫判别器(patchgan)的结构，不包含全连接层，完全由卷积层构成，一共包括五个级联的卷积层，除去第一个卷积层后面接的是leakyrelu激活函数，以及最后一个卷积层后面直接将特征通道压缩到1以外，其他的卷积层每次卷积操作之后还使用了归一化层以及leakyrelu激活函数对特征进行缩放映射；最终输出一个二维矩阵，二维矩阵中的每一个元素都对应着输入图像的一个感受野区域，元素的值代表感受野内的综合判别结果。

24、所述步骤三的具体方法为：

25、3.1为所述翻译模型构建训练所用的损失函数

26、生成器网络g训练中用于更新参数的总损失函数包含三项分别是以及分别对应对抗损失、像素级损失以及分割损失，λpixel是项的损失平衡系数；用于更新生成器网络g的总损失函数被定义为如下形式：

27、

28、其中对抗损失项计算的是生成器网络g的模态翻译头transhead输出的目标模态图像，输入判别器网络后输出的判别结果与真实标签的误差，真实标签用数值1表示；用于更新生成器网络参数，表示为如下的形式：

29、

30、计算的是生成器网络g的模态翻译头transhead输出的目标模态图像与对应真实目标模态图像的l1距离损失，如下形式：

31、

32、计算的是生成器网络g的分割头seghead输出的分割图与真实的分割标签图像的误差，为平衡前后景不平衡的问题(肿瘤占比变化大)同时使用了交叉熵函数和dice函数进行计算表示为如下形式：

33、

34、其中，是多分类交叉熵损失函数，是dice损失函数；

35、判别器网络d训练中用于更新参数的对抗损失函数则是如下形式：

36、

37、同时计算判别器网络d对真实图像作为输入的判别结果与真实标签1的误差以及transhead输出的图像作为输入的判别结果与虚假标签0的误差用于更新判别器网络d；

38、3.2对生成器网络以及判别器网络进行迭代对抗训练

39、对步骤二构建的分割引导的磁共振图像翻译模型进行迭代训练，其中生成器网络g使用对抗损失、像素级损失以及分割损失进行训练，判别器网络d基于对抗损失函数进行训练；生成器网络g和判别器网络d交替训练，直到当前迭代轮数t等于最大迭代次数为t为止；本专利进行的仿真实验令t初始化0，t预设为100，训练批次大小设置为8；

40、3.2a生成器网络g的历史累计梯度首先清零，将一个批次训练数据输入生成器网络g，在生成器网络g的编码器中完成多个源模态数据的特征提取，在解码器中恢复特征的空间维度并映射到多任务共享空间中，此空间中的特征一方面由分割头seghead对其进行分割检测，并且计算分割损失，另一方面由模态翻译头transhead将特征翻译成目标模态的形态并计算像素级损失以及对抗损失，然后采用adam梯度更新策略对生成器网络g进行更新，生成器网络g的参数表示为θg，更新公式为：

41、

42、其中，η1表示当前学习率，和表示一次更新前后的模型参数，表示求梯度，g(x)表示生成器网络的模态翻译输出，gseghead(x)则是生成器网络g分割头的输出；

43、3.2b将判别器网络d的历史积累梯度清零，重新将本批次训练数据输入生成器网络g，再计算判别器网络d的对抗损失并更新其参数，更新公式如下：

44、

45、其中，η1表示判别器网络d当前学习率，和表示一次更新前后的判别器网络d参数，求梯度里涉及的第一项在计算判别器网络d对生成器网络g中transhead输出的目标模态图像进行判别的结果和虚假标签的损失，第二项在计算判别器网络d对真实目标模态图像进行判别的结果和真实标签的损失；

46、3.2c判断当前的训练迭代轮数t>＝t是否成立，如果成立则得到训练好的分割引导的磁共振图像翻译模型，将此时的生成器网络g和判别器网络d的模型参数保存并停止训练，否则令t＝t+1并继续执行步骤3.2。

47、基于上述一种肿瘤分割引导的磁共振图像翻译方法的系统，具体包括：

48、预处理模块，用于步骤一中对采集到的成对模态图像数据进行切片并归一化处理以构建训练集、验证集、测试集；

49、模型构建模块，用于步骤二中构建多模态磁共振图像生成模型，包括生成器网络g和判别器网络d；

50、训练模块，用于实现步骤三中的各损失函数，加载训练集，网络参数初始化并依据步骤三中的网络训练流程对生成器网络g和判别器网络d的参数进行更新；

51、预测模块，用于步骤四中在训练完成后，加载测试集将源模态图像数据输入生成器网络g得到生成的目标模态图像，并将生成结果图像保存以参与相似度评估指标的计算。

52、基于上述一种肿瘤分割引导的磁共振图像翻译方法的设备，具体包括：

53、存储器，用于存储计算机程序；

54、处理器，用于执行所述计算机程序时实现步骤一至四所述基于生成对抗网络的多模态磁共振图像生成方法。

55、一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时能够基于步骤1至4任一项所述肿瘤分割引导的磁共振图像翻译方法，进行多模态磁共振图像生成。

56、相对于现有技术，本发明具有如下有益效果：

57、现有的尝试在磁共振图像合成任务中引入其他任务作为辅助任务的技术，多采用的是先执行合成任务，再将合成的目标模态图像输入辅助分割网络中进行端到端的协同训练。这种训练方案耗时较长，总体训练流程比较麻烦，并且合成的目标模态图像的特征通道在模态转换结束后已经被压缩，对其进行分割无法获取到准确的肿瘤信息。

58、而本发明所提出的分割引导的磁共振图像合成网络包括生成器网络和判别器网络两部分，其中生成器网络又包括级联的多模态编码器，解码器和分割头以及合成头一共部分。模型训练过程中，每次输入的源模态数据首先经过各自独立的编码器进行特征提取与特征相互融合，解码器将编码器输出的特征映射到多任务解耦空间上来，合成头负责将解耦空间中的特征合成为目标模态的图像，分割头负责对解耦空间中特征的肿瘤信息进行分割，由此实现磁共振图像合成任务与磁共振图像分割任务相结合，使得解耦空间中特征的每一个像素点都能在合成转换为目标模态形态的同时保持病例类别信息的准确。向磁共振图像合成任务中施加分割损失有利于提升网络的泛化能力与合成结果的视觉效果，能有效的让网络在合成过程中感知到感兴趣区域(病例肿瘤区域)的存在从而更好的合成这些区域的形态。与现有的技术相比，这种方法合成的目标模态的图像，在获取了更高的相似度指标的同时，病例区域的视觉效果也更加真实纹理更收敛。

59、此外，本发明提出的模型方案具有通用性，分割头可以根据具体场景以及任务的需要，灵活替换成其他网络，并且采用同步的训练方式缩短了模型训练所需时间，避免了端到端的多任务模式的长时间训练。