基于循环生成对抗网络的医学图像跨模态合成方法及装置

1.本发明涉及医学图像合成领域，具体而言，涉及一种基于循环生成对抗网络的医学图像跨模态合成方法及装置。


背景技术：

2.多模态医学图像分别显示了相同器官的不同对比度的信息，这些信息能够为疾病诊断提供多种补充信息，帮助医生对疾病进行更好的诊断，临床检查中也常常需要同时获取多种模态的医学图像，例如，临床诊断中常会为脑部肿瘤获取t1加权mr、t2加权mr和ct等多种模态的图像。但是，为每位患者同时获取多种模态的图像需要昂贵的经济成本和时间成本。医学中有各种不同的模态图像，它们能给医生提供不同的信息，包括结构的和功能的，选不同的模态即得到不同的信息。但是获取不同的模态数据需要依靠不同的成像设备，如ct图像需要依赖x射线，mri图像需要外部磁场，us需要超声换能器。
3.放射治疗对脑癌等恶性肿瘤的治疗非常有效。然而，放射治疗计划需要拍摄患者病灶的ct图像以计算放射剂量。同时，还需要对mr图像对应的空间结构进行拍照，对肿瘤组织和健康器官进行分割。然而，在临床应用中，获取配对的mr-ct图像通常具有挑战性，例如：多次扫描增加了成本和辐射剂量并延迟了临床工作流程。这不可避免地导致数据集不完整，并对临床分析中的诊断和治疗质量产生不利影响。
4.因此，为解决数据不足的问题，跨模态医学图像合成得到了广泛的普及，从患者角度来看，跨模态图像意味着更少的扫描，更少的延迟，更低的剂量和更低的医疗费用。
5.目前已有大量的方法提出了多种跨模态医学图像转换模型。现有的跨模态医学图像转换模型可以大致分为基于特征匹配的跨模态图像转换算法和基于深度学习的跨模态图像转换算法。
6.基于特征匹配的算法主要是在原始模态和目标模态的相似区域之间建立映射，相关的算法可以大致分为基于分割的方法、基于稀疏编码的方法、基于补丁的方法和基于图集的方法。
7.基于深度学习的方法首先假设存在分别属于图像域x和y的成对图像x1和y1，然后基于x1和y1在图像域x和y之间构建非线性映射，最后将该映射用于从x2预测y2。基于深度学习的方法大致可以分为基于卷积神经网络的方法和基于生成对抗网络的方法。由于卷积神经网络具有更好的描述能力，能够自主学习图像的结构和隐藏的高级特征，其被广泛地应用在计算机视觉和图像处理任务当中。同时，使用整张图像来训练模型可以使模型能够更好地学习图片的上下文信息以及像素之间的关系。因此，目前已经有大量的基于卷积神经网络的跨模态图像转换方法。最近，生成对抗网络(generative adversarial nets,gans)被广泛地应用在图像修复和图像生成中，除此之外，跨模态图像转换任务也是生成对抗网络的主要应用。本质上来讲，基于生成对抗网络的方法主要被定义为生成器和判别器之间的最大最小化竞争。生成器被训练用来合成接近于目标图像的预测图像，判别器被用来判别预测图像和真实图像的真伪。尽管生成对抗网络在医学图像领域已经取得了相当的
发展。hiasa综合了mri的ct图像，并考虑了反向问题。提出了一种添加梯度一致性损失的循环生成对抗网络，以实现跨解剖区域的可靠性。随后，zhang发现了几何效应的缓解图像估计中的失真不是通过循环损耗实现的。因此，他们还建议使用从两个分割网络获得的形状一致性损失。yang还提出了一种结构约束循环，在对抗性和循环一致性损失的基础上增加了结构一致性损失。他们使用与图像模态无关的结构特征，将两个不同模态的图像映射到一个共同的特征域中，从而建立结构一致性。此外，还提出了一种涉及周期一致性和体素损失循环生成对抗网络，该损失不依赖于成对或未配对数据，用于从ct图像估计mri。peng使用cgan(配对数据)和cyclegan(未配对数据)合成了t1加权mri的ct图像，并对鼻咽癌(npc)患者队列进行了训练和测试。2021年，grimwood使用循环生成对抗网络实现了非配对数据ct图像到us图像的转换。尽管生成对抗网络在医学图像领域已经取得了相当的发展，但是直接处理三维医学图像需要相对大量的数据和计算，最常用的方法是使用生成对抗网络模型来处理二维切片，并在后续步骤中将它们连接在一起，以重建全尺寸的三维医学图像。这些方法通常会导致相邻切片中的空间不一致。
8.目前最先进的方法是基于循环生成对抗网络实现跨模态转换。循环一致性的生成对抗网络用于实现2d的mr-ct图像转换，该方法可以在没有配对数据集的情况下进行训练。hiasa等人从ct图像生成mr图像，并考虑到反向生成的问题，在循环生成对抗网络基础上增加了梯度一致性损失以实现可靠性跨模态合成。随后，zhu等人发现使用循环一致性无法减轻图像估计中的几何损失，因此，他们还建议使用从两个生成器网络获得的形状一致性损失。但是，循环生成对抗网络生成的2d切片效果很好，当这些2d切片重新构建一个3d图像时，可以明显观察到空间不一致。
9.一些人试图开发用于图像转换的3d循环生成对抗网络，wang等人首先通过使用3d卷积和转置卷积将循环生成对抗网络从2d扩展到3d，以实现低剂量pet图像的高质量pet图像估计。但由于大量参数和大量计算，三维模型的训练往往不稳定。为了解决二维模型在图像合成中的局限性，提出了三维网络。然而，由于特征分布的差异以及目标函数没有根据3d特征进行具体修改，3d循环生成对抗网络在训练3d图像时有时无法收敛。euijinjung等人使用2d生成器生成3d医学图像，但他们使用3d鉴别器，该鉴别器也依赖于3d卷积。
10.上述这些方法都是在生成器网络上进行改进，而鉴别器的鉴别能力并没有随之提高，会导致训练不稳定的情况。此外之前的循环生成对抗网络中上采样方法均采用的反转置卷积实现。该方法往往会因为卷积核不能被步长整除而导致在图像边缘处产生黑白伪影。


技术实现要素：

11.本发明实施例提供了一种基于循环生成对抗网络的医学图像跨模态合成方法及装置，以至少解决现有医学图像合成效果不佳的技术问题。
12.根据本发明的一实施例，提供了一种基于循环生成对抗网络的医学图像跨模态合成方法，包括以下步骤：
13.对输入图像进行预处理，保留输入图像的空间连续性；
14.构建u型鉴别器，对保留空间连续性的输入图像进行全局特征和局部特征提取；
15.采用基于内容感知的动态特征上采样方法根据输入图像特征预测相应的上采样
核避免合成图像产生伪影。
16.进一步地，对输入图像进行预处理，保留输入图像的空间连续性包括：
17.将相邻的3张2d切片合成一张2.5d切片保留了输入图像的空间连续性同时避免了过大的计算量。
18.进一步地，对输入图像进行预处理，保留输入图像的空间连续性还包括：
19.使用cutmix进行数据扩充；cutmix增强通过切割mri区域的一部分用ct图像的相应区域来填充而不是填充0像素来创建合成图像。
20.进一步地，对输入图像进行预处理，保留输入图像的空间连续性还包括：
21.在训练过程中不出现非信息因素，从局部视图识别对象，向切割区域添加其他样本信息。
22.进一步地，构建u型鉴别器，对保留空间连续性的输入图像进行全局特征和局部特征提取包括：
23.构建du-cyclegan整体网络结构，包括u-net生成器和u型鉴别器；u型鉴别器包括解码器和编码器，其中编码器为patchgan用于将输入鉴别器的图像整体分类为真或假，解码器为u-net用于在像素级别对输入图像进行分类。
24.进一步地，u-net生成器和u型鉴别器通过跳跃连接成u型网络；编码器逐渐对输入进行下采样，捕获全局信息；解码器执行上采样，将输出分辨率与输入匹配；
25.通过拼接u-net生成器和u型鉴别器的匹配分辨率之间的连接数据，提高网络准确分类精细细节的能力。
26.进一步地，采用基于内容感知的动态特征上采样方法根据输入图像特征预测相应的上采样核避免合成图像产生伪影包括：
27.首先对特征图通道压缩，再对内容编码及上采样核预测；对于压缩后的输入特征图，利用一个卷积来预测上采样核，然后在空间维度上扩展通道维度，以获得上采样核；将预测得到的上采样核进行归一化，使得卷积核权重和为1；
28.对于输出特征图中的每个位置，将其映射回输入特征，取出以其为中心的区域，并在这一点上与预测的上采样核进行点积运算以获得输出值。
29.进一步地，相同位置的不同通道共享同一个上采样核。
30.进一步地，u型鉴别器损失函数由三部分组成：编码器损失函数、解码器损失函数、一致性正则化损失函数。
31.根据本发明的另一实施例，提供了一种基于循环生成对抗网络的医学图像跨模态合成装置，包括：
32.图像预处理单元，用于对输入图像进行预处理，保留输入图像的空间连续性；
33.特征提取单元，用于构建u型鉴别器，对保留空间连续性的输入图像进行全局特征和局部特征提取；
34.上采样单元，用于采用基于内容感知的动态特征上采样方法根据输入图像特征预测相应的上采样核避免合成图像产生伪影。
35.一种存储介质，存储介质存储有能够实现上述任意一项基于循环生成对抗网络的医学图像跨模态合成方法的程序文件。
36.一种处理器，处理器用于运行程序，其中，程序运行时执行上述任意一项的基于循
环生成对抗网络的医学图像跨模态合成方法。
37.本发明实施例中的基于循环生成对抗网络的医学图像跨模态合成方法及装置，提出的图像预处理方法能更好的保留空间的连续性；以及提出一种新的u型鉴别器网络来实现了全局特征和局部特征提取，明显提高了合成精度；同时采用了基于内容感知的动态特征上采样模块来代替反转置卷积解决了生成图像会产生伪影的问题，从而综合达到了超过现有方法的最佳合成结果。
附图说明
38.此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
39.图1为本发明提出的网络结构图；
40.图2为本发明动态特征上采样结构图。
具体实施方式
41.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
42.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
43.实施例1
44.本发明为了实现避免硬件设备，从已获得的某种模态来预测它对应的其他模态。这是因为在各个模态之间存在信息对应，如ct图像和mri，虽然它们是不同的模态，如它们都是针对同一个病人的脑部图像，那么它们在形状、大小和结构上是有对应的，两者之间存在着潜在的非线性联系。如果本发明可以直接从已经获得的一种模态数据信息预测出另一种模态的数据信息，那本发明就可以帮助病人避免经历两次不同的成像扫描，一方面这大大提高了医院中扫描机器的效率，并且也减少了病人的痛苦和可能遭受的辐射风险，另一方面也节省了病人的开销，病人不需要承担两次的扫描费用。
45.本发明实现了一种新的u型鉴别器网络的循环生成对抗网络模型，主要用于实现医学图像跨模态转换，致力于解决现有方法合成图像空间不一致性和提高合成精度。循环生成对抗网络及其变体广泛应用于医学图像合成，可以使用未配对数据进行医学图像合成。前人提出的方法是使用生成性对抗网络模型来处理2d切片，然后将所有这些切片重构成3d医学图像。然而，这些方法总会导致连续切片中的空间不一致性。本发明提出一种基于
循环生成对抗网络的医学图像跨模态合成方法及装置，对输入图像进行预处理保留空间的连续性，以及提出一种新的u型鉴别器网络来实现了全局特征和局部特征提取。同时采用了基于内容感知的动态特征上采样模块来代替反转置卷积。
46.本发明方法经实验验证，综合取得了良好结果。经实验验证，本发明提出的图像预处理方法能更好的保留空间的连续性；以及提出一种新的u型鉴别器网络来实现了全局特征和局部特征提取，明显提高了合成精度；同时采用了基于内容感知的动态特征上采样模块来代替反转置卷积解决了生成图像会产生伪影的问题，从而综合达到了超过现有方法的最佳合成结果。
47.因此，本发明针对上述合成精度和空间不一致问题及伪影问题，提出了一种基于循环生成对抗网络的u型鉴别器循环生成对抗网络用于实现mri和ct图像之间的跨模态转换。本发明提出的数据预处理方法将相邻的3张2d切片合成一张2.5d切片保留了输入图像的空间连续性同时避免了过大的计算量。为了提高鉴别器的鉴别能力，本发明提出一种由编码器和解码器组成的u型鉴别器实现了全局特征和局部特征的提取，从而提高鉴别能力。为了避免反卷积网络造成的黑白伪影现象，本发明提出了一种新的特征上采样方法，包括上采样核预测和特征重组两个模块。本发明的技术方案详细阐述如下：
48.本发明提出的du-cyclegan整体网络结构如图1所示。主要是由u-net生成器和u型鉴别器组成。u型鉴别器包括解码器和编码器，其中编码器为patchgan用于将输入鉴别器的图像整体分类为真或假，解码器为u-net用于在像素级别对输入图像进行分类。这两个模块通过跳跃连接成u型网络。编码器逐渐对输入进行下采样，捕获全局信息。解码器执行上采样，将输出分辨率与输入匹配，从而实现精确的像素定位。此外，通过拼接两个模块的匹配分辨率之间的连接数据，进一步提高网络准确分类精细细节的能力。
49.1)上采样分支：
50.当上采样是反卷积时，如果仔细观察生成的图像，会看到黑白伪影。当本发明通过反卷积将低分辨率图像转换为高分辨率图像时，很容易导致不均匀重叠，在某些地方比其他地方更具隐喻性。特别是，当卷积核大小不能被步长整除时，反转置积具有不均匀重叠。如图2所示。本发明在生成器和鉴别器的上采样阶段使用动态特征上采样来解决这一问题。它包括两个步骤，第一步是根据每个目标位置的内容预测其重组核，第二步是用预测核重组特征。
51.(a)上采样核预测模块
52.首先对特征图通道压缩，对于大小为c
×h×
w(c表示通道，h和w表示输入大小)的输入图像，首先用一个1x1卷积将它的通道数压缩到cm×h×
w，这一步的主要目的是减小后续的计算量。接下来对内容编码及上采样核预测，假设上采样核的大小为k
up
×kup
。如果要对输出图像的每个位置使用不同的上采样核，则需要预测上采样核的形状为σh
×
σw
×
kup
×
kup。对于压缩后的输入特征图，利用一个k
encoder
×kenc
oder的卷积来预测上采样核，输入通道为cm，输出通道数为σ2k
up2
，然后在空间维度上扩展通道维度，以获得形状为σh
×
σw
×
kup2的上采样核。将预测得到的上采样核利用softmax进行归一化，使得卷积核权重和为1。
53.(b)特征重组模块
54.对于输出特征图中的每个位置，将其映射回输入特征，取出以其为中心的k
up
×kup
区域，并在这一点上与预测的上采样核进行点积运算以获得输出值。相同位置的不同通道
共享同一个上采样核。
55.2)数据增强分支：
56.2d生成器生成的图像在3维空间具有不连续性，并且3d模型将增加内存使用率和计算量。因此，本发明将3个相邻的2d切片组成一个厚的2.5d切片来保持其空间的连续性。这样本发明的网络就可以捕获3维信息，避免内存密集型3d卷积。此外，本发明使用cutmix进行数据扩充。cutmix增强通过切割mri区域的一部分用ct图像的相应区域来填充而不是填充0像素来创建合成图像。从而在训练过程中不会出现非信息因素，从而提高训练效率并要求模型从局部视图识别对象，向切割区域添加其他样本信息，这样可以进一步增强模型的定位能力。本发明通过将ct和g(mr)与掩码m混合来合成用于鉴别器的新训练样本ct：
[0057][0058]
mix(ct,g(mr),m)＝m
·
ct+(1-m)
·
g(mr).
[0059]
其中m
(i,j)
∈{0,1}是与输入图像大小相同的掩码，如果m
(i,j)
＝1，则为真实图像中的像素(i,j)否则为经过cutmix增强后的伪图像中的像素(i,j)。1是所有像素值都等于1的二进制掩码，
⊙
是元素相乘。鉴别器的编码器会将cutmix图像识别为假，否则生成器会将cutmix增强后图像添加到生成的样本，从而导致混淆结果。
[0060]
3)网络损失函数：
[0061]
由于du-cyclegan的鉴别器由编码器和解码器及cutmix增强三部分组成，因此鉴别器损失函数由三部分组成：编码器损失函数、解码器损失函数、一致性正则化损失函数。
[0062][0063][0064]
l
cons
＝||d
dec
(mix(ct,g(mr),m))-mix(d
dec
(ct),d
dec
(g(mr)),m)||2[0065]
其中l
denc
为编码器损失函数，l
ddec
为解码器损失函数，l
cons
为一致性正则化损失函数。i
ct
为输入的ct图像，i
mr
为输入的mr图像，d
enc
表示编码器判断为真的结果，g(i
mr
)表示生成器生成的ct图像，d
dec
表示解码器的判断结果，其结果是根据所以像素的平均判决计算。
[0066]
实施例2
[0067]
一种存储介质，存储介质存储有能够实现上述任意一项基于循环生成对抗网络的医学图像跨模态合成方法的程序文件。
[0068]
实施例3
[0069]
一种处理器，处理器用于运行程序，其中，程序运行时执行上述任意一项的基于循环生成对抗网络的医学图像跨模态合成方法。
[0070]
与现有技术相比，本发明有如下优点：
[0071]
通过对数据处理及增强，保证了数据的空间连续性。提出了由u-net和patchgan组成的u型鉴别器，可以从全局和局部像素对输入鉴别器的图像进行分类。并引入了新的损失函数来平衡鉴别器和生成器的能力。在网络结构的上采样模块，使用动态特征上采样来根据输入图像特征预测相应的上采样核来避免产生伪影。综上，在mr和ct的跨模态合成中，合成的图像具有更高的精度，且仍保留有空间连续性，不会产生伪影。
[0072]
本发明提出的u型鉴别器循环生成对抗网络用于跨模态合成医学图像，已在公开
数据集abcs miccai 2020数据集上实现，并取得了目前最好的结果。
[0073]
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0074]
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
[0075]
在本技术所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的系统实施例仅仅是示意性的，例如单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
[0076]
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0077]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0078]
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0079]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。