一种由PET图像生成CT图像的深度学习框架和方法与流程

一种由pet图像生成ct图像的深度学习框架和方法
技术领域
[0001]
本发明涉及医学图像重建技术领域，更具体地，涉及一种由pet图像生成ct图像的深度学习框架和方法。


背景技术：

[0002]
计算机断层扫描(computed tomography，ct)，能够提供丰富的解剖结构信息，显著缓解了正电子发射扫描(positron emission tomography，pet)图像分辨率低的问题。pet成像是一种功能性成像，能够直观地反映出人体病变组织的相关信息，pet图像与ct图像相结合可以实现对病灶区域的精确定位和检测。此外，ct图像还能提供空间约束信息，帮助原始pet图像的衰减校正和伪影去除。因此，pet/ct成像系统是当前世界范围内使用最为广泛的pet成像系统。然而，ct扫描的介入会导致额外的x射线照射，而人体所受辐射剂量的累加，将增加各种疾病发生的可能性，进而影响人体生理机能，破坏人体组织器官，甚至危害到患者的生命安全。
[0003]
在现有技术中，存在以下技术方案：
[0004]
dong等人于2019年在physics in medicine&biology期刊上发表文章“synthetic ct generation from non-attenuation corrected pet images for whole-body pet imaging”，使用循环一致性生成对抗网络(cyclegan)，成功地将未经衰减校正的第一pet图像转换为ct模态。所生成的伪ct图像，不仅可以提供解剖结构信息以辅助对病灶区域的定位和诊断，还可以对第一pet图像进行衰减校正。
[0005]
现有技术的主要缺点是：由于pet和ct扫描时参数设定不同，导致了两者间存在显著的匹配误差；pet和ct分属两个截然不同的图像域，从分辨率低且缺少空间结构信息的pet图像直接生成ct图像十分困难，并且所生成的图像效果还有待改进。


技术实现要素：

[0006]
本发明的目的是克服上述现有技术的缺陷，提供一种由pet图像生成ct图像的深度学习框架和方法，通过端对端的深度学习，实现对第一pet图像的衰减校正，同时生成了伪ct图像，有利于辅助病灶的精确定位和检测。
[0007]
根据本发明的第一方面，提供一种由pet图像生成ct图像的深度学习方法。该方法包括：
[0008]
利用未经衰减校正的第一pet图像和对应的经衰减校正的第二pet图像，通过对衰减校正机制的逆向计算，获得衰减校正系数图；
[0009]
构建包含生成器和判别器的图对图生成对抗网络，其中生成器以所述衰减校正系数图作为输入，以ct模态图像作为输出，并以所述生成器输入图像作为判别器的判别条件以区分生成的ct模态图像的真伪；
[0010]
以设定的损失函数为目标，优化训练所述图对图生成对抗网络，获得未经衰减校正的第一pet图像和ct模态图像之间的映射关系。
[0011]
根据本发明的第二方面，提供一种由pet图像生成ct图像的深度学习框架。该框架包括衰减校正系数图计算模块和图对图生成对抗网络，其中：
[0012]
所述衰减校正系数图计算模块用于利用未经衰减校正的第一pet图像和对应的经衰减校正的第二pet图像通过反向计算，获得衰减校正系数图；
[0013]
图对图生成对抗网络包含生成器和判别器，其中生成器以所述衰减校正系数图作为输入，以ct模态图像作为输出，并以所述生成器输入图像作为判别器的判别条件以区分生成的ct模态图像的真伪。
[0014]
与现有技术相比，本发明的优点在于，提供一种深度学习框架来取代ct模态在pet/ct成像系统中的各项职能，基于端对端的映射学习，实现对未经衰减校正的第一pet图像的降噪和伪影去除，从而实现了对第一pet图像的衰减校正过程，得到具有更多结构特征的衰减校正系数图。进一步地，基于获得的衰减校正系数图重建ct图像，显著降低了ct图像的重建难度，并提高了ct重建的图像质量。此外，为ct重建的图对图生成对抗网络模型设计了联合多重损失函数，进一步保证了输出图像的质量。
[0015]
通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。
附图说明
[0016]
被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。
[0017]
图1是根据本发明一个实施例的基于深度学习框架生成ct图像的流程示意图；
[0018]
图2是根据本发明一个实施例的残差unet网络的整体结构图；
[0019]
图3是根据本发明一个实施例的编码器网络结构图；
[0020]
图4是根据本发明一个实施例的残差模块网络结构图；
[0021]
图5是根据本发明一个实施例的解码器网络结构图；
[0022]
图6是根据本发明一个实施例的图对图生成对抗网络中判别器的结构图；
[0023]
图7是根据本发明一个实施例的pet-ct图像合成结果示意图。
具体实施方式
[0024]
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
[0025]
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
[0026]
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
[0027]
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
[0028]
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
[0029]
为消除pet/ct成像系统中存在的ct辐射，本发明设计了一种深度学习框架来取代ct模态在该成像系统中所发挥的作用。该深度学习框架整体上包含3部分：第一部分，端对端的衰减校正过程，用于实现未经衰减校正的第一pet图像至经过衰减校正的第二pet图像之间的映射；第二部分，通过对衰减校正机制的逆向计算，获得衰减校正系数图。第三部分，由衰减校正系数图到伪ct图像的生成。其中，所生成的伪ct图像可用于辅助医生对病灶区域的诊断。
[0030]
具体地，本发明提供的由pet图像生成ct图像的深度学习框架包括残差unet网络和图对图生成对抗网络，其中，残差unet网络用于对pet图像的衰减校正(也可采用其他的深度学习模型)，图对图生成对抗网络用于生成与pet图像对应的ct图像。
[0031]
结合图1所示，该实施例提供的生成ct图像的深度学习方法包括以下步骤。
[0032]
步骤s110，构建残差unet网络，用于对未经衰减校正的第一pet图像进行衰减校正。
[0033]
其中，衰减校正过程本质上对未衰减校正的第一pet图像进行降噪和去除伪影，以提高图像质量。
[0034]
例如，通过建立一个二维的残差unet网络，实现对未经衰减校正的第一pet图像的降噪和伪影去除。
[0035]
具体地，参见图2所示，设计了一种带有若干残差模块的unet网络，通过端对端的学习和残差反馈，直接生成干净的pet图像，即经衰减校正的第二pet图像。该残差unet网络包括编码器、残差模块和解码器，其中编码器与解码器之间存在跨越连接，通过这种方式能够解决训练中的梯度消失和梯度爆炸问题，同时可以促进网络间的信息传递。
[0036]
参见图3所示，在该实施例中，编码器部分包含5个卷积模块。除了第一个卷积模块，每个卷积模块都由一个2
×
2最大池化操作和两个连续且相同的3
×
3卷积操作组成，这些卷积操作的步长均为1且被relu函数激活。第一个卷积模块为保留更多的原始图像信息，移除了最大池化操作。每个卷积模块的编码结果通过跨越连接机制传递到解码器中，以更好地指导对第一pet图像的衰减校正工作。随着编码深度的增加，卷积模块的宽度也从初始的64通道数递增至512通道数，以逐步提取更深度的图像特征。最后的卷积模块编码结果被2倍下采样后送入到残差模块中，以进一步提取图像的深度表达信息。
[0037]
图4是残差模块的结构图，在该实施例中，三个连续且相同的残差模块被设置在编码器和解码器之间。每个残差模块内都含有2个步长为1，通道数为512且被relu函数激活的3
×
3卷积操作。每个残差模块的输出结果是由第一个卷积操作的输入和第二个卷积操作的输出像素级相加得到。最终的残差模块输出结果被传送入解码器中。
[0038]
图5的解码器具有和图3的编码器相对称的结构，不同的是，每个卷积模块中的2
×
2最大池化操作在解码器中被替换成了步长为2的双线性插值上采样。经过残差模块所得到的特征图经过一次卷积操作后，被4个连续的卷积模块进行解码。借助于跨越连接，上采样后的解码特征图能与对应分辨率的编码特征图沿通道合并，再进行卷积操作。最终卷积模块的解码结果被送入最后一层卷积层中，产生单通道的经过衰减校正的第二pet图像。因为sigmoid激活函数被使用在最后的卷积层中，该图像被归一化到(0,1)区间内。
[0039]
步骤s120，基于衰减校正前后的pet图像，通过对衰减校正机制的逆向计算获得衰减校正系数图。
[0040]
不同于传统的衰减校正系数图的获取方式，本发明实施例利用未经衰减校正的第一pet图像和步骤s110生成的经过衰减校正的第二pet图像通过对衰减校正机制的逆向计算得到衰减校正系数图。
[0041]
在传统的衰减校正过程中，hu值表示的ct数据经过图像配准、能级转换和空间分辨率校正得到对应的衰减校正系数图。该衰减校正系数图被正投影后得到对应的衰减校正系数正弦图。该衰减校正系数正弦图与第一pet正弦图进行点乘操作，得到衰减校正后的第二pet正弦图，再经过经典重建算法得到最终的第二pet图像。
[0042]
由此可见，pet的衰减校正过程是可逆的。在已知未经衰减校正的第一pet和经过衰减校正的第二pet图像的情况下，可以逆向计算得到衰减校正系数正弦图，再重建得到衰减校正系数图。在本发明中，使用拉登变换函数作为从图像域到正弦图的正投影操作，滤波反投影算法作为从正弦图到图像域的重建算法。
[0043]
步骤s130，构建图对图生成对抗网络模型，用于生成ct模态图像。
[0044]
例如，通过一个二维的图对图生成对抗网络，将所得的衰减校正系数图转化成ct模态。
[0045]
考虑到ct图像表现远比第二pet图像复杂，本发明在残差unet网络的基础上，添加判别器，引入生成对抗机制，构建图对图生成对抗网络，以进一步提高ct图像的生成质量。
[0046]
在一个实施例中，该图对图生成对抗网络以步骤s110中的残差unet网络作为生成器，实现从衰减校正系数图到ct图像的变换，其中判别器采取全卷积网络结构，以衰减校正系数图为判别条件，区分生成图像的真假。例如，参见图6所示，判别器具有4层卷积层和最终输出层，每个卷积层包含了1个步长为2的4
×
4卷积操作，批归一化操作和斜率为0.2的leakyrelu激活函数。卷积层的卷积核个数分别是64，128，256和256通道。在最后的输出层中，单通道的图像块被sigmoid函数归一化到(0,1)值域范围。
[0047]
应理解的是，图对图生成对抗网络中的生成器也可采用不同于步骤s110中的残差unet网络结构，即可利用其他类型的深度学习模型来实现生成器。
[0048]
步骤s140，设计残差unet网络和图对图生成对抗网络的损失函数。
[0049]
优选地，为了提高网络生成的图像质量，设计了较为复杂的联合损失函数，通过联合多重损失函数来优化网络的迭代训练，以进一步保证生成的ct图像满足辅助医学诊断的需要。
[0050]
本发明包含了从未经衰减校正的第一pet图像到衰减校正后的第二pet图像的残差unet网络和从衰减校正系数图到ct图像的图对图生成对抗网络，因此需要分别为两个模型设计独立的损失函数。
[0051]
在一个实施例中，在训练残差unet模型时，使用平均绝对误差(mae)实现对未经衰减校正的第一pet图像的降噪，损失函数表示为：
[0052][0053]
其中，x表示未经衰减校正的第一pet图像，y表示经过衰减校正后的第二pet图像，n表示每幅图像的总像素点个数。
[0054]
在一个实施例中，对于图对图生成对抗网络训练过程中，为了使生成的ct图像保留更为丰富的纹理特征和局部细节，除了平均绝对误差(mae)之外，还引入了感知损失函数
(perceptive loss，pcp)。无论是图对图生成对抗网络的对抗损失函数还是引入的感知损失函数，都能实现特征层面的分布一致。这不仅能产生更为逼真的图像，还能显著加快网络的收敛速度。
[0055]
因此，图对图生成对抗网络中生成器的损失函数表示为：
[0056]
loss
ct
＝mae+λ1·
pcp+λ2·
cgan
g
ꢀꢀ
(2)
[0057][0058]
cgan
g
(x)＝log(d(g(x),x))
ꢀꢀ
(4)
[0059]
其中，pcp表示基于预训练模型(如vgg19)的感知损失函数，cgan
g
表示对抗损失函数，x表示衰减校正系数图像，y表示对应的ct图像；φ
i
表示预训练模型的第i编码卷积层，w
i
和h
i
表示第i编码卷积层的特征图长和宽，n表示所选的卷积层数。
[0060]
在一个实施例中，使用基于sigmoid激活的交叉熵函数作为图对图生成对抗网络的对抗损失函数cgan
g
和cgan
d
。生成对抗损失函数在生成器g和判别器d中的表现形式如下：
[0061]
cgan
g
(x)＝log(d(g(x),x))
ꢀꢀ
(5)
[0062]
cgan
d
(x,y)＝log(d(y,x))+log(1-d(g(x),x))
ꢀꢀ
(6)
[0063]
其中，x表述生成对抗网络的输入图像，即衰减校正系数图。同时x也作为判别器的判别条件。g(x)表示生成的ct模态图像，y表示真实的ct图像。
[0064]
为了平衡各损失函数在图对图生成对抗网络训练时的贡献，可根据经验设置λ1和λ2，例如分别设置为1.0和0.01。根据实验仿真，可调整损失权重的设置。
[0065]
步骤s150，以设定的损失函数为目标，优化残差u-net网络。
[0066]
具体地，以未经衰减校正的第一pet图像作为残差unet网络的输入，衰减校正后的第二pet图像作为其参考，采用rmsprop优化器和动态衰减学习率策略，优化残差unet网络，使其逐步达到收敛状态。
[0067]
步骤s160，以设定的损失函数为目标，优化图对图生成对抗网络。
[0068]
具体地，以计算所得的衰减校正系数图作为图对图生成对抗网络的输入，以ct图像作为其参考，采用adam优化器训练图对图生成对抗网络，使其逐步达到收敛状态。
[0069]
需要说明的是，除应用于ct模态之外，本发明提出的实验架构也可应用于诸如mri模态的其他图像类型。
[0070]
为了评估本发明的实际效果，邀请了两位临床经验丰富的医生针对网络模型生成的第二pet图像和ct图像，从噪声抑制程度、细节恢复程度和总体生成质量三方面进行主观性打分(10分制，1分表示不可接受，10分表示完美还原)。评分结果参见下表1。
[0071]
表1临床医生的主观性评分
[0072][0073]
图7是pet-ct图像合成结果示意图。其中，子图(a)是生成的伪ct图像，(b)是真实的ct图像，(c)是生成的ac pet图像(即经衰减校正的pet图像)，(d)是真实的ac pet图像，
(e)是生成的pet/ct融合图，(f)是真实的pet/ct融合图。
[0074]
由图7可以看出，本发明的方法可以很好地实现pet的衰减校正，得到干净的第二pet图像。同时，生成的伪ct图像也具有足够的解剖结构信息，可以辅助医生对病灶区域的临床诊断和定位。实验证明，本发明提出的方法在很大程度上可以取代ct模态在pet成像系统中的作用，这有助于pet成像系统摆脱对解剖模态的依赖，实现去辐射化的目标。
[0075]
综上所述，同时实现pet衰减校正和ct图像重建，摆脱了pet成像系统对ct模态的依赖；借鉴传统衰减校正过程，通过反向计算衰减校正系数图，以降低ct重建难度，提高ct图像质量；使用联合损失函数对ct图像重建质量的提高。
[0076]
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
[0077]
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式压缩盘只读存储器(cd-rom)、数字多功能盘(dvd)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
[0078]
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
[0079]
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如smalltalk、c++等，以及常规的过程式编程语言—诸如“c”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
[0080]
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/
或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
[0081]
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
[0082]
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
[0083]
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
[0084]
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。