用于低剂量CT图像降噪及去伪影的渐进式生成对抗网络

本发明属于ct成像技术领域，公开了一种用于高效抑制低剂量ct图像中的噪声与伪影、便于后期精确地医学诊断与分析的深度学习方法。

背景技术：

自20世纪70年代计算机断层扫描成像(computedtomography，ct)技术问世以来，因其具有操作简单、成像速度快、灵敏度高等优点而被广泛应用于工农业生产、安全检查、生物医学成像、工业无损检测、地质学等领域。在医学诊疗领域，ct图像具有成像清晰、密度分辨率高、能够清晰地显示图像的三维信息等优点，因而广泛应用于各种先天性发育异常、炎症性疾病、代谢性病变、外伤性改变、良恶性肿瘤以及心血管疾病等检查中。在对血管性病变的诊断和显示中，为了提高对病灶的定性分析能力、肿瘤分期的准确性或判断肿瘤手术切除的可能性，有时还需要进行动态增强扫描。为了随时掌握自身健康状况，定期健康检查更是必不可少。

然而，重复的ct扫描检查使得受检者接收x射线的辐射伤害的风险增加，易导致受检者余生遭受免疫力功能下降、新陈代谢异常、生殖器官受损、患白血病、癌症与遗传性疾病等风险增加。由于体质弱于成年人，儿童遭受的辐射伤害更大。在alara(aslowasreasonablyachievable)原则指导下，研究人员的研究兴趣主要集中在低剂量ct(low-dosect，ldct)成像技术的改善方面。

一般可分为三类：投影域方法、重建方法、后处理方法。由于后处理方法是在图像域进行操作，不依赖于原始投影数据，可移植性较强，便于推广，已经成为ldct成像领域的热点研究方向。在深度学习被广泛应用之前，已经出现了一些比较成熟的后处理方案：如非局部均值(non-localmeans,nlm)及其改进方法、三维块匹配滤波(blockmatching3d,bm3d)算法、基于字典学习与稀疏表示的ldct降噪算法。这些传统算法可以实现简单的图像降噪任务，然而在伪影与结构高度相似的ldct图像的低密度区，降噪效果仍不够理想。

技术实现要素：

为解决现有技术存在的网络复杂度高、参数量多、训练过程不稳定的技术问题，本发明提供了一种能够实现快速高效ldct图像降噪的深度学习方法，该方法能够在不增加网络复杂度与运算时间的前提下实现比较好的伪影噪声抑制与细节保留效果。

为实现上述目的，本发明所采用的技术方案为：用于低剂量ct图像降噪及去伪影的渐进式生成对抗网络，包括如下内容：

1、建立ldct图像降噪模型：

降噪模型能够建立ndct、ldct与伪影和噪声之间的相互关系，本渐进式生成对抗网络采用的降噪模型是加性模型，具体表达式为：

x＝t(y)1-1

x＝y+n1-2

y＝x-n1-3

式1-1为ndct图像的降质过程，其中，x∈r^c×h×w表示ldct图像，y∈r^c×h×w表示与之对应的ndct图像，t表示x与y之间的函数映射关系，体现了ndct以非线性的形式退化为ldct的降质过程；t在不同的应用场景中可以表示不同的含义，如果是在图像去模糊领域，t表示不同形式的模糊核操作，如果是在图像超分辨率领域，t则表示图像降采样操作，因此，此处的t更准确地说是包含获取ldct图像过程中产生的所有影响图像质量的因素。

式1-2为模拟的ldct图像生成过程，其中，n表示噪声与伪影，通过人为在ndct图像中加入噪声，最终产生了ldct图像。

式1-3为从ldct图像中恢复原始的ndct图像的过程。

2、渐进式生成对抗网络中双生成器嵌套子网络的设计：

双生成器嵌套子网络的主要特点在于将ldct图像降噪问题分解为两个子问题，噪声抑制与结构保留。众所周知，图像的分辨率越高，图像中所含的信息越丰富，图像质量也越高，但是图像的上下文信息较少，感受野小；将图像通过下采样的方式进行数据降维，能够减少网络需要学习的参数量，提高网络的计算效率，增加感受野，但是同时也存在图像分辨率下降，细节丢失的问题。为了尽可能兼顾分辨率与感受野之间的关系，考虑到ldct图像中包含丰富的组织器官边缘，纹理特征以及大量干扰医学诊断的噪声和伪影，本设计将生成器分为两个模块，全局特征降噪器与局部纹理特征增强器。

3、双生成器嵌套子网络中全局特征降噪器的设计：

为了提高网络的降噪性能，本设计从全局特征与局部特征角度出发，同时考虑了噪声伪影抑制与细节修复两种因素，在编解码结构的基础上嵌入了局部纹理特征增强子模块，提出了全局特征降噪器网络。该网络的输入是原始图像，通过自适应特征校准网络将原始图像的浅层特征与局部纹理特征增强器获得的纹理特征进行融合，并送入全局特征降噪器网络的主干部分进行ldct图像降噪与细节恢复。

4、双生成器嵌套子网络中局部纹理特征增强器的设计：

由于u-net网络在编码过程中采用了降采样操作，使得降噪后的图像往往会丢失ct图像的部分结构。为了解决这一问题，本发明在此基础上嵌入了局部纹理特征增强器，增加了纹理特征作为补充，用来缓解因多次降采样操作而导致的图像细节丢失、降噪结果过度平滑的问题。局部纹理特征增强器的输入是原始图像经下采样后分辨率降低为原始图像尺寸1/2的图像，经6层编解码结构后输出分辨率为输入图像尺寸1/2的纹理特征图。

5、shuffle判别器的设计：

为了增加网络多尺度特征提取的能力，现有的网络结构往往采取不同尺寸的卷积核或者池化核、不同空洞率因子的空洞卷积进行特征提取。然而，这些操作存在的最大问题在于容易造成特征丢失或者新特征产生等问题。为了解决这一问题，利用shuffle操作能够在不增加网络参数量、不增加计算复杂度、不丢失信息的情况下实现特征之间的信息共享、改变图像分辨率的优点，本发明提出了一种快速高效的多尺度特征提取网络shuffle判别器。shuffle判别器通过分别提取ndct与降噪后的ct图像的多尺度特征，进而达到提高判别器的鉴别能力与生成器的降噪能力的目的。

6、对渐进式生成对抗网络设计对应的损失函数：

为了解决生成对抗网络固有的训练不稳定性缺陷，本发明选取了最小二乘损失函数作为对抗损失，一定程度上缓解了训练难题。

7、对全局特征降噪器设计对应的像素级l1损失：

本发明选取了传统的像素级l1损失来约束全局特征降噪器，用来实现基本降噪功能。

l1损失为：

8、对局部纹理特征增强器设计对应的纹理损失：

本发明利用ndct经gabor滤波器特征提取后的纹理特征作为局部纹理特征增强器网络的约束条件，指导局部纹理特征增强器网络进行特征学习，尽可能地输出接近ndct纹理特征的图像。

本发明的具体图像处理步骤如下：

一、选择ldct图像降噪模型，构建成对ldct图像与ndct图像数据集；

二、将ldct图像输入双生成器嵌套子网络中，双生成器嵌套子网络包括全局特征降噪器与局部纹理特征增强器，通过局部纹理特征增强器提取图像的局部纹理特征，通过全局特征降噪器的前端网络提取图像的全局特征，将局部纹理特征与全局特征相加，作为自适应特征校准网络的输入，经自适应特征校准网络进行特征校准后，网络会输出更具表征能力、更加丰富的特征，将这些特征经全局降噪器进行处理，最终输出降噪结果图；

三、分别采用基于最小二乘思想的对抗损失与全局损失函数对降噪结果图进行约束，采用纹理损失对局部纹理特征增强器的输出结果进行约束；

四、将ndct图像与降噪结果图共同输入shuffle判别器子网络中迭代训练；

五、输出最终降噪结果图。

本发明与现有技术相比，具体有益效果体现在：

一、本发明在不破坏图像原有结构的前提下改善了重构图像的质量，速度快，网络参数少，成本低，可推广性好；

二、本发明通过设计双生成器嵌套子网络，对ldct图像的全局特征与局部特征进行了有效融合，增加了特征提取的丰富性，最终实现了ldct图像降噪任务；

三、本发明采用shuffle判别器，shuffle判别器利用shuffle操作能够在不丢失图像特征的情况下，将尺度不同的卷积核所提取的特征融合后再次送给尺度不同的卷积核进行下一层特征提取，在不增加网络复杂度的同时提高了判别器网络对多尺度特征表达的能力，从而提升了判别器鉴别能力。

附图说明

图1为渐进式gan降噪网络的整体框架示意图。

图2为双生成器嵌套子网络的结构示意图。

图3为自适应特征校准网络的结构示意图。

图4为shuffle判别器网络的结构示意图。

图5为八种降噪方法(三种对比算法，四种消融网络与本文算法)对胸部ldct图像的降噪结果示意图。

图6为四种消融网络与本文算法在piglet数据集上对不同剂量ldct图像的降噪结果示意图。

图7为五种算法在图5中三个roi的定量比较，其中，图7(a)为五种算法的ssim值降噪结果比较图，图7(b)为五种算法的psnr值降噪结果比较图。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

用于低剂量ct图像降噪及去伪影的渐进式生成对抗网络，以gan网络作为主框架，提出了一种包含全局特征降噪器与局部纹理特征增强器的渐进式生成对抗网络，用于解决低剂量ct图像中的伪影抑制。

如图1所示，降噪网络整体框架分为2个子网络：双生成器嵌套子网络与shuffle判别器子网络。首先，将含有大量伪影和噪声的ldct图像输入全局特征降噪器与局部纹理特征增强器中，可以得到ldct图像的全局特征以及局部纹理特征；其次，将获取的全局特征以及局部纹理特征共同输入自适应特征校准网络(该网络会根据输入特征之间的内在关联，自适应地在每个像素周围建立远距离空间与通道之间的相互依赖关系，帮助卷积神经网络提取更具有判别能力的特征，提高特征的丰富性)中进行特征融合，并将融合后的结果反馈给全局特征降噪器，输出初步降噪结果；然后将初步降噪结果和与之对应的ndct图像共同输入shuffle判别器子网络中，判别器通过对输入图像的真伪加以鉴别，指导生成器输出质量更优的降噪结果，与此同时，判别器自身的鉴别能力也随之增强；最后，通过生成器与判别器的博弈对抗训练，基于最小二乘思想的对抗损失与像素级l1损失的共同约束，指导网络的参数优化过程，直到生成器的降噪能力和判别器的鉴别能力达到平衡，网络收敛停止训练，此时生成器的输出最接近ndct，最终实现了ldct图像降噪的目的。

如图2所示，考虑到ldct图像中包含分布复杂的伪影噪声等干扰信息、结构丰富的人体正常软组织结构、医学诊疗病理等有用信息，如果仅通过一步降噪容易导致噪声伪影抑制与有用信息保留效果不佳。为了解决这一问题，本发明提出了一种包含全局特征降噪器与局部纹理特征增强器的双生成器嵌套子网络，用来提高降噪网络对干扰信息与有用信息的敏感度，进而能够提取更加丰富的特征。

具体的，首先将ldct图像输入全局特征降噪器的前端网络中来提取输入图像的浅层特征，如边缘，其中前端网络是由2个卷积核大小为4×4的卷积层组成；其次，通过降采样操作将输入的ldct图像变为原始图像的1/2，并将变换后的结果送入局部纹理特征增强器中，用来提取图像的局部纹理特征：局部纹理特征增强器是由6层编解码结构构成，编码端第一层采用卷积核大小为5×5、步长为1的卷积层，后5层均采用卷积核大小为4×4、步长为2的卷积层进行特征编码，编码结束后，通过跨层连接将编码端特征并入到对应的解码端进行特征重构，其中解码端采用与编码端相同的卷积核设置；随后，将局部纹理特征增强器的倒数第二层的特征与全局特征增强器的浅层特征相加后输入到自适应特征校准网络中进行特征的筛选与融合：自适应特征校准网络是由两个卷积核大小分别为3×3与5×5的自校准卷积网络构成，如图3所示，自校准卷积网络的工作机理如下：

(1)将尺寸为c×h×w的特征图x拆分为2个尺寸为c/2×h×w的特征图x1与x2；

(2)将维度为c×c×h×w的卷积核c分解为4个维度均为c/2×c/2×h×w的卷积核，分别记为c1，c2，c3和c4；

(3)为了充分捕获图像每个空间位置的上下文信息，利用下采样后特征具有较大的感受野，将特征图在原始尺度空间和下采样后的具有较小分辨率的潜在空间中进行特征转换，即对特征图x1先经过平均池化进行下采样，再经过双线性插值进行上采样，并与原始尺度空间特征相加，经sigmoid激活函数后得到一个校准概率，最后将校准概率与c3卷积核提取的特征相乘进行校准，得到最终输出特征y1；

(4)将特征图x2经卷积核c4进行特征提取，输出特征y2；

(5)将特征图y1与y2进行拼接，得到最终输出特征y；

在基于生成对抗网络的降噪算法的设计中，判别器性能的好坏也间接影响了降噪图像的质量。考虑到ldct图像中噪声与伪影的分布特征，且受inception模块启发，本发明对判别器也进行了针对性设计，通过将shuffle操作(shuffle操作是一种在不增加网络参数、不损失图像信息的前提下，能够快速实现特征分辨率降低的方法：以1/2shuffle操作为例，输入尺寸为h×w×c的特征图，先按行(或按列)遍历图像，提取图像的奇数行和列或偶数行和列的特征像素值，再把其余的特征像素值在特征维度上进行拼接，最终输出尺寸为((h/2)×(w/2)×4c)的特征图)引入判别器的设计中，提出了一种能够快速提取图像特征的shuffle判别器。

如图4所示，该网络第一层由卷积核大小为4×4，步长为2的卷积层组成，卷积层后增加了leakyrelu激活函数；第二层由3个shuffle模块组成，目的是通过调整输入特征图的感受野与分辨率，快速提取输入特征的多尺度特征，进而提高判别器的尺度敏感性；第三层采用卷积核大小为4×4，步长为2的卷积操作，卷积层后加入了sigmoid激活函数来对输入图像的真伪进行鉴别。

shuffle模块的具体结构如图4右侧虚线框所示，首先采用1/2shuffle操作来降低图像分辨率，增加感受野，促进通道特征之间的相互交流；其次分别采用卷积核大小为1×1、3×3与5×5的卷积层实现多尺度特征提取；最后再将3个卷积层的输出特征进行级联，并通过1×1卷积进行特征降维。

shuffle判别器通过增加shuffle操作来调整输入特征图的尺寸，并用卷积核大小不同的卷积层进行特征提取，增加了判别器的尺度敏感性，提升了判别器的特征提取与鉴别能力。

为了保障降噪网络的性能，本发明共设计了3种损失：基于最小二乘思想的对抗损失、用于约束全局降噪器性能的像素级l1损失和用于约束局部纹理特征增强器的纹理损失。具体如下公式所示：

(1)针对全局特征降噪器，设计了像素级l1损失用来约束降噪结果的整体性能：

其中，表示降噪结果图，y表示ndct图像。

(2)针对局部纹理特征增强器，设计了纹理损失用来约束局部纹理特征：

其中，表示局部纹理特征增强器提取的纹理特征，t表示ndct图像的纹理特征。

(3)针对生成对抗网络，设计了对抗损失用来改善降噪效果与增加生成对抗网络训练稳定性。

整体损失函数表示为：

d：

g：

其中，e表示求数学期望，d和g分别表示判别器和生成器，x表示ldct图像，y表示相应的ndct图像，lpixel和ltexture分别表示像素级l1损失与纹理损失，λ1和λ2分别表示像素级l1损失与纹理损失的权重。如图5所示，比较不同降噪算法对胸部ldct图像的降噪结果在纹理细节、信息保留程度和噪声伪影移除方面的表现情况，本发明的降噪结果视觉效果最佳，条形伪影的抑制效果非常好。

如图6所示，比较消融降噪网络对真实数据集piglet在不同剂量下的降噪结果与ndct在整体降噪效果、噪声伪影抑制情况，本发明算法具有较强的鲁棒性，能够适应不同剂量的ldct图像降噪问题，且降噪效果优异。

如图7所示，比较不同降噪算法在三个roi内的量化表现可以发现，本文算法降噪结果的ssim和psnr值在四种算法中均是最高的，这也进一步证明了本文算法的优越性。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包在本发明范围内。