一种基于深度学习的双域CT图像环状伪影去除方法

一种基于深度学习的双域ct图像环状伪影去除方法
技术领域
1.本发明属于ct图像环状伪影去除领域，具体涉及一种基于深度学习的双域ct图像环状伪影去除方法。


背景技术：

2.目前计算机断层成像技术(ct)在医疗领域得到了广泛的应用。其中，由于ct机器中探测器的物理姿态变化，常常会在成像中引入环状伪影。由于探测器的移位、损坏或被遮挡，在ct扫描之后获得的投影图中，这些探测器方向会形成与其他探测器数据不连续的条形伪影，而这些条形伪影经过滤波反投影重建为ct图像时，就形成了以重建图像中心为圆心的呈环形分布的伪影，即环状伪影。环状伪影的出现会严重降低重建图像的质量，干扰医生诊断。如何抑制环状伪影是ct领域的一大问题。
3.目前针对环状伪影的传统去伪影方法主要分为平场校正、硬件校正和后处理算法校正三大类，平场校正是去除环状伪影的常用算法，在数据采集前后对背景图像进行无采样测量。由此产生的平坦场，包括入射x射线束的非均匀效应、闪烁体和探测器像素的响应，可用于校正扫描的数据，然后减少伪影。然而，由于不同探测器的响应函数不同，环形伪影无法完全消除。硬件校正方法需要在数据采集过程中调整探测器的位置。这样就可以得到不同探测器的不同响应，然后对所有检测器的特征进行平均以减少伪影。
4.后处理算法校正主要可以分为投影域算法、图像域算法。环状伪影在投影域呈显出条形伪影的形式，投影域算法利用正弦图中条纹伪影的频率特性，对正弦图进行频域处理。例如小波傅里叶变换方法，其利用二维小波对投影图进行分解，然后对垂直细节带系数进行滤波。由于小波分解的特性，小波傅里叶滤波方法可以有效地去除覆盖整个正弦图的理想条纹伪影。但对于含有不理想的条纹伪影的实际投影，该方法可能会保留一些伪影，甚至引入二次伪影。图像域算法则常常借助于极坐标变换等方法，将环状伪影转化为极坐标下的条形伪影，再利用滤波去除。因为条形伪影相对于环状伪影更易被滤波去除，所以此方法可以有效抑制环状伪影，但常常有细小的环状伪影残留。
5.随着深度学习技术的发展，深度卷积神经网络越来越广泛的应用在医学成像领域，其中针对于ct环状伪影校正方面，有很多新的网络架构和算法被提了出来。严格来说，基于深度学习的环状伪影校正算法属于后处理算法。这些算法也可以大致分为图像域、投影域和混合域三个大类。投影域和图像域算法所使用的深度神经网络多数是类似于u
‑
net的编解码网络，相比于传统的双域校正算法，基于深度学习的双域校正算法具有快捷方便且效果更好的优点，但是其更依赖于训练数据，泛化能力不如传统算法。图像域的深度学习算法常常消去例如骨头这样的一些细节，而投影域的深度学习算法类似于传统算法，也容易引入一些二次伪影。基于深度学习的混合域校正算法往往将深度神经网络作为工具连接投影域和图像域进行双域的强化校正，从而减少单域算法存在的伪影残留和伪影引入等问题。因此混合域算法往往可以实现结合投影域和图像域算法的优点，进一步的抑制环状伪影，实现更好的去伪影效果。


技术实现要素：

6.本发明的目的在于克服上述不足，提供一种基于深度学习的双域ct图像环状伪影去除方法，在双域去伪影的前提下进一步的减少残余伪影和二次伪影的混合域环状伪影去除方法。
7.为了达到上述目的，本发明包括以下步骤：
8.s1，搭建投影域去伪影的深度神经网络，投影域网络设置为残差学习网络，投影域网络使用最大反池化作为上采样；
9.s2，搭建图像域去伪影的深度神经网络，上采样采用双线性插值法；
10.s3，搭建混合域深度神经网络，使用的是无参考图像质量评价网络来挑选来自双域校正过的图像块，最后组成完整图像；
11.s4，准备图像域、投影域和混合域的训练数据；
12.s5，分别对图像域、投影域和混合域的网络进行训练，并完成验证。
13.投影域网络和图像域网络的架构均基于u
‑
net。
14.s4中，投影域的输入数据是含条形伪影的投影图，标签数据是对应的条形伪影。
15.s4中，图像域的输入数据是含环状伪影的ct图像，标签数据是对应的参考图像。s4中，混合域的输入数据是含伪影的图像块，标签数据是图像质量评价的指标数值，采用结构相似度ssim作为指标。
16.图像域和投影域的训练数据均使用分块方法，将完整的图像分割为多个重叠的图像块，挑选其中伪影严重的图像块作为训练数据。
17.与现有技术相比，针对ct图像的环状伪影，使用投影域和图像域双域混合的校正方法，利用深度神经网络在投影域和图像域分别进行伪影校正，然后将双域校正后的图像组合为双通道的图像集，并分割为图像块，通过一个图像质量评价的深度神经网络来对这些图像块进行质量评价，其中评价高的通道保留下来，最终所有保留下的图像块经过直方图匹配后组成最终的校正图像。这种方法有如下优点：
18.第一：使用了深度神经网络在投影域和图像域分别对伪影图像进行处理，这种方法比之传统的后处理算法如正则化迭代算法，提高了处理速度，减少了伪影的引入。
19.第二：使用了新的基于图像质量评价的混合域深度神经网络，这种网络对双域校正图像进行挑选，可以有效地将双域校正的优势结合起来，进一步的减少残留伪影或二次伪影。
20.第三：提出的双域混合校正的架构具有很好的模块化特性，即由于混合域网络不针对伪影图像直接进行校正而是基于双域校正的结果之上进行选择，这就导致了无论是投影域还是图像域网络的提升都对整体方法有优化效果。
21.第四：混合域网络的标签设置可以针对不同目标需求进行调整。即基于图像质量评价的混合域神经网络可以针对目标的图像特征来进行标签指标设计，从而进一步的贴合需求。如本技术针对环状伪影，环状伪影的结构相似性的特征更为明显，因此标签可以设置为参考图像与训练图像的结构相似性，从而达到更针对性的效果。而针对噪声更多的图像，则可以将标签设置为均方误差等指标，对噪声进行针对性优化。
附图说明
22.图1为本发明的流程图；
23.图2为本发明中投影域的网络结构图；
24.图3为本发明中混合域的网络结构图；
25.图4为本发明的验证结果图；其中，(a)为环状伪影图像，(b)为图像域校正图像，(c)为投影域校正图像，(d)为混合域校正图像，(e)为参考图像。
具体实施方式
26.下面结合附图对本发明做进一步说明。
27.参见图1，本发明包括以下步骤：
28.步骤1，搭建投影域去伪影的深度神经网络。由于投影域数据相对于图像域对连续性更敏感，处理不当很容易引入二次伪影，因此为了更好的保持投影域的连续性，投影域网络设置为残差学习网络，即网络的输出是学习到的条形伪影，网络的输入减去输出才是经过校正后的投影图。投影域网络的架构基于u
‑
net，使用最大反池化作为上采样。
29.步骤2，搭建图像域去伪影的深度神经网络。图像域网络不是残差学习网络，而是单纯的去伪影网络。同样基于u
‑
net，但是不同于投影域网络，由于需要保存更多的信息，所以上采样采用双线性插值法。
30.步骤3，搭建混合域深度神经网络。不同于已有的混合域网络使用拉东变换层或增强网络，本发明的混合域神经网络使用的是无参考图像质量评价网络来挑选来自双域校正过的图像块，最后组成完整图像。
31.步骤4，准备双域及混合域的训练数据。投影域的输入数据应当是含条形伪影的投影图，其标签数据是对应的条形伪影。图像域的输入数据是含环状伪影的ct图像，标签数据则是对应的参考图像。为了补充训练数据，图像域和投影域的训练数据都使用了分块方法，即将完整的图像分割为更多的重叠的图像块，挑选其中伪影严重的图像块作为训练数据。由于混合域使用的是无参考图像质量评价网络，因此输入数据是含伪影的图像块，而标签数据则是图像质量评价的指标数值，本发明中使用的是结构相似度(ssim)作为标签数据，因为伪影图像与参考图像的结构相似度相差较大，更易比较。
32.步骤5，分别对图像域、投影域、混合域的网络进行训练，并完成验证。
33.本发明属于基于双域深度神经网络的后处理算法，总体工作流程图如附图1所示。环状伪影图像经过前向投影得到投影图，然后环状伪影图像和其投影图经过双域网络的校正，组成双通道图像，再分割为图像块，经过混合域网络的挑选重排为一个单通道混合校正图像。这里的混合域网络是一个无参考的深度卷积网络，它可以对双域校正后的图像块进行质量评价，并挑选出其中伪影少且结构保存较多的图像块，再重新组成最终校正的图像。需要注意的是，由于投影图像素之间的强连续性，直接在投影域进行校正容易引入二次伪影。因此本技术使用的投影域网络是残差网络，即输出为条形伪影。因此投影域网络的输出需要与输入相减才能得到校正后的投影图。另外，由于双域校正后的图像对比度不同，为了使混合校正图像不出现明显的块效应，在重排时需要进行直方图匹配。各子部分网络架构如下。
34.1、投影域与图像域网络架构。
35.双域的网络架构都是基于u
‑
net改进得到的。在投影域，网络架构如附图2所示。其中包括4种卷积模块，即前半段的卷积块1、中间的卷积块2和后半段的卷积块3以及最后一个卷积块4，除了最后一个卷积层，所有卷积层后都跟随有bn+lrelu层。通道数在前半段随着卷积块1的卷积核的增加从1增加到512，在后半段随着卷积核3的减少从512减少到1。使用了2*2的最大池化作为下采样，2*2的最大反池化作为上采样，二者构成了网络编解码的过程。图像域与投影域网络相似，只是由于图像域网络不是残差网络，所以图像域的上采样使用的是双线性插值而非最大反池化，这是唯一的区别。
36.2、混合域网络架构。
37.混合域网络是一个无参考图像质量评价网络，其网络架构如附图3所示。它使用了2*2最大池化与2*2最小池化来提取图像特征，并使用了多层全连接层来计算图像质量分数。混合域网络的输入是由双域校正图像组成的双通道图像块。图像块输入网络后，网络逐通道对图像块进行图像质量评价，每个通道的图像块都得到一个分数，经过对比后，分数高的那个通道的图像块作为输出。输出的图像块按顺序组成最终校正的图像。
38.经实验验证，结果如附图4所示。可以看出，单纯投影域校正的图像引入了阴影伪影，单纯图像域校正的图像则保留有部分环状伪影。相比之下，本技术提出的混合域校正方法所校正的图像残留伪影最少，且没有引入新的伪影，达到了保存结构细节和去除环状伪影的平衡。