一种低剂量CT影像去噪模型训练方法、去噪方法及装置与流程

本发明涉及图像处理技术领域，尤其涉及一种低剂量ct影像去噪模型训练方法、去噪方法及装置。

背景技术：

计算机断层扫描(ct)是现代医院和诊所最重要的成像方式之一，它能够得到人体不同部位和器官的横断面图像，对于临床诊断具有非常重大的意义。然而这种方式存在潜在的风险，x射线的过量辐射可能导致遗传损伤和并增加诱发癌症的概率。在过去的十年中，减少剂量是ct检查的一种趋势，这是通过缩短x射线管的曝光时间或减小射线管电流来实现的。降低辐射剂量可以降低潜在风险、缓解ct诊疗设备的损耗和老化问题，但是低剂量的ct扫描会在重建图像中增加噪声和伪影，这会影响诊断精度。

现有技术中，可以使用来自图像域的先验信息估计去噪图像，但会导致很高的计算成本；投影域滤波(sinogramdomainfiltration)的方式存在分辨率损失和边缘模糊的问题，如果不仔细处理正弦图数据，将在重建图像中产生伪像；图像后处理方法则会引起的主要问题是过度平滑和残留误差，当ct图像中的噪声以不均匀的方式分布时，问题尤为突出。

因此，科研人员与放射科医生亟待采用新的技术对低剂量ct(ldct)进行图像重建或图像处理以提升诊断精度。

技术实现要素：

本发明实施例提供了一种低剂量ct影像去噪模型训练方法、去噪方法及装置，以消除或改善现有技术中存在的一个或更多个缺陷，以实现对低剂量ct影像的高效去噪。

本发明的技术方案如下：

一方面，本发明提供一种低剂量ct影像去噪模型训练方法，包括：

获取训练样本集，所述训练样本集包括多个低剂量ct影像以及对应的普通剂量ct影像，将预定格式的ct影像进行预处理转化为灰度图像；

将预处理后的所述低剂量ct影像输入至wgan-div生成对抗网络初始模型以获得所述低剂量ct影像至普通剂量ct影像分布的映射，最小化所述wgan-div生成对抗网络初始模型中生成器的损失，最大化所述wgan-div生成对抗网络初始模型中判别器的损失，迭代训练得到低剂量ct影像去噪模型；其中，所述wgan-div生成对抗网络初始模型的生成器网络引入感知损失和l2损失相结合的联合损失。

在一些实施例中，所述感知损失采用vgg-19模型的输出进行计算，计算式为：

其中，w、h、d分别表示特征空间的宽度、高度和深度，vgg指vgg-19网络，g指生成器网络；所述vgg-19模型包含16层卷积层和3层全连接层。

在一些实施例中，所述生成器网络引入的混合损失函数计算式为：

lmix＝λ×lvgg+(1-λ)×l2；

其中，λ为平衡lvgg与l2的权重参数，取值为0～1。

在一些实施例中，所述wgan-div生成对抗网络初始模型的总损失函数的计算式为：

其中，

pr表示真实分布，即ndct图像分布；pz表示噪声分布，即ldct图像分布；pg表示生成器的生成分布pg＝g(pz)，pu表示radon测度，k>0，p>1。

在一些实施例中，所述生成器网络为卷积神经网络，所述生成器网络包含8个卷积层，前7个隐藏层每层有32个3×3的卷积核，最后一层用一个3×3的卷积核生成特征图并输出，激活函数采用修正线性单元。

在一些实施例中，所述wgan-div生成对抗网络初始模型的判别器网络包含连续的6个卷积层和两个全连接层，其中，前两个卷积层有64个卷积核，中间两个卷积层有128个卷积核，最后两个卷积层有256个卷积核，每个卷积核为3×3；卷积层之后依次连接一个1024个输出的全连接层和一个只有单个输出的全连接层。

在一些实施例中，获取训练样本集之后，还包括：

将所述低剂量ct影像以及对应的普通剂量ct影像按照预定长宽尺寸进行裁剪；所述预定格式为dicom格式。

另一方面，本发明还提供一种低剂量ct影像去噪方法，包括：

获取待处理的低剂量ct影像，并按照预定长宽尺寸进行裁剪；

将裁剪后的低剂量ct影像输入至如上述低剂量ct影像去噪模型训练方法中得到的低剂量ct影像去噪模型，进行去噪并输出。

另一方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述方法的步骤。

另一方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现上述方法的步骤。

本发明的有益效果至少是：

本发明所述低剂量ct影像去噪模型训练方法、去噪方法及装置中，所述去噪模型训练方法的生成器网络和判别器网络利用wasserstein散度计算两个图像之间的分布差异，可以让网络的参数不再受到约束，得到整个函数空间中的最优解，达到最佳的去噪效果。

本发明的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本发明的实践而获知。本发明的目的和其它优点可以通过在书面说明及其权利要求书以及附图中具体指出的结构实现到并获得。

本领域技术人员将会理解的是，能够用本发明实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：

图1为本发明一实施例所述低剂量ct影像去噪模型训练方法的逻辑结构示意图；

图2为本发明另一实施例所述低剂量ct影像去噪方法得到的图片与ndct、ldct、red-cnn去噪图像、wgan-vgg去噪图像以及wgan-gp去噪图像的对比图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。

在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其他细节。

应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。

在此，还需要说明的是，如果没有特殊说明，术语“连接”在本文不仅可以指直接连接，也可以表示存在中间物的间接连接。

需要预先说明的是，低剂量ct(ldct)图像去噪技术已经得到了广泛的研究，相比于普通剂量ct(ndct)，低剂量ct的辐射量较小，能够极大降低辐射风险，减小辐射危害，但是低剂量ct的图像存在大量噪声，不清晰，在医疗诊断过程中会产生负面影响。低剂量ct(ldct)的平均辐射剂量为0.61～1.50msv，而普通ct(ndct)是7msv。美国医学物理师协会认为如果影像学检查的单次剂量在50msv以下，短期内多次累计剂量在100msv以下时被认为是安全的。

现有的多种去噪方法，如投影域滤波、图像后处理等方法，大多存在数据不易获取、分辨率损失、边缘模糊、产生伪像、去噪后的图像过度平滑和残留误差的问题，而且，当ct图像中的噪声以不均匀的方式分布时，这些问题难以解决。深度学习(dl)方法具有更强的从ldct图像中获取高层次特征的能力，是目前最先进ldct图像去噪方法。尽管dl的解决方案取得了显著的进展，但在学习非线性降噪模型和保留结构信息之间的权衡时陷入了瓶颈。wgan中对生成器生成的图像和实际的ndct图像的分布进行采样时，1-lipschitz约束的次优逼近将缩小有效搜索空间，最终影响wgan的参数优化，进而降低去噪效果。为了突破这一瓶颈，本发明将wasserstein散度引入wgan生成对抗网络初始模型，通过更好的逼近约束条件来保证获得最优的参数，从而达到最优去噪效果。

具体的，本发明提供一种低剂量ct影像去噪模型训练方法，包括步骤s101～s102：

步骤s101：获取训练样本集，训练样本集包括多个低剂量ct影像以及对应的普通剂量ct影像，将预定格式的ct影像进行预处理转化为灰度图像。

步骤s102：将预处理后的低剂量ct影像输入至wgan-div生成对抗网络初始模型以获得低剂量ct影像至普通剂量ct影像分布的映射，最小化wgan-div生成对抗网络初始模型中生成器的损失，最大化wgan-div生成对抗网络初始模型中判别器的损失，迭代训练得到低剂量ct影像去噪模型；其中，wgan-div生成对抗网络初始模型的生成器网络引入感知损失和l2损失相结合的联合损失。

在步骤s101中，训练样本集是基于临床医学获得的实测样本，对于单一样本对象分别采集低剂量ct(ldct)和普通剂量ct(ndct)，其中，低剂量ct作为输入的噪音，普通剂量ct作为正样本。

在一些实施例中，多个样本对象的低剂量ct和普通剂量ct构成训练样本集。预定格式的ct影像可以是dicom格式的ct影像，在通过训练样本集对wgan-div生成对抗网络初始模型进行训练之前，将dicom格式的ct影像进行预处理转化为灰度图像，以便于后续模型的训练。

在一些实施例中，步骤s101之后，即获取训练样本集之后，还包括：将低剂量ct影像以及对应的普通剂量ct影像按照预定长宽尺寸进行裁剪。

本实施例中，低剂量ct影像采用dicom(digitalimagingandcommunicationsinmedicine，医学数字成像和通信)格式的灰度影响，在训练wgan-div生成对抗网络初始模型前，首先对训练样本集中的图像进行裁剪，图像尺寸的一致性，以便于后续过程中的损失计算，获得效果更好的模型。通常情况下，采用规则分幅裁剪的方式，裁剪图像的边界范围是一个矩形，通过左上角和右下角两点的坐标，就可以确定图像的裁剪位置，整个裁剪过程较为简单。

在步骤s102中，本发明通过对生成对抗网络初始模型进行训练，以使低剂量ct的分布能够映射至普通剂量ct影像。具体的，wgan在生成对抗网络初始模型引入最优传输中的wasserstein距离(w距离)来度量两个分布间的距离，即便在分布间没用重合的时候，wasserstein距离的值依然能提供有用的信息，因此，不会出现梯度消失的问题。但wgan里的判别器网络d的参数要满足1-lipschitz约束，为了满足这个条件，wgan在每次判别器网络d的梯度下降后，将判别器d不在[-1,1]范围内的参数强制裁剪到±1，确保了判别器网络d的优化目标有界。具体的，若参数大于等于1则裁剪为1，若参数小于等于-1则裁剪为-1。但是这样裁剪权重会使得多数参数被局限在-1或1，可能导致判别器网络d对生成器g的变化不在敏感，进而导致模型坍塌。本申请采用的wgan-div生成对抗网络初始模型，引入w散度进行优化，在最小化w散度时缩小两个分布的距离。

具体的，wgan-div生成对抗网络初始模型包括生成器网络和判别器网络，基于生成器网络损失的最小化以及判别器网络损失的最大化进行训练并调参。

在一些实施例中，wgan-div生成对抗网络初始模型的生成器网络为卷积神经网络，生成器网络包含8个卷积层，前7个隐藏层每层有32个3×3的卷积核，最后一层用一个3×3的卷积核生成特征图并输出，激活函数采用修正线性单元。

在一些实施例中，wgan-div生成对抗网络初始模型的判别器网络包含连续的6个卷积层和两个全连接层，其中，前两个卷积层有64个卷积核，中间两个卷积层有128个卷积核，最后两个卷积层有256个卷积核，每个卷积核为3×3；卷积层之后依次连接一个1024个输出的全连接层和一个只有单个输出的全连接层。

将生成器网络标记为g，将判别器网络标记为d，按照生成对抗网络的基本思路，要求生成器网络g与判别器网络d互相对抗，在训练过程中，要求生成器网络g使整体损失尽可能小，判别器网络d使整体损失尽可能大。也即要求生成器网络g生成的分布要与真实分布相一致，而判别器网络d要尽可能区分生成器网络g生成的分布与真实分布。

进一步的，整体损失可以表示为计算式1：

其中，pr表示真实分布，也即普通剂量ct影像；pz表示噪声分布，也即低剂量ct影像；pg表示生成器的生成分布，其计算式如式2：

pg＝g(pz)(2)

判别器d描述了pr与pg的差异，在训练过程中这个差异要求尽量大，而生成器g的目标是使pr与pg的差异尽可能小。

进一步地，由于本发明引入了wasserstein散度，基于wasserstein散度的gan损失函数为：

pr表示真实分布，即ndct图像分布；pz表示噪声分布，即ldct图像分布；pg表示生成器的生成分布pg＝g(pz)，pu表示radon测度(拉东测度)，k>0，p>1。经过试验后发现k＝2，p＝6时效果最好。

在本发明中，wgan-div生成对抗网络初始模型的生成器网络以感知损失和l2损失作为联合损失。感知损失可以在去噪的同时保留更清晰的细节，而l2损失可以改善信噪比。

其中，感知损失的计算方式如下：基于预设的vgg-19网络作为特征提取器，所述vgg-19模型包含16层卷积层和3层全连接层，以用于提取图像分布的感知特征，分别提取生成器网络的生成分布与真实分布的感知特征，并基于该生成分布和真实分布的感知特征计算感知损失。vgg-19网络可以是基于imagenet训练好的。

具体的，在本实施例中，感知损失采用vgg-19模型的输出进行计算，计算式为：

其中，w、h、d分别表示特征空间的宽度、高度和深度,‖·‖f表示f范数，vgg指vgg-19网络，g指生成器网络，所述vgg-19模型包含16层卷积层和3层全连接层。

l2范数损失函数，也称为最小平方误差，就是把真实分布与生成分布的差的平方和最小化。

具体的，本实施例中，生成器网络引入综合感知损失和l2损失的混合损失函数计算式为：

lmix＝λ×lvgg+(1-λ)×l2(5)

其中，λ为平衡lvgg与l2的权重参数，取值为0～1，根据具体的使用场景，可以调节λ以改善生成分布的效果。

在一些实施例中，参照式3与式5，wgan-div生成对抗网络初始模型的总损失函数的计算式为：

另一方面，本发明还提供一种低剂量ct影像去噪方法，包括步骤s201～s202：

步骤s201：获取待处理的低剂量ct影像，并按照预定长宽尺寸进行裁剪。

步骤s202：将裁剪后的低剂量ct影像输入至如上述步骤s101～s102中低剂量ct影像去噪模型训练方法中得到的低剂量ct影像去噪模型，进行去噪并输出。

在本实施例步骤s201中，对待处理的低剂量ct影像进行裁剪，处理得到预定长宽尺寸的输入图片。具体的，该预定长宽尺寸应当与步骤s101中用于训练wgan-div生成对抗网络初始模型的训练样本的尺寸相同。

在步骤s202中，利用步骤s101～s102中训练得到的低剂量ct影像去噪模型对待处理的待处理的低剂量ct影像进行处理去噪，以得到去噪后的ct图像。

基于步骤s101～s102的低剂量ct影像去噪模型训练方法中得到的低剂量ct影像去噪模型，以及步骤s201～s202的去噪步骤，如图2所示，给出一组去噪效果的对比示例。

图2展示了普通剂量ct影像(ndct，图a)、低剂量ct影像典型(ldct，图b)，以及现有技术中几种典型深度学习方法对ldct影像进行去噪得到的图像。其中，包括采用red-cnn、wgan-vgg、wgan-gp以及本发明步骤s101～s102所述的低剂量ct影像去噪模型(图f)进行去噪得到的图片。其中，red-cnn为图c、wgan-vgg为图d和wgan-gp为图e。

图2中，上栏为肺窗整体效果，下栏为图a中上栏方框标记区域放大图，主要观察肺组织，用红色圆圈标记的为兴趣区域(roi)，肺部纹理清晰可见。作为对照的(a)ndct肺部小结构保真度高和肺纹理十分清晰；而(b)ldct虽然肺部小结构保真度较高，但是有大量的噪声和伪影，严重影响临床上对于肺纹理的观察。(f)本申请低剂量ct影像去噪模型的测试结果，无论是从降噪效果、肺部小结构保真还是肺纹理的清晰度上来说，都是极为优秀的，都可以在没有噪声的影响下清晰地观察整个肺部或者局部纹理，肺野内基本看不到任何噪声，并且更接近于(a)ndct。(c)red-cnn的降噪效果良好，但是图像过于平滑，纹理细节没有得到保存。效果最差的是(d)wgan-vgg，其次是(e)wgan-gp，这两个模型的测试结果虽然降噪效果尚可，噪声和伪影有明显的减少，但是图中肺部小结构保真度较低，有的小结构轮廓十分模糊，有的小结构直接被当做噪声抹去，无法作为临床ct图像使用。

另一方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述方法的步骤。

另一方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现上述方法的步骤。

本发明所述低剂量ct影像去噪模型训练方法、去噪方法及装置中，所述去噪模型训练方法的生成器网络和判别器网络利用wasserstein散度计算两个图像之间的分布差异，可以让网络的参数不再受到约束，得到整个函数空间中的最优解，达到最佳的去噪效果。

本领域普通技术人员应该可以明白，结合本文中所公开的实施方式描述的各示例性的组成部分、系统和方法，能够以硬件、软件或者二者的结合来实现。具体究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(asic)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、rom、闪存、可擦除rom(erom)、软盘、cd-rom、光盘、硬盘、光纤介质、射频(rf)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。

还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。

本发明中，针对一个实施方式描述和/或例示的特征，可以在一个或更多个其它实施方式中以相同方式或以类似方式使用，和/或与其他实施方式的特征相结合或代替其他实施方式的特征。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。