一种基于生成对抗网络和3D残差编码解码的医学图像降噪方法与流程

本发明涉及正电子发射计算机断层图像处理，具体而言，尤其涉及一种基于生成对抗网络和3d残差编码解码的医学图像降噪方法。

背景技术：

正电子发射断层扫描(pet)是一种功能性成像模式，通过注射特定的放射性示踪剂对组织内的分子活动水平进行观察，18f-fdg是常用的放射性示踪剂，该物质会与人体组织内的负电子发生湮灭现象，发射出一对能量相等但飞行方向相反的正电子，探测器通过检测电子轨迹即可实现成像功能。当人体的某个部位发生病变时，更加活跃的生理活动会提高该物质的吸收量，由此和其他正常组织产生区别。pet在实际的临床中应用非常广泛，包括癌症诊断、心脏病诊断和神经疾病诊断等，但是由于物理降解因素和检测光子数量有限，使得pet图像的图像分辨率和信噪比不佳，进而在临床应用中需要进一步提升图像质量，以将该技术更广泛的应用于小病变检测、肺癌和神经疾病的早期检测等。此外，由于使用放射性示踪剂也会增加患者的辐射风险，而降低放射性示踪剂剂量影响成像质量，导致图像中夹杂的噪声严重影响医生的诊断，这也对图像质量提出了更高的要求。

目前pet图像常用降噪方法主要包括正弦域滤波、迭代重建及其变种。正弦域滤波的优势在于可以对噪声进行精准建模，因此可以得到非常理想的降噪效果，但是在正弦域滤波过程中图像的边缘不能被很好的保留，容易造成图像细节的丢失，并且图像的空间分辨率会显著下降，此外正弦域滤波对数据完整性要求较高。迭代重建的优势体现在低剂量图像降噪过程中，可将图像在正弦域中的统计特性、图像域中的先验信息与成像系统的相关参数统一成一个目标函数，通过解方程的方法来提高成像质量。近年来，包括总变差(tv)技术及其变种、非局部均值(nlm)、字典学习等迭代重建算法逐渐兴起。其中，非局部均值(nlm)降噪的基本思想为：当前像素的估计值由图像中与它具有相似邻域结构的像素加权平均得到，容易导致图像边缘细节丢失，且计算量大。字典学习去噪方法和3d块匹配方法在去噪方面取得了不错的成绩，但在去噪的同时也丢失了图像的边缘细节。目前流行的深度学习主要基于图像的2d维度进行网络训练，没有将相邻切片的特征完整表达。综上所述，由于迭代重建的计算消耗巨大，成像速度极慢，严重影响患者的流动性，并且重建过程中也会造成细节上的损失，因此在实际临床应用中也面临着众多困难。

技术实现要素：

鉴于现有技术中存在的图像细节易丢失、成像速度慢等问题，本发明提供了一种基于生成对抗网络和3d残差编码解码的医学图像降噪方法，利用少量的数据对模型进行训练后即可对任意高噪正电子发射计算机断层图像进行准确、快速的降噪。

本发明的技术方案如下：

一种基于生成对抗网络和3d残差编码解码的医学图像降噪方法，步骤包括：

s100、分类收集训练数据并对所述训练数据进行预处理，所述训练数据包括低质量图像和高质量图像；

s200、构建基于生成对抗网络和3d残差编码解码的卷积神经网络，利用扫描时间为75s、尺寸为n*9*64*64*1的低质量图像作为训练输入，扫描时间为150s、尺寸为n*9*64*64*1的高质量图像作为训练标签，对所述网络进行训练，具体包括：

s210、设置生成对抗网络各部参数，包括：将生成器设置为包括4个3d卷积层、3个2d卷积层和4个2d反卷积层，将鉴别器设置为包括6个2d卷积层和2个全连接层，将感知特征提取网络设置为包括16个2d卷积层和4个2d池化层；

s220、将预处理后的低质量图像作为网络的训练输入、高质量图像作为网络训练标签，对模型进行训练；

s300、利用训练后的卷积神经网络对高噪图像降噪，得到高质量图像。

进一步地，步骤s100所述预处理包括：

s110、对收集的分类数据进行格式转化，便于后续直接处理；

s120、对可处理的分类数据进行扩充，所述扩充包括：对数据进行随机水平翻转、随机像素平移、随机旋转和裁剪。

本发明还提供了一种存储介质，其包括存储的程序，其中，所述程序执行上述任意一项所述的降噪方法。

本发明还提供了一种处理器，其用于运行程序，其中，所述程序执行上述任意一项所述的降噪方法。

较现有技术相比，本发明具有以下优点：

本发明通过分层网络框架从像素数据中有效地学习高级特征，进而找出训练样本和训练标签之间复杂的非线性关系。并且网络训练图像时采用3d训练，以3d残差为基础提取图像的空间特征和关系，最终实现图像的精确降噪。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明降噪方法流程图。

图2为实施例中方法执行流程图。

图3a为输入的图像示意图。

图3b为提取的切片腹部图像。

图3c为提取的切片肺部图像。

图3d为提取的切片脑部图像。

图4a为生成器工作流程图。

图4b为鉴别器工作流程图。

图4c为感知特征提取器工作流程图。

图5a为实施例中输入的高噪声图像。

图5b为实施例中输入的低噪声图像。

图5c为实施例中输出的降噪后图像。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明提供了一种基于生成对抗网络3d残差编码解码的医学图像降噪方法，步骤包括：

s100、对采集的训练数据进行预处理，具体包括：

s110、分类收集训练数据，所述训练数据包括低质量图像和高质量图像；

s120、对收集的分类数据进行格式转化，便于后续直接处理。

s130、对可处理的分类数据进行扩充，以满足训练要求，具体包括：对数据进行随机水平翻转、随机像素平移、随机旋转和裁剪的方法来扩充数据集。

s200、采用处理后的数据训练基于生成对抗网络和3d残差编码解码的卷积神经网络，具体包括：

s210、搭建基于生成对抗网络和3d残差编码解码神经网络，并设置生成器各层卷积参数以及鉴别器各层卷积参数；

s220、将预处理后的低质量图像作为网络的训练输入、高质量图像作为网络训练标签，对模型进行训练。

s300、利用训练后的卷积神经网络对高噪图像降噪，得到高质量图像。

下面通过具体的实施例，对本发明的技术方案做进一步说明：

实施例1

如图2所示，一种基于生成对抗网络和3d残差编码解码的医学图像降噪方法，对正电子发射断层扫描进行图像降噪，包括：对采集的训练数据进行预处理；采用处理后的数据训练基于生成对抗网络和3d残差编码解码的卷积神经网络；利用训练后的卷积神经网络对高噪图像降噪，得到高质量图像。

数据预处理包括：

步骤a：训练数据由东软医疗提供，如图3a所示，包括扫描时间为75s的低质量全身扫描图像和扫描时间为150s的高质量全身扫描图像，数据格式为dicom，如图3b-3d所示，这些数据可以大致分为头部、肺部和腹部这三类。

步骤b：将这些dicom格式的数据借助pydicom和numpy库转化为npy格式的数据。

步骤c：将三类数据通过随机水平翻转、随机水平或垂直方向移动25个像素、随机旋转10度和裁剪固定大小的图像补丁的方法来扩充数据集，以防止数据量不够而导致的过拟合现象。

神经网络训练过程包括：

步骤d：设计基于生成对抗网络和3d残差编码解码网络结构，将形状大小为n*9*64*64*1的，扫描时间为75s和150s的图像分别作为网络的训练输入和训练标签。其中n表示数据图像的个数，9代表同时输入图像的个数，64代表图像的大小，1代表图像的通道数，即图像为灰度图像。首先，3d残差编码解码也是一种网络结构，通过使用3d卷积可以利用图像在空间上的关联信息，进一步提高降噪的效果。这里的残差指的是不同层的的相互连接，在下文中所有提到与其他层的输出叠加后的输出都是残差的结果，引入残差的目的是防止网络层数过深导致的训练效果变差。其次，3d残差编码解码同生成对抗网络的结合依靠的是利用3d残差编码解码网络作为生成对抗网络的生成器部分。最后，编码和解码指的就是在降噪过程中的卷积和反卷积过程，高噪图像经过卷积后将变为另一种形式，这称之为编码，反卷积将恢复出图像，这称之为解码。3d残差编码解码网络主要依靠使用了3d卷积，它将连续的图像进行统一卷积，得到的特征图将包含连续图像之间的关联信息，实验结果证明，这样做可以更好的保存降噪后图像的细节信息。如图4a-4c所示，为网络结构训练过程，具体包括：

生成器网络共有4个3d卷积层、3个2d卷积层和4个2d反卷积层：第1层是3d卷积层，输入为125个大小为9*64*64的由原始图像裁剪得来的图像补丁，输出为125个大小为7*62*62*32的特征图，卷积核大小为3*3，步长为1；第2层是3d卷积层，输入为125个大小为7*62*62*32的特征图，输出为125个大小为5*60*60*32的特征图，卷积核大小为3*3，步长为1；第3层是3d卷积层，输入为125个大小为5*60*60*32的特征图，输出为125个大小为3*58*58*32的特征图，卷积核大小为3*3，步长为1；第4层是3d卷积层，输入为125个大小为3*58*58*32的特征图，经维度压缩后输出为125个大小为56*56*32的特征图；第5层是2d反卷积层，输入为125个大小为56*56*32的特征图，经过与第3层输出的第2层图像的特征图叠加后，输出125个大小为58*58*64的特征图，卷积核大小为3*3，步长为1；第6层是2d卷积层，输入为125个大小为58*58*64的特征图，降维之后输出125个大小为58*58*32的特征图，卷积核大小为1*1，步长为1；第7层是2d反卷积层，输入125个大小为58*58*32的特征图，经过与第2层输出的第3层图像的特征图叠加后，输出125个大小为60*60*64的特征图，卷积核大小为3*3，步长为1；第8层是2d卷积层，输入为125个大小为60*60*64的特征图，降维之后输出125个大小为60*60*32的特征图，卷积核大小为1*1，步长为1；第9层是2d反卷积层，输入125个大小为60*60*32的特征图，经过与第1层输出的第4层图像的特征图叠加后，输出125个大小为62*62*64的特征图，卷积核大小为3*3，步长为1；第10层是2d卷积层，输入为125个大小为62*62*64的特征图，降维之后输出125个大小为62*62*32的特征图，卷积核大小为1*1，步长为1；第11层是2d反卷积层，输入125个大小为62*62*32的特征图，输出125个大小为64*64*1的特征图，卷积核大小为3*3，步长为1，此层的输出即为最终的降噪后的图像。所有的卷积层与反卷积层均使用了’valid’填充方式，激活函数统一采用的是relu激活函数。

鉴别器网络共有6个2d卷积层和2个全连接层：第1层是2d卷积层，输入125个大小为64*64的由原始图像裁剪得来的图像补丁，输出为125个大小为64*64*64的特征图，卷积核大小为3*3，步长为1；第2层是2d卷积层，输入为125个大小为64*64*64的特征图，输出为125个大小为32*32*64的特征图，卷积核大小为3*3，步长为2；第3层是2d卷积层，输入为125个大小为32*32*64的特征图，输出为125个大小为32*32*128的特征图，卷积核大小为3*3，步长为1；第4层是2d卷积层，输入为125个大小为32*32*128的特征图，输出为125个大小为16*16*128的特征图，卷积核大小为3*3，步长为2；第5层是2d卷积层，输入为125个大小为16*16*128的特征图，输出为125个大小为16*16*256的特征图，卷积核大小为3*3，步长为1；第6层是2d卷积层，输入为125个大小为16*16*256的特征图，输出为125个大小为8*8*256的特征图，卷积核大小为3*3，步长为2；第7层为全连接层，输入为125个大小为8*8*256的特征图，输出为125个大小为1*1024的特征向量；第8层为全连接层，输入为125个大小为1*1024的特征向量，输出为125大小为1*1的特征向量；所有卷积层均使用了’same’填充方式，除最后一层以外的所有卷积层与全连接层均采用leaky-relu作为激活函数。

感知特征提取网络共有16个2d卷积层和4个2d池化层：第1层是2d卷积层，输入125个大小为64*64的由原始图像裁剪得来的图像补丁，输出为125个大小为64*64*64的特征图，卷积核大小为3*3，步长为1；第2层是2d卷积层，输入为125个大小为64*64*64的特征图，输出为125个大小为64*64*64的特征图，卷积核大小为3*3，步长为1；第3层为2d池化层，输入125个大小为64*64*64的特征图，输出为125个大小为32*32*64的特征图，卷积核大小为2*2，步长为2；第4层为2d卷积层，输入125个大小为32*32*64的特征图，输出为125个大小为32*32*128的特征图，卷积核大小为3*3，步长为1；第5层为2d卷积层，输入125个大小为32*32*128的特征图，输出为125个大小为32*32*128的特征图，卷积核大小为3*3，步长为1；第6层为2d池化层，输入125个大小为32*32*128的特征图，输出为125个大小为16*16*128的特征图，卷积核大小为2*2，步长为2；第7层为2d卷积层，输入125个大小为16*16*128的特征图，输出为125个大小为16*16*256的特征图，卷积核大小为3*3，步长为1；第8层为2d卷积层，输入125个大小为16*16*128的特征图，输出为125个大小为16*16*256的特征图，卷积核大小为3*3，步长为1；第9层为2d卷积层，输入125个大小为16*16*128的特征图，输出为125个大小为16*16*256的特征图，卷积核大小为3*3，步长为1；第10层为2d卷积层，输入125个大小为16*16*128的特征图，输出为125个大小为16*16*256的特征图，卷积核大小为3*3，步长为1；第11层为2d池化层，输入125个大小为16*16*256的特征图，输出为125个大小为8*8*256的特征图，卷积核大小为2*2，步长为2；第12层为2d卷积层，输入125个大小为8*8*256的特征图，输出为125个大小8*8*512的特征图，卷积核大小为3*3，步长为1；第13层为2d卷积层，输入125个大小为8*8*256的特征图，输出为125个大小8*8*512的特征图，卷积核大小为3*3，步长为1；第14层为2d卷积层，输入125个大小为8*8*256的特征图，输出为125个大小8*8*512的特征图，卷积核大小为3*3，步长为1；第15层为2d卷积层，输入125个大小为8*8*256的特征图，输出为125个大小8*8*512的特征图，卷积核大小为3*3，步长为1；第16层为2d池化层，输入125个大小为8*8*512的特征图，输出为125个大小为4*4*512的特征图，卷积核大小为2*2，步长为2；第17层为2d卷积层，输入125个大小为4*4*512的特征图，输出为125个大小4*4*512的特征图，卷积核大小为3*3，步长为1；第18层为2d卷积层，输入125个大小为4*4*512的特征图，输出为125个大小4*4*512的特征图，卷积核大小为3*3，步长为1；第19层为2d卷积层，输入125个大小为4*4*512的特征图，输出为125个大小4*4*512的特征图，卷积核大小为3*3，步长为1；第20层为2d卷积层，输入125个大小为4*4*512的特征图，输出为125个大小4*4*512的特征图即为感知特征提取网络提取到的感知特征，卷积核大小为3*3，步长为1；所有2d卷积层均使用’same’填充方式，激活函数为relu函数；所有2d池化层均使用’valid’填充方式。

传统的卷积神经网络(cnn)通常采用高噪图像与低噪图像的像素间的均方误差(mse)作为损失函数，通过最小化损失函数来实现降噪的过程。这样做的好处在于可以获得明显的降噪效果。但是代价就是很容易造成过度去噪，丢失掉图像的某些关键细节，因此难以满足临床的需要。本专利所采用的生成对抗网络(gan)利用的是沃瑟斯坦距离(wassersteindistance)作为损失函数。沃瑟斯坦距离可以衡量两个概率分布之间的差异。利用生成对抗网络实现图像降噪时，我们视高噪图像与低噪图像为两种不同的概率密度，降噪的目标就转变为将高噪图想的概率密度转变为低噪图像的概率密度。概率密度层面上的转化是从整体层面出发的，因此同利用均方误差作为损失函数的卷积神经网络相比，利用生成对抗网络生成的图像拥有更好的视觉效果，即整体上更加接近正常剂量的图像。

降噪过程包括：

步骤e：如图5a-5c所示，利用在步骤d中训练好的网络参数来对测试集内的图像进行降噪。

本发明还提供了一种存储介质，其包括存储的程序，其中，所述程序执行上述任意一项所述的降噪方法。

本发明还提供了一种处理器，其用于运行程序，其中，所述程序执行上述任意一项所述的降噪方法。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。