一种图像处理方法、系统和计算机存储介质与流程

本申请涉及图像处理技术领域，尤其是涉及一种用于卷积神经网络的图像处理方法、系统和存储介质。

背景技术：

目前磁共振成像(mri)扫描是一种无创性的高分辨率成像技术，在当前的临床诊断和科学研究中发挥着重要作用，因为它能揭示人体组织器官的三维、内部细节和结构。然而，在图像采集过程中，噪声很容易影响图像的质量，特别是在需要高速、高分辨率的情况下，会在图像上产生局部模糊区域(例如白色、阴影、失真等)。磁共振成像中的噪声不仅会降低成像质量，而且会降低临床诊断精度；也会对后续分析任务(如配准、分割和检测)的可靠性产生负面影响，例如在对图像进行分割后形成若干切片(像素块或像素条)，以作为处理模型的采样输入，在切片局部或全部覆盖模糊区域时，该采样切片不能作为输入数据，针对欠采样部分的数据需要通过处理模型根据其他采样数据填充或完善。因此，有效的降噪算法对于进一步的磁共振分析是必要的，同时对于医疗诊断领域具有重要的科学意义和应用前景。

相关技术一，基于卷积神经网络多通道残差学习的三维磁共振图像去噪技术设计了10层的卷积神经网络层，采用了vgg网络的架构来降低噪音及残差学习的策略。这种深度学习方法在最大峰值信噪比和全局结构相似性指数评价指标上，都表现了稳健的去噪性能。在噪声抑制方面和图像结构保留方面，保留图像的更多细节，有效的去除三维磁共振图像的噪声。

相关技术二，t一种用于磁共振图像去噪的卷积神经网络技术设计了在卷积神经网络深度学习的框架下，该网络使用一组卷积将图像特征与噪声分离。该网络采用了编解码结构，既保留了图像的显著特征，又忽略了不必要的特征。利用残差学习方案对网络进行端到端的训练。在一个模拟和四个真实的磁共振数据集上对所提出的cnn的性能进行了定性和定量的测试。大量的实验结果表明，该网络在不丢失关键图像细节的情况下，能有效地去除mri图像的噪声。

针对上述中的相关技术，发明人认为存在以下缺陷：

相关技术一中，在卷积神经网络框架下执行图像降噪时，为了提高图像质量，必须通过增加网络中的层数或构建复杂的网络结构例如resnet-101等来提取许多抽象特征。网络的参数将增加到数亿，图像处理过程中运算因子复杂，需要巨大的计算资源支持才能达到正常的计算速度；在实际应用中难以实现。

相关技术二中，卷积神经网络降噪后的图像易丢失图像边缘细节，且同样存在网络参数过多计算资源消耗巨大、处理速度慢等缺陷。

技术实现要素：

为了加快图像处理速度并优化图像边缘信息，第一方面，本申请提供一种图像处理方法，采用如下的技术方案：

一种图像处理方法，包括：

生成器训练步骤，从训练集中提取噪声图像数据作为输入图像以通过减小循环一致性损失函数来训练生成器网络参数，以使所述生成器网络的输出图像与所述训练集中无噪声图像的差异减小；其中所述生成器网络包括注意力机制模块以对输入图像的边缘细节对比度进行提升；所述循环一致性损失函数表示基于鉴别器网络参数所述生成器网络的输出图像与所述无噪声图像之间差异的程度；

鉴别器训练步骤，通过训练后的生成器网络的输出图像和无噪声图像分别输入鉴别器网络以通过减小鉴别器损失函数来训练鉴别器网络的参数，使得鉴别器网络的输出指示所述鉴别器网络的输入是所述训练后的生成器网络的输出图像还是指示所述无噪声图像；所述鉴别器损失函数表示所述生成器网络的输出图像与所述无噪声图像对应的程度；

采用不同的噪声图像重复所述生成器训练步骤和所述鉴别器训练步骤以通过最小化循环一致性损失函数和鉴别器损失函数得到最终的生成器网络的参数和鉴别器网络的参数。

通过采用上述技术方案，构建多层深度卷积神经网络的对抗网络模型，与相关技术中采用的resnet-101等网络相比参数缩减到千分之一甚至万分之一，大大降低计算因子的复杂度，加快了图像处理速度，从技术层面提供了可实施性。通过使用注意力机制在卷积过程中对图像中的边缘等细节信息提取特征图并引入在反卷积过程，从而实现将图像之中的边缘细节信息得以保留，以提高噪声图像与真实图像之间的映射关系，降低图像失真和图像边缘特征的丢失。

此外，对抗网络可以将带噪声的3dmri图像进行降噪，并达到医生诊断的高质量mr图像。降噪图像的质量优于采用原始的卷积神经网络进行降噪输出的图像。

第二方面，本申请提供一种图像处理系统，采用如下的技术方案：

一种用于卷积神经网络的图像处理系统，包括：

处理器；

存储器，存储了计算机可读代码，在计算机可读代码被处理器运行时执行上述的图像处理方法。

通过采用上述技术方案，将上述图像处理方法以计算机可读代码的形式呈现并存储于存储器内，在系统处理器运行存储器内的计算机可读代码时，执行上述图像处理方法的步骤获得提升图像处理速度并优化图像边缘信息的效果。

第三方面，本申请提供一种计算机存储介质，采用如下的技术方案：

一种计算机存储介质，存储了计算机可读代码，在所述计算机可读代码被运行时执行上述的图像处理方法。

通过采用上述技术方案，将上述图像处理方法以计算机可读代码的形式呈现并存储于计算机存储介质上，在处理器运行该介质上的计算机代码时，执行上述图像处理方法的步骤以获得提升图像处理速度并优化图像边缘信息的效果。

综上所述，本申请包括以下至少一种有益技术效果：

1.在快速成像情况下，可以实现高速mri成像并可以获取高质量的扫描图像；

2.本发明网络是基于注意力机制生成的对抗网络，解决了因原始生成对抗网络映射能力下降而导致目标图像中边缘信息特征丢失严重的问题；

3.在最小二乘损失函数中，加入均方误差损失，解决了因cnn网络降噪所带来的图像过平滑，失去图像细节的问题；避免单一对抗损失函数带来图像过渡平滑的缺点，保留图像更多的边缘细节。

附图说明

图1是本申请实施例的图像处理方法的流程图。

图2是图1中生成器网络的构架图。

图3是图1中注意力机制模块的构架图。

图4是图1中鉴别器网络的构架图。

图5是本申请实施例的图像处理方法的优选流程图。

具体实施方式

以下结合附图1-4对本申请作进一步详细说明。

本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。

下面结合说明书附图对本发明实施例作进一步详细描述。

参照图1，本申请实施例公开一种图像处理方法，包括以下步骤：

s10，生成器训练步骤，从训练集中提取噪声图像数据作为输入图像以通过减小循环一致性损失函数来训练生成器网络参数，以使所述生成器网络的输出图像与所述训练集中无噪声图像的差异减小；其中所述生成器网络包括注意力机制模块以对输入图像的边缘细节对比度进行提升；所述循环一致性损失函数表示基于鉴别器网络参数所述生成器网络的输出图像与所述无噪声图像之间差异的程度；

s20，鉴别器训练步骤，通过训练后的生成器网络的输出图像和无噪声图像分别输入鉴别器网络以通过减小鉴别器的损失函数来训练鉴别器网络的参数，使得鉴别器网络的输出指示所述鉴别器网络的输入是所述训练后的生成器网络的输出图像还是指示所述无噪声图像；所述鉴别器损失函数表示所述生成器网络的输出图像与所述无噪声图像对应的程度；

s30，采用不同的噪声图像重复所述生成器训练步骤和所述鉴别器训练步骤以通过最小化循环一致性损失函数得到最终的生成器网络的参数和鉴别器网络的参数。

上述实施例的实施原理为：本申请引入了一种新的卷积神经网络系统架构，通过对抗网络方法取代传统训练策略，将噪声图像作为输入，以允许通过深度学习人工产生细节信息以填补由于噪声导致的图像缺陷。根据本公开的实施例的对抗网络使用两个卷积神经网络系统，即：所谓的“生成器(generator)”，它是一种生成器网络；和所谓的“鉴别器(discriminator)”网络，用于评估放大了对比度的图像的质量。在本公开中，“鉴别器”接收噪声图像和真实图像作为输入，并输出例如，-1或1的数字。如果输出为1，则“鉴别器”认为噪声图像对应于原始真实图像内容(强化对比度)。如果输出为-1，则“鉴别器”会认为噪声图像是生成器网络的提升后的输出。训练生成器来最大化“鉴别器”的输出，以使该输出变得尽量真实。并且对“鉴别器”进行训练，以准确地区分原始强化对比度内容和提升后的内容。两个网络交替地进行训练步骤，从而相互竞争，并获得最佳参数。

下面以3dmri人体图像数据为例对本方案的实施过程进行详细说明，其中训练集包含噪声图像x，包含若干样本{x1，x2，x3，…，xn}和无噪声图像y包含若干样本{y1，y2，y3，…，yn}，无噪声图像y可以理解为噪声图像去除噪声后获得的真实图像；参见图2首先将噪声图像样本x1分解或切片获得若干子带图像作为输入数据，通过生成器构建的网络中的第一层卷积层将输入数据进行特征提取获得特征表示，这里的提取的特征可以是对比度、分辨率、灰度等，(通过这些特征的提取，在编码区可以建立子带图像之间的关联性，进而经注意力机制能够通过子带图像之间的关联性将图像的边缘信息插入或叠加到解码区的反卷积层，最终使得输出图像能够保留更多的边缘信息)，然后经池化操作获得第一层批归一层，最后经非线性增强算子持续池化获得第一层激活函数层，第一层注意力机制模块为从输入数据中提取特征图以捕获x1中能体现图像边缘细节信息的多个特征进行变换组合后获得的自注意力图；以第一层激活函数层为输入数据进行特征提取获得特征表示获得第二层卷积层，第二层的卷积操作与第一层大致相同，不同之处在于卷积核的数量增加，提取的特征更多，第二层注意力机制模块维从第一层卷积层、第一层批归一层和第一层激活函数层分别提取特征进行变换组合后获得的自注意力图；同上完成第三层和第四层卷积获得第四激活函数层并分别获得第三层注意力机制模块和第四层注意力机制模块的自注意力图；

在反卷积操作过程中，首先基于第四层激活函数层逐层解码相对于卷积反向操作顺次获得激活函数层、批归一化层和反卷积层，然后再将第四层反卷积层与第四层注意力机制模块的自注意力图逻辑叠加获得边缘增强的第四层反卷积层；然后以增强的第四层反卷积层作为输入相对于第三层卷积进行反卷积操作，同上依次完成边缘增强的第三层、第二层、第一层反卷积层，将边缘增强的第一层反卷积层拟合后输出图像x11。

将上述经生成器滤波后的输出图像x11和真实图像y1分别输入鉴别器，每个输入均依次进行四层卷积滤波处理后经第一个全连接层与隐含层连接后经激活函数层非线性处理，最后输出单位为1的全连接层和激活函数层。完成一轮迭代；

下一轮迭代以x2作为输入图像重复上述步骤。

生成器网络和鉴别器网络交替训练，在本申请一实施例中按照生成器训练、鉴别器训练、生成器训练、鉴别器训练步骤的顺序进行交替训练，其中一个生成器训练步骤和一个鉴别器训练步骤称为依次迭代。在本申请另一实施例中，生成器训练步骤和鉴别器训练步骤交换顺序，即按照鉴别器训练步骤、生成器训练步骤、鉴别器训练步骤、生成器训练步骤的顺序进行交替训练，其中一个鉴别器训练步骤和一个生成器训练步骤称为依次迭代。

鉴别器网络与生成器网络都是卷积神经网络的形式，均具有卷积申请网络的各个参数。例如：生成器网络的参数包括各卷积层的过滤器的权重、各激活函数层的偏执和各注意力机制模块的强化参数；鉴别器网络的参数包括各激活函数层的偏执、各卷积层的过滤器的权重和全连接层的降级参数，在初始化时，生成器网络的参数和鉴别器网络的参数可以是预设值或随机给定值。

由于生成器损失函数(本方案中采用循环一致性损失函数)基于鉴别器网络的参数，因此生成器网络的训练基于鉴别器网络的训练结果(即渐变器网络的参数的训练结果)，而鉴别器网络的训练需要用到生成器网络的输出图像，因此鉴别器网络的训练又基于生成器网络的训练结果(即生成器网络的参数的训练结果)，这种方式称为“对抗”，即生成器网络和鉴别器网络相互对抗，这种方式使得两个相互对抗的网络在每次迭代中基于另一网络的越来越好的结果而进行竞争和不断改进，以训练得到越来越优异的参数。

优选地，所述生成器训练步骤中的循环一致性损失函数根据生成器损失函数和鉴别器损失函数获得；由两部分构成，所述第一部分基于所述生成器网络的输出图像与无噪声图像之间的均方误差输出，所述第二部分基于所述生成器网络的输出图像经过所述鉴别器网络的输出。在损失函数中，加入均方误差损失，避免单一对抗损失函数带来图像过渡平滑的缺点，保留图像更多的细节。

为了解决因噪声带来的图像质量差的问题，本申请设计了基于3d注意力机制的最小二乘损失函数生成抗网络的mri降噪网络，该网络通过对高噪声的mri图像使用3d注意力最小二乘生成对抗网络对图像进行滤波达到能供医生诊断的医学图像。

优选地，在本申请一实施例提供的3d注意力最小二乘生成对抗网络框架中，为提高噪声图像与真实图像之间的映射能力和网络的训练过程，所提出的最小二乘对抗损失可以表示为：

g为生成器，其中llsgan(g)表示生成器的损失函数，llsgan(d)为鉴别器的损失函数，px(x)和py(y)分别表示噪声数据和真实的标签数据分布；x表示噪声数据、y表示真实的标签数据，g(x)为以噪声图像数据作为输入时生成器输出的结果、d(g(x))为以g(x)作为输入时鉴别器输出的概率、g(y)为以真实的标签数据作为输入时鉴别器输出的概率、ie表示损失计算函数。噪声数据与真实数据之间的差异越大，d(g(x))指示为训练后的生成器输出的图像，llsgan(g)越大，噪声数据与真实数据之间的差异越小，d(g(x))指示为真实数据，llsgan(g)越接近0。

为了避免单一的对抗损失导致的图像降噪后的图像平滑，丢失图像细节。因此，在原有对抗损失基础上增加均方误差函数，损失函数为：

其中，d、w、h分别为提取特征图的深度，宽度和高度；

最终将所述循环一致性损失函数定义为：

l3da-lsgan＝λ1lmse+λ2llsgan(g)

其中λ1和λ2是用于平衡不同比例的经验参数，为设定值；根据经验，我们将λ1和λ2分别设置为1和0.0001。

优选地，参见图5，所述生成器训练步骤之前还包括：

s01，生成器构建步骤，基于u-net网络结构构建多层深度卷积神经网络的生成器，所述生成器包括跳跃连接的编码解码网络，在u-net网络结构的跳跃连接结构中加入自注意力机制以将编码区域边缘细节图像信息传递到对应的解码区域；

这里的边缘细节图像信息指的是图像的边缘信息，细节信息。例如将噪声图像处理后其中一些较暗区域的细节也能清楚的看到器官的轮廓、褶皱的折痕、气管的分布网络等，有助于医生做出正确的分析和诊断。

可基于u-net等网络结构构建多层深度卷积神经网络的对抗网络模型，与相关技术中采用的resnet-101等网络相比参数缩减到千分之一甚至万分之一，大大降低计算因子的复杂度，加快了图像处理速度，从技术层面提供了可实施性。

s02，鉴别器构建步骤，基于生成器网络构建多层深度卷积神经网络的鉴别器。

优选地，参见图2，基于3d注意力机制的最小二乘生成抗网络的mri降噪网络如下：所述生成器包括由多层卷积构架形成的编码网络、由多层反卷积构架形成的解码网络和多层自注意力机制模块；每层卷积构架与一层反卷积构架、一层注意力机制模块一一对应；

每层卷积构架均包括：卷积层、批归一化层和激活函数层；

每层反卷积构架均包括：反卷积层、批归一化层和激活函数层；

参见图3，每层注意力机制模块均包括：基于对应层卷积构架的卷积层提取的第一特征图、基于对应层卷积构架的批归一化层提取的第二特征图和基于对应层卷积构架的激活函数层提取的第三特征图；将第三特征图转置后与第二特征图相乘后经softmax激活函数得到注意力图；再将第一特征图与注意力图相乘获得自注意力特征图。

经过注意力机制模块，图像更加注意到细节信息，之后将细节信息通过跳跃连接传递到解码区域。上述第一特征图、第二特征图、第三特征图与图像的长、宽和特征通道数等参数有关。经过注意力机制模块，图像更加注意到细节信息，之后将细节信息通过跳跃连接传递到解码区域。

优选地，所述生成器训练步骤s10中获得输出图像的步骤包括：

s101，卷积步骤，每层卷积操作时将训练集中带噪声的图像数据随机切块后作为输入进行特征提取获得卷积层；将卷积层进行池化获得批归一化层，将批归一化层通过函数进行非线性组合获得激活函数层；

s102，反卷积步骤，每层反卷积操作时将反卷积层与通过该层对应的自注意力机制模块获得的自注意力特征图相加后进行池化操作获得批归一化层，再将批归一化层通过激活函数层激活后输出；

s103，输出步骤，所有层卷积和反卷积均完成后输出获得输出图像。

优选地，所述鉴别器包括层数与生成器相同的卷积构架和全连接层；

每层卷积构架均包括：卷积层、批归一化层和激活函数层；

所述鉴别器训练步骤s20中获得输出指示的步骤包括：

s201，卷积步骤，以生成器输出的增强图像切块后作为输入进行特征提取获得卷积层；将卷积层进行池化获得批归一化层，将批归一化层通过函数进行非线性组合获得激活函数层；

s202，连接步骤，通过全连接层对完成所有层卷积操作获得的特征进行非线性组合，在鉴别器的损失函数接近于1时确定为所述鉴别器网络的输入是所述训练后的生成器网络的输出图像；在鉴别器的损失函数接近于0时确定为所述鉴别器网络的输入是所述无噪声图像。

优选地，在所述鉴别器构建步骤之后生成器训练之前还包括：

s03，对于由生成器构建步骤构建的生成器和由鉴别器构建步骤构建的鉴别器共同形成的对抗网络，采用adam优化算法进行优化。

参见图2，在本申请一具体实施方式中：生成器网络是一种带有跳跃连接的类似于u-net网络的编码解码网络。所有的卷积都是处理3d数据的3d卷积层，在跳跃连接部分增加了注意力机制，将编码区域的细节图像信息传递到对应的解码区域。使得解码网络将细节图像信息恢复到图像当中。生成器网络一共包含8层，其中包含4层卷积和4层反卷积。每层包含3d的卷积层、批归一化层和激活函数层。所有使用的卷积核大小都为3×3×3。并且卷积核数量依次为32、64、128、256、128、64、32。并且卷积步长都为1。

参见图4，鉴别器由四个卷积层和两个完全连接层(包括第一全连接层和第二全连接层)组成。每个卷积层后面都有一个批归一化和leakeyrelu激活函数组成。在做完四层卷积层之后，连接第一个全连接层，其中第一个全连接层的输出单位为1024，后面为leakeyrelu激活函数。第二个全连接层为一个输出单位为1的全连接层和leakeyrelu激活函数层。和生成器使用的卷积核大小一致，都为3×3×3，并且每层中的卷积核数为32、64、128、256。第一个卷积层出来的特征图为32，第二个卷积层出来的特征图为64，第三个卷积层出来的特征图为128，第四个卷积层出来的特征图为256。

将带有噪声的mri图像和不带噪声的mri图像随机的切块，得到3d的像素块和对应的无噪声的mri图像作为对抗网络的输入和标签进行训练，注意力机制虑了切块之间的关联信息并能够将编码区域(卷积层)重要的信息通过跳跃连接传递给对应的解码部分(反卷积层)。在达到收敛设定的条件时完成网络参数的训练，获得训练网络；得到由带噪声的mri图像到无噪声的mri图像映射关系g。最后，从带噪声的mri图像通过训练好的3d注意力最小二乘生成对抗网络进行降噪得到符合医生诊断的降噪后的图像。

3d注意力最小二乘生成对抗网络可以将带噪声的3dmri图像进行降噪，并达到医生诊断的高质量mr图像。降噪图像的质量优于原始的卷积神经网络。在编码和解码时，还可以通过使用注意力机制将图像之中的边缘细节信息得以保留。

需要说明的是，本申请方案除应用于mri图像降噪之外，该方法经适当变形后，也可应用于3dspect图像、低剂量3d的ct图像和低计数3d的pet等领域的图像降噪。

本申请实施例还公开一种用于卷积神经网络的图像处理系统，包括：处理器和存储器；存储器存储了计算机可读代码，所述处理器在运行计算机可读代码时执行任意上述实施例所述的图像处理方法。

上述实施例的实施原理为：将上述图像处理方法以计算机可读代码的形式呈现并存储于存储器内，在系统处理器运行存储器内的计算机可读代码时，执行上述图像处理方法的步骤获得提升图像处理速度并优化图像边缘信息的效果。

本申请实施例还公开一种计算机存储介质，存储了计算机可读代码，所述处理器在运行所述计算机可读代码时执行任意上述实施例所述的图像处理方法。

上述实施例的实施原理为：将上述图像处理方法以计算机可读代码的形式呈现并存储于计算机存储介质上，在处理器运行该介质上的计算机代码时，执行上述图像处理方法的步骤以获得提升图像处理速度并优化图像边缘信息的效果。

以上均为本申请的较佳实施例，并非依此限制本申请的保护范围，故：凡依本申请的结构、形状、原理所做的等效变化，均应涵盖于本申请的保护范围之内。