一种核磁共振图像超分辨率重建系统及方法与流程

本发明涉及图像处理领域，特别是涉及一种核磁共振图像超分辨率重建系统及方法。

背景技术：

超分辨率是指从观测到的低分辨率图像重建出相应的高分辨率图像的技术，具体来说，图像超分辨率重建技术指的是利用数字图像处理、计算机视觉等领域的相关知识，借由特定的算法和处理流程，从给定的低分辨率图像中复原出高分辨率图像的过程。其旨在克服或补偿由于图像采集系统或采集环境本身的限制，导致的成像图像模糊、质量低下、感兴趣区域不显著等问题。

医学图像的超分辨率相比自然图像的超分辨率有其自身的特点，首先，从数据来源讲，医学图像的成像过程比较复杂，例如mri图像，通过对静磁场中的人体施加某种特定频率的射频脉冲，使人体中的氢质子受到激励而发生磁共振现象。停止脉冲后，质子在弛豫过程中产生mr(magneticresonance)信号。通过对mr信号的接收、空间编码和图像重建等处理过程，即产生mri图像。其次，医学图像的模态多，数据处理流程复杂，不同设备获得的图像存在差异，这从某种程度上也阻碍了医学图像超分辨率研究的发展。最重要的一点是，医学图像一般用于医生辅助诊断，图片质量与医生的诊断直接相关，在现有条件下，利用技术手段产生的医学图像缺乏可解释性。即便如此，医学图像的超分辨率结果也可以为医生辅助诊断提供一定程度上的帮助。近年来医学影像计算发展势头很强，越来越多的医工交叉初创公司诞生，从侧面反映了医学图像处理存在的应用需求和巨大市场潜力。

目前流行超分辨率方法都是基于生成对抗网络(generativeadversarialnetworks，gan)来进行的，如图1所示，gan有两部分组成，其中g是生成器，作用是从低分辨率的输入图像生成高分辨率的输出图像，在图中表示为低分辨率图片x经过g的作用生成高分辨率g(x)；d是判别器，判断图片是真的高分辨率图片还是假的高分辨率图片，在图中表示为d对g(x)判定为假(fake)，对原始的高分辨率yr判定为真(real)；当判别器无法识别生成的图片真假的时候，认为生成的高分辨图像质量已经满足要求。

现有的基于gan的超分辨率方法把生成器和判别器分别当作两个相对独立的网络，在模型训练过程中g和d交替优化，d没有有效的利用g中的信息，造成gan训练参数难以调整、模型收敛慢等问题，而且g生成的高分辨率图片与低分辨率图片的匹配度较低，从现有结果的细节上来看，现有技术产生的高分辨率图片确有很多细节，但是这些细节在原数据中的高分辨率中并没有出现过。

技术实现要素：

本发明的目的是提供一种核磁共振图像超分辨率重建系统及方法，以提高高分辨率图片与核磁共振图像的匹配度，同时提升超分辨率重建模型的性能。

为实现上述目的，本发明提供了如下方案：

一种核磁共振图像超分辨率重建系统，包括：生成对抗网络、数据集构建模块和训练模块；

所述生成对抗网络包括生成器和判别器，所述生成器用于将核磁共振图像重建为第一高分辨率图像；所述判别器的输入为所述核磁共振图像和所述第一高分辨率图像，所述判别器包括第一网络、第二网络和第三网络，所述第一网络用于共享所述生成器的参数；所述第二网络用于根据所述第一网络共享的参数对所述第一高分辨率图像进行判别；所述第三网络用于输出所述第二网络的判别结果；

所述数据集构建模块用于构建训练数据集；所述训练数据集中每个训练样本为高分辨率图像样本与对应的低分辨率核磁共振图像构成的一组图片；

所述训练模块用于利用所述训练数据集对所述生成对抗网络进行训练，得到训练好的生成对抗网络；所述训练好的生成对抗网络中的生成器用于对待重建的核磁共振图像进行超分辨率重建。

可选的，所述第二网络具体包括：

高分辨率图像生成模块，用于根据所述第一网络共享的参数生成第二高分辨率图像；

判别模块，用于根据所述第二高分辨率图像对所述第一高分辨率图像进行判别。

可选的，所述判别模块利用公式op1(y1,y2)＝||y1-y2||1计算所述第一高分辨率图像和所述第二高分辨率图像的l1范数；其中，y1为所述第一高分辨率图像，y2为所述第二高分辨率图像，op1(y1,y2)为第一高分辨率图像和第二高分辨率图像的l1范数。

可选的，所述第三网络的输入为所述第一高分辨率图像和所述l1范数，所述l1范数作为权重作用至所述第三网络的中间层，输出权重作用后的特征图，得到所述判别结果。

可选的，所述判别模块利用公式op2(y1,y2)＝|y1-y2|计算所述第一高分辨率图像和所述第二高分辨率图像的像素差值；其中，y1为所述第一高分辨率图像，y2为所述第二高分辨率图像，op2(y1,y2)为第一高分辨率图像和第二高分辨率图像的像素差值。

可选的，所述第三网络的输出为所述第一高分辨率图像和第二高分辨率图像的像素差值构成的矩阵。

本发明还提供一种核磁共振图像超分辨率重建方法，包括：

构建生成对抗网络；所述生成对抗网络包括生成器和判别器，所述生成器用于将核磁共振图像重建为第一高分辨率图像；所述判别器的输入为所述核磁共振图像和所述第一高分辨率图像，所述判别器包括第一网络、第二网络和第三网络，所述第一网络用于共享所述生成器的参数；所述第二网络用于根据所述第一网络共享的参数对所述第一高分辨率图像进行判别；所述第三网络用于输出所述第二网络的判别结果；

构建训练数据集；所述训练数据集中每个训练样本为高分辨率图像样本与对应的低分辨率核磁共振图像构成的一组图片；

利用所述训练数据集对所述生成对抗网络进行训练，得到训练好的生成对抗网络；

利用所述训练好的生成对抗网络中的生成器对待重建的核磁共振图像进行超分辨率重建。

可选的，所述第二网络用于根据所述第一网络共享的参数生成第二高分辨率图像，并根据所述第二高分辨率图像对所述第一高分辨率图像进行判别。

可选的，所述第二网络利用公式op1(y1,y2)＝||y1-y2||1计算所述第一高分辨率图像和所述第二高分辨率图像的l1范数；或者利用公式op2(y1,y2)＝|y1-y2|计算所述第一高分辨率图像和所述第二高分辨率图像的像素差值；其中，y1为所述第一高分辨率图像，y2为所述第二高分辨率图像，op1(y1,y2)为第一高分辨率图像和第二高分辨率图像的l1范数，op2(y1,y2)为第一高分辨率图像和第二高分辨率图像的像素差值。

可选的，当所述第二网络利用公式op1(y1,y2)＝||y1-y2||1计算所述第一高分辨率图像和所述第二高分辨率图像的l1范数时；所述第三网络的输入为所述第一高分辨率图像和所述l1范数，所述l1范数作为权重作用至所述第三网络的中间层，输出权重作用后的特征图，得到所述判别结果；

当所述第二网络利用公式op2(y1,y2)＝|y1-y2|计算所述第一高分辨率图像和所述第二高分辨率图像的像素差值时，所述第三网络的输出为所述第一高分辨率图像和第二高分辨率图像的像素差值构成的矩阵。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明通过设计判别器的架构，能够加速模型收敛，在一定程度上避免在gan的训练过程中出现的模式崩塌现象，进而提升超分辨率重建模型的性能；而且，通过使用条件gan对生成的图片进行约束，有效的保证了生成的图片与输入的图片对应关系，避免gan在图片生成过程中出现的结果看似很真实，但是与输入的低分辨率图片匹配度低的现象，进而提高高分辨率图片与核磁共振图像的匹配度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为现有技术中生成对抗网络的结构图；

图2为本发明核磁共振图像超分辨率重建系统的结构示意图；

图3为本发明生成对抗网络的结构示意图；

图4为本发明对生成对抗网络进行训练的流程示意图；

图5为本发明核磁共振图像超分辨率重建方法的流程示意图；

图6为本发明具体实例中低分辨率图片和高分辨率图像的对比图；

图7为本发明具体实例中不同方法的重建结果对比图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图2为本发明核磁共振图像超分辨率重建系统的结构示意图，如图2所示，本发明核磁共振图像超分辨率重建系统包括：生成对抗网络201、数据集构建模块202和训练模块203。

如图3所示，本发明的生成对抗网络201包括生成器g和判别器d，生成器用于将核磁共振图像x重建为第一高分辨率图像g(x)；所述判别器d的输入为配对的核磁共振图像x和对应的第一高分辨率图像g(x)，所述判别器包括第一网络dg、第二网络op和第三网络dp，所述第一网络dg用于共享所述生成器g的参数；所述第二网络op用于根据所述第一网络dg共享的参数对所述第一高分辨率图像g(x)进行判别；所述第三网络dp用于将判别结果映射到真或假的编码上，输出所述第二网络op的判别结果。

本发明把传统的gan改为配对的gan。传统的gan如图1所示，判别器d将生成器g的输出g(x)判断为假，将原始高分辨率图片yr判断为真。在超分辨率中，输入与输出存在配对关系，一张低分辨率图片对应一张高分辨率图片。本发明将配对关系输入到判别器d中，此时判别器d的输入不是一张图片(g(x)或者yr)，而是(x，g(x))和(x，yr)这两组配对的图片。在图3中可以看到d的输入有两个。前一组配对是低分辨率图片x与对应的生成结果g(x)的配对，这个配对经过判别器d的判断后应该输出为假，对应了图3左半部分的fake输出，因为x对应的高分辨率图片不是g(x)而是yr，那么对于后一组而言，判别器的输出应该是真，在图3中，右半部分的real输出即表示真配对的情形。

具体的，本发明判别器d包括第一网络dg、第二网络op和第三网络dp，第一网络dg通过共享部分或全部生成器g的参数来更好的帮助判别器识别输入的真假。第二网络op定义为一种操作，在判别器工作的时候，对于输入的x经过dg作用后生成的g(x)与判别器输入的y(可能为前述的g(x)或者yr)之间，可以有不同的处理方式。第二网络op包括两个部分，分别为高分辨率图像生成模块和判别模块，高分辨率图像生成模块用于根据所述第一网络共享的参数生成第二高分辨率图像；判别模块用于根据所述第二高分辨率图像对所述第一高分辨率图像进行判别。本发明的第二网络op采用与生成器相同的方式生成第二高分辨率图像，以此来判别生成器生成的高分辨率图像是否为真，这样可以更好的优化生成器的参数，提高高分辨率图像的准确度。

第三网络dp为一个神经网络，具体作用是把第二网络的输出通过神经网络映射到真或者假的编码上，输出最终的判别结果。

第二网络op中的判别模块可以采用以下两种方式进行判别：

(1)把op操作定义为计算配对输入的l1范数，公式如下：

op1(y1,y2)＝||y1-y2||1

式中，y1为所述第一高分辨率图像，y2为所述第二高分辨率图像，op1(y1,y2)为第一高分辨率图像和第二高分辨率图像的l1范数。这样对于真实的配对，op操作之后的结果为非零值，对于虚假的配对结果输出为零。对于判别器而言，此时就能将真假区别开。但是在具体的实践中，这样做存在一些问题，真实配对op操作的结果为非零值，但是结果为非零值的不一定是真实的配对。因此，本发明将真实的高分辨率图片或生成器产生的图片输入到第三网络dp中，把op操作的结果当作权重作用在dp的中间某层上，这样对于真实的分布，权重作用后的特征图是非零值；而对于虚假的分布而言，权重作用后的特征图就变成了全0值，而对于第三网络dp而言很容易将0与非0区分开。

(2)把op操作定义为计算配对输入的像素差值，公式如下：

op2(y1,y2)＝|y1-y2|

式中，y1为所述第一高分辨率图像，y2为所述第二高分辨率图像，op2(y1,y2)为第一高分辨率图像和第二高分辨率图像的像素差值。依据上式，对于真实的配对，op的输出是一个非0的矩阵，而对于虚假的配对，op的输出是一张全0的矩阵。此时的第三网络dp是一个普通的判别器，输入就是前面所述的全0或者非0的矩阵。这样操作对于神经网络而言，真实数据与虚假(生成)数据的分布就转化成非0矩阵与全0矩阵的分布。对于判别器而言，很容易将这两个分布区别开，从而引导生成器更好的模拟生成的数据。

本发明训练模块203对生成对抗网络201进行训练的流程如图4所示，在优化判别器d之前，先要把当前生成器的参数拷贝到第一网络dg中，要保证每次优化d的时候，此时d中第一网络dg的参数都是最新的。

基于上述核磁共振图像超分辨率重建系统，本发明还提供一种核磁共振图像超分辨率重建方法，图5为本发明核磁共振图像超分辨率重建方法的流程示意图。如图5所示，本发明核磁共振图像超分辨率重建方法包括以下步骤：

步骤501：构建生成对抗网络。所述生成对抗网络包括生成器和判别器，所述生成器用于将核磁共振图像重建为第一高分辨率图像；所述判别器的输入为所述核磁共振图像和所述第一高分辨率图像，所述判别器包括第一网络、第二网络和第三网络，所述第一网络用于共享所述生成器的参数；所述第二网络用于根据所述第一网络共享的参数对所述第一高分辨率图像进行判别，具体的，首先根据所述第一网络共享的参数生成第二高分辨率图像，然后根据所述第二高分辨率图像对所述第一高分辨率图像进行判别；所述第三网络用于输出所述第二网络的判别结果。

步骤502：构建训练数据集。所述训练数据集中每个训练样本为高分辨率图像样本与对应的低分辨率核磁共振图像构成的一组图片，通过对已有的高分辨率图像样本进行降采样可以得到低分辨率核磁共振图像。

步骤503：利用训练数据集对生成对抗网络进行训练，得到训练好的生成对抗网络。

步骤504：利用训练好的生成对抗网络中的生成器对待重建的核磁共振图像进行超分辨率重建。

下面提供一个具体实例进一步说明本发明的上述方案。

本实例的具体过程如下：

step1：搭建模型，利用深度学习模型框架搭建深度学习模型，按照上述的方法将gan修改为本发明的生成对抗网络，定义为spygan。

step2：处理数据，在高分辨率图像数据集上模拟仿真出低分辨率数据，如所图6示，左部分是低分辨率图片，右部分是高分辨率图片。

step3：训练模型，根据上面得到的配对的低-高分辨率的图片训练深度学习模型spygan，该模型是一个低分辨率到高分辨率的映射关系，待模型收敛后得到训练好的模型。

step4：测试结果，将一张低分辨的核磁共振图像输入到上述的spygan模型中，该模型的生成器将输入的低分辨数据映射到高分辨率空间，得到重建后的高分辨图像结果。如图7所示，图7给出了不同重建结果的对比图，可以看到本发明的方法在细节的修复上要优于其他参照的方法。为了更好的对比本发明方法与目前流行的医学图像超分辨率方法，本发明计算了psnr、ssim和nrmse这三个指标，表1和表2是最后计算的结果。其中表1是在缩放因子为2的情况下的实验结果，表2是缩放因子为3的计算结果。

表1在2×2×2缩放因子下的结果对比

表2在3×3×3缩放因子下的结果对比

作为对比，使用一种插值方法(zoom)作为对比，srgan作为一种流行的深度学习方法也是对比参考。观察表格中的数据，可以发现，经过本发明提供的方法的改造，gan的结果在这些指标上都有所提高。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。