基于多尺度融合CNN的磁共振图像超分辨率重建方法与流程

本发明属于图像处理领域，尤其涉及一种基于多尺度融合cnn的磁共振图像超分辨率重建方法。

背景技术：

较高空间分辨率结构磁共振图像具有较少的伪影，直接影响后续图像处理和医疗诊断的精度，如配准，分割等。但是，由于物理设备，采集技术以及经济等方面的限制，现有磁共振图像的空间分辨率受到一定的影响。

在图像处理领域，传统超分辨率重建方法主要采用插值方法，如双线性插值，b样条插值等方法。这些方法假设局部区域具有平滑的性质，根据邻近体素估计新插值的体素值。但插值方法不适用于非均匀区域，容易导致图像模糊。

对于磁共振图像，根据不同的重建阶段，超分辨率重建方法主要分为两种：第一种重建在采集过程中，直接对k空间数据进行重建；第二种重建是在后处理阶段，通常采用传统重建方法应用于结构磁共振图像数据。最常用的方法是非局部均值方法和稀疏编码方法。由于非局部均值方法重建的先验知识仍然来自局部图像块，无法获得理想的重建效果。稀疏编码方法采用机器学习方法，分别从低分辨率图像块和对应的高分辨率图像块中学习低分辨率和高分辨率字典；然后认为低分辨率图像稀疏表示低分辨率字典空间中的线性组合，求解其稀疏系数。并将稀疏系数投影到高分辨率字典空间，从而获得重建后的高分辨率图像。但是基于图像块的稀疏表达无法保证整体图像的最优重构。

传统的卷积神经网络的训练需要大量样本才能保证最终较好的效果。在医学领域，很难获得大量的磁共振图像数据，因此直接采用传统卷积神经网络很难保证网络的收敛和重建精度。

技术实现要素：

针对现有技术之不足，本发明提出一种基于多尺度融合cnn的磁共振图像超分辨率重建方法，所述方法包括：

步骤1：对低分辨率结构磁共振图像和与其对应的高分辨率结构磁共振图像进行预处理操作，并构建训练数据集和标签数据集；

步骤11：输入标准格式的低分辨率结构磁共振图像和高分辨率结构磁共振图像，进行格式转换；

步骤12：将步骤11中转换后的所述低分辨率结构磁共振图像和所述高分辨率结构磁共振图像移除头骨部分，只保留脑区部分；

步骤13：对步骤12中移除头骨后的所述低分辨率结构磁共振图像和所述高分辨率结构磁共振图像进行归一化处理，将其归一化到[0-1]区间；

步骤14：对步骤13中归一化处理后的分辨率结构磁共振图像和所述高分辨率结构磁共振图像采用滑动窗口方式在每层上依次分别提取多个二维图像块，其中由低分辨率图像块构成训练数据集，高分辨率图像块构成标签数据集；

步骤2：构建融合多尺度信息卷积神经网络，所述卷积神经网络包括一个输入层、至少三个堆叠的多尺度融合单元和一个重构层；

步骤21：所述输入层用于接收所述训练数据集；

步骤22：构建至少三个多尺度融合单元；

步骤23：构建重构层，所述重构层为一个卷积核构成的卷积层；

步骤3：将所述训练数据集输入到步骤2构建的卷积神经网络中进行训练，获得学习后的卷积神经网络模型；

步骤31：将所述训练数据集分成多批训练数据，并初始化步骤2构建的所述多尺度信息卷积神经网络中所有卷积层中的卷积核权重和偏置对损失函数倒数为0，即：

△w^(l)＝0

△b^(l)＝0

其中，w表示卷积核权重，b表示偏置对损失函数，l表示第l层；

步骤32：每次输入一批训练数据与所述多尺度融合单元中各个节点参数进行计算，实现神经网络训练的前向传播，最后通过重构层，获得输出高分辨率数据；

步骤33：利用欧式距离，将步骤32中获得的输出高分辨率数据与所述标签数据集的误差：

其中，i，j表示图像块的尺寸；

步骤34：基于所述误差，采用梯度下降法，反向计算卷积核权重和偏置对损失函数的导数和并将其累加到△w^(l)和△b^(l)，即：

步骤35：重复步骤32至步骤34，直到所有训练数据处理完毕，完成一次迭代，根据上述△w^(l)和△b^(l)，采用批量梯度下降算法，得到更新后网络参数：

其中m表示训练数据的批数，α为学习率，λ为动能；

步骤36：重复步骤32至步骤35，直到达到预设的迭代次数；

步骤4：将测试低分辨率结构磁共振图像输入到步骤3训练好的卷积神经网络中，输出重建高分辨率结构磁共振图像；

步骤41：将测试低分辨率结构磁共振图像的每一层直接输入步骤3训练好的卷积神经网络模型中的输入层；

步骤42：将步骤41接收的测试低分辨率结构磁共振图像输入到学习好的卷积神经网络模型中，从前向后进行运算，最后在重构层输出重建高分辨率结构磁共振图像。

根据一种优选的实施方式，所述多尺度融合单元包括主路径、至少一条子路径和融合层，所述主路径由一个卷积层加一个relu激活函数构成，所述子路径由一个卷积层加一个relu激活函数依次交替构成，并且最后一层为卷积层，所述融合层将所述主路径和所述子路径的输出通过相加融合以输出到下一个多尺度融合单元。

与现有技术相比，本发明的有益效果在于：

1、本发明通过多尺度融合单元，将不同卷积层的特征映射进行融合，克服了传统卷积神经网络的多层卷积层堆叠的平层结构，能够加快网络的收敛速度，更快地重建低分辨率图像丢失的图像细节，减少重建需要的时间，减少了资源浪费。

2、与现有的重建方法相比，本发明的重建方法获得的重建效果更好，恢复的细节信息和结构信息更接近真实高分辨率图像，获得的峰值信噪比也更高。

附图说明

图1是本发明超分辨率重建方法的流程示意图；

图2是本发明多尺度融合单元的结构示意图；

图3是本发明融合多尺度信息卷积神经网络的结构示意图；

图4是传统卷积神经网络的结构示意图；

图5是多尺度融合单元各个部分输出的特征映射；

图6是在仿真数据集brainweb上各类方法的重建效果图；和

图7在真实数据集上各类方法的重建效果图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是实例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

本发明的多尺度融合单元mfu：themulti-scalefusionunit。

图1是本发明超分辨率重建方法的流程示意图。如图1所示，本发明提出的一种多尺度融合cnn的磁共振图像超分辨率重建方法，方法包括：

步骤1：对低分辨率结构磁共振图像和与其对应的高分辨率结构磁共振图像进行预处理操作，并构建训练数据集和标签数据集。高分辨率图像来源于采用3t磁共振设备真实采集到的图像，低分辨率图像来源于对高分辨率图像进行下采样得到的。步骤1中的低分辨率结构磁共振图像作为训练样本来训练卷积神经网络。

步骤11：输入标准格式的低分辨率结构磁共振图像和高分辨率结构磁共振图像，进行格式转换。原始磁共振图像数据格式为dcm格式，采用spm将其转换为nii格式。原因在于原始dcm格式是一个人的磁共振数据由n个dcm文件构成，而转为nii格式后，一个人的磁共振数据由1个nii文件构成，方便于后面的数据处理。

步骤12：将步骤11中转换后的低分辨率结构磁共振图像和高分辨率结构磁共振图像移除头骨部分，只保留脑区部分。

步骤13：对步骤12中移除头骨后的低分辨率结构磁共振图像和高分辨率结构磁共振图像进行归一化处理，将其归一化到[0-1]区间。由于原始采集到的磁共振图像数据范围从0到上万不等，而图像处理通常要将其范围变换到[0-1]，以便于把所有数据放到同一个范围。

步骤14：对步骤13中归一化处理后的低分辨率结构磁共振图像和高分辨率结构磁共振图像采用滑动窗口方式在每层上依次分别提取多个二维图像块，其中由低分辨率图像块构成训练数据集，高分辨率图像块构成标签数据集。二维图像块的个数通过图像大小和滑动窗口的大小来控制的，一般取到上万个。具体的，人脑的磁共振数据是三维数据m*n*s，磁共振机器扫描将人脑从上往下一层层扫描，s表示层数，m*n表示大脑该层的尺寸。

步骤2：构建融合多尺度信息的卷积神经网络。

图3为本发明融合多尺度的信息卷积神经网络的结构示意图。图4为传统卷积神经网络的结构示意图。如图4所示，传统的卷积神经网络是多层卷积层堆叠的平层结构。如图3所示，多尺度信息卷积神经网络包括一个输入层、多个堆叠的多尺度融合单元和一个重构层。具体的，至少三个堆叠的多尺度融合单元。本发明的融合多尺度卷积神经网络克服了传统卷积神经网络的不足，能够加快神经网络的收敛速度，更快地重建低分辨率图像丢失的图像细节，减少重建需要的时间，效率更高，减少了资源浪费。

步骤21：输入层用于接收训练数据集。

步骤22：构建至少三个多尺度融合单元。图2为多尺度融合单元的结构示意图。如图2所示，多尺度融合单元包括主路径、至少一条子路径和融合层。主路径由一个卷积层加一个relu激活函数构成，子路径由一个卷积层加一个relu激活函数依次交替构成，并且最后一层为卷积层。融合层将主路径和子路径的输出通过相加融合以输出到下一个多尺度融合单元。

步骤23：构建重构层，重构层为一个卷积核构成的卷积层。

步骤3：将训练数据集输入到步骤2构建的卷积神经网络中进行训练，获得学习后的卷积神经网络模型。

步骤31：将训练数据集分成多批训练数据。因为训练数据集的数据量较大，构造的神经网络无法一次性处理所有训练数据，因此需要将训练数据集分为多个批次进行处理。具体的批数根据训练样本的个数和每批样本个数而定，例如有1万个训练样本，每批100个，则分成100批训练数据。并初始化步骤2构建的多尺度信息卷积神经网络中所有卷积层中的卷积核权重和偏置对损失函数倒数为0，即：

△w^(l)＝0

△b^(l)＝0

其中，w表示卷积核权重，b表示偏置对损失函数，l表示第l层。所有卷积层包括多尺度融合单元中的卷积层和构成重构层的卷积层。

步骤32：每次输入一批训练数据与多尺度融合单元中各个节点参数进行计算，实现神经网络训练的前向传播，最后通过重构层，获得输出高分辨率数据；

步骤33：利用欧式距离，计算输出高分辨率数据与标签数据集的误差：

其中，i,j表示图像块的尺寸。

步骤34：基于步骤33计算的误差，采用梯度下降法，反向计算卷积核权重和偏置对损失函数的导数和并对其累加到△w^(l)和△b^(l)，即：

步骤35：重复步骤s32-s34，直到所有训练样本处理完毕，完成一次迭代。根据上述△w^(l)和△b^(l)，采用批量梯度下降算法，得到更新后网络参数。

其中，m表示训练样本的批数，α为学习率，λ为动能，决定了参数更新过程中，上一次迭代参数的影响大小。

步骤36：重复步骤32至步骤35，直到达到预设的迭代次数。一般迭代次数取为10的5次方，或者损失小于0.02左右，可由损失函数来决定。迭代停止后，即得到训练好的卷积神经网络模型。

步骤4：将测试低分辨率结构磁共振图像输入到步骤3训练好的卷积神经网络模型中，输出重建高分辨率结构磁共振图像。测试低分辨率结构磁共振图像作为测试样本。

步骤41：将测试低分辨率结构磁共振图像的每一层直接输入步骤3训练好的卷积神经网络模型中的输入层。

步骤42：步骤41接收的测试低分辨率结构磁共振图像输入到训练好的卷积神经网络中，从前向后进行运算，最后在重构层输出重建高分辨率结构磁共振图像。重建高分辨率结构磁共振图像为通过多尺度融合cnn学习到的高分辨率结构磁共振图像。

图5是多尺度融合单元各个部分输出的特征映射图。

图5中第一行图像是低分辨率结构磁共振图像，第二行图像是多尺度融合单元主路径输出的特征映射图，第三行图像是多尺度融合单元子路径输出的特征映射图，第四行图像是多尺度融合层输出的特征映射图。

图6是在仿真数据集brainweb上各类方法的重建效果图。图7在真实数据集上各类方法的重建效果图。图7中hrrealdata表示真实高分辨率图像，lrrealdata表示真实低分辨率图像，根据真实低分辨率图像重建高分辨图像。图6和图7的第二行图像为重建图像的局部放大图，从图6和图7中可直观的看出，采用本发明的方法mfcn(multi-scalefusionconvolutionnetwork)的重建效果最好，重建的高分辨率边缘细节信息和结构与真实高分辨率图像更接近，尤其是图6和图7中椭圆圈标出的部分。进一步的，用峰值信噪比psnr来客观对重建效果进行评价，峰值信噪比越高，表示重建效果越好。从图6和图7中可以看出，本发明的方法获得的峰值信噪比相比现有的几种方法来说更高。

本发明的超分辨率重建方法，不仅适用于磁共振图像的重建，同时适用于其他领域的图像重建，如天气雷达回波重建、ct图像、pet-ct图像重建等。

本发明基于多尺度融合cnn的超分辨率重建方法，克服了传统卷积神经网络难以保证神经网络的收敛和重建精度的不足，无需获得大量的磁共振图像数据，将不同卷积层的特征映射进行融合，克服了传统卷积神经网络的多层卷积层堆叠的平层结构，能够加快网络的收敛速度，更快地重建低分辨率图像丢失的图像细节，减少重建需要的时间，减少了资源浪费。进一步的，从直观上和客观指标上可看出，本发明方法获得比现有重建技术更高的重建精度。

需要注意的是，上述具体实施例是示例性的，本领域技术人员可以在本发明公开内容的启发下想出各种解决方案，而这些解决方案也都属于本发明的公开范围并落入本发明的保护范围之内。本领域技术人员应该明白，本发明说明书及其附图均为说明性而并非构成对权利要求的限制。本发明的保护范围由权利要求及其等同物限定。