一种多重超分辨残差网络的PET超分辨率方法与流程

一种多重超分辨残差网络的pet超分辨率方法
技术领域
1.本发明属于医学图像处理领域，尤其涉及一种多重超分辨残差网络的pet超分辨率方法。


背景技术：

2.近年来，深度学习在图像处理领域的应用取得了显著的研究成果。在许多任务中，通过深度学习得到的特征被证明比传统方法构造的特征具有更强的表示能力。dong等提出了利用卷积神经网络(srcnn)的超分辨算法，并将其应用于图像超分辨重建领域。该网络结构简单，超分辨重建效果好，但卷积核较大，上采样采用传统的双三次插值；这些结构特征极大地影响了网络的运行速度。随后，dong等提出了一种基于srcnn的加速超分辨率卷积神经网络(fsrcnn)。fsrcnn的结构比srcnn更深，用反褶积双三次插值代替。fsrcnn的速度明显快于srcnn，图像的超分辨率效果也得到了改善。fsrcnn在图像超分辨率重建方面取得了成功，但其卷积层数量较少，相邻卷积层的特征信息缺乏相关性；因此，难以提取图像的深层信息，导致超分辨率重建效果不佳。由于快速超分辨率卷积神经网络(fsrcnn)算法具有更少的卷积层和缺少相邻的卷积层的特征信息之间的相关性,很难被用于提取图像的深度信息,和超分辨率图像重建的速度效果是不好的。为了解决这一问题，我们提出了一种用于医学图像超分辨率的多重超分辨残差网络(multiplesuper-resolutionresidualnetwork，msrrn)。
3.经检索，中国专利公开号cn109978763a，主题名称为：一种基于跳跃连接残差网络的图像超分辨率重建算法，申请日为：2019.03.01，该方法包括步骤：选取训练数据集，将低分辨率图像进行双三次插值；构造网络的具体结构，制定网络训练的策略；对插值后的图像进行细节提取；降低总特征的维度，加宽单像素感受野；对网络训练进行多次迭代，直至达到最大迭代次数；通过全局残差学习的方式完成最终的高分辨率图像重建。但该申请目前仅适用于pet图像，并未做自然图像的对比算法，且该申请识别图和pet原图仍有差异。


技术实现要素：

4.1.发明要解决的技术问题鉴于现有的pet成像过程中，由于受到硬件设备和核素剂量的限制，生成的图像往往是不清晰的，分辨率低且边缘部分比较模糊的问题，本发明提供了一种多重超分辨残差网络的pet超分辨率方法，能够清楚的对pet图像进行识别，提高图片分辨率。
5.2.技术方案为达到上述目的，本发明提供的技术方案为：本发明的一种多重超分辨残差网络的pet超分辨率方法，其步骤为，步骤一、获取高分辨率和低分辨率的pet图像作为训练集，并取部分低分辨率图像作为测试集；步骤二、在快速超分辨卷积神经网络中设计多级跳接剩余块，构建多重超分辨剩
余块模块；步骤三、采用随机梯度下降法训练深度残差网络，得到网络的超分辨重建模型；步骤四、将低分辨率图像输入到超分辨重建模型中，得到预测的残差特征值；步骤五、将残差图像与低分辨率图像组合成高分辨率图像；步骤六、用图像质量评价指标对网络进行评价。
6.3.有益效果采用本发明提供的技术方案，与已有的公知技术相比，具有如下显著效果：（1）本发明的一种多重超分辨残差网络的pet超分辨率方法，通过多级跳转连接改进的残差块，得到预测残差图像，然后将残差图像和低分辨率图像组合成高分辨率图像，更好的提取图像信息，得到更加清晰的高分辨率图像。
7.（2）本发明的一种多重超分辨残差网络的pet超分辨率方法，能够充分利用差分块内部卷积层特征向量的相邻残差信息，使得残差块可以提取更多的特征信息，由此获得更多的图片特征，进而使得高分辨率图像更加清晰。
8.（3）本发明的一种多重超分辨残差网络的pet超分辨率方法，采用相同的残差函数作为激活函数，减少了网络中的参数，降低网络计算的复杂性，提高网络训练速度，能够更快的对网络进行训练。
附图说明
9.图1（a）为本发明中msrrb结构框图；图1（b）为两个相邻的多级跳接式连接的剩余块结构图；图2为本技术的msrrn网络结构图；图3（a）是基于vdsr重建的pet原始图；图3（b）是基于bicubic方法对于图3（a）的识别图；图3（c）是基于srcnn方法对于图3（a）的识别图；图3（d）是基于msrrn方法对于图3（a）的识别图；图4为本发明的步骤流程框图。
具体实施方式
10.为进一步了解本发明的内容，结合附图和实施例对本发明作详细描述。
11.实施例结合图1（a）、图1（b）、图2、图3（a）、图3（b）、图3（c）、图3（d）和图4，本实施例的一种多重超分辨残差网络的pet超分辨率方法，包括如下步骤：步骤一、获取高分辨率和低分辨率的pet图像作为训练集和测试集：为了充分利用数据集，需使用matlab对bsd500和t91训练集图像进行数据扩展。使用缩放和旋转两种方法来增加数据。每张图像按0.7、0.8和0.9的比例缩放，按照0.7的比例缩放后获得一张图片，按照0.8的比例缩放后获得一张图片，按照0.9的比例缩放后获得一张图片。此外，每个图像分别旋转90
°
，180
°
和270
°
，各获得一张图片。首先对bsd500和t91的原始图像进行高斯滤波1.54次采样和双三次插值，得到lr图像。然后将lr训练图像分割成一组96
×
96步长为12的hr图像块，最终得到9456幅图像。对于网络中的参数初始化，它们是
随机地从一个均值为零、标准差为0.001的高斯分布中产生的，首先使用大小为7
×
7、标准差为1.6的高斯核对所获得的高分辨率图像块进行尽可能多的模糊，以模拟自然模糊图像。
12.步骤二、在快速超分辨卷积神经网络(fsrcnn)中设计多级跳接剩余块，构建多重超分辨剩余块(msrrb)模块：如图2所示，每一个超分辨剩余块（srrb）是由两个多级跳接剩余块构成的，每个多重超分辨剩余块（msrrb）是由三个超分辨剩余块构成的，构建过程体现在代码中，快速超分辨卷积神经网络（fsrcnn）中无跳接连接λ和β，按照图示逐层搭建。
13.设计多重超分辨剩余块(msrrb)，msrrn由8个msrrb和上采样模块组成。msrrb利用三个超分辨剩余块(srrb)提取lr图像特征；多重超分辨剩余块(msrrb)由3个亚残差块和β跳接连接组成，每个亚残差块由一个卷积层和β跳接连接组成，上采样模块由一个亚像素卷积层组成。
14.残差块函数定义为：y=f(x,{wi})+x
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（1）其中，y是残差块的输出向量，x是残差块的输入向量，wi表示滤波器在第i层的权重，f(x)代表剩余的输出块。
15.在第二层的激活函数之前，函数f(x,{wi})为待学习的残差映射，在残差块中，输入向量x和残差函数f(x)的大小必须相等。假设深度神经网络背后的卷积层是一个以h(x)表示的身份映射函数，那么将深度神经网络的训练简化为学习一个身份映射函数。如果很难直接适合一个身份映射函数的卷积层h(x)=x，但深层神经网络设计为h(x)=f(x)+x，那么深层神经网络的训练可以转化为剩余的学习函数f(x)=h(x)
−
x；只要f(x)=0，它相当于配件标识映射函数h(x)=x。在相同的计算条件下，前面的卷积层比恒等函数h(x)=x更容易适应剩余函数f(x)=h(x)
−
x。
16.将一个卷积层与λ跳接连接起来形成一个亚残差块，将两个亚残差块与β跳接连接起来形成一个超分辨剩余块(srrb)。
17.多级跳接模块运作方式为：假设输入多层次跳接剩余块的连接是x，第一个子残差块得到的输出是y1，第二个子残差块得到的输出是y2，多重超分辨残差模块得到的输出为y3，则输出为：y1=w1(x)+λx
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（2）y2=w2(y1)+λy1=w2(w1(x)+λx)+λw1(x)+λ2x
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（3）y3=y2+β1x=w2(w1(x)+λx)+λw1(x)+(λ2+β1)x
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（4）由输出y3可知，当输入x通过多级跳接式连接时，不仅得到了第一个子残差块的向量w2(w1(x))，还得到了输出值λy1。因此，通过多级跳接式连接的残差块可以提取残差块内部卷积层特征向量的相关信息。其中第三个子剩余块的输出y4为：y4=w3(y3)+λy3=w3(y2+β1x)+λ(w2(y1))+λ2w1(x)+(λ3+λβ1)x
ꢀꢀꢀꢀꢀꢀꢀ
（5）第四个子残差块的输出y5为：y5=w4(y4)+λy4=w4(y4)+λ(w3(y2+β1x))+λ2w2(y1)+λ3w1(x)+(λ4+λ2β1)x
ꢀꢀ
（6）则剩余块的第二个多级跳接式连接的输出y6为：y6=y5+λy3=w4(y4)+λ(w3(y2+β1x))+(λ2+β1)(w2(y1))+(λ3+λβ1)w1(x)+(λ2+β2)x
ꢀꢀꢀ
（7）其中，w
1-w4分别表示滤波器在第一层到第四层的权重，β1为跳接连接参数，β2为另
一跳接连接参数，所述的λ、λ2、λ3、λ4为分别为第一、第二、第三、第四跳接连接参数。
18.由输出y6可以确定，相邻的两个多层跳接式连接的残块的每个卷积层的输出值都对前一个卷积层的特征向量进行了卷积，这使得他充分利用差分块内部卷积层特征向量的相邻残差信息；因此，残差块可以提取更多的特征信息。
19.步骤三、采用随机梯度下降法(sgd)训练由多跳线连接的深度残差网络，得到网络的超分辨重建模型：该方法使用均方误差(mse)函数作为损耗函数估计网络参数a，mse函数如下：（8）其中参数θ是通过最小化重建图像和对应的真hr图像的损失来估计的，g(yi,θ)是重建图像，xi是hr图像样本，yi是对应的lr图像样本，n是训练样本的数量。该方法采用sgd算法对msrrn的训练进行优化。sgd算法的参数θ的表达式为：（9）（10）（11）其中t为迭代次数，l为卷积层数，μ为前一次迭代的权重，μ∈[0,1]，η为学习率。该方法使用的激活函数为relu函数，但使用该函数会导致参数过多，而在多级跳接式连接的深度残差网络的计算过程中，参数过多会增加网络计算的复杂性，导致网络训练速度变慢，因此，本实施例采用相同的残差函数替代relu函数作为激活函数：f(x)=max(0,wix+bi)其中i表示层数，wi是一个64
×3×3×
64的滤波器在第i层的权重，bi是一个64维的偏差。网络输入卷积层的滤波器大小为1
×3×3×
64，网络输出卷积层的滤波器大小为64
×3×3×
1。为了保证卷积计算后的特征映射与输入卷积层的特征映射保持相同的大小，将网络所有卷积层的移动步长设为1，填充设为1。网络剩余块的跳接连接参数λ=0.1，β1=0.1。
[0020]
步骤四：将低分辨率图像输入到msrrn超分辨重建模型中，残差块得到预测的残差特征值：如图2所示，此步骤为黑盒过程，体现在代码中，＋代表组合，python中concat()函数用于残差连接组合，通过上采样和卷积，最终得到高分辨率图像。
[0021]
步骤五：将残差图像与低分辨率图像组合成高分辨率图像；步骤六：用图像质量评价指标对网络进行评价。
[0022]
实验结果如表1所示：表1 图像质量评价指标值如表1所示，当放大因子为2时，msrrn算法得到的平均psnr和ssim值都有很大的改善。
[0023]
以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附图中所
示的也只是本发明的实施方式之一，实际的结构并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。