轻量级胸部CT图像超分辨率的残差特征注意力融合方法

本发明涉及一种图像处理方法，具体地说是一种轻量级胸部ct图像超分辨率的残差特征注意力融合方法。

背景技术：

1、pet-ct是一种将正电子发射计算机断层扫描（pet）与计算机断层扫描（ct）相结合的医学影像检查技术，以获得更加全面的影像信息。pet-ct技术可以同时提供关于疾病代谢和功能信息以及解剖结构信息，能够在同一扫描中提供全身或局部的多种信息，提高疾病诊断和治疗的准确性和精度。

2、不断变异的covid-19严重威胁着人类生命和全球经济安全。研究表明，pet-ct是covid-19 的有效诊断方法。然而，pet-ct的电离辐射会给患者带来潜在的癌症风险。为了在保护患者健康的同时有效准确地检测covid-19，研究人员尝试降低辐射剂量。然而，降低辐射剂量会降低图像质量，导致pet-ct扫描出现肺炎区域和肺实质模糊不清，从而影响最终诊断。

3、图像超分辨率是一项图像处理技术，旨在从低分辨率图像重建出高分辨率图像。在图像超分辨率的背景下，高分辨率图像具有更高的空间细节和更丰富的信息，能够提供更清晰、更真实的视觉效果，从而为各种应用提供更好的视觉体验和更准确的分析结果。然而，使用传统的超分辨率方法存在的问题是模型参数庞大，训练和测试速度较慢，不适用于资源受限的机器（例如医院使用的医学影像设备）。另外，现有的sr算法都是基于自然图像设计的，而胸部ct图像的视觉识别性较差，纹理比自然图像更复杂，因此在重建的胸部ct图像中不易保证关键信息不变。

技术实现思路

1、本发明的目的就是提供一种轻量级胸部ct图像超分辨率的残差特征注意力融合方法，以解决原始pet-ct图像分辨率不足而对临床诊断产生不利影响的问题。

2、本发明的目的是这样实现的：

3、一种轻量级胸部ct图像超分辨率的残差特征注意力融合方法，包括以下步骤：

4、s1、样本数据集的构建：采集受检者的covid-19胸部pet-ct图像样本，剔除其中存在缺失的样本，排除样本图像中存在重影或模糊的样本，在对保留的每个样本图像加载数据标签后，即构建成胸部pet-ct样本数据集。

5、s2、样本数据集的样本划分：从样本数据集的样本图像中提取不少于3000个的pet-ct切片图像，将其中接近90%的切片图像组成训练集，将剩余的切片图像组成验证集和测试集，验证集与测试集的样本数量之比为1︰3。

6、s3、对样本数据集的预处理：利用双三次插值法对数据集中所有样本中的高分辨率（hr）图像进行下采样，生成相应的低分辨率（lr）图像；再从数据集样本中原始的高分辨率图像中随机裁剪出尺寸为96×96、144×144和192×192的高分辨率图像块，裁剪出的三种尺寸规格的高分辨率图像块的数量相同。

7、s4、神经网络模型的构建及训练，具体子步骤如下：

8、s4-1构建一个神经网络模型，该模型包括浅层特征提取模块、深层特征提取模块和重建模块；所述重建模块包括一个3×3卷积层和一个亚像素操作层，用于完成对于低分辨率的pet-ct图像的重建，以得到高分辨率的图像；

9、s4-2设置训练批次，通过adam优化器对神经网络模型进行训练，以得到神经网络模型参数；

10、s4-3设置初始学习率为5×104，设定每5×104次迭代后将学习率减半，共进行3×105次迭代；选择使用l1损失作为损失函数，计算真实值与预测值之间所有绝对差值的总和；

11、s4-4使用数据集训练神经网络：将训练集中经过图像预处理后的样本图像输入神经网络模型，由神经网络模型进行处理并输出预测结果，将预测结果与对应的真实标签进行比较，利用l1损失函数计算损失值，直到损失值降低并趋于稳定，即得到超分辨率的神经网络模型。

12、进一步地，在步骤s4-4中，超分辨率的神经网络模型的训练过程如下：

13、s4-4-1样本图像首先通过神经网络模型中的浅层特征提取模块中的一个3×3卷积层的卷积操作，以提取样本图像的浅层特征；

14、s4-4-2采用多个特征加权级联组fwcg并以链式结构进行堆叠，再通过全局分层特征融合策略ghffs逐渐融合每一层的特征，提取样本图像中的深层特征；

15、s4-4-3经过深度特征提取模块处理后的图像经过残差连接，与未通过该模块的图像特征进行加和操作，即获得融合了深度图像信息的特征层；

16、s4-4-4在特征提取模块fwcg中使用自适应融合模块affb融合全局级别的空间特征之间的关系；

17、s4-4-5在深度特征提取模块之后引入一个残差连接操作，通过将深度特征提取前的特征图与当前的特征图进行加和，以实现信息的传递并进入重建模块；在最终图像重建完成后，将其与经过调整大小的原始图像进行残差连接，即生成最终的超分辨率pet-ct图像。

18、进一步地，所述特征加权级联组fwcg包括特征提取模块cfeb和自适应融合模块affb。

19、进一步地，在所述特征提取模块cfeb中，输入特征图finput的通道数设为c，先将输入特征图finput经过一个输出通道数为c/2的3×3卷积层进行特征变换；然后将输入特征图finput分为一个保留分支和一个自校准分支进行特征处理；所述保留分支用于保持原始特征空间信息；所述自校准分支用于获取每个空间位置的上下文特征信息；在所述保留分支中，输入特征图finput经过一个输出通道数为c/2的3×3卷积层，得到f1；同时，在自校准分支中，输入特征图finput经过一个输出通道数为c/2的3×3分组卷积层，得到f2；f2经过sigmoid激活函数后与f1进行内积运算，得到f3；接着，f3经过一个输出通道数为c/2的3×3分组卷积层，得到f4；再后，在通道维度上将f2和f4进行拼接操作，得到f5；随后，f5经过一个输出通道数为c的1×1卷积层和一个输出通道数为c的seb模块，得到f6；最后，将输入特征图finput与f6在像素层级进行加和操作，即得到最终的输出特征图foutput。

20、进一步地，所述seb模块包括全局池化层、两个全连接层和一个sigmoid激活函数层；所述seb模块通过残差连接操作，将输入特征与调整后的权重进行内积计算，得到最终的特征表示。

21、进一步地，所述自适应融合模块affb是通过利用全局级别的空间特征关系生成空间注意力权重，用以增强特征提取过程；其具体运行方式是：先将两个输入特征图finput1和finput2进行像素级相加，在经过一个1×1卷积层后得到ffusion；然后，使用三个扩张率不同的3×3扩张卷积层，在保持图像尺寸不变的情况下，从感受野中收集信息，得到特征图fa；在此基础上，添加一个残差连接，将特征图fa与ffusion相加，得到fb。之后，使用两个1×1卷积层恢复通道维度，并使用softmax激活函数获得两个分支的注意力权重a1和a2；将两个分支的注意力权重a1和a2在通道维度上进行拼接操作，并与两个输入特征图finput1和finput2的拼接块进行内积运算，得到a3；最后，将a3经过一个1×1卷积层以平滑特征，最终得到输出特征图foutput。

22、本发明通过采用多个特征加权级联组fwcg所形成的特征加权级联组，并以链式结构进行堆叠，再通过全局分层特征融合策略ghffs逐渐融合每一层的特征，这就是深层特征提取层的具体结构。经过深度特征提取模块处理后的图像通过残差连接与未通过该模块的图像特征进行加和操作，从而获得了融合了深度图像信息的特征层。在特征加权级联组fwcg中，为了实现更有效地融合来自相邻层级和具有不同感受野的特征信息，以获取更具代表性的特征，采用自适应特征融合模块affb，能够利用全局级别的空间特征之间的关系，生成空间注意力权重，增强了特征提取过程。