基于前向-反向可分离自注意力的图像超分辨率重建方法

本发明属于图像处理，更具体的说是涉及基于前向-反向可分离自注意力的图像超分辨率重建方法。

背景技术：

1、视觉信息对真实世界有着高效的表达能力，对真实世界的信息传递有着重要意义。图像可以直观地描述视觉信息，人类可以通过图像获得丰富信息，因而图像是信息的重要载体。大多数图像采集过程中，受图像处理技术和传输环境影响，获得的原始图像分辨率通常较低，而原始低分辨率图像缺少关键信息，通常很难满足技术上的要求。为了解决图像质量低下带来的问题，超分辨率重建作为一种低级视觉任务，成为研究热点。

2、图像超分辨率重建技术是一种从一幅低分辨率图像中恢复出高分辨率图像的技术，重建过程是一个典型逆过程，所以一个输入低分辨率图像能够映射输出多个高分辨率图像。通常图像的分辨率越高，包含的细节信息就会越多，更多的图像信息有利于在更多的场景发挥作用，因此图像超分辨率重建技术在诸多领域有着广泛的应用，如城市监控、医学成像、遥感图像等

3、近年来，深度学习技术的快速发展，基于深度学习的图像超分辨率重建算法，显示出对超分辨率重建问题的优势。部分研究人员首次将卷积神经网络应用到超分辨率重建中，提出了srcnn，构建了一个3层神经网络对图像重建。之后的许多超分辨率重建方法都是在此基础上进行改进，如espcn、vdsr、drcn、rcan等；其中，espcn提出了一种亚像素卷积的特征上采样，代替反卷积运算，大大提升了计算速度。vdsr提出了一种深度卷积网络的超分辨率重建方法，采用残差结构构建20层的深度网络，增强浅层与深层的特征联系。drcn提出了一种递归循环层提取高频特征，采用参数共享递归结构，降低网络参数量。rcan提出了一种残差通道注意力的超分辨率重建，将通道注意力引入残差网络，提高模型的特征选择能力。

4、虽然上述网络取得了相对较好的效果，但还存在一些局限性，例如这些网络大多数都采用单流的方式传递特征，却没有考虑单流网络的信息丢失，且没有对注意力进行优化。

5、因此，如何避免单流网络的信息丢失，并对注意力进行优化，提高图像高频重建性能，是本领域技术人员亟需解决的问题。

技术实现思路

1、鉴于上述问题，本发明提供基于前向-反向可分离自注意力的图像超分辨率重建方法，以至少解决上述背景技术中提到的部分技术问题。

2、为了实现上述目的，本发明采用如下技术方案：

3、基于前向-反向可分离自注意力的图像超分辨率重建方法，包括如下步骤；

4、获取目标低分辨率图像；

5、将所述目标低分辨率图像输入至训练好的前向-反向可分离自注意力网络模型中，输出所述目标低分辨率图像对应的高分辨率图像；

6、所述前向-反向可分离自注意力网络模型基于前向-反向深度可分离卷积构成；所述前向-反向可分离自注意力网络模型包括浅层提取模块、多个深层提取模块、上采样模块和重建模块；

7、所述浅层提取模块，用于对输入的目标低分辨率图像进行初始特征提取；

8、多个所述深层提取模块，用于对所述初始特征进行多尺度特征提取，获得所述前向-反向可分离自注意力网络模型的输出特征；

9、所述上采样模块，用于对所述输出特征进行上采样处理，获得上采样特征图；

10、所述重建模块，用于对所述上采样特征图进行处理，获得所述目标低分辨率图像对应的高分辨率图像。

11、进一步地，所述深层提取模块由前向-反向多尺度注意力模块和混洗注意力自注意力联合模块组成；

12、所述前向-反向多尺度注意力模块，用于对所述初始特征进行多尺度特征提取；

13、所述混洗注意力自注意力联合模块，用于自适应地调整注意力权重参数。

14、进一步地，所述前向-反向多尺度注意力模块由前向-反向深度可分离卷积多尺度提取块和前向-反向特征提取注意力块串联构成。

15、进一步地，所述前向-反向深度可分离卷积多尺度提取块的设计步骤包括：

16、步骤一、设置前向-反向深度可分离卷积块：将深度可分离卷积中逐点卷积和深度卷积的提取顺序进行交换，并在所述逐点卷积和所述深度卷积之间加入激活函数，得到前向深度可分离卷积层和反向深度可分离卷积层；其中，所述前向深度可分离卷积层先深度卷积提取后逐点卷积提取；所述反向深度可分离卷积层先逐点卷积提取后深度卷积提取；

17、步骤二、设置多尺度提取块：并将不同尺度的空洞卷积核设为不同维度，采用维度调整方式，将多尺度提取块的不同维度统一；

18、步骤三、将设置好的所述前向-反向深度可分离卷积块和设置好的所述多尺度提取块通过道混洗结合，组成前向-反向深度可分离卷积多尺度提取块。

19、进一步地，所述前向-反向深度可分离卷积多尺度提取块包括卷积核为1x1的空洞卷积分支、卷积核为3x3的空洞卷积分支以及卷积核为5x5的空洞卷积分支；

20、所述前向-反向深度可分离卷积多尺度提取块从三路进行特征提取，包括：

21、对于卷积核为1x1的空洞卷积分支，使用维度大于第二预设值的前向-反向深度可分离卷积块提取特征，通道拆分操作将输入特征分为两路64通道分支；其中一路组卷积提取；另一路组卷积、前向深度可分离卷积层和反向深度可分离卷积层串联而成提取；

22、对于卷积核为3x3的空洞卷积分支，利用前向-反向深度可分离卷积块提取特征，对于输入特征，先压缩为32通道，再通过1x1卷积、前向深度可分离卷积层、反向深度可分离卷积层和1x1卷积串联而成作为中间提取；在末端，通过concat操作将输入特征与中间提取的特征进行通道聚合，获得保留输入特征与提取后的深层特征的聚合特征；

23、对于卷积核为5x5的空洞卷积分支，使用维度低于第一预设值的前向-反向深度可分离卷积块提取特征，通道拆分操作将输入特征分为两路32通道分支；其中一路组卷积提取；另一路组卷积、前向深度可分离卷积层和反向深度可分离卷积层串联而成提取。

24、进一步地，所述前向-反向多尺度注意力模块从三路进行特征提取，包括：

25、对于卷积核为5x5的空洞卷积分支，前向-反向深度可分离卷积多尺度提取块与前向-反向特征提取注意力块串联，由通道拆分操作将通道转为c/2，末端concat操作将维度聚合为c，并在通道维度c下进行注意力提取；

26、对于卷积核为3x3的空洞卷积分支，由通道压缩卷积将通道转为c/2，末端concat操作将维度聚合为c，并在通道维度c下进行注意力提取；

27、对于卷积核为1x1的空洞卷积分支，前向-反向深度可分离卷积多尺度提取块与前向-反向特征提取注意力块串联，在通道为c下进行两路提取，末端concat操作将维度聚合为2c，通道压缩卷积压缩通道为c，并在通道维度c下进行注意力提取。

28、进一步地，所述前向-反向特征提取注意力块依次由全局平均池化层、前向深度可分离层、relu激活函数层、反向深度可分离层、通道混洗、最大池化层和sigmoid激活函数层串联构成。

29、进一步地，所述混洗注意力自注意力联合模块由混洗注意力块和自注意力块串联构成；

30、所述混洗注意力块由平均池化、最大池化、1x1组卷积、通道混洗、1x1逐点卷积和sigmoid激活函数串联构成；

31、所述自注意力块包括第一分支、第二分支和第三分支；所述第一分支的值、所述第二分支的值和所述第三分支的值相乘，得到自注意力特征图。

32、进一步地，所述前向-反向可分离自注意力网络模型的训练步骤如下：

33、s1、获取目标数据集，并对所述目标数据集进行预处理；

34、s2、对所述目标数据集进行k倍下采样处理，获得对应的低分辨率图像数据集；

35、s3、将所述目标数据集裁剪成多个kh×kw大小的第一图像块，将所述低分辨率图像数据集裁剪成多个h×w大小的第二图像块；

36、s4、将所述第二图像块作为输入，将与所述第二图像块的图像位置相对应的第一图像块作为输出，来训练低分辨率图像数据集；

37、所述低分辨率图像数据集中所需的网络参数包括前向-反向可分离自注意力网络中深度卷积核、逐点卷积核、步长、填充值，前向-反向可分离自注意力的块数；

38、s5、基于训练完成的所述低分辨率图像数据集，来训练基于前向-反向可分离自注意力网络，生成前向-反向可分离自注意力网络模型。

39、进一步地，使用峰值信噪比和结构相似度作为客观评价指标，对所述自注意力网络模型的重建性能进行评价。

40、经由上述的技术方案可知，与现有技术相比，本发明公开提供了基于前向-反向可分离自注意力的图像超分辨率重建方法，具有如下有益效果：

41、本发明通过设计基于前向-反向可分离自注意力网络模型来实现图像超分辨率重建，其既可以多尺度提取不同的结构信息，又可提取重要信息，略去无用信息，增强特征选择能力，提高了图像超分辨率重建精度。

42、本发明通过设计前向-反向深度可分离卷积块进行编码和解码，提取复杂信息，多尺度提取补偿单路网络特征传递过程中损失的部分高频信息，从而让输入图像在不同尺度下提取不同的信息，通道混洗增加特征信息交流，避免单流网络的信息丢失。

43、本发明通过前向-反向特征提取注意力块，改进注意力的特征提取函数，使用提出的前向-反向深度可分离卷积提取权重，自适应调整权值，通道混洗增强信息流动，高效地关注图像中的上下文维度特征。

44、本发明通过混洗注意力自注意力联合模块，对改进通道注意力的函数映射，并加入自注意力，自适应的调整权值参数，关注上下文维度信息，有效提高了图像的超分辨率重建效果。