一种基于通道注意力的单图像超分辨率重建方法和系统

本发明属于图像重建，尤其涉及一种基于通道注意力的单图像超分辨率重建方法和系统。

背景技术：

1、单图像超分辨率重建技术是将一张模糊、包含信息较少的低分辨率图像通过算法重建为清晰、包含更多信息的高分辨率图像，如图1所示，是计算机视觉领域的重要研究方向。

2、高清晰度的图像占据了更大的设备内存，在网络传输中需要更大的带宽，同时高精密设备的价格往往也比较昂贵。此外，图像的获取还受到拍摄条件的影响，抖动、天气、光线等情况都会影响拍摄图像的质量。图像在传递过程中也会受到噪声的干扰，可能会变得模糊，丢失关键纹理信息，以至于不能满足人们的正常需求。

3、在现实生活中，图像超分辨率重建应用前景十分广泛。在医学成像领域，通过图像超分辨率重建技术生成清晰的纹理图像，帮助医生对病人病情做出精准的诊断。在安全监测领域，通过该技术重建出嫌疑人或者车辆信息、环境信息来辅助公安机关抓捕罪犯、维护治安；在图像压缩领域，大大降低高分辨率图像对带宽的要求，提高系统的实时性；在卫星遥感成像领域，重建出包含具体细节的纹理，丰富遥感图像的信息内容。

4、传统方法主要基于插值或退化模型等数学模型，但由于超分重建任务在数学上属于一对多的病态问题，导致传统方法在实际中难以取得理想效果。目前，基于深度神经网络的超分辨率重建算法通过深层次网络结构来实现，存在两个最主要的问题：(1)不能充分利用网络中的特征信息。深度网络拥有强大学习能力的同时，导致的模型优化困难，信息流的传递和有效利用受到网络深度的影响；(2)参数量巨大。加深网络带来巨大的参数量，模型训练困难，计算成本较高，难以满足实际场景的需求。

技术实现思路

1、为了解决以上技术问题，本发明提出一种基于通道注意力的单图像超分辨率重建方案。

2、本发明第一方面公开了一种基于通道注意力的单图像超分辨率重建方法。所述方法包括：

3、步骤s1、利用浅层特征提取模块，通过将原始输入图像的每个像素映射到高位特征空间，来提取所述原始输入图像的浅层特征；

4、步骤s2、利用所述多尺度通道注意力学习模块中的多尺度特征提取结构从所述原始输入图像的浅层特征中提取出深层特征；

5、步骤s3、利用所述多尺度通道注意力学习模块中的通道注意力学习支路对所述深层特征进行通道注意力学习，以获取从低分辨率图像到高分辨率图像的非线性变换关系；

6、步骤s4、基于所述非线性变换关系，利用重建模块，通过改变卷积层通道数的方式进行图像重建。

7、根据第一方面的方法，在所述步骤s1中，采用64个大小为9×9的卷积核对所述原始输入图像进行浅层特征提取，得到64张大小为c×h×w的浅层特征图，作为所述原始输入图像的浅层特征，其中，h表示图像高，w表示图像宽，c为特征通道数。

8、根据第一方面的方法，在所述步骤s2中，所述多尺度特征提取结构利用64个大小为5×5的卷积核所述原始输入图像的浅层特征中提取出第一深层特征，并利用64个大小为3×3的卷积核从所述原始输入图像的浅层特征中提取出第二深层特征。

9、根据第一方面的方法，在所述步骤s3中，所述通道注意力学习支路包括全局通道注意力学习支路和局部通道注意力学习支路，大小为5×5的卷积核对应所述全局通道注意力学习支路，大小为3×3的卷积核对应所述局部通道注意力学习支路；其中：

10、在所述全局通道注意力学习支路上，通过全局平均池化操作将所述第一深度特征的空间维度压缩至c×1×1，并利用两个1×1的卷积完成c个特征通道中每个通道的权重学习；

11、其中，第一个1×1的卷积通过控制卷积核数量来进行跨通道融合，以减少特征通道的维度，第二个1×1的卷积以相同的方式恢复所述特征通道的维度，使得权值个数与特征通道数一一对应，将每个通道的权重与所述第一深度特征的每个原始特征通道相乘得到所述全局通道注意力学习支路上的特征。

12、根据第一方面的方法，在所述步骤s3中，在所述局部通道注意力学习支路上：

13、通过全局平均池化操作将所述第二深度特征的空间维度压缩至c×1×1，利用核为3的一维卷积执行局部跨通道交互，以提取局部跨通道交互的依赖关系，并采用sigmoid函数获得局部相邻通道之间的权重，将所述局部相邻通道之间的权重与所述第二深度特征的每个原始特征通道相乘得到所述局部通道注意力学习支路上的特征；

14、其中，所述全局平均池化操作维度c×h×w压缩成c×1×1，具体过程如下：

15、

16、其中，za表示c个通道中第a个通道压缩后的值，hgap()表示全局平均池化函数，fdf,a表示第a个通道的特征，a∈[1,c]；

17、其中，所述sigmoid函数表示为：

18、

19、其中，将所述所述全局通道注意力学习支路上的特征与所述局部通道注意力学习支路上的特征进行对应级联，从而得到所述非线性变换关系。

20、根据第一方面的方法，在所述步骤s4中，将级联特征经过1×1的卷积后与所述原始输入图像相加，得到重建图像；其中：

21、从所述级联特征中提取出高分辨率图像，随机截取成若干大小为96×96的图像块，将经截取的图像块进行2倍下采样至48×48大小，得到低分辨率图像；

22、基于所述非线性变换关系，利用1×1的卷积对所述低分辨率图像进行特征提取，通过对特征图填充的方式使得图像大小保持48×48不变，并在在倒数第二层通过将所述卷积层通道数变更为4，完成卷积后对得到的特征图进行排列组合，并与所述原始输入图像相加得到所述重建图像。

23、根据第一方面的方法，在所述方法中，利用损失函数来监督学习过程，所述损失函数为mse函数或l1函数。

24、本发明第二方面公开了一种基于通道注意力的单图像超分辨率重建系统。所述系统包括：

25、第一处理单元，被配置为：利用浅层特征提取模块，通过将原始输入图像的每个像素映射到高位特征空间，来提取所述原始输入图像的浅层特征；

26、第二处理单元，被配置为：利用所述多尺度通道注意力学习模块中的多尺度特征提取结构从所述原始输入图像的浅层特征中提取出深层特征；

27、第三处理单元，被配置为：利用所述多尺度通道注意力学习模块中的通道注意力学习支路对所述深层特征进行通道注意力学习，以获取从低分辨率图像到高分辨率图像的非线性变换关系；

28、第四处理单元，被配置为：基于所述非线性变换关系，利用重建模块，通过改变卷积层通道数的方式进行图像重建。

29、根据第二方面的系统，所述第一处理单元具体被配置为，采用64个大小为9×9的卷积核对所述原始输入图像进行浅层特征提取，得到64张大小为c×h×w的浅层特征图，作为所述原始输入图像的浅层特征，其中，h表示图像高，w表示图像宽，c为特征通道数。

30、根据第二方面的系统，所述第二处理单元具体被配置为，所述多尺度特征提取结构利用64个大小为5×5的卷积核所述原始输入图像的浅层特征中提取出第一深层特征，并利用64个大小为3×3的卷积核从所述原始输入图像的浅层特征中提取出第二深层特征。

31、根据第二方面的系统，所述第三处理单元具体被配置为，所述通道注意力学习支路包括全局通道注意力学习支路和局部通道注意力学习支路，大小为5×5的卷积核对应所述全局通道注意力学习支路，大小为3×3的卷积核对应所述局部通道注意力学习支路；其中：

32、在所述全局通道注意力学习支路上，通过全局平均池化操作将所述第一深度特征的空间维度压缩至c×1×1，并利用两个1×1的卷积完成c个特征通道中每个通道的权重学习；

33、其中，第一个1×1的卷积通过控制卷积核数量来进行跨通道融合，以减少特征通道的维度，第二个1×1的卷积以相同的方式恢复所述特征通道的维度，使得权值个数与特征通道数一一对应，将每个通道的权重与所述第一深度特征的每个原始特征通道相乘得到所述全局通道注意力学习支路上的特征。

34、根据第二方面的系统，所述第三处理单元具体被配置为，在所述局部通道注意力学习支路上：

35、通过全局平均池化操作将所述第二深度特征的空间维度压缩至c×1×1，利用核为3的一维卷积执行局部跨通道交互，以提取局部跨通道交互的依赖关系，并采用sigmoid函数获得局部相邻通道之间的权重，将所述局部相邻通道之间的权重与所述第二深度特征的每个原始特征通道相乘得到所述局部通道注意力学习支路上的特征；

36、其中，所述全局平均池化操作维度c×h×w压缩成c×1×1，具体过程如下：

37、

38、其中，za表示c个通道中第a个通道压缩后的值，hgap()表示全局平均池化函数，fdf,a表示第a个通道的特征，a∈[1,c]；

39、其中，所述sigmoid函数表示为：

40、

41、其中，将所述所述全局通道注意力学习支路上的特征与所述局部通道注意力学习支路上的特征进行对应级联，从而得到所述非线性变换关系。

42、根据第二方面的系统，所述第四处理单元具体被配置为，将级联特征经过1×1的卷积后与所述原始输入图像相加，得到重建图像；其中：

43、从所述级联特征中提取出高分辨率图像，随机截取成若干大小为96×96的图像块，将经截取的图像块进行2倍下采样至48×48大小，得到低分辨率图像；

44、基于所述非线性变换关系，利用1×1的卷积对所述低分辨率图像进行特征提取，通过对特征图填充的方式使得图像大小保持48×48不变，并在在倒数第二层通过将所述卷积层通道数变更为4，完成卷积后对得到的特征图进行排列组合，并与所述原始输入图像相加得到所述重建图像。

45、根据第二方面的系统，利用损失函数来监督学习过程，所述损失函数为mse函数或l1函数。

46、本发明第三方面公开了一种电子设备。所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时，实现本公开第一方面中任一项所述的一种基于通道注意力的单图像超分辨率重建方法中的步骤。

47、本发明第四方面公开了一种计算机可读存储介质。所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现本公开第一方面中任一项所述的一种基于通道注意力的单图像超分辨率重建方法中的步骤。

48、综上，本发明提出的技术方案用于将低分辨率图像重建成高分辨率图像。该方法包括浅层特征提取模块、多尺度通道注意力学习模块，重建模块以及损失函数。多尺度通道注意力学习模块提出了一个多尺度特征提取结构和两个通道注意力学习支路。多尺度特征提取结构能对浅层特征进行不同尺度的深度特征提取，并将大尺度特征用于全局通道注意力学习支路，促进全局支路对图像全局信息的把握，更精准地对通道特征进行增强或抑制。小尺度特征用于局部通道注意力学习支路，促进局部支路对局部信息的关注，提高局部支路对全局支路中被抑制信息的弥补。本发明进一步提出针对多尺度通道注意力学习模块的递归策略，可以实现在加深网络的同时不增加网络参数，实现了图像重建性能的提升。