一种图像超分辨率重建方法、装置和设备

本发明涉及图像重建技术，尤其涉及一种图像超分辨率重建方法、装置和设备。

背景技术：

1、随着人们对图像分辨率的要求的提高，图像超分辨率问题，尤其是单图像超分辨率重建问题，已逐渐成为一个研究热点问题。

2、在目前基于深度学习的超分辨率重建算法中，基于卷积神经网络的图像超分辨率模型通过预测低分辨率图像和高分辨率图像之间的非线性映射，重建出高分辨率图像。但该模型的网络深度不够、图像纹理和细节不足，重建后的图像的质量不高。

技术实现思路

1、本申请提供一种图像超分辨率重建方法，用以解决现有技术重建后的图像质量不高的问题。

2、本申请第一方面提供一种图像超分辨率重建方法，所述方法包括：

3、对原始图像进行特征提取，得到特征向量；

4、将所述特征向量输入到预先训练好的图像重建模型中，通过所述重建模型中的注意力残差模块提取所述特征向量中的高频特征并进行学习，并通过所述重建模型中的特征增强残差模块提取所述特征向量中的低频特征并进行学习；

5、通过所述重建模型对所述高频特征和所述低频特征进行融合，得到融合特征；

6、通过所述重建模型对所述融合特征进行上采样和重建处理，得到目标图像；其中，所述目标图像的分辨率高于所述原始图像的分辨率。

7、本申请第二方面提供一种图像超分辨率重建装置，所述装置包括提取模块和处理模块，其中，

8、所述提取模块，用于对原始图像进行特征提取，得到特征向量；

9、所述处理模块，用于将所述特征向量输入到预先训练好的图像重建模型中，通过所述重建模型中的注意力残差模块提取所述特征向量中的高频特征并进行学习，并通过所述重建模型中的特征增强残差模块提取所述特征向量中的低频特征并进行学习；

10、所述处理模块，还用于通过所述重建模型对所述高频特征和所述低频特征进行融合，得到融合特征；

11、所述处理模块，还用于通过所述重建模型对所述融合特征进行上采样和重建处理，得到目标图像；其中，所述目标图像的分辨率高于所述原始图像的分辨率。

12、本申请第三方面提供一种图像超分辨率模型重建设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本申请第一方面提供的任一项所述方法的步骤。

13、本申请提供的图像超分辨率重建方法、装置和设备，通过对原始图像进行特征提取，得到特征向量，进而将所述特征向量输入到预先训练好的图像重建模型中，通过所述重建模型中的注意力残差模块提取所述特征向量中的高频特征并进行学习，并通过所述重建模型中的特征增强残差模块提取所述特征向量中的低频特征并进行学习，从而通过所述重建模型对所述高频特征和所述低频特征进行融合，得到融合特征，并通过所述重建模型对所述融合特征进行上采样和重建处理，得到目标图像；其中，所述目标图像的分辨率高于所述原始图像的分辨率。这样，在特征提取时，充分融合了低频特征和高频特征，可充分从原始图像中捕捉到更多纹理细节，从而使重建后的图像质量更高。

技术特征：

1.一种图像超分辨率重建方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述注意力残差模块由至少一个注意力残差块组成，每个所述注意力残差块包括依序连接的原始残差块、池化层、integration整合层、注意力机制层和concat拼接层组成，其中，所述注意力机制层还与所述原始残差块的输出端连接；所述concat拼接层还与所述注意力残差模块的输入端连接；

3.根据权利要求2所述的方法，其特征在于，所述原始残差块由至少一个计算块组成，每个所述计算块由依序连接的第一卷积层和第一非线性连接层组成，所述第一卷积层的卷积核的大小为3×3。

4.根据权利要求1所述的方法，其特征在于，所述特征增强残差模块包括增强模块、压缩模块和融合模块；其中，所述增强模块、所述压缩模块和所述融合模块依序连接、且所述融合模块还与所述特征增强残差模块的输入端连接；

5.根据权利要求4所述的方法，其特征在于，所述增强模块包括依序连接的第二卷积层、第二非线性全连接层、第三卷积层和拼接层，所述拼接层还与所述第二非线性全连接层的输出端连接；其中，所述第二卷积层和所述第三卷积层的卷积核的大小为3×3。

6.根据权利要求4所述的方法，特征在于，所述压缩模块包括依序连接的第四卷积层、第三非线性全连接层、第五卷积层组成；其中，

7.根据权利要求1所述的方法，其特征在于，所述预先训练好的图像重建模型由生成器网络和鉴别器网络组成，所述鉴别器网络的损失函数为：

8.根据权利要求7所述的方法，其特征在于，所述生成器网络的损失函数为：

9.一种图像超分辨率重建装置，其特征在于，所述装置包括提取模块和处理模块，其中，

10.一种图像超分辨率重建设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-8任一项所述方法的步骤。

技术总结
本申请提供一种图像超分辨率重建方法、装置和设备。本申请提供的图像超分辨率重建方法，包括：对原始图像进行特征提取，得到特征向量，将所述特征向量输入到预先训练好的图像重建模型中，通过所述重建模型中的注意力残差模块提取所述特征向量中的高频特征并进行学习，并通过所述重建模型中的特征增强残差模块提取所述特征向量中的低频特征并进行学习，通过所述重建模型对所述高频特征和所述低频特征进行融合，得到融合特征，通过所述重建模型对所述融合特征进行上采样和重建处理，得到目标图像；其中，所述目标图像的分辨率高于所述原始图像的分辨率。本申请提供的图像超分辨率重建方法、装置和设备，可使重建后的图像质量更高。

技术研发人员：马晓轩,郝冬,单思涵,化凤芳,肖垚
受保护的技术使用者：北京建筑大学
技术研发日：
技术公布日：2024/1/13