基于轮廓波知识引导网络的多尺度图像超分辨率重建方法

本发明属于图像超分辨率重建，具体涉及一种基于轮廓波知识引导网络的多尺度图像超分辨率重建方法。

背景技术：

1、随着科技的不断发展，人们对高分辨率图像的需求越来越迫切。由于通过硬件提高分辨率的方式资源有限且价格较高，一般采用基于算法的图像超分辨率重建。单张图像超分辨率重建(single image super-resolution，sisr)能够恢复图像在下采样过程中丢失的细节信息，使得图像更加清晰细腻。因此在遥感卫星成像、视频监控、生物医学等领域应用十分广泛。

2、传统的基于插值的sisr包括最近邻插值法、双线性插值法、三次插值法、双三次插值法等。此种方法快速简单，但存在精度缺陷。深度学习的出现为sisr开辟了新的道路，通过端到端学习的方法分析低分辨率图像与对应的高分辨率图像之间的统计关系，从而实现高分辨率图像的重建。比较有代表性的有srcnn(super-resolution convolutionalneural network)和fsrcnn(fast super-resolution convolutional neural network)等，这些方法虽然在一定程度上弥补了传统的sisr方法的缺陷，在视觉感官上提高了图像的清晰度，但由于缺乏对高频信息特征的提取能力，提取到的多为浅层特征，具有一定的精度缺陷，一定程度上影响重建效果。

技术实现思路

1、为了解决现有技术中存在的上述问题，本发明提供了一种基于轮廓波知识引导网络的多尺度图像超分辨率重建方法。本发明要解决的技术问题通过以下技术方案实现：

2、本发明提供了一种基于轮廓波知识引导网络的多尺度图像超分辨率重建方法，包括：

3、步骤1：获取待重建的低分辨率图像；

4、步骤2：将所述低分辨率图像输入训练完成的轮廓波知识引导网络中，输出对应的超分辨率重建图像；

5、所述轮廓波知识引导网络，包括依次级联的contourlet滤波器模块、嵌入子网络、预测网络和超分辨重建模块，其中，所述低分辨率图像输入所述嵌入子网络，再经过所述预测网络和所述超分辨重建模块后得到对应的所述超分辨率重建图像；

6、所述嵌入子网络对输入的所述低分辨率图像进行特征提取得到特征图，所述预测网络对输入的所述特征图进行轮廓波分解系数预测，得到轮廓波分解系数预测值，所述超分辨重建模块对所述轮廓波分解系数预测值进行逆变换得到所述超分辨率重建图像。

7、与现有技术相比，本发明的有益效果在于：

8、1.本发明的基于轮廓波知识引导网络的多尺度图像超分辨率重建方法，将传统的信号处理中的contourlet特征分解和深度学习框架相结合，将图像重建转化为contourlet系数和其ggd分布的学习问题，contourlet分解系数和ggd的参数均能够有效地对特征进行稀疏表示，在仅用少量系数即可捕捉图像中多尺度、多方向的边缘轮廓和方向性纹理，提高了超分辨率图像的重建性能。

9、2.本发明的基于轮廓波知识引导网络的多尺度图像超分辨率重建方法，通过多尺度的contourlet滤波器模块以多尺度、多方向的方式提取稀疏特征并集成到网络中，充分利用频域的contourlet特征学习的优势，以确保超分辨率图像的细节重建。

10、上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。

技术特征：

1.一种基于轮廓波知识引导网络的多尺度图像超分辨率重建方法，其特征在于，包括：

2.根据权利要求1所述的基于轮廓波知识引导网络的多尺度图像超分辨率重建方法，其特征在于，所述轮廓波知识引导网络的训练过程包括：

3.根据权利要求2所述的基于轮廓波知识引导网络的多尺度图像超分辨率重建方法，其特征在于，

4.根据权利要求2所述的基于轮廓波知识引导网络的多尺度图像超分辨率重建方法，其特征在于，所述嵌入子网络包括级联的多个残差块，所述多个残差块的通道数量依次增加，每个残差块输出的特征图的大小一致且与所述嵌入子网络的输入图像的大小相同。

5.根据权利要求2所述的基于轮廓波知识引导网络的多尺度图像超分辨率重建方法，其特征在于，所述预测网络包括多个并行的预测子网络，所述预测子网络的个数为l+1，其中，l为contourlet滤波器模块的分解级数；

6.根据权利要求5所述的基于轮廓波知识引导网络的多尺度图像超分辨率重建方法，其特征在于，在所述轮廓波知识引导网络的训练过程中，所述超分辨重建模块还用于计算所述contourlet滤波器模块的轮廓波分解系数对应的ggd参数向量以及所述预测网络得到的轮廓波分解系数预测值对应的ggd参数向量。

7.根据权利要求6所述的基于轮廓波知识引导网络的多尺度图像超分辨率重建方法，其特征在于，所述损失函数表示为：

8.根据权利要求7所述的基于轮廓波知识引导网络的多尺度图像超分辨率重建方法，其特征在于，所述空域全局损失为超分辨率重建图像与对应的训练样本图像的均方误差，表示为：

9.根据权利要求8所述的基于轮廓波知识引导网络的多尺度图像超分辨率重建方法，其特征在于，所述细节保留损失表示为：

技术总结
本发明涉及一种基于轮廓波知识引导网络的多尺度图像超分辨率重建方法，包括：获取待重建的低分辨率图像；将低分辨率图像输入训练完成的轮廓波知识引导网络中，输出对应的超分辨率重建图像；轮廓波知识引导网络，包括依次级联的contourlet滤波器模块、嵌入子网络、预测网络和超分辨重建模块，其中，低分辨率图像输入嵌入子网络，再经过预测网络和超分辨重建模块后得到对应的超分辨率重建图像；嵌入子网络对输入的低分辨率图像进行特征提取，得到的特征图为预测轮廓波系数提供充足的信息，预测网络对输入的特征图进行轮廓波分解系数预测，得到轮廓波分解系数预测值，超分辨重建模块对轮廓波分解系数预测值进行逆变换得到超分辨率重建图像。

技术研发人员：刘梦琨,焦李成,李玲玲,刘旭,刘芳,杨淑媛,王爽,侯彪
受保护的技术使用者：西安电子科技大学
技术研发日：
技术公布日：2024/1/15