融合残差密集块和卷积注意力机制的SRGAN方法、设备和介质

本发明涉及图像超分处理，具体而言，涉及一种融合残差密集块和卷积注意力机制的srgan方法、设备和介质。

背景技术：

1、图像的超分辨率重建技术指的是将给定的低分辨率图像通过特定的算法恢复成相应的高分辨率图像。

2、传统的srgan图像超分重建算法(super resolution generative adversarialnetworks)结合了残差块和生成对抗网络。并且提出了感知损失，克服了重建图像感知质量低的缺点，使得生成的高分辨率图像更加接近自然图像。

3、srgan中的残差块使用了resnet，很好的解决了梯度消失和梯度爆炸问题，同时可以允许更深的网络结构，有助于提取更加复杂的特征。但是，srgan没有充分利用原始低分辨率(lr)显微图像的层次特征，因此性能相对较低。

4、此外，srgan没有考虑到不同通道的信息对重建的影响，将特征图中的全部信息部分主次的重建，因此不能将重建的重点放在特征图的主要信息上，导致已有的基于srgan的超分辨率方法会产生虚假信息，倾向于生成与输入图像无关的不太有意义的高频噪声。

5、有鉴于此，申请人在研究了现有的技术后特提出本申请。

技术实现思路

1、本发明提供了一种融合残差密集块和卷积注意力机制的srgan方法、设备和介质，以改善上述技术问题中的至少一个。

2、第一方面、本发明实施例提供了一种融合残差密集块和卷积注意力机制的srgan方法，其包含步骤s1和步骤s2。s1、获取待优化的图像。s2、根据所述待优化图像，通过预先训练好的融合残差密集块和卷积注意力机制的srgan模型进行超分辨率重建，获取分辨率提高后的优化图像。

3、所述融合残差密集块和卷积注意力机制的srgan模型的生成器的网络结构包括依次连接的浅层特征提取网络、残差密集块网络、密集特征融合网络和上采样网络。其中，浅层特征提取网络用以从待优化的图像提取浅层特征。残差密集块网络包括多个依次连接的残差密集块。第一个残差密集块用以从浅层特征中提取局部特征，后续的残差密集块用以从上一个残差密集块提取的局部特征中提取新的局部特征。所述密集特征融合网络用以融合浅层特征和各个残差密集块提取的局部特征，以获取特征映射。上采样网络用以根据特征映射生成所述分辨率提高后的优化图像。

4、第二方面、本发明实施例提供了一种融合残差密集块和卷积注意力机制的srgan设备，其包括处理器、存储器，以及存储在所述存储器内的计算机程序。所述计算机程序能够被所述处理器执行，以实现如第一方面任意一段所述的融合残差密集块和卷积注意力机制的srgan方法。

5、第三方面、本发明实施例提供了一种计算机可读存储介质。所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如第一方面任意一段所述的融合残差密集块和卷积注意力机制的srgan方法。

6、通过采用上述技术方案，本发明可以取得以下技术效果：

7、本发明实施例的融合残差密集块和卷积注意力机制的srgan方法，对生成器进行了改进，使得在图像重建时能充分利用原始低分辨率图像的多层次特征，并在残差密集块中添加注意力机制，使图像更加有重点的重建。

技术特征：

1.一种融合残差密集块和卷积注意力机制的srgan方法，其特征在于，包含：

2.根据权利要求1所述的融合残差密集块和卷积注意力机制的srgan方法，其特征在于，残差密集块包括依次连接的多个密集连接网络、卷积块注意力网络，第一concat层、第一卷积层和第一相加层；其中，第一个密集连接网络用以根据输入当前残差密集块的特征中提取特征映射；后续的密集连接网络用以根据输入当前残差密集块的特征和前面的各个密集连接网络提取的特征映射提取新的特征映射；所述卷积块注意力网络用以融合输入当前残差密集块的特征以及各个密集连接网络提取的特征映射；所述第一concat层和所述第一卷积层用以自适应控制输出信息；所述第一相加层用以将所述第一卷积层输出的特征和输入当前残差密集块的特征相加，获取当前残差密集块提取的局部特征。

3.根据权利要求2所述的融合残差密集块和卷积注意力机制的srgan方法，其特征在于，所述残差密集块的数量为16个；所述密集连接网络包括依次连接的第二卷积层和relu激活层。

4.根据权利要求2所述的融合残差密集块和卷积注意力机制的srgan方法，其特征在于，所述卷积块注意力网络包括通道注意力模块、第一相乘层、空间注意力模块和第二相乘层；其中，所述通道注意力模块用以根据输入卷积块注意力网络的特征推断通道注意力图；所述第一相乘层用以将输入卷积块注意力网络的特征和所述通道注意力图相乘，获取相乘特征；所述空间注意力模块用以根据所述相乘特征推断空间注意力图；所述第二相乘层用以将所述相乘特征和所述空间注意力图相乘，获取自适应特征细化后的特征。

5.根据权利要求1所述的融合残差密集块和卷积注意力机制的srgan方法，其特征在于，所述密集特征融合网络包括依次连接的全局特征融合模块和全局残差学习模块；

6.根据权利要求1至5任意一项所述的融合残差密集块和卷积注意力机制的srgan方法，其特征在于，所述浅层特征提取网络包括依次连接的第五卷积层和第一prelu激活函数层；

7.根据权利要求1至5任意一项所述的融合残差密集块和卷积注意力机制的srgan方法，其特征在于，所述融合残差密集块和卷积注意力机制的srgan模型还包括图像判别器和特征判别器；所述图像判别器以像素域中的图像作为输入，通过检查像素值来判断输入的图像为真实图像还是生成图像；所述特征判别器能够将图像输入到vgg网络中提取中间特征图，以通过检查特征图来判断输入的图像为真实图像还是生成图像。

8.根据权利要求1至5任意一项所述的融合残差密集块和卷积注意力机制的srgan方法，其特征在于，所述生成器的损失函数为：

9.一种融合残差密集块和卷积注意力机制的srgan设备，其特征在于，包括处理器、存储器，以及存储在所述存储器内的计算机程序；所述计算机程序能够被所述处理器执行，以实现如权利要求1至8任意一项所述的融合残差密集块和卷积注意力机制的srgan方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至8任意一项所述的融合残差密集块和卷积注意力机制的srgan方法。

技术总结
一种融合残差密集块和卷积注意力机制的SRGAN方法、设备和介质，涉及图像超分处理技术领域。该方法通过预先训练好的融合残差密集块和卷积注意力机制的SRGAN模型将待优化的图像超分辨率重建成高分辨率的优化图像。该模型的生成器包括依次连接的浅层特征提取网络、残差密集块网络、密集特征融合网络和上采样网络。浅层特征提取网络用以从待优化的图像提取浅层特征。残差密集块网络包括多个依次连接的残差密集块。第一个残差密集块用以从浅层特征中提取局部特征，后续的残差密集块用以从上一个残差密集块提取的局部特征中提取新的局部特征。密集特征融合网络用以融合浅层特征和各个残差密集块提取的局部特征。上采样网络用以输出分辨率提高后的优化图像。

技术研发人员：刘三亚,翁骁,朱彬,闫柔羲,盖文婧
受保护的技术使用者：华侨大学
技术研发日：
技术公布日：2024/5/10