一种双判别生成对抗网络的红外图像超分辨重建方法与流程

1.本发明涉及视觉捕捉技术及成像技术领域，具体是一种双判别生成对抗网络的红外图像超分辨重建方法。


背景技术：

2.图像超分辨重建技术借助相关网络模型，可以有效地提高图像的质量。其主要分为三个方向：基于插值的方法、基于重建的方法、基于学习的方法。基于插值的方法是通过将低分辨率图像的像素点映射到高分辨率图像上，对缺失的像素点用已知的像素点来估计。基于重建的方法是通过挖掘低分辨率图像中高频信息，结合图像的先验信息，求解低分辨率成像的逆过程，从而恢复图像中的高频信息。基于学习的方法是通过学习大量的样本集，从而构建出含有先验信息的低分辨率图像到高分辨图像之间的映射关系，实现图像超分辨率重建。相比于传统算法，基于学习的方法在图像特征提取方面表现出更大优势，后来随着深度学习的发展，该方法在图像超分辨领域中占据着主导地位。基于此种方法下，相继提出了srcnn三层基础网络模型、drcn模型、srgan模型、rdn网络模型等。srgan网络模型在红外图像超分辨领域的成功应用，进一步提高了红外图像的分辨率，但该模型在生成器上采用常规的srcnn网络结构，相对来说模型较为简单，特征提取不够充分，使得生成的红外图像在高频细节上存在丢失问题。此外，该网络层中，bn层结构限制了模型的泛化能力，会造成红外图像产生不好的伪影。


技术实现要素：

3.本发明的目的在于克服上述缺陷，提出一种有效提高红外图像的质量，弱化了图像细节伪影问题，使得图像的边缘和纹理特征更加明显的方法。
4.为了达到上述目的，本发明是这样实现的：一种双判别生成对抗网络的红外图像超分辨重建方法，包括步骤1、对输入的低分辨率红外图像进行一层9
×
9的卷积，提取低频红外图像特征；步骤2、利用密集连接的rirb加深网络深度，学习更多非线性和更大感受野的高频红外图像特征；步骤3、通过对每个外部残差块的输出进行一次1
×
1的卷积，聚合不同残差块红外图像的特征；步骤4、将rirb中获得的特征通过两个亚像素卷积层，实现对低分辨红外图像4倍的上采样；步骤5、最后通过3
×
3卷积，完成红外图像的超分辨重建；其中，判别网络模型以生成的超分辨红外图像和原始高分辨红外图像为输入，通过8个卷积层提取图像的512维特征，作为两个全连接层、sigmoid激活函数的输入，再计算
样本分类概率，以此判定红外图像来源；为了提高红外图像的质量,获取更多高频细节特征，采用两个损失分量：感知损失分量和双判别网络损失分量；该损失函数分别定义如下：为感知损失，为gan损失项权重，定义为，其中和分别为生成网络在像素域合成的高频细节特征gan损失和特征域上合成的结构细节特征gan损失；两者定义分别如下：表示生成的超分辨红外图像来自真实红外图像的概率，值越大，值就越接近于0，生成的红外图像在高频细节特征上就越接近于真实的红外图像。表示在第m层生成的超分辨红外特征图来自真实红外特征图的概率，越大，值就越接近于0，生成的红外图像在结构整体性上就越接近于真实的红外图像；而感知相似性损失是在特征域中测量两个图像之间的差异信息；函数定义如下：通过上述损失分量和损失分量的训练优化来不断减小最终达到模型收敛，实现最优超分辨红外图像的目的。
5.本发明提出的算法，有效地提高了红外图像的质量，弱化了图像细节伪影问题，使得图像的边缘和纹理特征更加明显。实验表明，该算法在客观评价和主观视觉上较srgan算法都有较好提升。此外，在4倍超分辨重建红外图像的情况下，也能达到更好的视觉效果。
附图说明
6.图1为本方法的流程示意图。
具体实施方式
7.以下通过具体实施例进一步说明本发明。
8.一种双判别生成对抗网络的红外图像超分辨重建方法，包括步骤1、对输入的低分辨率红外图像进行一层9
×
9的卷积，提取低频红外图像特征；步骤2、利用密集连接的rirb加深网络深度，学习更多非线性和更大感受野的高频红外图像特征；步骤3、通过对每个外部残差块的输出进行一次1
×
1的卷积，聚合不同残差块红外图像的特征；步骤4、将rirb中获得的特征通过两个亚像素卷积层，实现对低分辨红外图像4倍的上采样；步骤5、最后通过3
×
3卷积，完成红外图像的超分辨重建；其中，判别网络模型以生成的超分辨红外图像和原始高分辨红外图像为输入，通过8个卷积层提取图像的512维特征，作为两个全连接层、sigmoid激活函数的输入，再计算
样本分类概率，以此判定红外图像来源；为了提高红外图像的质量,获取更多高频细节特征，采用两个损失分量：感知损失分量和双判别网络损失分量；该损失函数分别定义如下：为感知损失，为gan损失项权重，定义为，其中和分别为生成网络在像素域合成的高频细节特征gan损失和特征域上合成的结构细节特征gan损失；两者定义分别如下：表示生成的超分辨红外图像来自真实红外图像的概率，值越大，值就越接近于0，生成的红外图像在高频细节特征上就越接近于真实的红外图像。表示在第m层生成的超分辨红外特征图来自真实红外特征图的概率，越大，值就越接近于0，生成的红外图像在结构整体性上就越接近于真实的红外图像；而感知相似性损失是在特征域中测量两个图像之间的差异信息；函数定义如下：通过上述损失分量和损失分量的训练优化来不断减小最终达到模型收敛，实现最优超分辨红外图像的目的。
9.本发明提出的算法，有效地提高了红外图像的质量，弱化了图像细节伪影问题，使得图像的边缘和纹理特征更加明显。实验表明，该算法在客观评价和主观视觉上较srgan算法都有较好提升。此外，在4倍超分辨重建红外图像的情况下，也能达到更好的视觉效果。


技术特征：
1.一种双判别生成对抗网络的红外图像超分辨重建方法，其特征是：包括步骤1、对输入的低分辨率红外图像进行一层9
×
9的卷积，提取低频红外图像特征；步骤2、利用密集连接的rirb加深网络深度，学习更多非线性和更大感受野的高频红外图像特征；步骤3、通过对每个外部残差块的输出进行一次1
×
1的卷积，聚合不同残差块红外图像的特征；步骤4、将rirb中获得的特征通过两个亚像素卷积层，实现对低分辨红外图像4倍的上采样；步骤5、最后通过3
×
3卷积，完成红外图像的超分辨重建；其中，判别网络模型以生成的超分辨红外图像和原始高分辨红外图像为输入，通过8个卷积层提取图像的512维特征，作为两个全连接层、sigmoid激活函数的输入，再计算样本分类概率，以此判定红外图像来源；为了提高红外图像的质量,获取更多高频细节特征，采用两个损失分量：感知损失分量和双判别网络损失分量；该损失函数分别定义如下：为感知损失，为gan损失项权重，定义为，其中和分别为生成网络在像素域合成的高频细节特征gan损失和特征域上合成的结构细节特征gan损失；两者定义分别如下：表示生成的超分辨红外图像来自真实红外图像的概率，值越大，值就越接近于0，生成的红外图像在高频细节特征上就越接近于真实的红外图像。2.表示在第m层生成的超分辨红外特征图来自真实红外特征图的概率，越大，值就越接近于0，生成的红外图像在结构整体性上就越接近于真实的红外图像；而感知相似性损失是在特征域中测量两个图像之间的差异信息；函数定义如下：通过上述损失分量和损失分量的训练优化来不断减小最终达到模型收敛，实现最优超分辨红外图像的目的。

技术总结
本发明是一种双判别生成对抗网络的红外图像超分辨重建方法；包括步骤1、对输入的低分辨率红外图像进行一层9


技术研发人员：李凯 邢志勇 侯振峰 郝杰
受保护的技术使用者：上海宝冶集团有限公司
技术研发日：2021.11.30
技术公布日：2022/8/18