基于对抗网络和最大互信息优化的图像超分辨率重建方法

1.本发明属于图像处理技术领域，具体涉及一种基于对抗网络和最大互信息优化的图像超分辨率重建方法。


背景技术：

2.图像分辨率是反映图像中蕴含图像细节信息丰富程度的一种参数，体现了成像设备实际所能反映物体细节信息的能力。相较较低分辨率的图像，高分辨率图像通常包含更大的像素密度、更丰富的纹理细节及更高的可信赖度。高分辨率的图像在军事，医学，公共安全，计算机视觉等方面都存在着重要的应用前景。虽然可以通过提高设备性能获取高分辨率的图像，但是受到采集环境、网络传输、图像退化等因素的影响，获取的图像通常会受到噪声、边缘锐化、无成块模糊干扰，从而影响图像中的细节信息。最直接提升图像分辨率的方法是改进图像采集系统中的硬件设备，但是由于目前硬件设备制造工艺的技术评级和制造成本的高昂，因此物理上解决图像低分辨率问题往往代价太大。随着计算机技术和人工智能技术的发展，越来越多的研究开始将计算机视觉的方法引入到图像重建领域，通过特定的计算机算法可以使图像实现从检出水平向识别水平的转化，或更进一步实现向细辨水平的转化。从而实现图像超分辨率重建技术，提高图像的识别能力和识别精度。
3.在计算机视觉领域，图像的超分辨率重建技术指的是将给定的低分辨率图像通过特定的算法恢复成相应的高分辨率图像。具体来说，图像超分辨率重建技术指的是利用数字图像处理、计算机视觉等领域的相关知识，借由特定的算法和处理流程，从给定的低分辨率图像中重建出高分辨率图像的过程。其旨在克服或补偿由于图像采集系统或采集环境本身的限制，导致的成像图像模糊、质量低下、感兴趣区域不显著等问题。图像超分辨率重建技术不仅可以提高图像的识别能力和识别精度，而且图像超分辨率重建技术可以实现目标物的专注分析，从而可以获取感兴趣区域更高空间分辨率的图像，而不必直接采用数据量巨大的高空间分辨率图像的配置。
4.传统的图像超分辨率重建技术主要包括基于插值的图像超分辨率重建方法、基于重建的方法和基于学习的方法。基于插值的方法实现简单，已经广泛应用。基于插值的图像超分通过某个点周围若干个已知点的值，以及周围点和此点的位置关系，根据一定的公式，算出此点的值，就是插值法。基于重建的超分辨率方法的基础是均衡及非均衡采样定理。它假设低分辨率的输入采样信号(图像)能很好地预估出原始的高分辨率信号(图像)。基于学习的方法采用大量的高分辨率图像构造学习库产生学习模型，在对低分辨率图像进行恢复的过程中引入由学习模型获得的先验知识，以得到图像的高频细节，获得较好的图像恢复效果。但是这些线性的模型限制住了它们恢复高频能力的细节。基于稀疏表示的技术通过使用先验知识增强了线性模型的能力。这类技术假设任意的自然图像可以被字典的元素稀疏表示，这种字典可以形成一个数据库且从数据库中学习到低分辨率图像到高分辨率图像的映射，但是这类方法计算复杂，需要大量计算资源。
5.目前，图像超分辨率重建的研究比较成熟，但距离实用还有较大差距，主要体现在
以下几个方面：1)采用简单、确定的降质模型进行近似重建的效果与实际成像过程差距较大。2)效率和鲁棒性问题。目前的超分辨率算法具有很高的时间和空间复杂度。3)模糊图像一直是图像处理中的一个难点，如何对模糊图像进行超分辨率需要进一步研究。4)缺少对超分辨率客观评价标准研究。


技术实现要素：

6.本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于对抗网络和最大互信息优化的图像超分辨率重建方法，其能够有效提高重建图像的质量,增强网络训练的稳定,能够完善图像的细节信息，提升重建图像的视觉效果。
7.为解决上述技术问题，本发明采用的技术方案是：一种基于对抗网络和最大互信息优化的图像超分辨率重建方法，其特征在于，该方法包括以下步骤：
8.步骤一、获取低分辨率的输入图像i
lr
；
9.步骤二、将低分辨率的输入图像i
lr
输入基于对抗网络的图像超分辨率重建模型中训练；其中，所述图像超分辨率重建模型的训练过程为：
10.步骤201、搭建基于对抗网络的图像超分辨率重建模型；所述图像超分辨率重建模型包括生成器模型和连接在生成器模型输出端的判别器模型；
11.步骤202、采用最大互信息损失和对抗损失构建图像超分辨率重建模型的损失函数；
12.步骤203、选取训练样本并采用损失函数训练图像超分辨率重建模型，得到训练好的图像超分辨率重建模型；
13.步骤三、低分辨率的输入图像i
lr
经过图像超分辨率重建模型处理，输出高分辨率的图像i
sr
。
14.上述的基于对抗网络和最大互信息优化的图像超分辨率重建方法，其特征在于：步骤201中所述生成器模型采用包括深度残差模型和子像素卷积模型的编码器-解码器结构，所述判别器模型包括vgg网络中的8个卷积核大小为3
×
3的卷积层，以及两个全连接层和一个sigmoid激活函数。
15.上述的基于对抗网络和最大互信息优化的图像超分辨率重建方法，其特征在于：所述深度残差模型包括2个卷积核大小为3
×
3的卷积层，所述子像素卷积模型包括4个卷积层和relu激活函数。
16.上述的基于对抗网络和最大互信息优化的图像超分辨率重建方法，其特征在于：所述判别器模型包括的vgg网络中的8个卷积层中，第1个卷积层输出接有leakyrelu激活函数，第2-7个卷积层输出均依次接有标准化层bn和leakyrelu激活函数。
17.上述的基于对抗网络和最大互信息优化的图像超分辨率重建方法，其特征在于：步骤202中所述采用最大互信息损失和对抗损失构建图像超分辨率重建模型的损失函数时，所述损失函数表示为：
[0018][0019]
其中，为最大互信息损失，为对抗损失；
[0020]
两个图像x和y的最大互信息损失函数定义为：
[0021][0022]
其中，h(x)为x的边缘熵，h(y)为图像y的边缘熵，i(x,y)为图像x和图像y的互信息且定义为：
[0023][0024]
x表示低分辨率的输入图像i
lr
，y表示高分辨率的输出图像i
sr
，p(x,y)为图像x和图像y的联合概率分布函数，p(x)为图像x的边缘概率分布函数，p(y)为图像y的边缘概率分布函数；
[0025]
对抗损失定义为所有训练样本的判别器概率之和，用公式表示为：
[0026][0027]
其中，为重建图像是自然图像i
hr
的概率；n为为训练样本图像的总数量。
[0028]
上述的基于对抗网络和最大互信息优化的图像超分辨率重建方法，其特征在于：步骤203中所述选取训练样本并采用损失函数训练图像超分辨率重建模型，得到训练好的图像超分辨率重建模型时，先对样本图像进行高斯滤波，再采用下采样因子γ进行下采样处理，得到训练图像训练目的是要得到生成器模型采用θg＝{w
1:l
；b
1:l
}表示l层的生成器模型的参数，其中，w
1:l
为l层的生成器模型的权重，b
1:l
为l层的生成器模型的偏置，通过优化损失函数l
sr
获得θg；对于训练图像以及其对应的可以解得θg的估计值为：
[0029][0030]
其中，n为训练样本图像的总数量，为生成器模型的输出。
[0031]
上述的基于对抗网络和最大互信息优化的图像超分辨率重建方法，其特征在于：步骤203中所述选取训练样本并采用损失函数训练图像超分辨率重建模型，得到训练好的图像超分辨率重建模型时，将判别器模型定义为采用交互的方式沿着生成器模型进行优化，用公式表示为：
[0032][0033]
其中，表示当i
hr
服从分布p
train
时i
hr
的数学期望，θd为判别器模型的参数，表示当i
hr
服从分布pg时[*]的数学期望。
[0034]
本发明与现有技术相比具有以下优点：
[0035]
1、本发明以对抗网络为基础，使用最大互信息优化网络，深入研究生成对抗网络在图像超分辨率重建领域的优化方法，提出了一种新型的基于对抗网络和最大互信息优化的图像超分辨率重建方法，对抗网络由生成器和判别器组成。生成器模型采用经典的编码器-解码器结构，主要包括深度残差模型、子像素卷积模型。深度残差模型用来进行高效的特征提取，可以在一定程度上削弱图像噪点。子像素卷积模型主要用来放大图像尺寸。判别器模型通过判断错误的情况，指导生成器根据错误情况调整训练方法。另外，本发明采用最大互信息损失和对抗损失来优化生成器，能够有效提高重建图像的质量,增强网络训练的稳定,其视觉效果相较于其它算法更加优秀。
[0036]
2、本发明针对典型的图像超分辨率重建算法,深入研究了生成对抗网络的模型结构,从理论上证实了生成对抗网络和卷积神经网络在图像超分辨率领域的优势和不足。
[0037]
3、本发明针对目前基于卷积神经网络的图像超分辨率算法存在的特征提取单一，网络训练不充分，重建图像质量不高等问题，本发明算法采用深度残差模型、子像素卷积进行图像超分辨率重建，该模型通过结合高频细节特征和低频结构特征提高图像信息完整性，且能够优化图像重建方式，减少模型参数，加快网络训练。
[0038]
4、本发明针对目前生成对抗网络的图像超分辨率算法存在的网络训练不稳定，生成图像视觉效果不佳等情况，本发明采用最大互信息损失和生成损失作为优化模型的损失函数，以此完善图像的细节信息，提升重建图像的视觉效果。
[0039]
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
[0040]
图1为本发明基于对抗网络和最大互信息优化的图像超分辨率重建方法的方法流程框图；
[0041]
图2为本发明生成器模型的网络结构图；
[0042]
图3为本发明判别器模型的网络结构图。
具体实施方式
[0043]
如图1、图2和图3所示，本发明的基于对抗网络和最大互信息优化的图像超分辨率重建方法，该方法包括以下步骤：
[0044]
步骤一、获取低分辨率的输入图像i
lr
；
[0045]
步骤二、将低分辨率的输入图像i
lr
输入基于对抗网络的图像超分辨率重建模型中训练；其中，所述图像超分辨率重建模型的训练过程为：
[0046]
步骤201、搭建基于对抗网络的图像超分辨率重建模型；所述图像超分辨率重建模型包括生成器模型(generator)和连接在生成器模型(generator)输出端的判别器模型(discriminator)；
[0047]
步骤202、采用最大互信息损失和对抗损失构建图像超分辨率重建模型的损失函数；
[0048]
步骤203、选取训练样本并采用损失函数训练图像超分辨率重建模型，得到训练好的图像超分辨率重建模型；
[0049]
步骤三、低分辨率的输入图像i
lr
经过图像超分辨率重建模型处理，输出高分辨率
的图像i
sr
。
[0050]
本发明的目的是通过提出的超分辨率重建算法从一幅低分辨率的输入图像i
lr
中重建出一幅高分辨率的图像i
sr
，i
lr
是低分辨率图像，i
sr
是高分辨率图像，二者相互对应，使用图像i
lr
重建出图像i
sr
是重建算法的目标，图像i
sr
是由图像i
lr
经过重建算法在训练过程中出现的。
[0051]
具体实施时，所述深度残差模型用来进行高效的特征提取，能够在一定程度上削弱图像噪点；子像素卷积模型主要用来放大图像尺寸；所述判别器模型(discriminator)通过判断错误的情况，指导生成器根据错误情况调整训练方法。所述图像超分辨率重建模型采用往复训练的方式，直到生成器模型(generator)产生的结果和真实样本的差异最小。
[0052]
本实施例中，步骤201中所述生成器模型(generator)采用包括深度残差模型和子像素卷积模型的编码器-解码器结构，所述判别器模型(discriminator)包括vgg网络中的8个卷积核大小为3
×
3的卷积层，对应特征图谱的数量以放大因子2逐渐增多，从64到512，以及两个全连接层(dense层)和一个sigmoid激活函数；512个特征图谱后有两个全连接层(dense层)，此外还有一个sigmoid激活函数来获取样本分类的概率。
[0053]
本实施例中，所述深度残差模型包括2个卷积核大小为3
×
3的卷积层，特征图谱的数量为64，所述子像素卷积模型包括4个卷积层和relu激活函数，能够有效增加输入图像的分辨率。
[0054]
本实施例中，所述判别器模型(discriminator)包括的vgg网络中的8个卷积层中，第1个卷积层输出接有leakyrelu激活函数，第2-7个卷积层输出均依次接有标准化层bn和leakyrelu激活函数。
[0055]
具体实施时，所述leakyrelu激活函数的参数
∝
＝0.2。
[0056]
本实施例中，步骤202中所述采用最大互信息损失和对抗损失(生成损失)构建图像超分辨率重建模型的损失函数时，所述损失函数表示为：
[0057][0058]
其中，为最大互信息损失，为对抗损失；
[0059]
两个图像x和y的最大互信息损失函数定义为：
[0060][0061]
其中，h(x)为x的边缘熵，h(y)为图像y的边缘熵，i(x,y)为图像x和图像y的互信息且定义为：
[0062][0063]
x表示低分辨率的输入图像i
lr
，y表示高分辨率的输出图像i
sr
，p(x,y)为图像x和图像y的联合概率分布函数，p(x)为图像x的边缘概率分布函数，p(y)为图像y的边缘概率分布函数；
[0064]
对抗损失定义为所有训练样本的判别器概率之和，用公式表示为：
[0065][0066]
其中，为重建图像是自然图像i
hr
的概率；n为为训练样本图像的总数量。
[0067]
损失函数l
sr
的定义对于生成器模型(generator)的表现十分关键，通常情况下，l
sr
是基于mse构建的；本发明设计了一个新型损失函数，采用最大互信息作为损失函数的一部分和对抗损失来优化生成器，从感知特性层面对生成解进行评价。
[0068]
本发明除了在损失函数中加入最大互信息损失，还加入了生成损失(对抗损失)，它也是损失的一部分，通过不断欺骗判别器网络，该生成损失能使得到的解更趋向于自然图像的流形。
[0069]
本发明的对抗损失中，使用最小化生成损失函数，而不是能够更好地梯度表现。
[0070]
本实施例中，步骤203中所述选取训练样本并采用损失函数训练图像超分辨率重建模型，得到训练好的图像超分辨率重建模型时，先对样本图像进行高斯滤波，再采用下采样因子γ进行下采样处理，得到训练图像训练目的是要得到生成器模型采用θg＝{w
1:l
；b
1:l
}表示l层的生成器模型的参数，其中，w
1:l
为l层的生成器模型的权重，b
1:l
为l层的生成器模型的偏置，通过优化损失函数l
sr
获得θg；对于训练图像以及其对应的可以解得θg的估计值为：
[0071][0072]
其中，n为训练样本图像的总数量，为生成器模型的输出。
[0073]
具体实施时，采用下采样因子γ进行下采样处理时，对于一幅具有c个通道的训练样本图像，将i
lr
表示为一个大小为w
×h×
c的实值张量，而i
lr
和i
hr
的大小一致，均为γw
×
γh
×
γc。
[0074]
本实施例中，步骤203中所述选取训练样本并采用损失函数训练图像超分辨率重建模型，得到训练好的图像超分辨率重建模型时，将判别器模型定义为采用交互的方式沿着生成器模型进行优化，用公式表示为：
[0075][0076]
其中，表示当i
hr
服从分布p
train
时i
hr
的数学期望，θd为判别器模型的参数，表示当i
hr
服从分布pg时[*]的数学期望。
[0077]
公式(f6)的思想是：它可以训练一个生成器模型，用来欺骗一个区分超分辨图像和真实图像的差分判别器网络，使用这种方法，使得训练得到的生成器能够生成极度接近
真实的图像解，最终使判别器无法区别；这样得到的解更具有视觉优越性，更接近自然图像；而且，本发明这样的设计还能够解决对抗的极小-极大问题。而通过最小化逐像素误差的方式(比如mse)获得的解就不具备这种效果。
[0078]
为了验证本发明能够产生的技术效果，采用实验的方法将本发明的方法与srcnn，srga和srresnet超分辨率算法进行了对比。实验时，随机从imagenet数据库中选取了350000张图片作为训练集来训练模型。并在测试集set5，set14和bsd300进行测试。得到的实验结果如表1所示：
[0079]
表1不同超分辨率算法的预测结果对比表
[0080]
setssrcnnsrgasrresnet本发明groud truthset52.573.583.374.284.32set142.263.722.983.814.32bsd3001.873.562.294.034.46
[0081]
其中mean-opinion-score(mos)测试作为图像效果的评判，最后的测试结果表明采用本发明中的方法获得的图像的mos值比采用其他顶级的方法获得的图像mos值更加接近原始的高分辨图像。本发明中的对抗网络和最大互信息策略能够有效提高重建图像的质量，增强网络训练的稳定，其视觉效果相较于其它算法更加优秀。
[0082]
综上所述，本发明提出了一种新型的基于对抗网络和最大互信息优化的图像超分辨率重建方法，并将最大互信息引入到模型损失函数来优化模型的性能；对抗网络的主要灵感来源于博弈论中博弈的思想，应用到深度学习上来说，就是构造两个深度学习模型：生成网络g(generator)和判别网络d(discriminator)，然后两个模型不断博弈，进而使g生成逼真的图像，而d具有非常强的判断图像真伪的能力。生成网络和判别网络的主要功能是：g是一个生成式的网络，它通过某种特定的网络结构以及目标函数来生成图像；d是一个判别网络，判别一张图片是不是“真实的”，即判断输入的照片是不是由g生成。为了防止重建图像过度平滑，本发明采用了一种新的损失函数来优化重建算法，该损失函数由两部分构成：最大互信息损失和对抗损失。本发明能够完善图像的细节信息，提升重建图像的视觉效果。
[0083]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0084]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0085]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或
多个方框中指定的功能。
[0086]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0087]
前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。