基于改进SRGAN模型的超分辨率螺栓图像生成方法与流程

本发明涉及图像处理技术领域，尤其涉及基于改进srgan模型的超分辨率螺栓图像生成方法，是一种基于生成式对抗网络(generativeadversarialnetworks,gan)的超分辨率方法。

背景技术：

百度中，超分辨率是通过硬件或软件的方法提高原有图像的分辨率，通过一系列低分辨率的图像来得到一幅高分辨率的图像过程就是超分辨率重建。

近年来超分辨率(superresolution,sr)图像生成技术作为工业界、学术界一直讨论研究的热门话题，在增加图像质量方面发挥着重要的作用。超分辨率图像生成是指低分辨率图像(lowresolution,lr)通过一定的转换之后生成高分辨率图像(highresolution,hr)的过程。对于图像超分辨率技术，关键是建立从lr图像到hr图像的非线性映射，由于lr图像信息不充足，需要根据先验知识提供信息。

传统方法一般是插值，这样的效果是不理想的，将对抗学习的思想引入超分辨率图像生成中，加入的判别器能够解决不同数据域存在分布不相同的问题，通过使判别器无法区分两个不同数据域的样本，使得它们属于同一个分布，从而作为一个规则化的方法去指导深度学习模型更新参数权重，取得更好的生成效果。其中，srgan(super-resolutiongenerativeadversarialnetwork)模型在超分辨率生成方面取得了巨大的成功，实验也表明该模型能够获得较好的效果。然而仍然存在一些不足，生成的图像会出现噪声，细节不够真实，影响了生成样本的质量，而且gan网络在训练过程中存在不稳定的情况。

本申请主要针对的问题就是在输电线路无人机自主巡检与深度学习的结合应用中，srgan模型生成的输电线路螺栓图像分辨率低，针对这一问题，提出了一种基于改进srgan模型的超分辨率螺栓图像生成方法。

现有技术问题及思考：

如何解决在输电线路无人机自主巡检与深度学习的结合应用中，srgan模型生成的输电线路螺栓图像分辨率低的技术问题。

技术实现要素：

本发明所要解决的技术问题是提供基于改进srgan模型的超分辨率螺栓图像生成方法，其通过在srgan模型的损失函数中加入相对均值鉴别器等，实现了在输电线路无人机自主巡检与深度学习的结合应用中，srgan模型生成的输电线路螺栓图像的分辨率高。

为解决上述技术问题，本发明所采取的技术方案是：基于改进srgan模型的超分辨率螺栓图像生成方法包括步骤s1模型训练使用的数据集、s2建立生成式对抗网络模型、s3生成器损失函数构建、s4判别器损失函数构建和s5高分辨率螺栓图像生成，在步骤s4判别器损失函数构建的srgan模型的损失函数中加入相对均值鉴别器以平衡生成器和判别器的能力。

进一步的技术方案在于：在所述步骤s2建立生成式对抗网络模型中去除生成器网络中的bn层以降低模型计算复杂度。

进一步的技术方案在于：所述步骤s4判别器损失函数构建包括判别器损失函数为生成的高分辨率图像和真实的高分辨率图像通过判别网络得到的差异损失，在判别器损失函数中引入相对均值鉴别器，相对均值鉴别器的计算公式如下所示：

dra(xr,xf)＝σ(c(xr)-exf[c(xf)])(4)

其中，σ为激活函数，c(xr)是真实高分辨率图像未经判别器最后层激活函数的输出，e()代表期望函数，c(xf)是低分辨率图像未经判别器最后层激活函数的输出；

加入相对均值鉴别器之后，判别器损失函数计算公式如下所示：

式(6)中，xr代表高分辨率图像，p是高分辨率图像的概率分布，xf是经过生成器生成的高分辨率样本，q是生成的高分辨率图像的概率分布，e()代表期望函数。

进一步的技术方案在于：所述步骤s2建立生成式对抗网络模型包括生成器g采用残差网络结构，移除残差网络中的批量归一化层即bn层。

进一步的技术方案在于：在所述s2建立生成式对抗网络模型的步骤中，螺栓图像超分辨率网络基于生成式对抗网络gan，由一个生成器g和一个判别器d构成，生成器g生成服从真实数据分布的假样本，判别器d是一个二分类器，用来评估所述假样本是真实图像的概率，产生的概率值反作用到生成器g来帮助其继续训练，直到最后生成判别器d无法辨真假的假样本。

进一步的技术方案在于：在所述s2建立生成式对抗网络模型的步骤中，生成器g使用15个卷积层，输入为低分辨率螺栓图像，经过一个卷积核大小为9×9的卷积层，prelu激活层，经过5个去除了bn层的残差结构块，中间采用跳层连接，第一层的输出作为第三层的输入，第三层的输出作为第五层的输入，通过两个亚像素卷积层来增加输入图像的分辨率，最后输出高分辨率的螺栓图像。

进一步的技术方案在于：在所述s2建立生成式对抗网络模型的步骤中，判别器d的网络使用了vgg网络，输入是真实的高分辨率螺栓图像和生成的螺栓图像，判别器d的网络包含8个卷积层，全部为3×3大小的卷积核，每两个卷积层的输出映射数是一样的，从64到512，成两倍的变化，每次输出映射数变化，卷积网络就降低图像的分辨率，512个特征映射后是两个密度层denselayer、一个leakyrelu激活函数以及一个sigmoid激活函数，增加了区分hr图像和sr图像可能性，两个密度层一个是1024层，另外一个只有1层。

进一步的技术方案在于：所述步骤s1模型训练使用的数据集包括收集模型训练使用的数据集，将高分辨率图像和低分辨率图像一一对应。

进一步的技术方案在于：所述步骤s3生成器损失函数构建包括以下步骤，生成器损失函数为：

式1中，是生成器损失函数，是基于内容的损失函数，用于计算内容损失，是基于对抗学习的代价函数，用于计算代价损失；

基于内容的损失函数通过重构图像的特征表示和对应的高清晰度图像之间的欧式距离表示，计算公式如下所示：

式(2)中，wi,j、hi,j描述了vgg网络中对应特征图宽度和高度的维数，φi,j表示第i个最大值池化层前第j个卷积层的特征图，i^hr为高分辨率图像，i^lr为低分辨率图像，为低分辨率图像经过生成器之后生成的高分辨率图像；

基于对抗学习的代价函数的计算公式如下所示：

式(3)中，是一个图像属于真实的高分辨率图像的概率，为生成器生成的高分辨率图像。

进一步的技术方案在于：所述步骤s5高分辨率螺栓图像生成包括将低分辨率的螺栓图像输入训练好的生成器模型中，获得高分辨率的螺栓图像。

采用上述技术方案所产生的有益效果在于：

第一，包括步骤s1模型训练使用的数据集、s2建立生成式对抗网络模型、s3生成器损失函数构建、s4判别器损失函数构建和s5高分辨率螺栓图像生成，在步骤s4判别器损失函数构建的srgan模型的损失函数中加入相对均值鉴别器以平衡生成器和判别器的能力。该技术方案，其通过在srgan模型的损失函数中加入相对均值鉴别器等，实现了在输电线路无人机自主巡检与深度学习的结合应用中，srgan模型生成的输电线路螺栓图像的分辨率高。

第二，去除生成器网络中的bn层并降低模型计算复杂度。该技术方案，由于减少模型计算复杂度，大大缩短网络的训练和测试时间。

详见具体实施方式部分描述。

附图说明

图1是本发明的流程图；

图2是本发明中生成器网络的结构图；

图3是本发明中判别器网络的结构图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本申请及其应用或使用的任何限制。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在下面的描述中阐述了很多具体细节以便于充分理解本申请，但是本申请还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施例的限制。

如图1～图3所示，本发明公开了基于改进srgan模型的超分辨率螺栓图像生成方法，包括s1模型训练使用的数据集、s2建立生成式对抗网络模型、s3生成器损失函数构建、s4判别器损失函数构建和s5高分辨率螺栓图像生成共五个步骤，具体如下：

s1模型训练使用的数据集

收集模型训练使用的数据集，将高分辨率图像和低分辨率图像一一对应。

s2建立生成式对抗网络模型

螺栓图像超分辨率网络基于生成式对抗网络gan，由一个生成器g和一个判别器d构成，生成器g生成服从真实数据分布的假样本，判别器d是一个二分类器，用来评估所述假样本是真实图像的概率，产生的概率值反作用到生成器g来帮助其继续训练，直到最后生成判别器d无法辨真假的假样本。

生成器g采用残差网络结构，移除残差网络中的批量归一化层即bn层，使用15个卷积层。输入为低分辨率螺栓图像，经过一个卷积核大小为9×9的卷积层，prelu激活层，经过5个去除了bn层的残差结构块，中间采用跳层连接，第一层的输出作为第三层的输入，第三层的输出作为第五层的输入，通过两个亚像素卷积层来增加输入图像的分辨率，最后输出高分辨率的螺栓图像。判别器d的网络使用了vgg网络，输入是真实的高分辨率螺栓图像和生成的螺栓图像，判别器d的网络包含8个卷积层，全部为3×3大小的卷积核，每两个卷积层的输出映射数是一样的，从64到512，成两倍的变化，每次输出映射数变化，卷积网络就降低图像的分辨率，512个特征映射后是两个密度层denselayer、一个leakyrelu激活函数以及一个sigmoid激活函数，增加了区分hr图像和sr图像可能性，两个密度层一个是1024层，另外一个只有1层。

s3生成器损失函数构建

生成器损失函数为：

式(1)中，是生成器损失函数，是基于内容的损失函数，用于计算内容损失，是基于对抗学习的代价函数，用于计算代价损失。

基于内容的损失函数通过重构图像的特征表示和对应的高清晰度图像之间的欧式距离表示，计算公式如下所示：

式(2)中，wi,j、hi,j描述了vgg网络中对应特征图宽度和高度的维数，φi,j表示第i个最大值池化层前第j个卷积层的特征图，i^hr为高分辨率图像，i^lr为低分辨率图像，为低分辨率图像经过生成器之后生成的高分辨率图像。

基于对抗学习的代价函数的计算公式如下所示：

式(3)中，是一个图像属于真实的高分辨率图像的概率，为生成器生成的高分辨率图像。

s4判别器损失函数构建

判别器损失函数为生成的高分辨率图像和真实的高分辨率图像通过判别网络得到的差异损失，在判别器损失函数中引入相对均值鉴别器，相对均值鉴别器的计算公式如下所示：

dra(xr,xf)＝σ(c(xr)-exf[c(xf)])(4)

其中，σ为激活函数，c(xr)是真实高分辨率图像未经判别器最后层激活函数的输出，e()代表期望函数，c(xf)是低分辨率图像未经判别器最后层激活函数的输出。

加入相对均值鉴别器之后，判别器损失函数计算公式如下所示：

式(6)中，xr代表高分辨率图像，p是高分辨率图像的概率分布，xf是经过生成器生成的高分辨率样本，q是生成的高分辨率图像的概率分布，e()代表期望函数。

s5高分辨率螺栓图像生成

将低分辨率的螺栓图像输入训练好的生成器模型中，获得高分辨率的螺栓图像。

本申请的发明构思：

第一，在srgan模型的损失函数中加入相对均值鉴别器，进一步平衡生成器和判别器的能力，解决生成图像的质量问题。

第二，去除生成器网络中的bn层，减少模型计算复杂度，大大缩短网络的训练和测试时间。

本申请的技术贡献：

s1模型训练使用的数据集

收集模型训练使用的数据集，需要将高分辨率图像和低分辨率图像一一对应。

s2建立生成式对抗网络模型

该螺栓图像超分辨率网络是基于生成式对抗网络gan，由一个生成器g和一个判别器d构成，生成器g生成服从真实数据分布的假样本，判别器d是一个二分类器，用来评估这个假样本是真实图像的概率，产生的概率值反作用到生成器g来帮助其继续训练，直到最后生成判别器d无法辨真假的假样本。

如图2所示，生成器g采用残差网络结构，移除残差网络中的批量归一化层即bn层，使用了15个卷积层。输入为低分辨率螺栓图像，经过一个卷积核大小为9×9的卷积层，prelu激活层，经过5个去除bn层的残差结构块，中间采用跳层连接，第一层的输出作为第三层的输入，第三层的输出作为第五层的输入，减少网络参数，通过两个亚像素卷积层来增加输入图像的分辨率，最后输出高分辨率的螺栓图像。和生成的螺栓图像，网络结构使用了vgg网络，输入是真实的高分辨率螺栓图像和生成的螺栓图像。判别器d网络包含8个卷积层，全部为3×3大小的卷积核，每两个卷积层的输出映射数是一样的，从64到512，成两倍的变化，每次输出映射数变化，卷积网络就降低图像的分辨率，512个特征映射后是两个密度层denselayer、一个leakyrelu激活函数以及一个sigmoid激活函数，增加了区分hr图像和sr图像可能性，两个密度层一个是1024层，另外一个只有1层。

s3生成器损失函数构建

生成器损失函数为：

式(1)中，是生成器损失函数，是基于内容的损失函数，用于计算内容损失，是基于对抗学习的代价函数，用于计算代价损失。

基于内容的损失函数通过重构图像的特征表示和对应的高清晰度图像之间的欧式距离表示，计算公式如下所示：

式(2)中，wi,j、hi,j描述了vgg网络中对应特征图宽度和高度的维数，φi,j表示第i个最大值池化层前第j个卷积层的特征图，i^hr为高分辨率图像，i^lr为低分辨率图像，为低分辨率图像经过生成器之后生成的高分辨率图像。

基于对抗学习的代价函数的计算公式如下所示：

式(3)中，是一个图像属于真实的高分辨率图像的概率，为生成器生成的高分辨率图像。

s4判别器损失函数构建

判别器损失函数为生成的高分辨率图像和真实的高分辨率图像通过判别网络得到的差异损失。由于生成器无法直接从螺栓样本中观测其形状，其对螺栓产生的信息来自鉴别器，这就导致鉴别器在二分类中分类能力太强，使得生成器容易生成变形的螺栓，如：螺母和螺杆边缘扭曲，螺纹不清晰等问题，因此在判别器损失函数中引入相对均值鉴别器，将真假螺栓样本混合利用“图灵测试”的思想提升了判别器的能力。相对均值鉴别器的计算公式如下所示：

dra(xr,xf)＝σ(c(xr)-exf[c(xf)])(4)

其中，σ为激活函数，c(xr)是真实高分辨率图像未经判别器最后层激活函数的输出，e()代表期望函数，c(xf)是低分辨率图像未经判别器最后层激活函数的输出。

因此加入相对均值鉴别器之后，判别器损失函数计算公式如下所示：

式(6)中，xr代表高分辨率图像，p是高分辨率图像的概率分布，xf是经过生成器生成的高分辨率样本，q是生成的高分辨率图像的概率分布，e()代表期望函数。

s5高分辨率螺栓图像生成

将低分辨率的螺栓图像输入训练好的生成器模型中，获得高分辨率的螺栓图像。

实施例说明如下：

如图1所示，为基于生成式对抗网络的超分辨率螺栓图像生成的整个流程。输入为低分辨率螺栓图像，经过卷积层和激活函数之后，经过5个残差块，最后生成高分辨率螺栓图像。

如图2所示，生成器g采用残差网络结构，移除残差网络中的批量归一化层即bn层。

如图3所示，将生成的高分辨率螺栓图像和已有的高分辨率螺栓图像输入判别器网络，经过7个卷积块，得出图片真假的分类结果。

如表1所示，改进前训练一个回合约需要255秒。

表1：改进前模型训练时间数据表

如表2所示，改进之后训练一个回合仅需要67秒，大大的缩短了训练时间。

表2：改进后模型训练时间数据表

与现有方法相比，本发明的有益效果是：

本发明构建了螺栓图像超分辨率网络的生成器和判别器模型，在该网络的损失函数中加入了相对均值鉴别器，能够进一步平衡生成器和判别器的能力，能够解决生成的图像出现噪声，细节不够真实，影响图像质量的技术问题。

进一步的，将生成器网络中的bn层去除之后，模型更加稳定，能够减少模型计算复杂度，大大缩短网络的训练和测试时间。

该发明切实可行，对相关问题的方案设计有一定的借鉴意义。