基于深度辅助学习的图像增强及盲图质量评价网络的制作方法

本发明属于图像处理领域。

技术背景

近年来图像相关的智能应用蓬勃发展，包括图像检测、目标识别、图像分割等，这些技术都相当依赖于清晰的输入图像。然而，在我们的日常生活中，由于各种设备缺陷或人为因素造成的模糊失真却随处可见。因此，迫切需要一种可以用来去除图像模糊失真的方法。

传统的去除图像模糊的方法总是假设模糊图像是通过将清晰图像与模糊核卷积之后的结果，通过明确参数的卷积操作来改善图像质量。然而，在现实情况中，失真类型及失真程度在大多数情况下都是未知的。导致这种方法对核估计及卷积参数的选择很敏感，极大地限制了其在实际应用中的鲁棒性及可用性。

图像质量评价(imagequalityassessment,iqa)是图像处理中的基本技术之一，主要通过对图像进行特性分析研究，然后评估出图像优劣(图像失真程度)。图像质量评价在图像处理系统中，对于算法分析比较、系统性能评估等方面有着重要的作用。近年来，随着对数字图像领域的广泛研究，图像质量评价的研究也越来越受到研究者的关注，提出并完善了许多图像质量评价的指标和方法。

图像质量评价(iqa)方法分为三种，包括全参考图像质量评价(fullreference-iqa,fr-iqa)、半参考(reducedreference-iqa,rr-iqa)和无参考(noreference-iqa,nr-iqa)，无参考也叫盲参考(blindiqa,biqa)。fr-iqa同时有参考图像和失真图像，难度较低，核心是对比两幅图像之间的特征相似程度，是研究比较成熟的方向。nr-iqa只有失真图像，难度较高，是近些年的研究热点，也是iqa中最有挑战的问题。rr-iqa只有原始图像的部分信息或从参考图像中提取的部分特征，此类方法介于fr-iqa和nr-iqa之间，且任何fr-iqa和nr-iqa方法经过适当加工都可以转换成rr-iqa方法。一般在实际应用中无法提供参考图像，所以nr-iqa最有实用价值，也有着广泛的应用。现有的盲图质量评价方法仅利用模糊图像来得到质量分数。然而，人类对图像质量的感知受到视觉内容和失真分布的影响。一方面，视觉内容决定了我们对失真的容忍程度，它与清晰图像的结构和纹理高度相关。另一方面，失真分布确定了可以从差异图像上获取失真程度和密度。模糊图像仅仅包含二者融合的结果，其可以由清晰图像和差异图像不同的组合生成。这为现有的图像质量评价方法带来了巨大的挑战。

技术实现要素：

本发明所要解决的技术问题是，提出了一种既可以去除图像中的模糊噪声，还可以通过网络得到模糊图像的质量分数的深度学习网络。

本发明为解决上述技术问题所采用的技术方案是，基于深度辅助学习的图像增强及盲图质量评价子网络，包括图像增强子网络以及质量评价子网络；

图像增强子网络包括判别器、生成器与加法器，原始图像一方面输入至生成器的输入端，另一方面输入至加法器的一个输入端；生成器用于提取输入图像的失真信息后再进行卷积上采样输出与原始图像大小一致的失真谱，将失真信息输出至质量评价子网络，将失真谱输出至加法器的一个输入端；加法器将原始图像与失真谱进行相加取均值得到增加图像；图像增强子网络的训练阶段中，输入生成器的为基于参考图像的模糊图像，生成器根据判别器输出的相似度判别结果以及接收到的来自于质量评价子网络的质量分数来调整生成器参数使得增强图像逼近参考图像；判别器用于在图像增强子网络的训练阶段中，接收输入的参考图像以及生成器输出的参考图像并进行相似度判别，并输出相似度判别结果至生成器；

质量评价子网络包括原始图像特征提取支路、失真信息特征提取支路、增强图像特征提取支路、特征级联模块、混合池化模块、全连接层、sigmoid激活函数；原始图像作为原始图像特征提取支路的输入，生成器输出的失真信息作为失真信息特征提取支路的输入，加法器输出的增强图像作为增强图像特征提取支路的支路，三个特征提取支路的输出至特征级联模块，特征级联模块输出级联后的特征至混合池化模块进行最大、最小和平均池化，再将混合池化后的级联特征输入至全连接层后再进入sigmoid激活函数后，sigmoid激活函数输出该原始图像的质量分数；质量评价子网络的训练阶段中，还将质量分数反馈回图像增强子网络的生成器。

本发明提出了一种深度辅助学习网络，同时对图像增强及盲图质量评价进行训练，旨在利用两个任务之间的补充信息提高它们的性能。一方面，图像增强网络将作为原始图像的模糊图像分离为清晰图像(增强图像)和差异图像(失真信息)，清晰图像作为伪参考图像，差异图像作为失真信息，提高盲图质量评价的准确度。另一方面，通过将质量分数的排序信息反馈给增强网络，可以有效的避免过度增强，提升图像增强的性能。

本发明的有益效果是，经验证结果表明，本发明盲图质量评价的准确度高，图像增强的性能好。

附图说明

图1为系统网络结构图。

图2为生成器网络结构。

具体实施方式

当整个网络训练完成后，给定一张失真图像，首先将其作为原始图像输入图像增强子网络，在增强网络的主体部分，我们采用了一个全局跳过连接结构，目的是将模糊图像分离为差异特征图像和清晰图像。然后，我们将增强子网络的三个输出馈送到质量评价子网络。清晰图像包含估计的视觉内容信息；增强子网络的中间层为模糊图像和清晰图像之间的差异特征图，包含了失真信息；模糊图像包含视觉内容和模糊失真的融合信息。通过连接从所有三个信息中提取的特征，最后将它们映射为预测质量分数qp。

下面分别介绍增强子网络和质量评价子网络的详细结构和工作原理：

a.增强子网络

图像增强子网络为图1左侧桔色部分，采用当下较为流行的生成对抗网络(generativeadversarialnetwork,gan)作为网络的主体结构。网络包括生成器和判别器，判别器采用具有梯度惩罚的wassersteingan。

生成器的网络结构如图2所示。ib为模糊的输入图像；cb表示卷积块，由卷积层，batchnormalization(bn)层和leakyrelu三层组成；rb表示九个级联的残差模块；up表示上采样操作；fd是传递给质量评价网络的差异特征图(失真信息)，@表示通道数，conv是卷积层，用于提取特征；tanh是激活函数，用于加入非线性因素。容易发现，网络包含三个连接，其中，全局跳过连接(skipconnection)可以提取主网络中的差异信息，其余两个连接主要用来将网络前层的特征级联到网络的后层，这样可以使底层的特征图包含高分辨率的图像细节，避免特征减弱和丢失，通过加法器进行相加后取均值的操作来融合不同卷积层的信息，可以进一步提升增强子网络的性能。网络的最后输出经图像增强处理后的一幅清晰图像。

在训练阶段，生成每组训练图像为两幅图，即参考图像以及基于该参考图像的模糊图像。先将模糊图像输入图像增强子网络的生成器进行图像增强处理得到清晰图像，再将清晰图像与对应的参考图像输入判别器，通过判别器得到两幅图像的相似度，将判别器的判别结果输入至生成器，生成器可以据此调整参数使得清晰图像逼近参考图像。

b.图像质量评价子网络

图像质量评价子网络为图1右侧部分。网络有三个特征提取支路输入，包括原始图像(模糊图像)特征提取支路、失真信息特征提取支路、增强图像(去模糊图像)特征提取支路。原始图像特征提取支路与增强图像特征提取支路中包括1个密级连接式卷积网络densenet和1个用于改变通道数的1*1卷积块，失真信息特征提取支路中包括1个高层失真信息特征提取网络；去模糊图像，包含视觉内容信息；失真信息是增强子网络的中间层输出；模糊图像，包含视觉内容和模糊失真的融合信息。我们将这三个输入特征级联，进行混合池化，即最大、最小和平均池化。然后将池化之后的级联特征馈入全连接层再经过1个1*1卷积块，网络最后是sigmoid激活函数，输出图像的质量分数qp。

在训练阶段，质量分数qp还将反馈至图像增强子网络的生成器。

c.损失函数

(1)增强子网络损失

生成器损失定义如下：

lg＝ls+α·lc

其中lg是生成网络损失；ls是语义相似性损失；lc是内容损失，定义为两幅图像像素级的相似性，即l1损失；α用来权衡两种损失，ls定义如下：

其中i^e和i^s分别为增强后的清晰图像和参考图像，是vgg-19的特征图，nf是特征向量的维度。

增强子网络的总损失定义如下：

lse＝ld+β·lg

其中，ld是判别网络的损失，lg即生成网络损失，β为权重参数。

(2)质量评价子网络损失

质量评价子网络损失定义如下：

其中，qp代表质量评价子网络输出的分数，qgt代表真实的mos/dmos分数。

(3)总损失

其中，λ1和λ2是权衡两种损失之间重要性的参数，lse(i)和lsa(i)分别代表第i个训练样本的增强损失和评估损失。