一种基于深度学习网络的无参考图像模糊程度估计方法与流程

本发明涉及计算摄像学和深度学习领域，尤其涉及一种基于深度学习网络的无参考图像模糊程度估计方法。

背景技术：

数码相机和网络的实用性促进了摄影的快速发展。大量的图片来自非专业人手，由于摄像机参数的不正确设置产生畸变，特别是模糊。模糊是自然图像中一种普遍的退化，尽管影响了图像的视觉质量和连续的处理，但为解决许多视觉问题和应用(如模糊去除，重调焦距，深度估计，分割)提供了丰富的线索。所以模糊程度的精确估算很重要。然而从单个自然图片中估算非统一的模糊程度是很棘手的。现有的许多模糊程度估算方法都是基于手工的描述特征，它们大都不合理，或者在特定的场景很难区分。因此无参考图像模糊程度估计需要更好的特征提取。

深度学习通过构建具有很多隐层的机器学习模型和海量的训练数据，来学习更有用的特征，从而最终提升分类或预测的准确性。通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更加容易。与人工规则构造特征的方法相比，利用大数据来学习特征，更能够刻画数据的丰富内在信息。

因此，如何构建并训练出有效的深度学习网络来估算图像模糊程度是当前一个研究方向。

技术实现要素：

针对以上现有模糊程度估算方法的缺陷，本发明的目的在于提出一种基于深度学习网络的无参考图像模糊程度估计方法。

为达上述目的，本发明采用的技术方案如下：

一种基于深度学习网络的无参考图像模糊程度估计方法，包括如下步骤：

步骤1，生成训练数据：对图像进行下采样，截取图像中有结构或有纹理的清晰图像块，用高斯模糊核卷积清晰图像块生成模糊图像块；

步骤2，用清晰图像块和模糊图像块分别训练清晰感知网络和模糊感知网络这两个稀疏自编码器；分别提取清晰和模糊的有效特征，并对输入进行解码重建；

步骤3，将清晰感知网络和模糊感知网络提取的特征作为联合感知网络的输入，用模糊图像块训练联合感知网络，获取模糊的本质特征；

步骤4，训练非线性特征映射和回归网络，将步骤3的本质特征映射到模糊程度上；

步骤5，对整个网络进行微调，优化所有参数。

本发明使用包含三层子网络的深度神经网络：双通道清晰/模糊感知网络、清晰模糊联合感知网络、非线性特征映射和回归网络。采用分层训练的学习策略，利用大量的训练数据，深度网络的内部参数可从前往后逐步获得，作为训练数据的先验信息，能大幅度加快网络参数收敛速度。相比于现有技术，本方法在无参考轻微模糊的模糊程度估计准确度取得比较好的效果，可以有效应用于模糊检测、深度估计和景深编辑、去雾等方面。

附图说明

图1为本发明方法中深度学习网络结构；

图2为本发明方法的流程图。

具体实施方式

下面将结合附图及具体实施例对本发明进行详细描述。

参照图1和图2，本实施例的一种基于深度学习网络的无参考图像模糊程度估计方法，具体步骤如下：

步骤1，生成训练数据：将彩色图像转为灰度图像；对图像进行下采样，保留最显著的特征；截取图像中有结构或纹理的图像块，大小为13*13，用高斯模糊核卷积这些清晰的图像块生成模糊的图像块。

步骤2，用清晰图像块和模糊度固定的图像块分别训练清晰感知网络和模糊感知子网络两个稀疏自编码器；分别提取清晰和模糊的有效特征，并对输入进行解码重建。

建立两个全连接的三层网络,包含输入层、隐藏层和输出层。本实施例中，输入层节点数为169，隐藏层节点数为100，输出层节点数为169。对输入图像块x，隐藏层提取的特征和输出层重建分别是

h＝f(w1*x+b1)

x'＝f(w2*h+b2)

这里f(x)＝1/(1+exp(-x))是非线性函数，w1，w2代表权重，b1，b2代表偏移。

使用反向传播方法，减小重构误差来调整w1，w2和b1，b2的值。为提取最有效的特征，限制隐藏单元的激活，使其稀疏。增加一个正则项来惩罚隐藏单元激活程度对一个低值的偏离。因此，网络的训练等效为下面的优化问题：

sp(ρ||ρj)＝ρlog(ρ/ρj)+(1-ρ)log((1-ρ)/(1-ρj))

这里xi和xi'分别表示输入的图像块和输出的重建结果，p表示输入图像块的个数,sp(ρ||ρj)表示稀疏惩罚项，ρ示隐藏单元的平均激活度，ρj表示稀疏水平，β控制稀疏惩罚项的权重。

给定清晰图像块x^s和模糊图像块x^b作为输入，提取的清晰特征和模糊特征分别为

解码重建分别为

参数代表清晰感知网络(spn)，参数代表模糊感知网络(bpn)，两个子网络被两组不同数据训练出来了。

步骤3，将清晰/模糊感知网络提取的特征作为联合感知网络的输入，用模糊度不定的图像块训练联合感知网络，获取模糊的本质特征。

将预训练的清晰感知网络(spn)和模糊感知网络(bpn)联合在一起，提取模糊中的内在特征，这是一个对清晰和模糊的不同特征的非线性映射。将联合感知网络(sbbn)的第一层的输出定为

因此联合感知网络(sbbn)的操作是

这里h3是联合感知网络的输出层的输出向量，w3表示权重，b3表示偏置。联合感知网络输出层包含169个节点。

为了训练联合感知网络，固定参数通过减小h3和y^r间的损失,优化剩余的参数(w3,b3)。损失函数是：

这里n是训练图像块的数量，y^r是模糊输入和原始清晰图像小块间残渣，代表它们之间的丢失信息。损失函数通过反向传播算法达到最小。

步骤4，训练非线性特征映射和回归网络，将步骤3中的本质特征映射到模糊程度上。

多层神经网络实现非线性特征映射和回归，在非线性特征映射中，每个特征映射层的操作是：

hi＝f(wi*hi-1+bi)

这里i＝4,5，hi是特征映射层的输出向量。两个特征映射层的节点数分别为100，50。最后的回归层是：

db＝max(0,w6h5+b5)

这里采用relu作为激活函数。

训练整个网络，估计所有的网络参数{wi,bi},i＝1,2，…，6，将参数{w1,w2,w3,b1,b2,b3,}初始化为相应的预训练的参数，其余的参数随即初始化。

步骤5，对整个网络进行微调，优化所有参数。使用反向传播算法来计算所有网络层的梯度，因为该算法适用于任意层数的网络。