一种基于深度学习的模糊图像检测方法与流程

本发明属于图像处理技术领域，特别涉及各类图像的模糊检测技术。

背景技术：

图像模糊检测一直是图像处理的重要研究方向，它是指自动从输入图像序列中筛除存在模糊图像的过程。在车牌识别、人脸识别、物体识别和虹膜识别等多个计算机视觉问题中，都需要确保输入图像清晰，才能进一步提取有效的视觉特征进行识别。因此，如何利用图像处理技术去除掉模糊图像，是各种计算机视觉问题第一步需要解决的。目前的图像模糊检测算法可以分为两个类别：(1)有参照模糊检测方法和(2)无参照模糊检测方法。

有参照模糊检测方法是指通过比较失真图像和参照(清晰)图像来评价失真图像的模糊程度，该方法是目前为止客观评价图像模糊程度中最可靠的方法。其中，基于均方误差、峰值信噪比、和归一化最小平方误差等的方法为常见的评价方法。这类方法计算简单，同时能有效评测失真图像的模糊程度。然而，由于在实际应用中参照图像通常无法得到，因此该类方法的应用范围非常有限。参见文献“Rony Ferzli and Lina J.Karam,Human Visual System Based No-Reference ObjectiveImage Sharpness Metric,2006IEEE International Conference on Image Processing,pp.2949-2952”。

非参照模糊图像检测方法是指不通过与参照(清晰)图像进行对比，直接根据模糊失真图像的特性定义检测指标，通过指标的数值判断图像是否模糊以及模糊程度。该类方法与有参照模糊图像检测方法相比，在检测准确性上略显不足。但是，由于该类方法不需要获取原始参照图像进行对比，应用范围很广。目前大多数研究工作都在针对如何寻找更有效的模糊检测指标而进行。参见文献“Pina Marziliano,Frederic Dufaux,Stefan Winkler and Touradj Ebrahimi,A No-Reference Perceptual Blur Metric,2002IEEE International Conference on Image Processing,Vol.3,pp.57-60”。

技术实现要素：

本发明的任务是提供一种基于多特征的图像模糊检测方法。该方法首先计算图像的频谱特征和倒谱特征，并将上述两种特征作为图像的模糊特征；之后，选用深度神经网络进行分类，利用已采集的带模糊和清晰两类类别标定的图像训练深度神经网络的相应参数；最终使用训练好的深度神经网络检测待测试图像是否为模糊图像。上述方法最大的优点在于作为一种非参照模糊图像检测方法，不需要参照图像，因此有非常广泛的应用。同时，由于定义的模糊特征有明确的物理意义，因此能够准确地区分清晰和模糊图像。

为了方便地描述本发明内容，首先对一些术语进行定义。

定义1：数字图像。由数组或矩阵表示图像，其光照位置和强度都是离散值。

定义2：傅里叶变换。傅里叶变换是一种分析信号成分的方法。在本专利中用到的二维离散傅里叶变换定义为：

其中f(m，n)，m＝1，...，M，n＝1，...，N为二维时域信号，F(u，v)为其傅里叶变化。傅里叶反变换定义如下：

定义3：倒谱。功率谱对数值的反傅氏变换称为倒谱，又称作功率倒频谱。

定义4：模糊特征。用于区分图像清晰和模糊而定义的图像频谱和倒谱特征。

定义5：下采样。对数据进行等间隔的抽取，使得原有数据的规模变小。

定义6：深度分类网络。即利用栈式自编码器作为深度网络，并在将最后一层隐层节点送入到逻辑回归器中，得到类别概率。

定义7：S形函数。S形函数(sigmoid function)一般可以表示为σ(·)，其表达式为

定义8：后向传播算法。是一种监督学习算法，常被用来训练多层神经网络。一般包含两个阶段：(1)前向传播阶段将训练输入送入网络以获得激励响应；(2)反向传播阶段将激励响应同训练输入对应的目标输出求差，从而获得隐层和输出层的响应误差。

定义9：梯度法。梯度下降法是一个最优化算法，为求解函数f(x)取极值时，自变量的取值可以迭代求解，即：

直到梯度值为零，得到解。

按照本发明的一种基于深度学习的模糊图像检测方法，它包含以下步骤：

步骤1：任意选取摄像头采集的N₁+N₂幅同类数字图像其中既包含模糊图像也包含清晰图像(两者比例接近)，代表第t幅大小为M×N的图像；

步骤2：对步骤1中得到的N₁+N₂幅数字图像根据其模糊与否进行人工标定，若第t幅图像为模糊图像，则令其对应的标定变量y_t＝1，否则y_t＝-1；

步骤3：对于每一幅输入数字图像I_t，I_t(m，n)表示其中任意一像素点的灰度值，(m，n)为该像素点的坐标位置，进行I_t与算子(-1)^m+n的相乘运算以保证傅里叶变换之后的零频部分位于频谱图像的中心，得到

步骤4：对每一变换后的图像进行二维离散傅里叶变换，

其中F_t(u，v)表示I′_t的二维离散傅里叶变换，u，v为傅里叶变换后的空间坐标，进而得到总体频谱图|F_t|；

步骤5：将频谱图|F_t|做下采样，下采样的比例根据图像大小决定，下采样后频谱图的宽度和高度都不超过50个点，向量化下采样后频谱图得到向量h_t；

步骤6：计算每一图像的倒谱

其中代表反傅里叶反变换，|F_t(u，v)|为第t幅图像傅里叶变换F_t(u，v)的模，倒谱具体表达式为：

步骤7：将倒谱图C_t做下采样，下采样的比例根据图像大小决定，下采样后倒谱图的宽度和高度都不超过50个点，向量化下采样倒谱图得到向量s_t；

步骤8：对于每一图像由频谱向量h_t和倒谱向量s_t构成模糊特征x_t＝[h_t；s_t]；

步骤9：设计深度分类网络，为已有图像的模糊特征和对应是否清晰的标签，定义目标函数为

其中θ是网络参数，λ是控制约束项强弱的因子，y(x_t)为样本x_t属于模糊图像的概率

p(y_t＝+1|x_t，θ)，对应的表达式为：

为深度网络最后一个隐层的节点构成的向量，s_L为最后一隐层节点的数目，w为最后一层的参数向量，L为网络隐层总的层数；网络往前每一层的节点单元由上一层的节点单元和网络参数决定

表示第L层的第j个单元的响应值，j＝1，...，s_l，表示第l+1层的第i个单元的输入，和表示连接深度神经网络第l层的所有s_l个单元和第l+1层的第i个单元之间的参数；具体来讲，表示连接第l层的第j个单元和第l+1层第i个单元之间的参数，为与第l+1层的隐单元i相关的偏差项，s_l+1为第l+1层隐单元的数目，输入层(即第0层)为x_t(参见图2)；因此网络参数

步骤10：利用后向传播算法计算求解目标函数J(θ)关于参数θ的梯度得到

步骤11：根据步骤10中得到的梯度利用梯度下降法对步骤9中的目标函数进行优化，求取目标函数取最小值时候的对应参数θ，利用由此参数确定的神经网络判断新图像是否模糊。

需要说明的是：

步骤1中选取摄像头采集的图像进行模糊检测分类器训练时，选择某一类图像，比如人脸、固定场景等。另外，选取N₁+N₂幅图像的目的在于用N₁幅图像作训练样本，N₂幅图像作测试样本，一般分类器的性能会随着N₁的增加而改善。

本发明的创新之处在于：

提出了一种基于频谱和倒谱结合的深度网络分类器，用于检测模糊图像。该方法提出了利用向量化频谱特征和向量化倒谱特征两种特征作为图像的模糊特征，用于模糊检测。对所有图像进行模糊特征分析的基础上，建立深度分类网络模型，模型的输出值为图像属于模糊图像的概率，当该概率值较大时则判断为模糊图像。该方法由于引入了深度网络，有良好的分类效果，同时也是一种无参照的模糊图像检测方法，可以广泛的应用于图像识别领域。

附图说明

图1为清晰和模糊图像，及其频谱和倒谱。其中(a)，(b)和(c)分别为清晰图像、离焦模糊以及运动模糊图像，及其三者的频谱和倒谱。

图2为本专利提出的模糊检测的示意图(以包含两个隐层的深度网络为例)。

具体实施方式

根据本发明的方法，首先采集一定数量的清晰和模糊图像，并对图像进行清晰与模糊的标注。根据本发明专利，利用Matlab或者C语言编写基于频谱和倒谱信息融合的图像模糊检测程序，并在采集数据上训练本发明对应的深度分类网络参数；接着在各种需要图像模糊检测的场景安装采集摄像头采集原始图像，提取对应图像的模糊特征，根据之前训练的分类器可以正确区分清晰与模糊图像。本发明的方法，可以用于各类图像的模糊检测。

一种基于深度学习的模糊图像检测方法，它包含以下步骤：

步骤1：任意选取摄像头采集的N₁+N₂幅同类数字图像其中既包含模糊图像也包含清晰图像(两者比例接近)，代表第t幅大小为M×N的图像；

步骤2：对步骤1中得到的N₁+N₂幅数字图像根据其模糊与否进行人工标定，若第t幅图像为模糊图像，则令其对应的标定变量y_t＝1，否则y_t＝-1；

步骤3：对于每一幅输入数字图像I_t，I_t(m，n)表示其中任意一像素点的灰度值，(m，n)为该像素点的坐标位置，进行I_t与算子(-1)^m+n的相乘运算以保证傅里叶变换之后的零频部分位于频谱图像的中心，得到

步骤4：对每一变换后的图像进行二维离散傅里叶变换，

其中F_t(u，v)表示I′_t的二维离散傅里叶变换，u，v为傅里叶变换后的空间坐标，进而得到总体频谱图|F_t|；

步骤5：将频谱图|F_t|做下采样，下采样的比例根据图像大小决定，下采样后频谱图的宽度和高度都不超过50个点，向量化下采样后频谱图得到向量h_t；

步骤6：计算每一图像的倒谱

其中代表反傅里叶反变换，|F_t(u，v)|为第t幅图像傅里叶变换F_t(u，v)的模，倒谱具体表达式为：

步骤7：将倒谱图C_t做下采样，下采样的比例根据图像大小决定，下采样后倒谱图的宽度和高度都不超过50个点，向量化下采样倒谱图得到向量s_t；

步骤8：对于每一图像由频谱向量h_t和倒谱向量s_t构成模糊特征x_t＝[h_t；s_t]；

步骤9：设计深度分类网络，为已有图像的模糊特征和对应是否清晰的标签，定义目标函数为

其中θ是网络参数，λ是控制约束项强弱的因子，y(x_t)为样本x_t属于模糊图像的概率p(y_t＝+1|x_t，θ)，对应的表达式为：

为深度网络最后一个隐层的节点构成的向量，s_L为最后一隐层节点的数目，w为最后一层的参数向量，L为网络隐层总的层数；网络往前每一层的节点单元由上一层的节点单元和网络参数决定

表示第l层的第j个单元的响应值，j＝1，...，s_l，表示第l+1层的第i个单元的输入，和表示连接深度神经网络第l层的所有s_l个单元和第l+1层的第i个单元之间的参数；具体来讲，表示连接第l层的第j个单元和第l+1层第i个单元之间的参数，为与第l+1层的隐单元i相关的偏差项，s_l+1为第l+1层隐单元的数目，输入层(即第0层)为x_t(参见图2)；因此网络参数

步骤10：利用后向传播算法计算求解目标函数J(θ)关于参数θ的梯度得到

步骤11：根据步骤10中得到的梯度利用梯度下降法对步骤9中的目标函数进行优化，求取目标函数取最小值时候的对应参数θ，利用由此参数确定的神经网络判断新图像是否模糊。