基于暗通道先验和多方向加权TV的图像盲去模糊方法与流程

本发明涉及一种计算机图像处理方法，尤其涉及一种用于图像去模糊方法。

背景技术：

图像去模糊一直是计算机视觉、图像处理领域的研究热点，因其具有前沿性、应用广等特点而备受关注。

在众多去模糊方法中，全变差(TV)正则化因其较好的边缘保持能力被广泛用于图像去噪、图像去模糊等^[1,2]，但是其细节和纹理恢复能力有限。因此，出现了很多TV正则化改进方法，如加权TV正则化通过对图像的平滑区域和图像边缘采用不同的权重来提升TV模型的细节恢复能力^[3]。

另一方面，传统的TV模型的先验信息并不适用于特定图像，如人脸图像、文本图像和低照度图像等，对图像先验信息的表达能力不足。文献[4]提出了一种暗通道先验信息，并成功应用于图像去雾。近期研究发现，当图像受到模糊降质后，其暗通道像素值增大，即其暗通道稀疏性降低^[5]，可将其作为新的先验用于图像去模糊。

[参考文献]

[1]Youwei Wen,Ng.M.K.,Yumei Huang.Efficient Total Variation Minimization Methods for Color Image Restoration[J].IEEE Transactions on Image Processing,2008,17(11):2081–2088。

[2]Bras N.B.,Bioucas-Dias J.,Martins R.C.,Serra A.C..An Alternating Direction Algorithm for Total Variation Reconstruction of Distributed Parameters[J].IEEE Transactions on Image Processing,2012,21(6):3004-3016。

[3]Rodreguez P.,Wohlberg B..Performance comparison of iterative reweighting methods for total variation regularization[C].2014IEEE International Conference on Image Processing(ICIP),2014:1758–1762。

[4]He K,Sun J,Tang X.Single Image Haze Removal Using Dark Channel Prior[J].IEEE Transactions on Pattern Analysis&Machine Intelligence,2010,33(12):2341-53。

[5]Pan J,Sun D,Pfister H,et al.Blind Image Deblurring Using Dark Channel Prior[C]//IEEE Conference on Computer Vision and Pattern Recognition.IEEE,2016:1628-1636。

[6]Cho S,Lee S.Fast motion deblurring[J].Acm Transactions on Graphics,2009,28(5):1-8。

[7]Fergus R,Singh B,Hertzmann A,et al.Removing camera shake from a single photograph.[J].Acm Transactions on Graphics,2006,25(25):787-794。

[8]Pan J,Liu R,Su Z,et al.Motion blur kernel estima-tion via salient edges nd low rank prior[C]//IEEE In-ternational Conference on Multimedia and Expo.IEEE,2014:1-6。

技术实现要素：

针对全变差(TV)正则化图像复原其细节恢复能力有限且对噪声敏感等问题，本发明提供一种基于暗通道先验和多方向加权TV(DCP-MDWTV)的图像盲去模糊方法，利用多方向边缘检测，对传统TV模型进行改进，得到基于边缘检测的多方向加权TV模型，并将暗通道先验融入上述模型，使复原模型更具普适性且提高细节恢复能力。

为了解决上述技术问题，本发明提出的一种基于暗通道先验和多方向加权TV的图像盲去模糊方法，步骤如下：

1)构建图像盲复原模型：

1-1)构建加权TV去模糊模型：

式(1)中，第一项为多方向加权TV正则项，第二项为保真项；μ为正则化参数，K为模糊核，I为目标图像，B为模糊图像，τ为平衡参数，用来平衡正则项与保真项；

式(2)中求和范围为8领域内所有α个像素对(i,j)～(k,l)，权值g(i,j)～(k,l)根据8邻域的选取，gα对应像素对α的权值，若像素对在边缘异侧，gα＝0；否则，gα保持原始值；

1-2)构造暗通道稀疏性约：

对于目标图像I的暗通道定义为：

式(3)中，x,z是像素位置，N(x)是以x为中心的图像块，I^c是某一颜色通道，如果目标图像I是灰度图像，则采用零范数度量暗通道稀疏性，构造的暗通道稀疏性约束DC(I,x)为：

DC(I,x)＝||H(I)(x)||0 (4)

1-3)构建基于暗通道先验和多方向加权TV的图像盲复原模型：

由式(1)、式(2)及式(3)，得到基于暗通道先验和多方向加权TV的图像盲复原模型：

式(5)中，λ为平衡参数；

2)求解图像盲复原模型，得到目标图像I和模糊核K：

利用交替方向法求解式(5)，在求得中间迭代图像Iⁿ后，带入式(6)，利用最小二乘法，快速求解得到迭代模糊核kⁿ，其中γ为平衡参数：

将式(5)与式(6)交替迭代进行求解，并计算直到迭代误差Error＜10^-3，最终得到目标图像I和模糊核K。

与现有技术相比，本发明的有益效果是：

本发明首先利用边缘检测，对传统TV模型进行改进，构造基于边缘检测的多方向加权TV模型；同时，将暗通道先验作为约束融入多方向加权TV目标函数。

为了验证本发明提出的去模糊模型、模糊核估计及求解算法的性能，下面从客观指标和主观性能两方面分别进行实验，并与目前相关主流方法进行对比。对比的算法包括：基于暗通道的图像去模糊算法(Pan)^[5]、高质量运动去模糊算法(Shan)^[6]、快速运动去模糊算法(Cho)^[7]以及单幅图像去相机抖动算法(Fergus)^[8]。测试图像为Boys，Bridge、Paint、Face。模糊核如图2(a)、图2(b)、图2(c)和图2(d)所示。对测试图像分别用四种模糊核进行模糊处理，得到16张模糊图像。对这16张模糊图像进行复原，并计算重建图像的PSNR值，如表1所示。由表1可知，与前述几种目前相关主流方法相比，本发明基于暗通道先验和多方向加权TV(DCP-MDWTV)所得到的复原图像的PSNR值显著提高。

表1不同方法去模糊结果PSNR

图3为一幅真实的模糊图像，图4、图5、图6和图7为本发明方法与目前主流的去模糊算法去模糊主观效果图。由图3至图7可以看出，Pan的方法能够较好地恢复图像的细节并得到较为锐利的边缘，但是振铃效应明显。Shan的算法虽然能够恢复边缘和纹理，但是阶梯效应严重。Liu的方法可较好恢复平滑区域，但边缘与细节模糊。而本发明算法复原后图像视觉效果理想，不仅保留了图像的局部光滑特性，而且能较好恢复图像的边缘和纹理等细节信息，振铃效应明显减少，且模糊核估计更为准确。

附图说明

图1是中心像素(i,j)的8邻域示意图；

图2(a)、图2(b)、图2(c)和图2(d)是四种模糊核；

图3是实施例中的一幅模糊图像；

图4(a)至图4(e)是利用本发明方法对图3所示图像去模糊处理后的效果图，其中，图4(a)是去模糊之后的结果图，图4(b)是图4(a)中眼部放大图，图4(c)是图4(a)中嘴部放大图，图4(d)是图4(a)中面部放大图，图4(e)是利用本发明方法针对图3估计得到的模糊核。

图5(a)至图5(e)是利用文献[5]提供的基于暗通道的图像去模糊算法对图3所示图像去模糊处理后的效果图，其中，图5(a)是去模糊之后的结果图，图5(b)是图5(a)中眼部放大图，图5(c)是图5(a)中嘴部放大图，图5(d)是图5(a)中面部放大图，图5(e)是模糊核。

图6(a)至图6(e)是利用文献[6]提供的高质量运动去模糊算法对图3所示图像去模糊处理后的效果图，其中，图6(a)是去模糊之后的结果图，图6(b)是图6(a)中眼部放大图，图6(c)是图6(a)中嘴部放大图，图6(d)是图6(a)中面部放大图，图6(e)是模糊核。

图7(a)至图7(e)是利用文献[8]提供的显著边缘与低秩先验算法对图3所示图像去模糊处理后的效果图，其中，图7(a)是去模糊之后的结果图，图7(b)是图7(a)中眼部放大图，图7(c)是图7(a)中嘴部放大图，图7(d)是图7(a)中面部放大图，图7(e)是模糊核。

具体实施方式

下面结合附图和具体实施例对本发明技术方案作进一步详细描述，所描述的具体实施例仅对本发明进行解释说明，并不用以限制本发明。

本发明基于暗通道先验和多方向加权TV的图像去模糊方法的设计思路是：针对全变差(TV)正则化图像复原其细节恢复能力有限且对噪声敏感等问题，利用多方向边缘检测，对传统TV模型进行改进，得到基于边缘检测的多方向加权TV模型；同时，为了使复原模型更具普适性且提高细节恢复能力，本发明将暗通道先验融入上述的多方向加权TV模型。主要包括构建图像盲复原模型及其求解，具体步骤如下：

1)构建图像盲复原模型：

1-1)构建加权TV去模糊模型：

传统的加权TV仅根据梯度幅值来确定加权系数，并未考虑图像的局部结构和方向信息，造成图像边缘和细节模糊。为了实现根据图像局部信息自适应调整权值，在平坦区权值加大以抑制噪声，在边缘、纹理等区域根据局部方向自适应确定权值以保留更多的细节。

边缘检测可提取图像的显著性特征，本发明利用Canny检测算子自适应调整多方向的TV系数。具体地，将中心像素8邻域内(如图1所示)的像素对分为边缘同侧像素对和边缘异侧像素对^[6]，对不同类型的像素对根据边缘检测结果施加不同的权重对于图像x，其多方向加权TV定义为。

式(1)中，第一项为多方向加权TV正则项，第二项为保真项；μ为正则化参数，K为模糊核，I为目标图像，B为模糊图像，τ为平衡参数，用来平衡正则项与保真项；

式(2)中求和范围为8领域内所有α个像素对(i,j)～(k,l)，权值g(i,j)～(k,l)根据8邻域的选取，gα对应像素对α的权值，若像素对在边缘异侧，gα＝0；否则，gα保持原始值；

1-2)构造暗通道稀疏性约：

暗通道先验已成功用于图像去雾，近期研究发现，当图像受到模糊降质后，其暗通道的非零像素个数增多，即模糊图像的暗通道稀疏性降低。因此，可将暗通道稀疏性用于图像去模糊。

对于目标图像I的暗通道定义为：

式(3)中，x,z是像素位置，N(x)是以x为中心的图像块，I^c是某一颜色通道，如果目标图像I是灰度图像，则采用零范数度量暗通道稀疏性，构造的暗通道稀疏性约束DC(I,x)为：

DC(I,x)＝||H(I)(x)||0 (4)

1-3)构建基于暗通道先验和多方向加权TV的图像盲复原模型：

由式(1)、式(2)及式(3)，得到基于暗通道先验和多方向加权TV的图像盲复原模型：

式(5)中，第一项为数据保真项，约束待复原图像I和观测图像B的偏离程度；第二项为多方向加权TV，根据边缘检测结果对不同区域像素梯度设置不同的权值，提升模型细节恢复能力；第三项为暗通道先验约束，使复原模型更具普适性，同时有效减少振铃效应，μ，λ为平衡参数，用来调节上述三项的比重。

2)求解图像盲复原模型，得到目标图像I和模糊核K：

利用交替方向法求解式(5)，在求得中间迭代图像Iⁿ后，带入式(6)，利用最小二乘法，快速求解得到迭代模糊核kⁿ，其中γ为平衡参数：

将式(5)与式(6)交替迭代进行求解，并计算直到迭代误差Error＜10^-3，最终得到目标图像I和模糊核K。

尽管上面结合附图对本发明进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨的情况下，还可以做出很多变形，这些均属于本发明的保护之内。