基于凹凸混合正则先验的图像盲去卷积方法
【专利摘要】本发明公开了基于凹凸混合正则先验的图像盲去卷积方法，该方法是一种针对相机摄像头的散焦、抖动等原因造成的图像模糊进行去卷积的方法。主要分三步执行，即：输入降质的模糊图像，求解图像的凹凸混合广义全变差最小化泛函，迭代估计中间清晰图像。利用给定的模糊核尺寸以及上述清晰图像的梯度信息，求解模糊核的凹凸混合弹性网正则化最小化泛函，迭代估计中间模糊核。利用上述两步骤交替迭代结束后的最终模糊核以及倒基尼系数稀疏正则的图像非盲去卷积方法，迭代估计最终去卷积图像。
【专利说明】
基于凹凸混合正则先验的图像盲去卷积方法
技术领域
[0001] 本发明涉及一种基于凹凸混合正则先验的图像盲去卷积方法，属于计算摄像技术 领域。
【背景技术】
[0002] 在很多实际应用中，拍摄图片经常会不可避免的存在模糊。图像盲去模糊是指去 除或减轻相机拍摄图像过程中发生的图像运动模糊现象，是近年来计算摄像技术领域重要 而兼具挑战性的研究内容，不管是在数字媒体领域还是在国防、社会安全领域都有迫切的 现实需求。图像盲去模糊的核心问题是估计对应各种模糊的模糊核，即点扩散函数。作为典 型的不适定反问题，图像盲去模糊往往依赖随机性的贝叶斯统计或确定性的正则化方法， 当前文献的重点往往放在挖掘、确定关于图像先验知识的数学表达，即适于模糊核估计的 图像模型。
[0003] 根据推断准则，当前的盲运动去模糊方法大体可分为两类，即变分贝叶斯 (variational Bayes;VB)和最大后验估计(maximum a posterior;MAP)。但由于上述两类 方法都是基于贝叶斯公式，因此存在一个重要的共性问题就是如何确定清晰图像与模糊核 的先验。当采用常见的自然图像统计先验时，理论和实验结果均显示了VB型方法相对于MAP 型方法的优越性。例如，在开创性文献《Removing camera shake from a single photograph》，ACM Trans .Graph ?，2006，vo 1 ? 25，no ? 3，pp ? 787-794,Fergus等人利用图像的 混合高斯模型（mixture-of-Gaussians ;MoG)和模糊核的混合指数模型（mixture-of-Exponentials;MoE)提出了第一个非参运动模糊核VB估计方法;他们同时发现，基于相同 的先验MAP型方法却完全失败了。VB准则具有更强的鲁棒性，能够最大程度地保证自然图像 先验区别模糊图像与清晰图像，从而降低交替迭代陷入局部极小点的风险。事实上，在基于 MAP的模糊核估计框架下，诸如基于l p-范数（1彡p> >0)的超高斯、专家场（fields of experts; FoE)等自然图像先验倾向于模糊图像而非清晰图像。
[0004] 根据上述结果，不难理解当前有效的MAP型模糊核估计方法往往基于经验性设计 的非自然图像稀疏先验，如：重加权12_范数先验，规范化稀疏先验，lo. 3-范数先验，渐进逼 近1〇_范数先验，基于显著性边缘预测的稀疏先验，等等。所有这些先验都是高度非凸的，本 质上都是通过不同的技术手段近似1〇_范数。而VB型模糊核估计方法往往利用常见的自然 图像先验，如:空间不变的尚斯先验，MoG先验，1〇. 8-范数先验等。从技术实现的角度看，总体 而言，现有VB方法存在计算复杂度高的问题，而且现有MAP方法存在着模糊核估计精度有待 提高的问题。而本发明能够很好地解决上面的问题。
【发明内容】
[0005] 本发明目的在于针对上述现有技术的不足，提出了一种基于凹凸混合正则先验的 图像盲去卷积方法，该方法利用倒基尼系数稀疏正则的图像非盲去卷积方法，提高了去模 糊图像的清晰度。
[0006] 本发明解决其技术问题所采取的技术方案是:首先，输入降质的模糊图像，求解图 像的凹凸混合广义全变差最小化泛函，迭代输出中间清晰图像;其次，利用上述清晰图像的 梯度信息，求解卷积模糊核的凹凸混合弹性网正则最小化泛函，迭代输出最终模糊核;最 后，利用倒基尼系数稀疏正则的图像非盲去卷积方法，获得最终去卷积图像。
[0007] 方法流程：
[0008] 步骤1:输入模糊图像y，设待估计的最终清晰图像和模糊核分别为f和k，且模糊核 的尺寸为ZXZ，设水平、垂直方向的一阶导数算子分别为％ =[l,-l;0,0],Vv =[1及-1,0];
[0009] 步骤2:计算对应模糊图像y的梯度域图像为为=V</?.v_，dG A , A = {h,v}，其中發 代表线性卷积算子，设待估计最终清晰图像的梯度域图像为A ;
[0010]步骤3:采用以下交替迭代方法估计模糊核k和中间清晰图像u，其中，交替迭代总 次数设为I;
[0011] 步骤3-1:初始迭代序号i设为1，模糊核的初始迭代值设为k(());
[0012] 步骤3-2:根据以下最小化泛函求解待估计的中间清晰图像：
[0014] 其中，u(i)表示第i次求解上述泛函所得的中间清晰图像，arg minu表示目标泛函 取最小值时u所取的值，表示第i-1次迭代后模糊核的估计值，||g代表2-范数，cu为小 于1的正参数，4为~的1次幂，n为大于〇的平衡参数，且Til巧?"(〃)为凹凸混合广义全变差模 型，定义如下：
[0015] TGV|<0(m) = min,-,； _z^ 1〇 +?i (iir?l! + |[r*'' +r'*lli +ii-?li)
[0016] 其中，{Zd}为待估计辅助变量，a = (aQ，CH)为正则化参数常向量，I： d表示水平、垂直方 向上的求和，沿^^細为中间清晰图像的梯度域图像，如= \7v?.~ zw ， lit 111分别代表1-范数和0-范数。
[0017] 步骤3-3:根据步骤3-1估计的中间清晰图像，利用中间清晰图像的梯度域图像 求解以下最小化泛函估计模糊核，即：
[0019 ]其中，k( 1 >表示待估计模糊核的第i次迭代结果，0 =( 00,01)为正则化参数常向量， a r g m i n k表示目标泛函取最小值时k所取的值，c k为小于1的正参数，4为c u的i次幂， 必=%:?濟为中间清晰图像u(1)的梯度域图像，k(1)多0表示k (1)中的所有分量都不小于0,且 ERHf (/〇为凹凸混合弹性网正则化模型，定义如下，即：
[0020] nNRj,"(A) = A|rt+A||C
[0021] 步骤3-4:令i = i+l，重复步骤3-1至步骤3-2共I次，得到模糊核估计结果k(I)和中 间清晰图像估计结果u (I)。
[0022] 步骤4:为了考虑大尺度模糊核的估计，进一步采用多尺度估计策略:设尺度总数 为S且各相邻尺度间模糊核的尺寸比例为占，对应最小尺度s = l时的模糊核k⑴的尺寸 为3X3,且k⑴= [0,0,0;0，1，0;0,0,0]，利用MATLAB中的imresize函数输出模糊图像y及其 梯度图像yd在各尺度下的插值图像y(s4P4s);
[0023] 步骤4-1:将模糊核k⑴作为第1尺度时的初始模糊核私1，将私1、y(1)、带入上 述步骤(3a)_(3d)，估计输出第1尺度下的模糊核4V与中间清晰图像
[0024] 步骤4-2:利用MATLAB中的imresize函数，在水平、垂直方向上分别将格/放大^ 倍，作为第2尺度下模糊核的初始值增卜.并将/#、 y(2)、带入上述步骤3-1至步骤3-4,估 计输出第2尺度下的模糊核培)与中间清晰图像《留；
[0025] 步骤4-3依次类推，直至最终估计输出第S尺度下的模糊核/设，记为石；
[0026] 步骤5:利用模糊图像y和上述估计出的I，基于以下倒基尼系数稀疏正则的图像非 盲去卷积泛函，最终获得去模糊图像f:
[0027] /-^min； ^r +1|j~k?/|)
[0028] 其中，arg minf表示目标泛函取最小值时f所取的值，A为正则化参数，1表示清 晰图像的梯度域图像fd的向量化表示，表示石的基尼系数，定义如下：
[0030] 其中，L为力的维数，|作]|为对序列彳| # IL由小到大排序后的第1个取值。
[0031] 有益效果：
[0032] 1、本发明是以严格的最小化能量泛函为基础的。
[0033] 2、本发明采用的凹凸混合广义全变差模型，能够同时实现图像显著性边缘的自动 提取和平坦区域中虚假边缘的有效抑制，不仅为模糊核估计提供了物理上有意义的视觉线 索，而且有效克服了虚假边缘对模糊核估计产生的负面效应。
[0034] 3、本发明易于编程，实现简单，且每次交替迭代的计算复杂度仅为O(LlogL)，其中 L为图像的像素个数；
[0035] 4、本发明估计的模糊核准确度高，从而保证了图像清晰度的提高。
【附图说明】
[0036]图1为发明的方法流程图。
[0037] 图2为用于仿真实验的运动模糊图像示意图。
[0038] 图3(a)、图3(b)、图3(c)、图3(d)、图3(e)、图3(f)为本发明方法与现有方法对图2 进行去模糊后的清晰图像示意图。
【具体实施方式】
[0039] 下面结合说明书附图对本发明创造作进一步的说明。
[0040] 如图1所示，本发明的具体实施步骤包括如下：
[0041] 步骤1:输入模糊图像y，设待估计的最终清晰图像和模糊核分别为f和k，且模糊核 的尺寸为Z X Z，设水平、垂直方向的一阶导数算子分别为W = [1，-l;0,0]，Vv = [1，0;-1,0];
[0042] 步骤2 :利用MATLAB中的conv2函数计算梯度域图像为：=义?.v，d G A，A = {h，v}，其中?代表线性卷积算子，设待估计最终清晰图像的梯度域图像为/rf =心#/;
[0043] 步骤3:采用以下交替迭代方法估计模糊核k和中间清晰图像u，其中，交替迭代总 次数设为I;
[0044] 步骤3-1:初始迭代序号i设为1，模糊核的初始迭代值设为k(());
[0045] 步骤3-2:根据以下最小化泛函迭代估计中间清晰图像，即：
[0047] 其中，u(i)表示第i次求解上述泛函所得的中间清晰图像，~表示 目标泛函取最小值时u，{zd}，{Ad}，8&，81"，8"所取的值汰(1- 1)表示第卜1次迭代后模糊核的 估计值，代表2-范数，cu为小于1的正参数，4为(^的1次幂，n为大于〇的平衡参数，{ 2(1}为 待估计辅助变量，a = (a〇，ai)为正则化参数常向量，Ed表示水平、垂直方向上的求和， % =义發口为中间清晰图像的梯度域图像，^=%0二"，；='^_0~一=%0二"：^='^0二1， |丨|, lU分别代表1-范数和0-范数，易见u(1)，{zd}，{Ad}及以^心屬每次迭代估计具有解析 表达，且拉格朗日乘子更新如下:叫11^+(1^_2(0_八(^外111外11+(21111 _61111)，〇1^1〇1^+(211￥_611￥)， UVv^Uvv+(zvv_Bvv)；
[0048]步骤3-3:根据步骤3-1估计的中间清晰图像，利用中间清晰图像的梯度域图像 〃(广，求解以下最小化泛函估计模糊核，即：
[0050] 其中，k(1)表示待估计模糊核的第i次迭代结果，知，^为正则化参数常向量， argmink,h表示目标泛函取最小值时k，h所取的值，ck为小于1的正参数，4为(^的i次幂， 必=巧8)??为中间清晰图像u⑴的梯度域图像，k (1)彡0表示k(1)中的所有分量都不小于0,易 见对应k(1)，h每次迭代估计具有解析表达式(其中，约束条件的满足是通过投影运算实现）， 且拉格朗日乘子更新如下:y-y+(k-h)。
[0051] 步骤3-4:令i = i+l，重复步骤3-1至步骤3-2共I次，得到模糊核估计结果k(I)和中 间清晰图像估计结果u (I)。
[0052] 步骤4:为了考虑大尺度模糊核的估计，进一步采用多尺度估计策略:设尺度总数 为S且各相邻尺度间模糊核的尺寸比例为万x万，对应最小尺度s = l时的模糊核k⑴的尺寸 为3X3,且k⑴= [0,0,0;0，1，0;0,0,0]，利用MATLAB中的imresize函数输出模糊图像y及其 梯度图像yd在各尺度下的插值图像;
[0053] 步骤4-1:将模糊核k⑴作为第1尺度时的初始模糊核C，将峨>、y(1)、#带入上 述步骤步骤3-1至步骤3-4,估计输出第1尺度下的模糊核极 > 与中间清晰图像啦1;
[0054] 步骤4-2:利用MATLAB中的imresize函数，在水平、垂直方向上分别将瑞> 放大及 倍，作为第2尺度下模糊核的初始值衫|，并将咕;、y(2)、jf带入上述步骤(3a)_(3d)，估计输 出第2尺度下的模糊核培丨与中间清晰图像;
[0055] 步骤4-3:依次类推，直至最终估计输出第S尺度下的模糊核碌卜记为/"
[0056] 步骤5:利用模糊图像y和上述估计出的L求解以下最小化泛函估计最终去模糊图 像f，即：
[0058] 其中，表示目标泛函取最小值时f，{gd}所取的值，A为正则化参数，名表 示清晰图像的梯度域图像fd的向量化表示，热HI名||丨7 +1/2)江)，其中，L为尤 的维数，|.列为对序列彳I//M心由小到大排序后的第1个取值，易见对应f，{gd}每次迭代估 计具有解析表达式，且拉格朗日乘子更新如下:9d-0d+(fd_gd)。
[0059]为了验证基于凹凸混合正则先验的最大后验模糊核估计方法的有效性，以下结合 仿真实验对本发明的去模糊效果作进一步说明。
[0060] -.实验条件
[0061] 本发明的实验运行系统为Intel Pentium(R)Core-Duo T4200 CPU(2GHZ)，2GB RAM，32位Microsoft Windows 7操作系统，软件MATLAB版本号为v7.0。实验所用的模糊图像 来源于Levin等人发表文章 "Understanding and evaluating blind deconvolution algorithms"（in:IEEE CVPR, 2009,pp. 1964-1971)中的标准测试集，如附图2所示。
[0062] 二.实验内容
[0063] 用本发明和现有的五种盲去模糊方法对附图2进行去模糊，结果如附图3所示，其 中
[0064] 图3(a)是用Kotera等人在文章"Blind deconvolution using alternating maximum a posteriori estimation with heavy-tailed priors^(in:R.Wilson et al. (Eds.):CAIP，2013，Part II，LNCS 8048，pp.59-66)中公开的去模糊方法对附图2的去模糊 图像及估计模糊核；
[0065] 图3(b)是用Babacan等人在文章"Bayesian blind deconvolution with general sparse image priors"（in:A.Fitzgibbon et al.(Eds.):ECCV 2012,Part VI,LNCS 7577，pp. 341-355)中公开的去模糊方法对附图2的去模糊图像及估计模糊核；
[0066] 图3(c)是用Fergus等人在文章 "Removing camera shake from a single photograph"（ in: ACM Trans .Graph ?，2006，vo 1 ? 25，no ? 3，pp ? 787-794)中公开的去模糊方 法对附图2的去模糊图像及估计模糊核；
[0067] 图3(d)是用Cho&Lee在文章 "Fast motion deblurring"（in:ACM Trans .Graph.， vo 1.28，no. 5，artic 1 e no. 145，Dec. 2009)中公开的去模糊方法对附图2的去模糊图像及估 计模糊核；
[0068] 图 3(e)是用Levin 等人在文章 "Efficient marginal likelihood optimization in blind deconvolution"（in: IEEE CVPR，2011,pp.2657-2664)中公开的去模糊方法对图 2的去模糊图像及估计模糊核；
[0069] 图3(f)是用本发明方法对附图2的去模糊图像及估计模糊核；
[0070] 三.仿真结果分析
[0071 ]为了公正地比较不同的模糊核估计方法，在做非盲去模糊时，各种盲去模糊方法 均采用本发明的非盲去卷积方法，且采用峰值信噪比（简称PSNR)客观标准进行度量，具体 定义如下，即：
[0072] PSNR的定义
'f为真实图像，/为去模糊图像，L为f的像素 个数。
[0073]对应本发明方法和其余五种方法的去模糊图像的PSNR分别为：
[0074] 图 3(a)的 PSNR 值为：24.58dB;
[0075] 图 3(b)的PSNR 值为：28.44dB;
[0076] 图 3(c)的PSNR 值为：26.64dB;
[0077] 图 3(d)的 PSNR 值为：30.07dB;
[0078] 图 3(e)的PSNR 值为：33.09dB;
[0079] 图 3(f)的 PSNR 值为：35.13dB;
[0080]从去模糊图像的PSNR结果可见，本发明方法的PSNR值高于其他五种方法，显示了 本发明方法估计的模糊核更为精确，因而图像去模糊效果更好。
【主权项】
1. 一种基于凹凸混合正则先验的图像盲去卷积方法，其特征在于，包括如下步骤： 步骤1:输入模糊图像y，设待估计的最终清晰图像和模糊核分别为f和k，且模糊核的尺 寸为ZXZ，其中Z为正整奇数，设水平、垂直方向的一阶导数算子矩阵分别为Vh=[l，-1;0， 0]，▽v=[l，0;-l，0]，分别用于提取图像中水平、垂直方向的图像细节，其中，h代表水平方 向，V代表垂直方向； 步骤2:计算对应模糊图像y的梯度域图像为及=K Λ =仇vh其中?代表线性 卷积算子，设待估计最终清晰图像的梯度域图像为1 =力?/ ; 步骤3:采用交替迭代方法估计模糊核k和中间清晰图像u，其中，交替迭代总次数设为 I; 步骤4:采用多尺度估计策略，即：设尺度总数为S且各相邻尺度间模糊核的尺寸比例为 万X万，对应最小尺度s = 1时的模糊核k⑴的尺寸为3 X 3，且k⑴=[0，O，O; O，I，O;O，，利用 MATLAB中的imresize函数输出模糊图像y及其梯度图像yd在各尺度下的插值图像y(s% J：；" · 步骤5:利用模糊图像y和上述估计出的￡，基于倒基尼系数稀疏正则的图像非盲去卷积 泛函，最终获得去模糊图像f，即：其中，argminf表示目标泛函取最小值时f所取的值，λ为正则化参数，尤表示清晰图像 的梯度域图像fd的向量化表示，GW(Zi)表示.?的基尼系数，定义如下，即：其中，L为的维数，|.别|为对序列丨I及> 此,由小到大排序后的第1个取值。2. 根据权利要求1所述的一种基于凹凸混合正则先验的图像盲去卷积方法，其特征在 于，所述步骤3包括： 步骤3-1:初始迭代序号i设为1，模糊核的初始迭代值设为k(()); 步骤3-2:根据以下最小化泛函求解待估计的中间清晰图像：其中，u(1)表示第i次求解上述泛函所得的中间清晰图像，argminu表示目标泛函取最小 值时u所取的值，表示第i-Ι次迭代后模糊核的估计值，:代表2-范数，Cu为小于1的正 参数，4为(^的1次幂，η为大于〇的平衡参数，且?0?3(Η)为凹凸混合广义全变差模型，定义 如下，即：其中，{zd}为待估计辅助变量，Ci=(C^a1)为正则化参数常向量，示水平、垂直方向上 的求和，= K ?&为中间清晰图像的梯度域图像，Ete. =? ?_'A，= Vv?._Zi.，: Zvil =? 1??,.? = ， lit ll.￡分别代表i-范数和o-范数； 步骤3-3:根据步骤3-1估计的中间清晰图像，利用中间清晰图像的梯度域图像岭>，求解 以下最小化泛函估计模糊核，即：其中，k(1)表示待估计模糊核的第i次迭代结果，0=(仇，仏）为正则化参数常向量， a r g m i n k表示目标泛函取最小值时k所取的值，c k为小于1的正参数，4为c u的i次幂， ⑥?为中间清晰图像的梯度域图像，k(1)多0表示k(1)中的所有分量都不小于0， 且ESSf⑷为凹凸混合弹性网正则化模型，定义如下，即：步骤3-4:令i = i + l，重复步骤3-1至步骤3-2共I次，得到模糊核估计结果k(I)和中间清 晰图像估计结果u(I)。3. 根据权利要求1所述的一种基于凹凸混合正则先验的图像盲去卷积方法，其特征在 于，所述步骤4包括： 步骤4-1:将模糊核k⑴作为第1尺度时的初始模糊核％1，将/#、、通> 带入上述步骤 3-1至步骤3-4,估计输出第1尺度下的模糊核咕1与中间清晰图像 步骤4-2:利用MATLAB中的imresize函数，在水平、垂直方向上分别将松/放大万倍，作 为第2尺度下模糊核的初始值峨>，并将給>>、y(2)、带入上述步骤(3a)-(3d)，估计输出第2 尺度下的模糊核咕丨与中间清晰图像沾丨； 步骤4-3:依次类推，直至最终估计输出第S尺度下的模糊核樣丨，记为I &4. 根据权利要求2所述的一种基于凹凸混合正则先验的图像盲去卷积方法，其特征在 于，所述的步骤3-2中的最小化泛函求解等价于以下优化问题，即：引入以下辅助变量 Ah = Uh-zh，Av = Uv-Zv，Bhh = Zhh，Bhv = zhv+z vh，Bvv = Zvv，得如下的增广 拉格朗日函数，即：其中，A = (Ah，Av)，B = (Bhh，Bhv，Bvv)，由上式得到对应u(υ，{Zd}，A，B各次估计的解析解， 且拉格朗日乘子更新如下，即： ~Ud+ ( Ud-Zd ) _Ad，~Uhh+ ( Zhh-Bhh)，~Ujw+ ( Zhv-Bhv)，~Uvv+( Zvv-Bvv) 〇5. 根据权利要求2所述的一种基于凹凸混合正则先验的图像盲去卷积方法，其特征在 于，步骤3-3中的最小化泛函求解等价于以下优化问题，即：引入辅助变量h = k，得到如下的增广拉格朗日函数，BP :由上式得到对应k(1)，h各次估计的解析解，其中，约束条件的满足是通过投影运算实 现，且拉格朗日乘子更新如下:μ-y+(k-h)。6.根据权利要求1所述的一种基于凹凸混合正则先验的图像盲去卷积方法，其特征在 于，所述步骤5中的最小化泛函求解等价于以下优化问题，即：其中，引入辅助变量fd = gd，可得如下的增广拉格朗日函 数，即：由上式得到对应f，{gd}各次估计的近似解析解，且拉格朗日乘子更新如下：0d-0d+(f d- gd)〇
【文档编号】G06T5/00GK105931191SQ201510964588
【公开日】2016年9月7日
【申请日】2015年12月21日
【发明人】邵文泽, 葛琦, 王力谦
【申请人】南京邮电大学, 南京理工大学