始图像的非边缘区域像素的模糊量进行估计，得到完整模糊量图。
[0049]在一实施例中，稀疏模糊量图估计模块用于根据所述模糊处理过程中图像边缘信 息的变化对原始图像的边缘区域像素的模糊量进行估计，得到稀疏模糊量图时，边缘区域 像素的模糊量σ通过下面公式得出，
[0051 ]其中，S为边缘锐利度，为所述预设模糊核的模糊量;并且，
[0053] 其中，和?ΡΤβΙ分别为原始图像和再模糊图像的梯度值，ε为一预设的正值。
[0054] 在一实施例中，去模糊处理模块包括：
[0055] 图像分割单元，用于基于超像素的方法将完整模糊量图分割成多个超像素；
[0056] 图像复原单元，用于对当前超像素中所有像素的模糊量进行处理，得到当前超像 素的模糊量;并根据每个超像素的模糊量得到每个超像素的模糊核;之后，根据每个超像素 的模糊核对每个超像素进行去模糊处理，将每个去模糊处理后的超像素进行合成，得到去 模糊图像。
[0057]在一实施例中，图像复原单元用于将当前超像素中所有像素的模糊量的平均值作 为当前超像素的模糊量。
[0058]在一实施例中，图像复原单元用于根据每个超像素的模糊核，分别对每个超像素 进行反卷积计算。
[0059]在一实施例中，图像复原单元用于根据每个超像素的模糊核，采用基于三维块匹 配的非盲反卷积方法对每个超像素进行去模糊处理。
[0060] 在一实施例中，失焦模糊图像的去模糊装置还包括后处理模块，用于对所述去模 糊图像进行后处理，以得到最终的清晰图像。
[0061] 在一实施例中，后处理模块用于：
[0062] 根据得到的每个超像素的模糊核对所述去模糊图像进行模糊处理，得到第二模糊 图像；
[0063] 计算第二模糊图像与原始图像对应的区域的差值；
[0064] 当所述差值大于预设阈值时，判断对应的像素为异常像素；
[0065]将异常像素所在超像素中各个像素的模糊量的最小值作为该超像素的模糊量，并 根据该模糊量对第二模糊图像进行去模糊处理，得到复原图像；
[0066]将所述复原图像中异常像素的复原结果替换所述去模糊图像中对应的像素，以得 到最终的清晰图像。
[0067] 本申请提供的失焦模糊图像的去模糊方法和装置，先采用预设模糊核对输入的原 始图像进行模糊处理，得到再模糊图像;根据模糊处理过程中图像边缘信息的变化对原始 图像的边缘区域像素的模糊量进行估计，得到稀疏模糊量图；根据稀疏模糊量图对原始图 像的非边缘区域像素的模糊量进行估计，得到完整模糊量图；根据所述完整模糊量图进行 去模糊处理，得到去模糊图像。本申请提供的方法和装置中，由于使用了图像模糊后的边缘 信息的变化来得到模糊量图，可以使得到的模糊量图更加准确，从而提高去模糊图像的质 量。
【附图说明】
[0068] 图1为本申请一种实施例中失焦模糊图像的去模糊方法的流程示意图；
[0069] 图2为本申请另一种实施例中失焦模糊图像的去模糊方法的流程示意图；
[0070] 图3为本申请另一种实施例中失焦模糊图像的去模糊方法的流程示意图；
[0071] 图4为本申请一种实施例中失焦模糊图像的去模糊方法中后处理的流程示意图；
[0072] 图5为本申请一种实施例中失焦模糊图像的去模糊装置的模块示意图；
[0073] 图6为本申请一种实施例失焦模糊图像的去模糊装置中去模糊处理模块的单元示 意图。
【具体实施方式】
[0074]下面通过【具体实施方式】结合附图对本申请作进一步详细说明。
[0075] 实施例一
[0076] 请参考图1，本实施例提供了一种失焦模糊图像的去模糊方法，包括下面步骤：
[0077] 步骤1.1:输入原始图像。该原始图像为基于深度的单张空间可变的失焦模糊图 像。
[0078] 步骤1.2:采用预设模糊核对原始图像进行模糊处理，得到再模糊图像。
[0079] 本实施例中，把输入的原始图像用标准差为〇Q(模糊量）的高斯核(预设模糊核)进 行再模糊。
[0080] 需要说明的是，本申请实施例中，将失焦模糊的模糊核看作一个高斯模型来对本 申请进行说明，在其他实施例中，如果将失焦模糊的模糊核看作其他模型(例如圆盘模型）， 本申请提供的去模糊方法也同样适用。
[0081] 步骤1.3:根据步骤1.2模糊处理过程中图像边缘信息的变化对原始图像的边缘区 域像素的模糊量进行估计，得到稀疏模糊量图。
[0082] 原始图像的边缘可以表示为：
[0083] f(x，y)=Au(x，y)+B (3)
[0084] 其中，u (X，y)是阶跃函数，A和B分别表示振幅和偏移量，在图像边缘处的坐标为 (x,y) = (0,0)〇
[0085] 本实施例中，定义边缘锐利度为：
[0087] |V/|和IVGI是原始图像和再模糊图像的梯度值（图像梯度是指把图像看成二维 离散函数，对二维离散函数进行求导），ε是一个非常小的正数，用于防止分母为零。
[0089 ] S越大，边缘的锐利程度越大。通过S可以推导出〇。
[0090]再模糊图像的梯度^匕可以通过下面卷积过程表示：
[0092]由于ε远小于'| V/|，所以在推导σ的过程中可以忽略，所以公式(4)可以写为：
[0094]本实施例中，用Canny算子进行边缘检测，在边缘处(x，y) = (0,0)，所以
[0096]由公式(7)可以得到模糊量σ为：
[0098] 每个像素对应的〇组成了一个稀疏模糊量图。
[0099] 由于在小的边缘处的噪声的影响，〇估计的会不准确。优选的，先对稀疏模糊量图 进行校正。本实施例中，采用引导滤波(Guided filter)方法来对稀疏模糊量图进行校正。 将边缘图像作为引导图像，校正图像r为：
[0100] ri= EjWij(E)〇j (9)
[0101 ]其中，i和j是像素索引，E是边缘图像，W是核函数，并且：
[0103] ￥2是以像素 z为中心的窗口，μζ、_:和| w |分别是窗口 wz中像素灰度的平均值、方差 和E中窗口 wz内的像素总数，ζ是一个正则化参数。本实施例中将窗口 wjPG分别设置为5x5和 10-9。
[0104] 并且，如果η<10-8,则令η = 0。
[0105] 步骤1.4:根据稀疏模糊量图对原始图像的非边缘区域像素的模糊量进行估计，得 到完整模糊量图。
[0106] 稀疏模糊量图只包括了边缘区域像素的模糊量，因此，需要得到包括边缘区域像 素和非边缘区域像素的模糊量。
[0107] 本实施例中，采用K最邻近插值法(KNN matting interpolation)根据稀疏模糊量 图对原始图像的非边缘区域像素的模糊量进行估计，得到完整模糊量图。
[0108]具体的，可以通过下面方程得到完整模糊量图：
[0110]其中，负:和於分别表示完整模糊量图和稀疏模糊量图的向量。λ是正则化参数， D = diag(f):，L是稀疏关联矩阵Α的拉普拉斯矩阵，τ为求转置矩阵。对于像素 i，在特征空间 中找到它周围的k个最相邻像素 j，将A(i，j)设置为g(i，j)，其他值设为〇。核函数g(i，j)定 义为：
[0112]其中，x(i)是用i周围像素计算得到的特征向量;c是| Ix(i)-x(j)| |的最小上界， 使得g( i，j) e [0，1 ]。傲可以通过以下方程得到最优解：<