非均一运动模糊图像的恢复方法
【专利摘要】本发明提出一种非均一运动模糊图像的恢复方法，包括以下步骤：在模糊图像中选取多个相互重叠的图像块；根据均一模糊图像恢复方法分别求取多个图像块的局部模糊核和去模糊图像块；根据多个图像块的局部模糊核和去模糊图像块建立多个图像块的局部模糊核与相机全局运动参数之间的对应关系，并根据对应关系估计相机的初始全局运动参数；对相机的初始全局运动参数和去模糊图像块进行迭代以得到估计的相机的最终全局运动参数；根据相机的最终全局运动参数对模糊图像进行计算以得到最终的去模糊图像。本发明的实施例基于运动模糊图像成像模型，通过结合局部模糊核和相机全局运动参数的对应关系，能够实现快速、有效、鲁棒及低误差的运动模糊图像恢复。
【专利说明】非均一运动模糊图像的恢复方法
【技术领域】
[0001]本发明涉及图像复原【技术领域】，特别涉及一种非均一运动模糊图像的恢复方法。【背景技术】
[0002]运动模糊是一种在成像过程中普遍存在的现象。位于快速行驶的汽车、飞机或其他飞行器上的相机，在拍摄图像的过程中由于拍摄对象相对速度过快或者拍摄过程中的抖动，使得拍摄的图像产生运动模糊，严重影响了获取图像的质量。实现运动模糊图像的复原，恢复原始的清晰图像，有利于获取更高分辨率的图像细节信息，对于使用许多基于图像信息进行的后续处理是非常必要的预处理过程。
[0003]在运动模糊的研究当中，通常假设得到的模糊图像服从以下成像模型:
[0004]B = Ig>K + n,其中，B为获取的模糊图像，I为要恢复的清晰图像，K为模糊核，η为加性噪声。在该模型的定义中，模糊图像是由清晰图像与模糊核卷积，再加入噪声而产生的。图像恢复工作一般可以分成两步来完成:一是运动模糊核的估计；二是根据估计的模糊核的图像去卷积。基于单幅图像的运动去模糊是较为欠定的问题，通常是通过分析模糊图像和清晰图像的特点，将得到其分布情况的先验信息作为约束条件添加到图像恢复过程中。
[0005]现有的图像去模糊算法绝大部分均将相机抖动模糊假设为空间一致的。近年来的很多研究表明，除平面内平移外，转动也是手持相机运动中不可忽略的成分，从而使得采集得到的图像模糊具有空间不一致性。在拍摄过程中相机沿着一条连续的轨迹不断运动，包含了沿x、y、z三个坐标轴的平移和绕三个坐标轴的旋转。相机姿态发生变换后，采集到的图像可以看作是初始场景图像经过了一个仿射变换后的结果。因此，最终采集到的模糊图像可以看作是若干仿射变换后图像的加权和，如下: [0006]B = Ef=I μ,.(Hj I) + η?
[0007]其中，B，I，n e Rn分别表示模糊图像B、清晰图像I和噪声η的向量形式，Hj e R脚为对应于相机姿态j的仿射变换矩阵。权值μ^对应于相机在该姿态停留时间占总曝光时间的比例。所有的权值组成一个列向量μ，且有Σ jUj = I。与空间一致模糊卷积模型相比较，权值向量μ即对应于模糊核K。
[0008]而要描述相机在六维运动空间的运动参数，μ的维数通常很高，要给出合理的初始值是非常困难的。
【发明内容】
[0009]本发明旨在至少在一定程度上解决上述技术问题之一或至少提供一种有用的商业选择。
[0010]为此，本发明的一个目的在于提出一种非均一运动模糊图像的恢复方法，该方法基于运动模糊图像成像模型，通过结合局部模糊核和相机全局运动参数的对应关系，能够实现快速、有效、鲁棒及低误差的运动模糊图像恢复。
[0011]为达到上述目的，本发明的实施例提出了一种非均一运动模糊图像的恢复方法，包括以下步骤:s1:在模糊图像中选取多个图像块，其中，所述多个图像块相互重叠；S2:根据均一模糊图像恢复方法分别求取所述多个图像块的局部模糊核和去模糊图像块；S3:根据所述多个图像块的局部模糊核和去模糊图像块建立所述多个图像块的局部模糊核与相机全局运动参数之间的对应关系，并根据所述对应关系估计所述相机的初始全局运动参数；S4:对所述相机的初始全局运动参数和所述去模糊图像块进行迭代以得到估计的相机的最终全局运动参数；以及S5:根据所述相机的最终全局运动参数对所述模糊图像进行计算以得到最终的去模糊图像。
[0012]根据本发明实施例的非均一运动模糊图像的恢复方法，通过混合相机采集系统，获得场景的近红外闪光图像和可见光图像，针对非均一运动模糊图像恢复的问题，基于运动模糊图像成像模型，通过结合局部模糊核和相机全局运动参数的对应关系，得到合理有效的运动参数估计，从而能够实现快速、有效、鲁棒及低误差的运动模糊图像恢复，使得采集的图像能够更方便地服务于各种应用。
[0013]另外，根据本发明上述实施例的非均一运动模糊图像的恢复方法还可以具有如下附加的技术特征:
[0014]在本发明的实施例中，所述步骤S2进一步包括:分别对每个图像块进行高斯下采样以根据下采样结果计算下采样图像的模糊核和对应的清晰图像；对所述清晰图像上采样，并根据所述下采样图像的模糊核估计上采样图像的模糊核和对应的清晰图像，直至得到多个图像块的局部模糊核和去模糊图像块。
[0015]在本发明的实施例中，所述步骤S2还包括:分别计算每个图像块的二维图像熵；将二维图像熵小于预设阈值的图像块删除。
[0016]在本发明的实施例中，所述步骤S3包括:从所述多个局部模糊核中选取最优的局部模糊核估计结果；根据所述最优的局部模糊核估计结果求解相机的全局运动参数，作为相机的初始全局运动参数。
[0017]在本发明的实施例中，所述从所述多个局部模糊核中选取最优的局部模糊核估计结果，采用RANSAC算法。
[0018]在本发明的实施例中，所述步骤S4进一步包括:S501:计算图像的边缘信息，并从所述边缘信息中选取重要的边缘信息用于估计重要边缘估计模糊核；S502:根据所述重要边缘估计模糊核更新所述相机的全局运动参数和所述图像的去模糊结果；以及S503A:重复步骤S501?S502，直至所述图像的去模糊结果与上一次的所述图像的去模糊结果之间的变化小于预定数值时，将当前的相机运动参数作为相机的最终全局运动参数。
[0019]在本发明的实施例中，所述步骤S4还包括:S503B:重复步骤S501?S502，直至迭代次数达到预设的最大迭代次数后，将当前的相机运动参数作为相机的最终全局运动参数。
[0020]本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
【专利附图】
【附图说明】[0021]本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中:
[0022]图1为根据本发明一个实施例的非均一运动模糊图像的恢复方法的流程图；
[0023]图2为根据本发明一个实施例的非均一运动模糊图形的恢复方法的获取的相机运动模糊图像示意图；
[0024]图3为现有技术的运动去模糊方法对图2的图像进行复原的结果图；以及
[0025]图4为根据本发明一个实施例的非均一运动模糊图形的恢复方法的对图2的图像进行复原的结果图。
【具体实施方式】
[0026]下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
[0027]在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底” “内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
[0028]此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
[0029]在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
[0030]图1为根据本发明一个实施例的非均一运动模糊图像的恢复方法的流程图。
[0031]如图1所示，根据本发明一个实施例的非均一运动模糊图像的恢复方法，包括以下步骤:
[0032]步骤SIOI，在模糊图像中选取多个图像块,其中，多个图像块相互重叠。
[0033]步骤S102，根据均一模糊图像恢复方法分别求取多个图像块的局部模糊核和去模糊图像块。具体而言，分别对每个图像块进行高斯采样以根据下采样结果计算下采样图像的模糊核和对应的清晰图像，并对该清晰图像进行上采样，再根据下采样图像的模糊核估计上采样图像的模糊核和对应的清晰图像，直至得到多个图像块的局部模糊核和去模糊图像。
[0034]另外，在上述步骤S102中，进一步地，分别计算每个图像块的二维图像熵，并将所得二维图像熵中小于预设阈值的图像块删除。其中，预设阈值根据具体情景预先设定。
[0035]作为一个具体的示例，上述步骤SlOl和步骤S102，换言之即为:首先从原始模糊图像(例如为B)中均匀的选取相互重叠的一系列局部图像块，记为{Βω}。对于每一个图像块，首先计算它的二维图像熵，如下:
[0036]E (B⑴)=-Σ U；vp(u, v) log (p (u, v)),
[0037]其中，p(u, v)表示该点像素值为u而其邻域的平均像素值为V的联合概率分布。图像熵是一个衡量图像纹理特征的统计量。一般来说，具有丰富的纹理信息是图像能够进行较为准确的模糊核估计的一个重要性质。因此，首先将图像熵较小的一些局部图像块去除，从而减少算法的计算量。
[0038]进一步地，在每个局部区域内，多尺度迭代估计模糊核和图像去模糊结果。具体地包括以下步骤:
[0039]第一步，对模糊图像块乂”采用高斯下采样的方法，构建图像的高斯金字塔{βω’?=1，由最底层开始逐级处理。
[0040]第二步，估计模糊核，具体估算如下式:
【权利要求】
1.一种非均一运动模糊图像的恢复方法，其特征在于，包括以下步骤: S1:在模糊图像中选取多个图像块，其中，所述多个图像块相互重叠； 52:根据均一模糊图像恢复方法分别求取所述多个图像块的局部模糊核和去模糊图像块； 53:根据所述多个图像块的局部模糊核和去模糊图像块建立所述多个图像块的局部模糊核与相机全局运动参数之间的对应关系，并根据所述对应关系估计所述相机的初始全局运动参数； 54:对所述相机的初 始全局运动参数和所述去模糊图像块进行迭代以得到估计的相机的最终全局运动参数；以及 55:根据所述相机的最终全局运动参数对所述模糊图像进行计算以得到最终的去模糊图像。
2.如权利要求1所述的非均一运动模糊图像的恢复方法，其特征在于，所述步骤S2进一步包括: 分别对每个图像块进行高斯下采样以根据下采样结果计算下采样图像的模糊核和对应的清晰图像； 对所述清晰图像上采样，并根据所述下采样图像的模糊核估计上采样图像的模糊核和对应的清晰图像，直至得到多个图像块的局部模糊核和去模糊图像块。
3.如权利要求1所述的非均一运动模糊图像的恢复方法，其特征在于，所述步骤S2还包括: 分别计算每个图像块的二维图像熵； 将二维图像熵小于预设阈值的图像块删除。
4.如权利要求1所述的非均一运动模糊图像的恢复方法，其特征在于，所述步骤S3包括: 从所述多个局部模糊核中选取最优的局部模糊核估计结果； 根据所述最优的局部模糊核估计结果求解相机的全局运动参数，作为相机的初始全局运动参数。
5.如权利要求4所述的非均一运动模糊图像的恢复方法，其特征在于，所述从所述多个局部模糊核中选取最优的局部模糊核估计结果，采用RANSAC算法。
6.如权利要求1所述的非均一运动模糊图像的恢复方法，其特征在于，所述步骤S4进一步包括: S501:计算图像的边缘信息，并从所述边缘信息中选取重要的边缘信息用于估计重要边缘估计模糊核； S502:根据所述重要边缘估计模糊核更新所述相机的全局运动参数和所述图像的去模糊结果；以及 S503A:重复步骤S501~S502，直至所述图像的去模糊结果与上一次的所述图像的去模糊结果之间的变化小于预定数值时，将当前的相机运动参数作为相机的最终全局运动参数。
7.如权利要求6所述的非均一运动模糊图像的恢复方法，其特征在于，还包括: S503B:重复步骤S501~S502，直至迭代次数达到预设的最大迭代次数后，将当前的相机运动参数作为 相机 的最终全局运动参数。
【文档编号】G06T5/00GK103544681SQ201310377605
【公开日】2014年1月29日 申请日期:2013年8月27日 优先权日:2013年8月27日
【发明者】戴琼海, 李雯, 张军 申请人:清华大学, 北京航空航天大学