专利名称：一种基于近红外图像的运动模糊图像去模糊方法和装置的制作方法
技术领域：
本发明涉及图像复原领域，尤其涉及一种基于近红外闪光图像辅助的运动模糊图像恢复方法和系统。
背景技术：
运动模糊是一种在成像过程中普遍存在的现象。位于例如快速行驶的汽车、飞机或其他飞行器上的相机，在拍摄图像的过程中由于拍摄对象相对于相机的速度过快或者拍摄过程中相机的抖动，使得拍摄的图像产生运动模糊，严重影响了获取图像的质量。实现运动模糊图像的复原，恢复原始的清晰图像，有利于获取更高分辨率的图像细节信息，这对于使用许多基于图像信息进行的后续处理的应用是非常必要的预处理过程。在运动模糊的研究当中，通常假设得到的模糊图像服从以下成像模型Β = ΙΘΚ + η其中，B为获取的模糊图像，I为要恢复的清晰图像，K为模糊核，η为加性噪声。在该模型的定义中，模糊图像是由清晰图像与模糊核卷积，再加入噪声而产生的。图像的去运动模糊的问题是在图像获取以后，通过一定的方法获取运动信息，从而最大可能的恢复原始的清晰图像。按照模糊核为已知或未知，图像去模糊通常可以分为非盲去卷积和盲去卷积两类。非盲去卷积问题，即为模糊核已知或已通过其他方式求得，由图像去卷积估计清晰图像。传统的非盲去卷积方法使用维纳(Wiener)滤波恢复图像，对噪声的抑制作用比较差。1974年提出的理查森露西(Richardson-Lucy，RL)算法在图像恢复中应用广泛，但是随着迭代次数的增加，恢复图像的振铃效应变得较为严重，噪声的影响也随之增大。近年来， 一些方法使用TV范数、自然图像梯度稀疏、小框架(Framelet)域变换系数稀疏等作为约束进行图像恢复。由于成像过程中的运动模糊会造成图像的高频信息丢失，而该问题并不是简单的可逆过程，同时模糊核的频域零点使得图像噪声被放大，并在图像的边缘等不连续处产生严重的振铃效应。因此，使用现有方法对图像去卷积的结果往往难以令人满意。在实际的运动去模糊问题中，模糊核通常是未知的，也就是盲去卷积问题。这样的图像恢复工作一般可以分成两步来完成一是运动模糊核的估计；二是根据估计的模糊核的图像去卷积。模糊核的估计方法包括基于单幅图像、两幅图像或多帧图像的运动信息获取。基于单幅图像的运动去模糊是较为欠定的问题，通常是通过分析模糊图像和清晰图像的特点，将得到其分布情况的先验信息作为约束条件添加到图像恢复过程中。为使获取的信息更为丰富，大量的研究开始针对多幅图像，以获取更佳的恢复结果，例如采用同一场景的两幅运动模糊图像，采用一幅运动模糊和一幅低曝光高噪声图像组合，以及采用一个快速CCD和一个慢速OCD同时获取图像等方式。此类方法连续对场景进行拍摄，要求场景是静态的，并且对图像的对准有很高要求，而模糊图像的对准是较为困难的，即使手动调整也很难实现较为精确的对准。近年来，由于近红外图像具备可以获得清晰而丰富的边缘和纹理信息等特点，而在图像复原等领域受到广泛关注。低光照环境下，由于光线不足使得可见光相机曝光时间加长，导致可能存在较为严重的相机抖动模糊，而使用近红外闪光得到的近红外图像则可明显缩短曝光时间，从而得到清晰的图像。同时，由于近红外为不可见光，闪光不会对被拍摄事物造成影响，也不会影响可见光模糊图像的采集，因而二者可以同时拍摄。对于快速行驶的汽车及飞机等载体上的拍摄问题，拍摄对象相对于相机的速度过快或者拍摄过程中的抖动，使得模糊核尺度较大且较为复杂，基于单幅图像进行图像恢复很难得到理想的结果。由于相机相对于场景的快速移动，对同一场景连续拍摄也是不易实现的。目前，还没有一种方法能够有效地解决上述问题。
发明内容
为了解决上述技术问题，本发明提供了一种基于近红外闪光图像的有效、鲁棒的运动模糊图像恢复方法。本发明的发明人注意到在低光照拍摄条件下、图像去模糊处理的模糊核尺度较大较复杂、且具有拍摄场景变化快的特点，这导致现有处理方法提出的系统和算法无法被有效地应用。本发明利用混合相机采集系统，从运动模糊的实际物理成像模型出发，提出了有效实用的模糊图像去模糊方法。本发明提供了一种运动模糊图像去模糊方法，其特征在于，包括以下步骤步骤 1，获取场景的可见光模糊图像和近红外闪光图像，所述近红外闪光图像的曝光时长小于可见光的曝光时长；步骤2，在所述近红外闪光图像中选取不包含由近红外闪光带来的阴影和高光区域作为选定区域，在可见光模糊图像中选取对应于近红外闪光图像的选定区域的区域作为所述可见光模糊图像的选定区域；步骤3，基于所述选定区域中的近红外闪光图像和选定区域中的可见光模糊图像的梯度信息，通过多尺度迭代方式估计第一模糊核，基于所述第一模糊核得到所述选定区域中的可见光模糊图像去模糊后的第一清晰图像；步骤 4，基于所述第一清晰图像来约束所述第一模糊核的空间稀疏性，以得到第二模糊核；步骤 5，基于所述第二模糊核，得到作为所述可见光模糊图像去模糊结果的第二清晰图像。进一步，该方法还包括在所述步骤1中，利用分光镜将场景光分离为可见光和近红外光，分别由对应的图像采集器件获取以形成可见光模糊图像和近红外闪光图像。进一步，该方法还包括在所述步骤3中进一步包括以下步骤步骤31，对选定区域中的可见光模糊图像和选定区域中的近红外闪光图像采用高斯下采样的方法，构建分辨率逐级降低的图像组，由最底层的图像开始逐级处理；步骤32，计算当前层近红外闪光图像中包含边缘的区域的重要程度，标记出近红外闪光图像中大尺度边缘的位置信息；步骤 33，基于当前层近红外闪光图像的大尺度边缘的位置信息计算当前层的近红外闪光图像的边缘梯度信息，将前次迭代运算得出的清晰图像作为初始清晰图像得出当前层的清晰图像的边缘梯度信，当前层为最底层且迭代运算为第一次时，选取最底层的可见光模糊图像作为初始清晰图像计算得出当前层的清晰图像的边缘梯度信；步骤34，基于当前层近红外闪光图像的边缘梯度信息和当前层清晰图像的边缘梯度信息估计当前层的模糊核；步骤35， 基于得到的当前层的模糊核和当前层近红外闪光图像的边缘梯度信息，得出当前层可见光模糊图像的清晰图像；步骤36，若迭代次数未达到预设值，则将步骤35中得到清晰图像作为当前层的初始清晰图像返回步骤32进行迭代处理，反之，进入步骤37 ；步骤37，若当前层不是最高层，则将得到的当前层的清晰图像进行高斯上采样，其采样尺度选取与高斯下采样的尺度相同，得到的结果作为上一层的初始清晰图像，重复步骤32至步骤36，直至达到最高层，得到最高层图像的模糊核作为第一模糊核，得到最高层的清晰图像作为第一清晰图像。进一步，该方法还包括所述步骤34中，估计当前层的模糊核公式为
权利要求
1.一种运动模糊图像去模糊方法，其特征在于，包括以下步骤步骤1，获取场景的可见光模糊图像和近红外闪光图像，所述近红外闪光图像的曝光时长小于可见光的曝光时长；步骤2，在所述近红外闪光图像中选取不包含由近红外闪光带来的阴影和高光区域作为选定区域，在可见光模糊图像中选取对应于近红外闪光图像的选定区域的区域作为所述可见光模糊图像的选定区域；步骤3，基于所述选定区域中的近红外闪光图像和选定区域中的可见光模糊图像的梯度信息，通过多尺度迭代方式估计第一模糊核，基于所述第一模糊核得到所述选定区域中的可见光模糊图像去模糊后的第一清晰图像；步骤4，基于所述第一清晰图像来约束所述第一模糊核的空间稀疏性，以得到第二模糊核；步骤5，基于所述第二模糊核，得到作为所述可见光模糊图像去模糊结果的第二清晰图像。
2.根据权利要求1所述的方法，其特征在于，在所述步骤1中，利用分光镜将场景光分离为可见光和近红外光，分别由对应的图像采集器件获取以形成可见光模糊图像和近红外闪光图像。
3.根据权利要求1所述的方法，其特征在于，在所述步骤3中进一步包括以下步骤 步骤31，对选定区域中的可见光模糊图像和选定区域中的近红外闪光图像采用高斯下采样的方法，构建分辨率逐级降低的图像组，由最底层的图像开始逐级处理；步骤32，计算当前层近红外闪光图像中包含边缘的区域的重要程度，标记出近红外闪光图像中大尺度边缘的位置信息；步骤33，基于当前层近红外闪光图像的大尺度边缘的位置信息计算当前层的近红外闪光图像的边缘梯度信息，将前次迭代运算得出的清晰图像作为初始清晰图像得出当前层的清晰图像的边缘梯度信，当前层为最底层且迭代运算为第一次时，选取最底层的可见光模糊图像作为初始清晰图像计算得出当前层的清晰图像的边缘梯度信；步骤34，基于当前层近红外闪光图像的边缘梯度信息和当前层清晰图像的边缘梯度信息估计当前层的模糊核；步骤35，基于得到的当前层的模糊核和当前层近红外闪光图像的边缘梯度信息，得出当前层可见光模糊图像的清晰图像；步骤36，若迭代次数未达到预设值，则将步骤35中得到清晰图像作为当前层的初始清晰图像返回步骤32进行迭代处理，反之，进入步骤37 ；步骤37，若当前层不是最高层，则将得到的当前层的清晰图像进行高斯上采样，其采样尺度选取与高斯下采样的尺度相同，得到的结果作为上一层的初始清晰图像，重复步骤32 至步骤36，直至达到最高层，得到最高层图像的模糊核作为第一模糊核，得到最高层的清晰图像作为第一清晰图像。
4.根据权利要求3所述的方法，其特征在于，所述步骤34中，估计当前层的模糊核公式为其中，K1为当前层的模糊核，V/}为当前层清晰图像的边缘梯度信息，Vjgz为当前层可见光模糊图像B1的梯度信息，λ κ为预设权值。
5.根据权利要求4所述的方法，其特征在于，在所述步骤35中，得出当前层可见光模糊图像的清晰图像的公式为I1 = min(||/ K1-B1『+ λΝ (V/ - VN1s『)其中，I1为当前层可见光模糊图像的清晰图像，K1当前层的模糊核，B1为当前层可见光模糊图像，V^为当前层近红外闪光图像的边缘梯度信息，v/为I的梯度，λΝ为预设权值。
6.根据权利要求1或2所述的方法，其特征在于，在所述步骤4中，计算所述第一清晰图像的边缘梯度信息；基于所述第一清晰图像的边缘梯度信息，由迭代支撑检测算法估计得出第二模糊核。
7.根据权利要求6所述的方法，其特征在于，估计第二模糊核的公式为K = mm(\WIs K-WB\\ +γ^Κ^)m=S其中，兌为第二模糊核，V/,为第一清晰图像的边缘梯度信息，Vjg为可见光模糊图像的梯度信息，Y为预设权值J =约，其是由Kn中所有值小于一个预定值ε的像素点的坐标组成的集合，夂二是Kn的一个点，m表示Kn中坐标。
8.根据权利要求7所述的方法，其特征在于，在所述步骤5中，标记出可见光模糊图像的高光区域及近红外闪光图像出现阴影和高光的区域，利用所述可见光模糊图像和近红外闪光图像得出对图像去模糊求解进行约束的权值系数；计算所获取的近红外闪光图像的边缘梯度信息，根据所述第二模糊核、所述近红外闪光图像的边缘梯度信息和所述权值系数，得出所述可见光模糊图像的第二清晰图像，公式如下I = min(||/ -万『+ λΝΜ。|V/ - VNs|| + A1 ||V/||)其中，/为第二清晰图像，龙为第二模糊核，V乂为近红外闪光图像的边缘梯度信息，B为可见光模糊图像，An^Ai为预设权值，V/为I的梯度，M为对图像去模糊求解进行约束的权值系数。
9.一种图像处理装置，其特征在于，包括以下单元图像获取单元，其获取场景的可见光模糊图像和近红外闪光图像，所述近红外闪光图像的曝光时长小于可见光的曝光时长；区域选取单元，其在所述近红外闪光图像中选取不包含由近红外闪光带来的阴影和高光区域作为选定区域，在可见光模糊图像中选取对应于近红外闪光图像的选定区域的区域作为所述可见光模糊图像的选定区域；第一清晰图像生成单元，其基于所述选定区域中的近红外闪光图像和选定区域中的可见光模糊图像的梯度信息，通过多尺度迭代方式估计第一模糊核，基于所述第一模糊核得到所述选定区域中的可见光模糊图像去模糊后的第一清晰图像；模糊核细化单元，其基于所述第一清晰图像来约束所述第一模糊核的空间稀疏性，以得到第二模糊核；第二清晰图像生成单元，其基于所述第二模糊核，得到作为所述可见光模糊图像去模糊结果的第二清晰图像。
全文摘要
本发明公开了一种运动模糊图像去模糊方法和装置，所述方法包括以下步骤步骤1，获取场景的可见光模糊图像和近红外闪光图像；步骤2，在所述近红外闪光图像中选取不包含由近红外闪光带来的阴影和高光区域作为选定区域，在可见光模糊图像中选取对应的区域作为选定区域；步骤3，基于所述选定区域的梯度信息，估计第一模糊核和第一清晰图像；步骤4，基于所述第一清晰图像得到第二模糊核；步骤5，基于所述第二模糊核，得到作为所述可见光模糊图像去模糊结果的第二清晰图像。本发明通过结合近红外闪光图像与可见光模糊图像的梯度相关性，对低光照条件下的可见光模糊图像进行快速、有效的去模糊复原，从而使得采集的图像能够更好地服务于各种应用。
文档编号G06T5/00GK102254309SQ20111021283
公开日2011年11月23日 申请日期2011年7月27日 优先权日2011年7月27日
发明者戴琼海, 李雯 申请人:北京航空航天大学, 清华大学