专利名称：一种全局不一致图像去模糊的方法及系统的制作方法
技术领域：
本发明涉及计算机视觉及计算摄像学领域，特别涉及一种全局不一致图像去模糊方法及装置。
背景技术：
随着科技进步、社会发展，普通人对于拍照成像的清晰度的要求越来越高。由于相机抖动造成图像模糊时造成拍摄图像质量下降的重要原因。随着数字摄像设备的发展，数码摄像器材大量普及，这些家用级摄像器材大多缺乏效果良好却十分昂贵的光学防抖动装置，而另一方面使用这类摄像器材的消费者一般不具备很好的专业摄像知识，因而造成大量图片由于拍摄时的不慎操作而发生模糊。现有的盲图像去模糊算法即针对这一问题同时估算图像的模糊核和清晰图像。这类算法大多假设图像具有全局一致的模糊核，以达到减少未知数的个数、降低算法的病态性的目的。由于盲区模糊问题本身是病态，如果采用全局不一致的模糊模型，将使模型参数大大增加，加剧的问题的病态性，往往造成问题无法求解或算法不收敛。然而实际上，全局一致的模糊假设并不能很好的描述图像的模糊过程。由于相机的实际投影模型为透视投影，图像中各点的模糊核并不完全相同，尤其是对于焦距较短的相机，其模糊核在图像四周变化很大。此时采用全局一致的模糊模型，很可能无法得到理想的去模糊效果。
发明内容
本发明的目的旨在至少解决上述的技术缺陷之一。为此，本发明的第一个目的在于提出一种全局不一致图像去模糊方法，该方法可以使模糊模型更接近于实际情况，达到更加理想的去模糊效果。本发明的第二个目的在于提出一种全局不一致图像去模糊系统。为达到上述目的，本发明一方面的实施例提出了一种全局不一致图像去模糊方法，包括如下步骤对两台拍照装置为正交设置，并对两台所述拍照装置进行校准；根据校准后的所述拍照装置，建立两台所述拍照装置的三维旋转运动模型；两台所述拍照装置分别采集第一模糊图像和第二模糊图像，并根据所述第一模糊图像和第二模糊图像的纹理信息和饱和信息分别在所述第一模糊图像和第二模糊图像上选择第一局部图像分块和第二局部图像分块，并对的所述第一局部图像分块和第二局部图像分块进行估计以得到对应的第一局部模糊核和第二局部模糊核；将所述第一局部模糊核和第二局部模糊核分别反投回至所述三维旋转运动模型的三维运动空间以得到两个近似正交的二维流形，以及对所述二维流形进行求交运算以得到所述两台拍照装置的三维运动轨迹；以及对所述三维运动轨迹进行优化以得到所述两台拍照装置的清晰三维运动轨迹。根据本发明实施例的基于正交相机对的全局不一致图像去模糊方法，通过采集两个不同视角的图像信息，由三维几何关系和投影模型，计算相机的三维运动，并且根据求得的相机运动参数和双目相机的几何关系建立起全局不一致的图像模糊模型，根据透视几何原理计算图像上每一点的模 糊信息，最终实现全局不一致的图像去模糊。在本发明的一个实施例中，两台所述拍照装置的成像参数一致。在本发明的一个实施例中，两台所述装置均固定于底座上，且位于同一高度。在本发明的一个实施例中，两台所述拍照装置为正交设置，包括如下步骤所述两台拍照装置的光轴为相互正交且光心重合。在本发明的一个实施例中，两台所述拍照装置经过校准，包括如下步骤调整两台所述拍照装置中的一台的旋转角度以及另一台拍照装置的位置和光轴方向以将两台所述拍照装置的视角重合；恢复两台所述拍照装置中的一台的旋转角度为初始状态。在本发明的一个实施例中，所述三维旋转运动模型为X1 (t) = KR(^t)KT1X
T ο -θζ θγ TR{t) = exp ^ θζ 0 -θχ >
[~θγ θχ O」其中，X为清晰图象中的一个点的齐次图像坐标，(t)为清晰图象中的点X在t时刻时在CCD成像上对应点的位置，K为相机的内参矩阵，R(t)为相机的旋转矩阵，R(t)由相机绕三个轴的旋转运动参数[θ χ θ γ θζ]计算得到，且随着时间变化并在三维空间中连成一条轨迹，X、Y和Z分别为三个旋转自由度的方向。在本发明的一个实施例中，根据所述第一模糊图像和第二模糊图像的纹理信息分别计算所述第一模糊图像和第二模糊图像中的各个局部图像分块的置信权值；检测所述局部图像分块中的饱和区域，并将饱和像素个数大于或等于预定数量的局部图像分块的置信权值置为O ;以及分别在所述第一模糊图像和第二模糊图像的图像块中选择置信权值最大的图像块作为第一局部图像分块和第二局部图像分块。在本发明的一个实施例中，采用Levenberg-Marquardt优化算法对所述三维运动轨迹进行优化以得到所述两台拍照装置的清晰三维运动轨迹和清晰图像。本发明另一方面的实施例还提出了一种全局不一致图像去模糊系统，包括第一拍照装置，用于采集第一模糊图像；第二拍照装置，用于采集第二模糊图像；其中，所述第二拍照装置和所述第一拍照装置为正交设置；三维旋转运动模型建立装置，用于在第一拍照装置和第二拍照装置校准完毕后，建立所述第一和第二拍照装置的三维选择运动模型；局部模糊核估计装置，用于根据所述第一模糊图像和第二模糊图像的纹理信息和饱和信息分别在所述第一模糊图像和第二模糊图像上选择第一局部图像分块和第二局部图像分块，并对的所述第一局部图像分块和第二局部图像分块进行估计以得到对应的第一局部模糊核和第二局部模糊核；三维运动估计装置，将所述第一局部模糊核和第二局部模糊核分别反投回至所述三维旋转运动模型的三维运动空间以得到两个近似正交的二维流形，以及对所述二维流形进行求交运算以得到所述两台拍照装置的三维运动轨迹；以及优化装置，用于对所述三维运动轨迹进行优化以得到所述两台拍照装置的清晰三维运动轨迹。根据本发明实施例的全局不一致图像去模糊系统，采用正交布置的双目相机系统，通过严格控制两个相机使其同步曝光，可以同时采集两个不同视角的图像信息。一旦用于相机在曝光时间运动而采集得到运动模糊的图像对，我们可以通过两幅图像中不同的模糊信息，计算相机系统在曝光时间内的三维运动，并且根据透视几何原理计算图像上每一点的模糊信息，最终实现全局不一致的图像去模糊。在本发明的一个实施例中，所述第一拍照装置和第二拍照装置的成像参数一致。在本发明的一个实施例中，所述第一拍照装置和第二拍照装置均固定于底座上，且位于同一高度。在本发明的一个实施例中，所述第一拍照装置和第二拍照装置的光轴为相互正交且光心重合。
在本发明的一个实施例中，所述三维旋转运动模型为χ' (t) = KR(^t)KT1X
权利要求
1.ー种全局不一致图像去模糊方法，其特征在于，包括如下步骤 对两台拍照装置为正交设置，并对两台所述拍照装置进行校准； 根据校准后的所述拍照装置，建立两台所述拍照装置的三维旋转运动模型； 两台所述拍照装置分别采集第一模糊图像和第二模糊图像，井根据所述第一模糊图像和第二模糊图像的纹理信息和饱和信息分别在所述第一模糊图像和第二模糊图像上选择第一局部图像块和第二局部图像块，并对的所述第一局部图像块和第二局部图像块进行估计以得到对应的第一局部模糊核和第二局部模糊核； 将所述第一局部模糊核和第二局部模糊核分别反投回至所述三维旋转运动模型的三维运动空间以得到两个近似正交的ニ维流形，以及对所述ニ维流形进行求交运算以得到所述两台拍照装置的三维运动轨迹；以及 对所述三维运动轨迹进行优化以得到所述两台拍照装置的清晰三维运动轨迹和清晰图像。
2.如权利要求I所述的图像去模糊方法，其特征在于，两台所述拍照装置的成像參数—致。
3.如权利要求2所述的图像去模糊方法，其特征在于，两台所述装置的均固定于底座上，且位于同一高度。
4.如权利要求3所述的图像去模糊方法，其特征在于，所述对两台拍照装置为正交设置，包括如下步骤 设置所述两台拍照装置的光轴为相互正交且光心重合。
5.如权利要求I所述的图像去模糊方法，其特征在于，所述对两台所述拍照装置进行校准，包括如下步骤 调整两台所述拍照装置中的一台的旋转角度以及另一台拍照装置的位置和光轴方向以将两台所述拍照装置的视角重合； 恢复两台所述拍照装置中的一台的旋转角度为初始状态。
6.如权利要求I所述的图像去模糊方法，其特征在于，所述三维旋转运动模型为
7.如权利要求I所述的图像去模糊方法，其特征在于，所述选择第一局部图像分块和第二局部图像分块，包括如下步骤 根据所述第一模糊图像和第二模糊图像的纹理信息分别计算所述第一模糊图像和第ニ模糊图像中的各个局部图像分块的置信权值； 检测所述局部图像分块中的饱和区域，并将饱和像素个数大于或等于预定数量的局部图像分块的置信权值置为O ;以及分别在所述第一模糊图像和第二模糊图像的所有局部图像分块中选择置信权值最大的图像块作为第一局部图像分块和第二局部图像分块。
8.如权利要求I所述的图像去模糊方法，其特征在于，采用Levenberg-Marquardt优化算法对所述三维运动轨迹进行优化以得到所述两台拍照装置的清晰三维运动轨迹和清晰图像。
9.ー种全局不一致图像去模糊系统，其特征在于，包括 第一拍照装置，用于采集第一模糊图像； 第二拍照装置，用于采集第二模糊图像，其中，所述第二拍照装置和所述第一拍照装置为正交设置； 三维旋转运动模型建立装置，用于在第一拍照装置和第二拍照装置校准完毕后，建立所述第一和第二拍照装置的三维选择运动模型； 局部模糊核估计装置，用于根据所述第一模糊图像和第二模糊图像的纹理信息和饱和信息分别在所述第一模糊图像和第二模糊图像上选择第一局部图像分块和第二局部图像分块，并对的所述第一局部图像分块和第二局部图像分块进行估计以得到对应的第一局部模糊核和第二局部模糊核； 三维运动估计装置，将所述第一局部模糊核和第二局部模糊核分别反投回至所述三维旋转运动模型的三维运动空间以得到两个近似正交的ニ维流形，以及对所述ニ维流形进行求交运算以得到所述两台拍照装置的三维运动轨迹；以及 优化装置，用于对所述三维运动轨迹进行优化以得到所述两台拍照装置的清晰三维运动轨迹。
10.如权利要求9所述的图像去模糊系统，其特征在于，所述第一拍照装置和第二拍照装置的成像參数一致。
11.如权利要求10所述的图像去模糊系统，其特征在于，所述第一拍照装置和第二拍照装置均固定于底座上，且位于同一高度。
12.如权利要求11所述的图像去模糊系统，其特征在于，所述第一拍照装置和第二拍照装置的光轴为相互正交且光心重合。
13.如权利要求9所述的图像去模糊系统，其特征在于，所述三维旋转运动模型为
14.如权利要求9所述的图像去模糊系统，其特征在于，所述局部模糊核估计装置分别根据所述第一模糊图像和第二模糊图像的纹理信息分别计算所述第一模糊图像和第二模糊图像中的各个局部图像分块的置信权值，并检测所述局部图像分块中的饱和区域，并将饱和像素个数大于或等于预定数量的局部图像分块的置信权值置为0，以及分别在所述第一模糊图像和第二模糊图像的所有局部图像分块中选择置信权值最大的图像块作为第一局部图像分块和第二局部图像分块。
15.如权利要求9所述的图像去模糊系统，其特征在干，所述优化装置采用Levenberg-Marquardt优化算法对所述三维运动轨迹进行优化以得到所述两台拍照装置的清晰三维运动轨迹和清晰图像。
全文摘要
本发明提出一种全局不一致图像去模糊方法，包括如下步骤将两台拍照装置设置为正交，并对两台拍照装置进行校准；建立两台所述拍照装置的三维旋转运动模型；根据图像纹理等信息在两幅图像上各选择一块局部图像块，并根据该图像块估计局部模糊核。将求得的两幅图像中的局部模糊核进行反投影、求交线等运算通过估计得到拍照装置三维运动轨迹；对得到的三维运动轨迹进行优化以得到拍照装置的清晰三维运动轨迹和清晰图像。本发明还提出了一种全局不一致图像去模糊系统，包括两台拍照装置；三维旋转运动模型建立装置；局部模糊核估计装置；三维运动估计装置；以及优化装置。本发明可以使模糊模型更接近于实际情况，达到更加理想的去模糊效果。
文档编号H04N5/232GK102663718SQ20121007324
公开日2012年9月12日 申请日期2012年3月19日 优先权日2012年3月19日
发明者岳涛, 戴琼海 申请人:清华大学