一种基于相机定位的图像去模糊方法与流程

本发明属于计算机视觉领域，尤其针对曝光时间内相机运动导致的运动模糊，具体涉及一种基于相机定位的图像去模糊方法。

背景技术：

在视觉slam中，由于在曝光时间内相机的抖动会使得拍摄到的图像中出现模糊现象。运动模糊的存在使得难以对重建的地标执行数据关联以及重建新特征，从而导致slam系统定位或重建的失败。

图像去模糊作为图像复原领域的一个重要方向，在现实生活中有着广泛的应用。在slam中，图像去模糊后能提供更多的特征，使系统更好的执行数据关联以及重建新特征，在后续帧中能够成功的继续slam过程，提高了视觉slam对运动模糊的鲁棒性。

近几十年来已经开发出用于消除运动模糊的高质量方法，但是大多数都需要大量的计算，因此很难使用这些方法来恢复视觉slam的图像。fergus等人基于自然图像梯度的统计信息和变分贝叶斯方法，在单幅图的复原中取得了较好的效果，但是参数估计致使速度很慢，而且对有些大模糊核的图复原结果不够稳定。在此基础上，qishan等人针对振铃效应的产生进行了分析，并提出了全局先验和局部先验，在模糊核估计的准确性和对振铃效应的抑制上都取得了更佳的效果，但算法收敛速度不够快，且参数的设置对结果有较大影响，时间复杂度较大。

本发明主要研究一种基于相机定位的图像去模糊算法，利用深度图像和惯性测量单元(imu)计算出产生运动模糊的相机运动，进而利用该相机运动对图像区块进行去模糊操作。由于该算法只对图像中区块进行去模糊，计算量小，运算速度明显提高。

技术实现要素：

本发明针对在曝光时间内相机抖动产生的图像模糊，提出一种基于相机定位的图像去模糊方法。

图像去模糊系统主要分为两大阶段：模糊图像去模糊阶段和去模糊图像特征提取阶段。

模糊图像去模糊阶段：

本发明利用视觉slam系统的深度相机采集到的深度图像，得到被拍摄场景的深度信息，进而获得场景点的三维坐标。利用惯性测量单元(imu)获得相机在曝光时间内的运动信息，包括平移和旋转信息。利用以上数据计算选定图像区块的模糊核，再使用模糊核进行lucy-richardson反卷积操作，得到去模糊图像。

去模糊图像特征提取阶段：

该阶段对模糊图像去模糊阶段处理后的图像进行orb特征提取，并使用提取的特征进行后续的slam过程。

本发明具体按照以下步骤实施：

步骤1、通过惯性测量单元(imu)获得产生图像模糊的相机运动轨迹信息，包括平移和旋转信息，进而计算在曝光时间内相机的运动。

步骤2、利用深度相机采集到对应模糊图像的深度图像，对深度图像进行滤波去噪预处理。利用处理后的深度图像得到场景点的深度信息，进而构建场景点的三维坐标l。

步骤3、使用步骤1得到的相机运动信息和步骤2得到的场景点三维坐标l计算选定图像区块的模糊核。

步骤4、利用步骤3得到的模糊核，通过lucy-richardson(lr)反卷积算法对选定图像区块进行去模糊。

步骤5、对去模糊处理后的图像，利用orb特征提取方法提取特征点，并使用提取的特征点进行后续的slam过程。

本发明方法具有的优点及有益结果为：

1.在没有去模糊的情况下，很难获得足够的定位功能，视觉slam的准确性大幅下降。本发明提出将视觉slam与图像去模糊算法相结合，通过考虑运动模糊，将视觉slam中获得的信息用于估计运动模糊核。通过去模糊图像，极大地增强视觉slam中的数据关联，并且即使对于模糊的场景，也可以稳健地执行定位功能。

2.本发明利用深度图像和惯性测量单元得到场景点的深度信息和相机运动信息，进而计算出图像区块的模糊核。根据相机运动和场景点的三维空间坐标，可以容易地预测选定区块的运动模糊核，而无需任何复杂的图像处理算法。

3.本发明预先计算出模糊核，因此去模糊问题被称为非盲去卷积，与大多数盲去卷积的方法相比，这个方法更加简单快速。

4.利用深度图像来得到场景的深度信息，进而消除由相机运动和场景的深度变化引起的非均匀模糊。利用惯性测量单元的加速度计和陀螺仪来改善模糊图像，可以帮助提高去模糊的准确性和效率。

5.本发明仅对选定区块进行去模糊，在一定程度上减少了计算量，提高了运算速度。

附图说明

图1是本发明的系统流程图；

具体实施方式

下面结合具体实施方式对本发明进行详细的说明。

本发明提出的基于相机定位的图像去模糊方法，按照以下步骤实施。

步骤1、将模糊图像分为5×5的小区块。再利用惯性测量单元(imu)获得相机运动信息，包括平移和旋转信息，得到在曝光时间内相机的运动p^k：

其中，k表示第k帧图像，t1表示连续两帧图像之间的变换矩阵，t1中的数据来源于惯性测量单元，r为3×3的正交矩阵，表示旋转信息，t为三维的向量，三个维度分别代表在x、y、z三个方向上的平移。表示实数集，so(3)称为特殊正交群(specialorthogonalgroup)或称旋转矩阵群。

步骤2、对深度图像进行预处理，包括滤波去噪。利用处理后的深度图像得到场景点的深度信息，即三维坐标中z轴的坐标。利用深度相机的内参，将场景中某一点的图像坐标转换为深度相机坐标系下的三维坐标l。

其中，(u^k,v^k)为第k帧模糊图像上的一点，z^k_depth为对应深度图像上(u^k,v^k)处的深度值。fx、fy、cx、cy为深度相机的内参，构成的矩阵称为深度相机的内参矩阵。(x^k,y^k,z^k_depth)为(u^k,v^k)对应深度相机坐标系下的坐标值，即l＝(x^k,y^k,z^k_depth,1)^t。

步骤3、使用步骤1得到的相机运动p^k和步骤2得到的场景点三维坐标l计算得到(u^k-1,v^k-1)。再计算模糊图像中选定区块的模糊核，将模糊核κ定义为κ(l，φ)，其中l为模糊量，φ为模糊方向，使用以下公式计算：

其中k1为深度相机的内参矩阵，z^k-1_depth为场景点在第k-1帧深度图像中的深度值，h(·)为齐次坐标到非齐次坐标的映射函数。

步骤4、利用步骤3得到的模糊核，通过lucy-richardson(lr)反卷积算法对区块进行去模糊。

步骤5、在得到的去模糊图像上，利用orb特征提取方法对去模糊区块提取特征点，并使用提取的特征进行后续的slam过程。