一种适用于RGBD-SLAM的实时动态配准方法及存储介质与流程

本发明涉及slam的图像处理方法，尤其是一种适用于rgbd-slam的实时动态配准方法及机器可读存储介质。

背景技术：

slam(simultaneouslocalizationandmapping，同时定位与地图构建)最早源于机器人领域，其目标是在一个未知的环境中实时重建环境的三维结构并同时对机器人自身进行定位。作为自主机器人的核心技术，slam在机器人导航、控制、生产等方面都有着重要的研究意义。尤其在二十一世纪，以视觉传感器为中心的视觉slam技术，在理论和方法上都经历了明显的转变与突破，正逐步从实验室研究迈向成熟的市场应用。早期的sfm(structurefrommotion)技术一般是离线处理的，后来随着技术的发展出现实时的sfm技术，可以归于slam的范围。slam技术根据拍摄的视频信息推断出摄像头在未知环境中的方位，并同时构建环境地图，其基本原理为多视图几何原理。slam的目标为同时恢复出每帧图像对应的相机运动参数c1...cm，以及场景三维结构x1...xn；其中每个相机运动参数ci包含了相机的位置和朝向信息，通常表达为一个3×3的旋转矩阵ri和一个三d维位置变量pi。

目前，rgbd-slam凭借其不需要初始化，定位精确的优势，应用越来越广泛。rgbd(rgb+depthmap)中的深度信息可以由双目视觉、结构光、tof(timeofflight)等传感器提供，特别是tof，它能够检测的距离最远，而且不用像双目视觉那样计算深度。但在rgbd-slam系统运行之前，需要保证每一帧的彩色图与对应的深度具备精确的配准，这样才能使得slam系统更加准确地计算3d点坐标，从而更加准确地定位。

中国专利申请cn1086249881a公开了“增强现实视场空间和虚拟三维目标动态配准方法”，该方法包括以下步骤：获取真实场景信息和相机位置信息；通过图像系统首先根据相机的位置信息和真实场景中的定位标记来计算虚拟物体坐标到相机视平面的仿射变换，按照仿射变换矩阵在视平面上绘制虚拟物体，通过光学透视头盔显示器显示，得到增强现实系统图像；对图像进行二值化分割，根据分割后图像的灰度特性判断哪些部分属于环境背景，哪些部分属于标志物；对二值图像做连通域分析，在图像中搜索面积较大的黑色像素区域来确定标识投影区域；在标识投影区域上提取曲率变化较大的点，从而定义连通域的形状；在图像系统中将连通域的形状与三维模型对应起来，得出标识物的正确三维模型。该方法具有以下不足：该专利一方面在连通域的分析流程较复杂，不利于实时配准，另一方面该方法只是对图像进行二值化分割，极易受噪声影响，且分割精度不高，因此配准精度无法保证。

技术实现要素：

发明目的：针对上述现有技术存在的缺陷，本发明旨在增加rgbd-slam在实时视频帧中彩色图与其对应的深度信息的动态配准功能，提供一种适用于rgbd-slam的实时动态配准方法及机器可读存储介质。

技术方案：一种适用于rgbd-slam的实时动态配准方法，包括如下步骤：

(1)图像预处理：分别检测彩色图与红外图的边缘信息，得到彩色边缘检测图与红外边缘检测图；

(2)图像配准：分别对彩色边缘检测图与红外边缘检测图进行分块匹配，计算出两图像相对的最佳偏移量；根据相对偏移量对图像进行偏移，得到红外图与彩色图配准对齐后的深度图。

进一步的，步骤(1)所述的图像预处理具体包括如下子步骤：

(1.1)图像灰度化与去噪：将获取的实时视频帧的彩色与红外图像转化为灰度图，运用中值滤波进行去噪处理；

(1.2)相位一致性边缘检测：对去噪处理后的图像计算所有点的相位一致性，进行相位一致性变换，确定灰度值大的区域，然后对这些灰度值大的区域采用形态学方法进行处理，获得边缘曲线。

进一步的，步骤(1.2)所述相位一致性的计算方法为：

对于一维信号f(x)，其傅里叶展开式为

其中，第n个傅里叶展开分量的幅值是an，ω为角频率，为第n个傅里叶展开分量的初相，为x处第n个傅里叶分量的相位值；

则相位一致性为：

式中，是使pc在x点取极大值时傅里叶变换各分量相角的加权平均。

进一步的，步骤(1.2)所述的确定灰度值大的区域具体是采用最大类间方差法对相位一致性变换后的图像进行分割，获得灰度值大的区域。

进一步的，对于红外图，步骤(1.2)所述的采用最大类间方差法对相位一致性变换后的图像进行分割具体是采用k-means方法对相位一致性变换后的图像像素进行分类，提取灰度值大的区域；k-means方法具体为：

(1.2.1)随机选取k个对象作为初始的聚类中心；

(1.2.2)计算每个对象与各个聚类中心之间的距离，把每个对象分配给距离它最近的聚类中心；

(1.2.3)聚类中心和分配给它们的对象就代表一个类，当全部对象都被分配好后，每个类的聚类中心根据聚类中现有的对象被重新计算；

(1.2.4)重复步骤(1.2.1)-(1.2.3)直到满足终止条件。

进一步的，所述终止条件是：没有对象或者最小数目对象被重新分配给不同的类，没有聚类中心或者最小数目聚类中心再发生变化，误差平方和局部最小。

进一步的，步骤(1.2)所述的采用形态学方法进行处理具体是采用形态学中的闭运算方法进行处理，获得边缘曲线。

进一步的，步骤(2)所述的图像配准具体是，将彩色边缘检测图作为边缘检测图一、红外边缘检测图作为边缘检测图二；或者将红外边缘检测图作为边缘检测图一、彩色边缘检测图作为边缘检测图二，进行如下步骤：

(2.1)图像块计算ncc：在边缘检测图一上以点(x0，y0)为中心建立n*n的图像块，同样的，在边缘检测图二上以点(x0，y0)为中心建立n*n的图像块，然后计算出两个图像块之间的ncc；

(2.2)移动边缘检测图二上的图像块：在边缘检测图二上，上下左右移动(x0，y0)，得到(x0+m，y0+n)，建立新的n*n的图像块，分别跟边缘检测图一上以点(x0，y0)为中心的图像块计算ncc，将多次移动得到的多个ncc进行比较，得到ncc最大时的偏移量(m0，n0)；

(2.3)移动边缘检测图一上的图像块：移动边缘检测图一上的中心点，重复步骤(2.1)-(2.2)，计算出当前红外边缘图上中心点对应彩色的最大ncc对应的偏移量(m′，n′)；

(2.4)确定最佳偏移量：根据步骤(2.1)-(2.3)算出的所有ncc结果，比较得出最大ncc系数，得出对应的最佳偏移量(mbest，nbest)；

(2.5)根据最佳偏移量(mbest，nbest)，将彩色图或红外图进行偏移，得到彩色图与红外图配准对齐后的深度图。

进一步的，步骤(2.1)所述的计算两个图像块之间的ncc，具体方法为：

其中n表示像素个数，f(x，y)，t(x，y)分别是两个图像块像素点的灰度值，μ表示块内所有像素平均值，σ表示标准方差。

一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行上述的适用于rgbd-slam的实时动态配准方法。

有益效果：本发明在基于深度相机的slam上，根据tof和相机提供的每帧红外图与彩色图，运用相位一致性提取边缘，然后采用分块策略计算归一化互相关，得到最佳匹配对，计算出偏移量，从而实现红外图与彩色图的精准配准。本发明不仅可实现实时配准，而且配准结果准确，可更正确地引导slam的运行，能够为用户带来更好的ar体验，更加方便人们的生活。

附图说明

图1为图像预处理流程示意图；

图2为图像配准流程示意图。

具体实施方式

下面通过一个最佳实施例并结合附图对本技术方案进行详细说明。

如图1所示，本实施例提供一种适用于rgbd-slam的实时动态配准方法及存储有该方法指令的机器可读存储介质，包括图像预处理与图像配准：

(1)图像预处理

rgbd-slam是通过拍摄的视频信息计算出摄像头在未知环境中的方位，同时构建环境地图。由于异源图像的灰度和梯度信息差异显著，且对比度不同，在实时的视频信息中若要实现动态配准，首先要将彩色图与红外图进行处理，获得效果优越的边缘信息图进行匹配。即分别检测彩色图与红外图的边缘信息，得到彩色边缘检测图与红外边缘检测图；具体流程如下：

(1.1)图像灰度化与去噪：将获取的实时视频帧的彩色与红外图像转化为灰度图，运用中值滤波进行去噪处理(去除在边缘检测时噪声的影响)；

(1.2)相位一致性边缘检测：红外与彩色配准的图像需要是阈值分割后的图，由于异源图像的灰度和梯度信息差异显著，且对比度不同，采用相同阈值的canny算法提取的边缘图像细节差异显著，应用于异源图像匹配时性能下降明显，因此这个过程中用相位一致性算子处理后的图像作为配准的图像，相位一致性是指在图像的频率域中，边缘相似的特征在同一阶段出现的频率较高。相位一致性的理论依据是人眼感知图像信息时主要靠的是图像信号的相位而非幅度。与基于灰度边缘提取相比，一个显著的区别例子是由一条线组成的图像，如字母“i”。许多边缘检测算法会提取两个相邻的边缘：从白到黑，从黑到白的转换。而基于相位一致性的方法可以提取出一条单一的线。基于相位一致性边缘提取算法具有亮度和对比度不变性，对于异源图像可采用同一阈值提取细节程度相同的边缘。

相位一致性不是基于灰度梯度，而是基于相位来检测图像，即假定图像的傅里叶分量相位最一致的点为特征点。它只需要在傅里叶变换域里简单地按相位的一致性程度寻找特征点。阶跃、线和屋顶等边缘类型都会有相位一致性高的点，这更有利于红外图像边缘特征点的确定。因为红外图像的边缘处经常较为模糊，灰度值的变化率也没有可见光图像的大，所以红外图像的边缘区域经常是屋顶或马赫带类型的。

本实施例中相位一致性边缘检测，是对去噪处理后的图像计算所有点的相位一致性，进行相位一致性变换，确定灰度值大的区域，然后对这些灰度值大的区域采用形态学方法进行处理，获得边缘曲线。

其中，相位一致性的计算方法为：对于一维信号f(x)，其傅里叶展开式为：

其中，第n个傅里叶展开分量的幅值是an，ω为角频率，为第n个傅里叶展开分量的初相，为x处第n个傅里叶分量的相位值；

则相位一致性为：

式中，是使pc在x点取极大值时傅里叶变换各分量相角的加权平均，当傅里叶变换各分量相角与的差值和最小时，相位一致性最大。从该公式可知，当傅里叶变换各分量相角与的差值和最小时，相位一致性最大。

确定灰度值大的区域可以采用最大类间方差法对相位一致性变换后的图像进行分割，以获得灰度值大的区域；

红外图获得变换后的图像中边缘处的值明显高于周围非边缘处的值，因为图像边缘附近的相位一致性值比非边缘区域像素的要大，本实施例中对于红外图采用的最大类间方差法具体是采用k-means方法对相位一致性变换后的图像像素进行分类，提取灰度值大的区域；k-means算法是模式识别中一种基于近邻法则的无监督分类算法，k-means方法具体为：

(1.2.1)随机选取k个对象作为初始的聚类中心；

(1.2.2)计算每个对象与各个聚类中心之间的距离，把每个对象分配给距离它最近的聚类中心；

(1.2.3)聚类中心和分配给它们的对象就代表一个类，当全部对象都被分配好后，每个类的聚类中心根据聚类中现有的对象被重新计算；

(1.2.4)重复步骤(1.2.1)-(1.2.3)直到满足终止条件。本实施例中的终止条件是：没有对象或者最小数目对象被重新分配给不同的类，没有聚类中心或者最小数目聚类中心再发生变化，误差平方和局部最小。

最后对这些灰度值大的区域采用形态学中的闭运算进行处理，获得边缘曲线。

(2)图像配准

上一部分获得了彩色与红外图的边缘检测图，接着就要分别对彩色边缘检测图与红外边缘检测图进行分块匹配，计算出两图像相对的最佳偏移量；根据相对偏移量对图像进行偏移，得到红外图与彩色图配准对齐后的深度图。

具体是，将彩色边缘检测图作为边缘检测图一、红外边缘检测图作为边缘检测图二；或者将红外边缘检测图作为边缘检测图一、彩色边缘检测图作为边缘检测图二，进行如下步骤：

(2.1)图像块计算ncc：在边缘检测图一上以点(x0，y0)为中心建立n*n的图像块，同样的，在边缘检测图二上以点(x0，y0)为中心建立n*n的图像块，然后计算出两个图像块之间的ncc；

(2.2)移动边缘检测图二上的图像块：在边缘检测图二上，上下左右移动(x0，y0)，得到(x0+m，y0+n)，建立新的n*n的图像块，分别跟边缘检测图一上以点(x0，y0)为中心的图像块计算ncc，更改不同的m值、n值，将多次移动得到的多个ncc进行比较，得到ncc最大时的偏移量(m0，n0)；

(2.3)移动边缘检测图一上的图像块：移动边缘检测图一上的中心点，重复步骤(2.1)-(2.2)，计算出当前红外边缘图上中心点对应彩色的最大ncc对应的偏移量(m′，n′)；

(2.4)确定最佳偏移量：根据步骤(2.1)-(2.3)算出的所有ncc结果，比较得出最大ncc系数，得出对应的最佳偏移量(mbest，nbest)；

(2.5)根据最佳偏移量(mbest，nbest)，将彩色图或红外图进行偏移，得到彩色图与红外图配准对齐后的深度图。

如图2所示，本实施例是将红外边缘检测图作为边缘检测图一、彩色边缘检测图作为边缘检测图二，即：

(2.1)图像块计算ncc：在红外边缘检测图上以点(x0，y0)为中心(起始点可以根据需求自行定义)建立n*n的图像块，同样的，在彩色边缘检测图上以点(x0，y0)为中心建立n*n的图像块，然后计算出两个图像块之间的ncc(normalizedcrosscorrelation，归一化互相关系数)，保存下来；

基于ncc用来比较两幅图像的相似程度是一种常见的图像处理手段。ncc是利用两个图像块的灰度，通过归一化的相关性度量公式，在[-1，1]绝对尺度范围之间衡量二者之间的匹配程度，越接近于1，则二者越近似。

具体方法为：

其中n表示像素个数，f(x，y)，t(x，y)分别是两个图像块像素点的灰度值，μ表示块内所有像素平均值，σ表示标准方差。

(2.2)移动彩色边缘检测图上的图像块：在彩色边缘检测图上，上下左右移动(x0，y0)，得到(x0+m，y0+n)，移动范围可根据实际可能偏移的最大情况自行定义，比如m，n∈[-20，20]，建立n*n的图像块，分别跟红外边缘检测图上以点(x0，y0)为中心的图像块计算ncc，保存下来，进行比较(包含第一步计算的ncc)，得出最大ncc的偏移量(m0，n0)，并保存；

(2.3)移动红外边缘检测图上的图像块：移动红外边缘检测图上的中心点(步数可按照需求调节，遍历整幅图像)，重复步骤(2.1)-(2.2)，计算出当前红外边缘图上中心点对应彩色的最大ncc对应的偏移量(m′，n′)；

(2.4)确定最佳偏移量：根据上面三步算出的所有ncc结果，比较得出最大ncc系数，得出最佳偏移量(mbest，nbest)；

(2.5)完成配准：根据步骤(2.4)得到的最佳偏移量结果(mbest，nbest)，将红外图按照(-mbest，-nbest)进行偏移，得到红外与彩色图配准对齐后的深度图。

可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。