一种RGB和深度信息精确配准的方法与流程

本发明属于图像处理、自然交互和集成电路技术领域，具体涉及一种rgb和深度信息(depth)精确配准的方法及装置。

背景技术：

深度感知是计算机视觉领域重要的研究方向之一，能够让智能设备获得类似人类视觉感知的能力。现有的深度感知技术可分为主动式方法和被动式方法。基于双目立体视觉的深度感知技术是一种被动式方法，受环境光的影响很大且算法和硬件实现复杂。主动式方法主要有结构光法(codinglight)和飞行时间法(timeoffilght)。其中基于结构光法的深度感知技术可以获取较为准确的深度信息，且不受环境光的影响、算法和硬件实现相对简单便捷。在三维重建、增强现实、虚拟现实、人机交互等应用领域，结合了depth深度信息和rgb图像信息的rgbd数据是不可或缺的，rgbd数据可以使深度学习算法更智能。

而rgbd数据的获取首先要解决深度传感器和rgb传感器之间的精确标定问题。而现有的摄像机标定方法或多或少存在一些问题，如传统的摄像机标定方法，标定精度较低；非线性的标定方法算法复杂，难以实现实时标定；张正友提出的基于单平面棋盘格模板的摄像机标定法方便快捷，但是深度传感器直接拍摄的深度图像不能生成棋盘格标定板的特征，无法直接用于标定。

技术实现要素：

鉴于此，本发明提供了一种rgb和depth精确配准的方法及装置，通过融合深度传感器和rgb传感器的标定与配准方法，实现rgbd快速精确配准，具有精度高、稳定性好的特点。

为实现以上发明目的，本发明采用以下技术方案：

第一方面，本发明实施例提供了一种rgb和深度信息精确配准的方法，包括以下步骤：

步骤1、准备深度传感器和rgb传感器设备，对深度传感器做预处理，设置同步拍摄信号；

步骤2、搭建半自动化的棋盘格数据采集平台，将棋盘格标定板置于深度传感器和rgb传感器设备之前，标定板和传感器设备分别以一定的方式固定在水平地面的滑轨上，其中传感器设备和标定板都可以一定的自由度前后移动或旋转，以便两者之间有一定的角度；

步骤3、同步拍摄棋盘格的深度图和rgb图进行标定，计算两个传感器的内外参数；

步骤4、同步拍摄深度图和rgb图，取深度图的像素坐标(id，jd)，计算出点(id，jd)的距离值dis，利用标定出的深度传感器的内参结合dis，将深度图的像素坐标转换到空间坐标pd(xd，yd，zd)，通过两个传感器的外参，将深度图的空间坐标pd(xd，yd，zd)转换到rgb图的空间坐标pr(xr，yr，zr)，再利用rgb传感器的内参结合pr(xr，yr，zr)计算出rgb图相应的像素坐标(ir，jr)；

步骤5、通过步骤4计算出的ir空间坐标、rgb空间坐标、rgb像素值通过选择器选择输出想用坐标数据。

第二方面，本发明实施例提供了一种rgb和深度信息精确配准的装置，包括：

1、预处理模块。准备深度传感器和rgb传感器设备，对深度传感器做预处理。具体步骤：

(1)关闭深度传感器的红外投射器，避免其发出的散斑在红外图像中产生很多亮点，而不利于棋盘角点的检测。

(2)添加额外的红外辅助光源。

2、标定模块。主要是使用公开的彩色摄像机标定算法(如张正友标定算法)计算出深度传感器的内参ind{fx，d，fy，d，cx，d，cy，d}、rgb传感器的内参inr{fx，r，fy，r，cx，r，cy，r}、两个传感器的外参ex{r，t}。其中fx，d，fy，d为深度传感器的焦距，cx，d，cy，d为深度传感器的中心点，fx，r，fy，r为rgb传感器的焦距，cx，r，cy，r为rgb传感器的中心点，r为3*3的旋转矩阵，t为3*1的平移矩阵。

3、点对点映射模块。用于实现深度图和rgb图像素点的一一映射。

将深度图的像素坐标转换到空间坐标。结合pd＝dis·ind^-1·pd其中pd＝[id，jd，1]^t表示深度图像素点的齐次坐标，ind表示深度传感器的内参矩阵，dis表示每个点到摄像头的距离值。

(3)将深度图的空间坐标转换到rgb图的空间坐标。因为两个传感器的坐标系不同，通过两个传感器的外参ex{r，t}，即其旋转平移关系将两个传感器的坐标系联系起来。pr＝dis·r·ind^-1·pd+t。其中，r、t分别表示旋转矩阵和平移矩阵。

(4)将rgb图的空间坐标转换到rgb图的像素坐标。假设rgb图上一个像素点用齐次坐标表示为：pr＝[ir，jr，1]^t，rgb传感器的内参矩阵表示为inr，根据小孔成像模型有像素坐标到空间坐标的映射关系为：z′·pr＝inr·pr，其中z^t是缩放因子，令z′＝zr，从而得到rgb图的像素坐标为：

4、输出模块。通过选择器选择输出点云数据以及r、g、b数据。

5、寄存器控制模块。用于保存参数。f焦距、s基线、d参考距离、r、t参数、μ像素大小。

6、深度计算模块。针对红外摄像头输入的红外散斑图像通过深度计算模块生成红外散斑图像对应的运动矢量图，每个像素点值用偏移量offset表示。

采用本发明技术方案的有益效果将通过以下实施例的阐述而得到具体的体现。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明实施例提供方法的整体流程图；

图2是本发明实施例对深度传感器预处理后采集的棋盘格标定板效果图；

图3是本发明实施例配准算法具体实现流程图；

图4是本发明实施例中坐标转换算法的示意图。

具体实施方式

下面结合附图对本发明实施例进行详细描述。

应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

下面结合附图对本发明进行进一步的详细说明。

图1是本发明的整体流程图，本发明通过张正友标定算法计算深度传感器和rgb传感器的内外参数，再通过坐标转换将深度图和rgb图像素点一一映射，同时获取rgbd数据。下面对本发明的各个流程进行详细说明：

步骤一、准备深度传感器和rgb传感器设备，对深度传感器做预处理：

①关闭深度传感器的红外投射器，避免其发出的散斑在红外图像中产生很多亮点，而不利于棋盘角点的检测。

本发明在这里根据深度传感器只对红外光成像的特性，添加外置红外光源对物体照射，并关闭投射器，可以呈现清晰的棋盘格特征，在此基础上对深度传感器与rgb传感器进行标定，计算出两者的内外参数，使深度传感器的标定方便且容易实现。这也是本发明的优点。

②添加额外的红外辅助光源。

步骤2、搭建半自动化的棋盘格数据采集平台：

将棋盘格标定板置于深度传感器和rgb传感器设备之前，标定板和传感器设备分别固定在水平地面的滑轨上，其中传感器设备和标定板都可以前后移动或旋转，以便两者之间形成角度。

经上述步骤1、步骤2采集到的深度传感器的棋盘格标定板效果如图2所示，图中可以清晰的呈现棋盘格的特征。

步骤3、同步拍摄棋盘格的深度图和rgb图进行标定，计算两个传感器的内外参数：

①调整标定板和传感器的相对角度，发送同步拍摄信号，同步采集标定板的深度图像和rgb图像。重复该过程直到采集到一定数量的标定板图像。

②使用现有的彩色摄像机标定算法(如张正友标定算法)计算深度传感器的内参ind{fx，d，fy，d，cx，d，cy，d}、rgb传感器的内参inr{fx，r，fy，r，cx，r，cy，r}、两个传感器的外参ex{r，t}。其中fx，d，fy，d为深度传感器的焦距，cx，d，cy，d为深度传感器的中心点，fx，r，fy，r为rgb传感器的焦距，cx，r，cy，r为rgb传感器的中心点，r为3*3的旋转矩阵，t为3*1的平移矩阵。

步骤四、深度图和rgb图像素点的配准。

图3和图4实现同步拍摄深度图和rgb图，将深度图的像素坐标(id，jd)经坐标转换计算出rgb图相应的像素坐标(ir，jr)。

①将深度图像的像素坐标转换到空间坐标。假设深度图上一个像素点用齐次坐标表示为：pd＝[id，jd，1]^t，其空间坐标表示为：pr＝[ir，jr，1]^t，深度传感器的内参矩阵表示为：

根据小孔成像模型有像素坐标到空间坐标的映射关系为：

其中z是缩放因子，因为深度传感器能够提供每个点到摄像头的距离值dis，所以令缩放因子z＝dis。通过上式可计算出深度图的空间坐标：

简写为：pd＝dis·ind^-1·pd。

②将深度图的空间坐标转换到rgb图的空间坐标。因为两个传感器的坐标系不同，通过两个传感器的外参ex{r，t}，即其旋转平移关系将两个传感器的坐标系联系起来。假设rgb图相应的空间坐标表示为：pr＝[xr，yr，zr]^t，两者空间坐标的映射关系为：

即：

简写为：pr＝dis·r·ind^-1·pd+t。

③将rgb图的空间坐标转换到rgb图的像素坐标。假设rgb图上一个像素点用齐次坐标表示为：pr＝[ir，jr，1]^t，rgb传感器的内参矩阵表示为：

根据小孔成像模型有像素坐标到空间坐标的映射关系为：

简写为：z′·pr＝inr·pr。其中z′是缩放因子，令z′＝zr，从而得到rgb图的像素坐标为：

步骤五、通过步骤4计算出的ir空间坐标、rgb空间坐标、rgb像素值通过选择器选择输出相关数据。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。