彩色深度相机的彩色图像到深度图像的像素级对准算法
【技术领域】
[0001] 本发明设及的彩色图像到深度图像的对准方法，具体是指一种基于极线约束，从 彩色深度相机化inect)的彩色图像上的像素点出发，找到对应的深度图像上的像素点的 方法。
【背景技术】
[0002] 红外相机与彩色相机相结合的成像系统已经越来越多的应用到智能家居、体感游 戏、=维重建、机器人自主导航等领域。为了发挥出多传感器融合的优势，首要的一个问题 就是如何更好的实现不同传感器信息的融合。彩色深度相机化inect)是一款典型的红外 相机与彩色相机相结合的成像系统，同时具有价格低廉、实用效果好等特点。它主要由红外 发射器，红外相机和彩色相机组成。并且，红外相机与红外发射器形成一个=角测距系统， 因此能够从红外图像推算出深度信息（深度图像）。目前只有从深度图像到彩色图像的对 准方法。然而，彩色图像比深度图像具有更多的纹理特征，因此大多数情况下，我们都会需 要一种从彩色图像到深度图像的对准方法。
【发明内容】
[0003] 本发明创新性地提出了一种基于极线约束的，从彩色图像对准到深度图像的新算 法，实现了从彩色图像到深度图像的直接对准，并提高了相机系统的信息融合效率，能够得 到更多的融合信息，获得更大尺寸的融合图像。
[0004] 本发明所使用的相机模型如附图1所示。建模为=个相机和一个红外发射器；红 夕村目机、深度相机、彩色相机和红外发射器。其中红外发射器投射一个红外模式光，红外相 机采集场景反射的模式光得到红外图像，通过与内置红外模式图比较得到一个深度图像。 本发明在该一相机模型的基础上，结合极线约束，实现了从彩色图像到深度图像的对准算 法。如附图2所示，具体的算法流程如下：
[000引 1)确定红外图像和深度图像之间的偏移量，由于是基于S角测距原理，通过窗口 卷积的方法获得对应像素点的深度信息，因此深度图像和红外图像之间会有一个固定的偏 移。首先，采集任意场景图像，并对红外图像和深度图像做二值化处理。然后从红外图像和 深度图像中分别分割出场景中的目标物。接下来，通过比较红外图像和深度图像中分割出 来的目标物的形状，确定红外图像和深度图像之间的偏移量，使得两个形状能够达到最好 的对准效果。
[0006] 2)分别标定红外相机和彩色相机的内部参数，红外（IR)相机和彩色（RGB)相机的 几何投影模型如下；假设一个3D点X投影到图像点[U，v]T。
[0007]
【主权项】
1. 一种彩色深度相机的彩色图像到深度图像的像素级对准方法，它包括步骤1)确定 红外图像和深度图像之间的偏移量量，2)分别标定红外相机和彩色相机的内部参数，3)标 定红外相机和彩色相机之间的相对姿势，4)标定深度相机模型的参数，5)利用红外图像和 彩色图像的内外参数以及深度图像参数，从彩色图像的一个像素点出发，找到深度图像上 对应的像素点，从而确定彩色图像上的像素点的深度；其特征在于： A. 所述的步骤4)标定深度相机模型的参数方法如下，使用一个标定板，保持相机和标 定板相对位置不变，先用薄纸挡住红外相机拍一幅红外图像，然后移开薄纸再拍一幅深度 图像，那么这样的红外图像和深度图像是对应的，可以组成一对，利用这样一对图像，在红 外图像上，能够检测到一系列3D标定点，角点i= 1，???，]!，为角点Xi在红外相机 坐标系下的坐标。通过所述的步骤1)中确定的红外图像与深度图像之间的固定偏移，能够 找到这些角点在深度图像上的位置坐标i= 1，…，n，根据％,可以计算出 这个点\在深度相机坐标系下的坐标。红外相机与深度相机在几何上保持一致。因此 -Xq= 0，方程中包含了深度参数C(i，Ci，使用最小二乘法拟合该方程，可以得到深度 参数'c1; B. 所述的步骤5)方法如下：根据彩色图像上的一点qio，寻找其在深度图像上对应点 qD，我们把彩色深度相机的彩色相机和红外相机当作一个立体视觉系统，那么利用上述的 步骤2)和步骤3)标定好的彩色相机与红外相机的内外参数可以获得一个基础矩阵FKeB_IK; 通过这个基础矩阵可以在红外图像上找到一条与qKeB相对应的极线，qKeB点在红外图像上的 成像点qIK应该就在这条直线上，假设这条直线上有N个点q^ae[1，N])。而对应的红外 图像和深度图像之间有一个偏移[叫，％];深度相机在几何上可以看作就是红外相机，对于 每一个点q:，对应的深度点是4 对应的在红外相机坐标系下的3D点 坐标可以计算：
式中C(l，Cl为深度模型参数，Kik是IR相机的投影矩阵；dis<是根据红外相机的畸变参 数M角定的逆畸变函数；d馮Q:在深度图像上的投影点的像素值；是Q:在红 外图像上的投影点的像素坐标；然后，对应的3D点在彩色相机坐标系下的坐标可以这样计 算：
式中R，T分别为旋转矩阵和平移向量，是彩色相机和红外相机之间的相对姿势。然后， 3D点可以投影到彩色图像上的.接下来，我们在极线上进行搜索，找到一个点qIKj， 使得这个点满足一个条件，即其对应点是最接近观测点qK(；B的：
通过这个条件，我们能够确定一个点qj，这个点被近似的当作3D点Q在红外图像上的 投影点，因此，点的深度d将被当作是点q_的深度。
【专利摘要】本发明公开了一种彩色深度相机的彩色图像到深度图像的像素级对准方法。它包括步骤1)确定红外图像和深度图像之间的偏移量量，2)分别标定红外相机和彩色相机的内部参数，3)标定红外相机和彩色相机之间的相对姿势，4)标定深度相机模型的参数，5)利用红外图像和彩色图像的内外参数以及深度图像参数，从彩色图像的一个像素点出发，找到深度图像上对应的像素点，从而确定彩色图像上的像素点的深度；本发明能够从彩色图像出发，直接获取对应的深度信息，能够实现从彩色信息到深度信息的对准，能够获得更大尺寸的融合图像，信息更加丰富。
【IPC分类】G06T7-00
【公开号】CN104616284
【申请号】CN201410748490
【发明人】邹武合, 张雷, 戴宁
【申请人】中国科学院上海技术物理研究所
【公开日】2015年5月13日
【申请日】2014年12月9日