基于异构深度摄像机的三维信息获取方法及其装置与流程

本发明属于图像处理和点云配准领域，具体涉及一种基于异构深度摄像机的三维信息获取方法及其装置。

背景技术：

目前获取物体深度信息的途径主要有两种:通过求取图像匹配点视差而获得深度的立体匹配方法以及深度摄像机方法。其中，广泛使用的深度摄像机主要有采用结构光技术的Kinect摄像机(指微软公司的Kinect XBOX360，下同)和采用飞行时间(Time of Flight)技术的TOF摄像机(以Mesa公司的SR4000为代表)。两种深度摄像机都具有各自的优点和不足之处:所述TOF摄像机可以实时生成深度图,且深度信息精度高，可支持硬件触发,但图像分辨率低。例如Mesa公司的SR4000摄像机得到的深度信息精度可控制在1cm以内，但最高图像分辨率仅为176*144。采用结构光技术的Kinect摄像机可生成高分辨率深度图(深度图分辨率最大为640*480),但是深度信息的可靠性低(深度信息精度为10cm以内)。

在逆向工程、立体电视、基于深度信息的模式识别等领域中，高分辨率精准深度图的出现将大大降低相关算法的技术难度。但是从上可以看出，只通过单独的TOF摄像机或者Kinect摄像机都不能获取高分辨率精准深度图。

国内外现有的解决方法：将深度摄像机所得到的深度信息与立体匹配所得到的深度信息融合，以获取高分辨率的精准深度图。立体匹配获取深度信息除了要先进行摄像机标定外，还需要利用置信度传播之类的算法，进一步计算深度数据，计算过程耗时耗资源。同时，有的深度摄像机与普通彩色摄像机之间的标定还需要借助精确的机械来进行机械运动，从而根据运动轨迹进行标定，这就大大增加了使用的条件和限制了使用的场合。如中国专利公开号为CN101556696,公开日为2009年10月14日,名称为基于阵列摄像机的深度图实时获取算法,该申请案公开了在标定时直接使用了彩色摄像机阵列。其不足之处在于：普通彩色摄像机受光照和纹理的影响非常大，因此导致彩色摄像机与TOF深度摄像机进行直接标定的操作性差。

因此，要获取物体的完整三维信息，在获得某一个视角下的深度信息(点云)之后还需要将不同视角下的深度数据进行配准，这个过程称为物体的三维点云配准。目前大部分的粗配准算法都是采用RANSAC和特征值结合的方法，例如Dror Aiger提出的共面四点集算法(出自Aiger D,Mitra N J,Cohen-Or D.4-points congruent sets for robust pairwise surface registration[C]//ACM Transactions on Graphics(TOG).ACM,2008,27(3):85.)。2014年Mellado Nicolas对Dror Aiger算法进行改进提出super 4pcs算法(出自Mellado N,Aiger D,Mitra N J.Super 4pcs fast global pointcloud registration via smart indexing[C]//Computer Graphics Forum.2014,33(5):205-215.)，通过约束目四边形对角线之间的夹角范围把相似控制集的数量减小。尽管如此，只依靠几何特征寻找到的相似控制集准确性仍然难以保证，而且控制集数量也非常庞大。

技术实现要素：

为了解决上述问题，本发明的目的提供一种基于异构深度摄像机的三维信息获取方法，能够获取高分辨率的融合彩色信息的精准深度图，进而获取精准的三维信息。

为实现上述目的，本发明按以下技术方案予以实现的：

本发明所述的基于异构深度摄像机的三维信息获取方法，包括如下步骤：

S1、在共同摄像视野内，把标定板放在最少在10个不同的位置，每个位置上分别利用Kinect摄像机和TOF摄像机拍摄至少1张图片；

S2、根据Kinect摄像机和TOF摄像机各自拍摄的图片，分别求取Kinect摄像机和TOF摄像机的内部参数其中，其中α＝f/dx，β＝f/dy,f为摄像机的焦距，γ代表像素点在x,y方向上尺度的偏差。

S3、根据所述拍摄的图片，根据公式提取可靠的深度信息，

其中D表示深度值，I表示强度值，T代表用大津法求得的阈值T；

S4、根据所述可靠的深度信息，分别对Kinect摄像机和TOF摄像机拟合各自的标定板平面坐标；

S5、结合所述内部参数，在各自拟合的标定板平面坐标下，恢复Kinect摄像机和TOF摄像机的角点实际三维坐标集；

S6、根据Kinect摄像机和TOF摄像机的角点实际三维坐标集，求取二者之间的最小二乘转换矩阵；

S7、根据最小二乘转换矩阵对Kinect摄像机和TOF摄像机采集的可靠深度信息进行的坐标转换，得到深度融合信息；

S8、将Kinect摄像机采集的彩色信息与深度融合信息进行匹配；

S9、将匹配后的图像信息，基于点间空间距离进行点云配准，获取三维信息。

进一步地，所述S9的步骤，具体为包括：

在源数据集P选取源控制集；

在目标数据集Q，根据源控制集进行色彩相似控制集的选取；

对源控制集和色彩相似控制集进行LCP准则求取最佳变换矩阵，并且利用最佳变换矩阵对源数据集P和目标数据集Q中的点云进行拼接，获取三维信息；

其中，所述源数据集P和目标数据集Q是不同视角下深度数据信息。

进一步地，所述S91的步骤，具体是：

随机在源数据集P中抽取共面的四点{s₁,s₂,s₃,s₄}，其中{s₁,s₂,s₃,s₄}满足:

其中，两数据模型P和Q之间的重叠率为ω，源数据集P的平均点云间距d_avg，最大点云距离d_max，以及距离阈值Δ＝d_avg*a(a＝0.1)；

求取直线s₁s₃与s₂s₄的近似交点e_s，至此得到一个共面五点集:F_s＝{s₁,s₂,s₃,s₄,e_s}；

利用此共面五点集的以下四个特征值来表述此共面五点集：

①对角线单比②对角线单比③两邻边之间的夹角④F_s中每个点对应的颜色值在RGB颜色空间的颜色向量：

共面五点集F_s以及其对应的颜色控制集C_s共同组成源控制集S＝{F_s,C_s}。

进一步地，所述S92的步骤，具体是：

在目标数据集Q中搜寻所有特征值满足公式(5)-(8)的共面五点集F_t＝{t₁,t₂,t₃,t₄,e_t}；

D_C≤C (8)

其中β＝π/4，代表共面五点集的之间的角度误差阈值；

e_t根据共面四边形t₁t₂t₃t₄重新计算出来的交点；

C为点云颜色距离阈值是源控制集与相似控制集之间色差的衡量；

相似控制集中每个共面五点集都有对应的颜色向量集合

所有满足公式(8)的C_t与其对应的共面五点集F_t组成色彩相似控制集T＝{T₁,T₂,...,T_n}。

进一步地，所述S93的步骤，具体是：

将色彩相似控制集T_i＝{T_1,i,T_2,i,...,T_m,i,...}与源控制集S_i＝{F_s,i,C_s,i}利用最小二乘法求得一个旋转矩阵R_m,i以及一个平移矩阵t_m,i；其中，m表示色彩相似控制集中的某一个；i表示次数；

根据该变换关系p'_m,i＝R_m,i*p+t_m,i，将源数据集P中的一点p变换到目标集Q的坐标下；

在目标集Q中寻找与p'_m,i距离最小的点，该点与p'_m,i的距离即为p'_m,i与目标点集Q的欧氏距离d(p'_m,i,Q)；

若d(p'_m,i,Q)≤Δ，则点p在最大一致集内，LCP_m,i的数量增加1；

LCP_m,i数量最大时，对应的旋转矩阵R_m,i和平移矩阵t_m,i为最佳变换矩阵；

根据最佳变换矩阵对应的源数据集P和目标数据集Q中点云进行拼接，获取三维信息。

进一步地，所述S4的步骤，具体是：

角点的三维坐标(x_d，y_d，z_d)

z_d＝D_p

其中，(x_o,y_o)为光心在图像上的投影点，dx,dy为Kinect摄像机1的像素间距，D_p为其对应的深度值，而Kinect摄像机1的焦距为f，利用角点的三维坐标拟合出一个平面方程；

设平面方程为aX+bY+cZ＝d(10)，可以通过最小二乘法求得最优的方程系数a,b,c,d，从而拟合出该平面。

进一步地，所述S5的步骤，具体是：

假设图像坐标上的某一点角点H，其图像坐标为(x_h,y_h),(x_o,y_o)为光心在图像上的投影点，dx,dy为角点H与Kinect摄像机和TOF摄像机的像素间距,D_h为其对应的深度值，而摄像机的焦距为f，则光心和点H连线的直线方程为：

直线方程与平面方程的交点即角点的实际三维坐标；

根据以上公式(10)和(11)，得出交点(x,y,z)的实际三维坐标为：

至此取得到所有角点的实际三维坐标集H₁＝{h₁，h₂，...h_n}，同理，另一台摄像机得到的角点实际三维坐标集H₂＝{h₁，h₂，...h_n}。。

进一步地，所述S6的步骤，具体是：

求取TOF摄像机的深度数据集T与Kinect摄像机深度数据集K之间的最小二乘转换矩阵(R₁，t₁)。即:

本发明所述的基于异构深度摄像机的三维信息获取装置，包括处理器，分别与所述处理器连接的Kinect摄像机和TOF摄像机；所述Kinect摄像机和TOF摄像机将采集的深度图像信息传输至所述处理器，所述处理器将所述深度图像信息中的低分辨率高精度的深度图像信息匹配到高分辨率低精度的深度图像信息中，获取高分辨率高精度的深度图。

进一步地，所述Kinect摄像机包括分别与所述处理器连接的用于发射红外波段光源的红外发射器、用于采集彩色图像信息的彩色摄像头和用于采集深度图像信息的深度摄像头；所述处理器将所述彩色图像信息匹配至深度图像信息，并且进行点云配准，获取三维信息。

与现有技术相比，本发明的有益效果是：

本发明是基于设计TOF传感器与结构光Kinect传感器相结合的异构摄像机系统，它提供了一种基于深度信息的摄像机标定方法。该系统可以结合两者的深度信息，然后通过把低分辨率的深度图匹配到高分辨率的深度图中，从而获取高分辨率的精准深度图。

同时，因为Kinect摄像机是一个包含彩色摄像头与深度摄像头组成的固定系统，而且其自带了这两个摄像头进行标定的方法，因此利用Kinect的深度摄像头作为中间体，将彩色摄像头的数据匹配到TOF摄像机的深度数据中，进行求取内参、提取可靠的深度信息、拟合标定板平面坐标、恢复角点三维坐标集、求取最小二乘转换矩阵、彩色信息和深度信息融合、点云配准操作，最终获取高分辨率的精准深度图。

具体来讲，本发明所述的基于异构深度摄像机的三维信息获取方法及其装置，具有如下特点：

1.本发明所述的基于异构深度摄像机的三维信息获取方法中的彩色数据信息与深度数据信息的匹配过程中计算量少，而且不需要额外的机械设备进行摄像机之间的标定；

2.本发明所述的基于异构深度摄像机的三维信息获取方法与现有的类似算法相比，提高了配准的准确度和减少了计算量；

3.本发明所述的基于异构深度摄像机的三维信息获取方法中的标定方法简单，只需要一次标定即可。

4.传统的立体匹配方法会受纹理和光照强度的影响，而本发明所述的基于异构深度摄像机的三维信息获取装置中的Kinect摄像机具有发射的光源在红外波段，因此基本不受光照影响；

5.由于Kinect摄像机的价格低廉，相较于以前的TOF摄像机与多个普通彩色CCD摄像机结合的系统，TOF摄像机与Kinect摄像机系统的性价比更高。

附图说明

下面结合附图对本发明的具体实施方式作进一步详细的说明，其中：

图1是本发明所述的基于异构深度摄像机的三维信息获取方法的流程示意图；

图2是本发明所述的基于异构深度摄像机的三维信息获取方法中点云配准步骤的流程示意图；

图3是本发明所述的基于异构深度摄像机的三维信息获取的结构示意图。

图中：

1：Kinect摄像机

11：红外发射器 12：彩色摄像头 13：深度摄像头

2：TOF摄像机

3：处理器

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

如图1～图3所示，本发明所述的基于异构深度摄像机的三维信息获取方法，在保证Kinect摄像机深度图分辨率不变的情况下，利用TOF摄像机获取的精准深度图去提高Kinect摄像机深度信息的可靠性，从而获取高分辨率的精准深度图。

在获取高分辨率的精准深度图过程中，针对现有三维点云全局配准过程中冗余控制集过多而导致配准速度低下，以及控制集选取不当导致配准精度难以保证的问题，引入颜色共面五点集和点云颜色距离的概念，提出基于点间颜色距离的三维点云自动配准算法。

为了实现上述目的，本发明所述的基于异构深度摄像机的三维信息获取装置，采用了一个Kinect摄像机1与一个TOF摄像机2，即设计了两个深度摄像机采集各自具有特点的图像信息，Kinect摄像机1具有高分辨率，TOF摄像机2具有深度信息精度高。然后通过处理器3进行标定，融合后获取高分辨率的精准深度图。同时，彩色摄像头12采集的彩色信息匹配到深度信息上的方法，再结合色彩信息的点云配准算法，共同完成获取物体的三维信息。

在本发明所述的实施例中，所述结构光深度Kinect摄像机1采用的是微软公司的KinectXBOX360，该摄像机可以提供最高分辨率为640*480的深度图，最高分辨率为1280*960的彩色图；TOF摄像机2采用的是MESA公司的SR4000，该摄像机可以提供分辨率为176*144的深度图和强度图(灰度图)，调制频率可以是29MHZ，30MHZ，31MHZ。

如图1所示，本发明所述的基于异构深度摄像机的三维信息获取方法，步骤如下：

S1：采集深度图：在共同摄像视野内，把标定板放在最少在10个不同的位置，每个位置上分别利用Kinect摄像机1和TOF摄像机2拍摄至少1张图片；

S2：根据步骤S1拍摄的图片，分别求取Kinect摄像机1和TOF摄像机2的内部参数；

其中Kinect摄像机1的深度图和彩色图的分辨率均为320*240；为了不干扰Kinect摄像机1发射的结构光，设定TOF摄像机2选用的SR4000的光频率为31MHZ。

所述Kinect摄像机1和TOF摄像机2求取内部参数的方式一样，在此则只以Kinect摄像机的求取做具体说明，具体如下：

Kinect摄像机1根据步骤S1拍摄标定板的图片，把标定板放在至少10个不同的位置上，每个位置上拍摄一张照片，同时，标定板的位置范围应尽量全面的覆盖整个摄像机的视野。其中，标定板为正面有标定的棋盘格，每个棋格均为边长为31.4mm的正方形。

本实施例中标定板分别放在10个不同的位置上，并且在每个不同的位置时，采用Kinect摄像机1对标定板进行1次信息采集。最后获取到Kinect摄像机1产生的深度图和彩色图各10张(如果是TOF摄像机2，即SR4000产生的是深度图和强度图各10张)。

然后，利用Matlab自带的Camera calibrator对Kinect摄像机1和TOF摄像机2进行自标定，具体是：

选取Kinect摄像机1采集到的一组10张深度图作为输入，然后手动输入标定板中棋格的边长，Camera calibrator会自动检测出强度图中的Harris角点，并且可以计算出摄像机的内参A以及每一幅图像对应的外参(R,t)，A的具体表达式如下：

其中α＝f/dx，β＝f/dy,f为摄像机的焦距，因为像素不是规规矩矩的正方形，γ代表像素点在x,y方向上尺度的偏差。

图像坐标系，摄像机坐标系以及三维坐标系的关系采用以下的表达式表示:

其中表示图像坐标系中像素点的齐次坐标(u,v,1)，表示三维坐标系中点的齐次坐标(X,Y,Z,1)，R表示旋转矩阵、t表示平移矩阵、S表示尺度因子、A表示摄像机的内参数。

S3：根据步骤S1拍摄的图片，通过以下公式选取深度值可靠的信息：

将所述拍摄的图作阈值处理，然后取反，获得标定板上所有深度值可靠的点；

利用如下公式：

其中D表示深度值，I表示强度值，T代表用大津法求得的阈值T。

S4：根据所述可靠的深度信息，分别对Kinect摄像机和TOF摄像机拟合各自的标定板平面坐标；

其中，对Kinect摄像机和TOF摄像机的拟合方法一样，在此只以Kinect摄像机为例，该步骤具体为：

由于噪声及深度摄像机本身的精度影响，原本应在同一平面上的各个点会有微小的偏离，为了求得最真实的深度值，结合S3中去除深度值不可靠的点，然后利用剩下角点的深度D_p可得角点的三维坐标(x_d，y_d，z_d)

z_d＝D_p

其中，(x_o,y_o)为光心在图像上的投影点，dx,dy为Kinect摄像机1的像素间距，D_p为其对应的深度值，而Kinect摄像机1的焦距为f，利用角点的三维坐标拟合出一个平面方程。

设平面方程为aX+bY+cZ＝d，可以通过最小二乘法求得最优的方程系数a,b,c,d，从而拟合出该平面。

S5：在结合所述内部参数，在各自拟合的标定板平面坐标下，恢复Kinect摄像机和TOF摄像机的角点实际三维坐标集

同理，对Kinect摄像机和TOF摄像机的恢复方法一样，在此只以Kinect摄像机为例，该步骤也具体为：

求取角点的实际三维坐标：

假设图像坐标上的某一点角点H，则光心和点H连线的直线方程为：

其中：H点的图像坐标为(x_h,y_h),(x_o,y_o)为光心在图像上的投影点，dx,dy为Kinect摄像机1的像素间距,D_h为其对应的深度值，而摄像机的焦距为f。

此直线方程与步骤S4中求得的标定板的平面方程求取交点近似解，则得角点H的实际三维坐标：

至此取得到所有角点的实际三维坐标集H₁＝{h₁，h₂，...h_n}，同理，另一台摄像机得到的角点实际三维坐标集H₂＝{h₁，h₂，...h_n}。

S6：根据Kinect摄像机和TOF摄像机的角点实际三维坐标集，求取二者之间的最小二乘转换矩阵；

利用SVD奇异值求解的方法求取TOF摄像机2的深度数据集T与Kinect摄像机1的深度数据集K之间的最小二乘转换矩阵(R₁，t₁)。即:

S7：根据最小二乘转换矩阵对Kinect摄像机和TOF摄像机采集的可靠深度信息进行的坐标转换。

至此，完成了SR400的TOF摄像机2的深度数据通过转换矩阵(R₁,t₁)投影到Kinect摄像机1获得的深度数据中。即：

T_K＝R₁*T+t₁

T_K即为Kinect摄像机1视野下TOF摄像机2的深度数据。

S8：将Kinect摄像机采集的彩色信息与深度融合信息进行匹配，实现深度信息与彩色信息的融合；

利用微软公司的Kinect SDK for Windows可以进行Kinect摄像机1内置彩色摄像头12获得的数据与深度摄像头13之间的匹配，假设利用该工具获得的彩色摄像头12到深度数据的矩阵为(R₂，t₂).所述彩色摄像头12中的坐标点集为C＝{c₁，c₂，...c_n},所述深度摄像头13中的坐标点集为K＝{k₁，k₂，...k_n}，TOF摄像机2中的坐标点集为F＝{f₁，f₂，...f_n}，则通过以下公式将彩色数据与TOF的深度数据信息相融合：

F_K＝R₁*F+t₁

C_K＝R₂*C+t₂

其中C_K为深度摄像头13视野下彩色摄像头12的数据，F_K为深度摄像头13视野下TOF摄像机2的深度数据。

S9：将匹配后的图像信息，基于点间空间距离进行点云配准，获取三维信息。

该步骤有具体包括如下步骤:

S91：在源数据集P选取源控制集；

随机在源数据集P中抽取共面的四点{s₁,s₂,s₃,s₄}，其中{s₁,s₂,s₃,s₄}满足:

其中，源数据集P和目标数据集Q之间的重叠率为ω，源数据集P的平均点云间距d_avg，最大点云距离d_max，以及距离阈值Δ＝d_avg*a(a＝0.1)；

求取直线s₁s₃与s₂s₄的近似交点e_s，至此得到一个共面五点集F_s＝{s₁,s₂,s₃,s₄,e_s}；

利用此共面五点集的以下四个特征值来表述此共面五点集：

①对角线单比②对角线单比③两邻边之间的夹角④F_s中每个点对应的颜色值在RGB颜色空间的颜色向量共面五点集F_s以及其对应的颜色控制集C_s共同组成源控制集S＝{F_s,C_s}。

S92：对色彩相似控制集的选取；

在目标数据集Q中搜寻所有特征值满足公式(6)-(9)的共面五点集F_t＝{t₁,t₂,t₃,t₄,e_t}：

D_C≤C (8)

其中β＝π/4，代表共面五点集的之间的角度误差阈值；

e_t根据共面四边形t₁t₂t₃t₄重新计算出来的交点；

相似控制集中每个共面五点集都有对应的颜色向量集合其中C为点云颜色距离阈值是源控制集与相似控制集之间色差的衡量。

所有满足公式(8)的C_t与其对应的共面五点集F_t组成相似控制集T＝{T₁,T₂,...,T_n}(如T₁＝{F_t，1,C_t，1}，以此类推)。

需要说明的是：每一个源控制集通常对应多个相似控制集，本文利用K-d树加速解决选取相似控制集时的最近邻问题，从而减少了控制集数量，也就降低算法的时间复杂度。

S93：对源控制集和色彩相似控制集进行LCP准则求取最佳变换矩阵，并且利用最佳变换矩阵对源数据集P和目标数据集Q中的点云拼接，获取三维信息；其中，LCP即最大一致集，是指在一定误差范围内能满足一定条件的点的集合。

将色彩相似控制集T_i＝{T_1,i,T_2,i,...,T_m,i,...}与源控制集S_i＝{F_s,i,C_s,i}利用最小二乘法求得一个旋转矩阵R_m,i以及一个平移矩阵t_m,i；其中，m表示色彩相似控制集中的某一个；i表示次数；

根据该变换关系p'_m,i＝R_m,i*p+t_m,i，将源数据集P中的一点p变换到目标集Q的坐标下；

在目标集Q中寻找与p'_m,i距离最小的点，该点与p'_m,i的距离即为p'_m,i与目标点集Q的欧氏距离d(p'_m,i,Q)；

若d(p'_m,i,Q)≤Δ，则点p在最大一致集内，LCP_m,i的数量增加1；

LCP_m,i数量最大时，对应的旋转矩阵R_m,i和平移矩阵t_m,i为最佳变换矩阵，然后对最佳变化矩阵所对应的源数据集P和目标数据集Q中的数据进行拼接，获取三维信息。

本发明所述的基于异构深度摄像机的三维信息获取装置，包括处理器3，分别与所述处理器3连接的Kinect摄像机1和TOF摄像机2，所述Kinect摄像机1和TOF摄像机2将采集的深度图像信息传输至所述处理器3，所述处理器3将所述深度图像信息中的低分辨率高精度的深度图像信息匹配到高分辨率低精度的深度图像信息中，获取高分辨率高精度的深度图。

具体地，所述Kinect摄像机1包括分别与所述处理器3连接的用于发射红外波段光源的红外发射器11、用于采集彩色图像信息的彩色摄像头12和用于采集深度图像信息的深度摄像头13；所述处理器3将所述彩色图像信息匹配至深度图像信息，并且进行点云配准，获取三维信息。

其中，所述红外发射器11可以提供所需的红外波段，避免了现有匹配方法中容易受纹理和光照强度影响的问题。

同时，对于整个基于异构深度摄像机的三维信息获取装置而言，实际采用了3个摄像头(彩色摄像头12、深度摄像头13和TOF摄像机2的摄像头)的数据，但是由于彩色摄像头12和深度摄像头13的位置是固定的，所以只需要进行一次对Kinect摄像机1与TOF摄像机2之间深度信息的标定，对于整个运算而言，则相对更为简单。

同时，本发明所述的基于异构深度摄像机的三维信息获取方法及其装置的其他内容参见现有技术，在此不再赘述。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，故凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何修改、等同变化与修饰,均仍属于本发明技术方案的范围内。