一种基于长方体的Kinect深度相机的内参标定方法
【专利摘要】本发明公开了一种基于长方体的Kinect深度相机的内参标定方法。将高精度长方体摆在地面上，用Kinect深度相机拍摄；由多帧图像深度数据，生成相同帧数的法向图；划分标定物体的平面，得到平面深度数据；再通过透视投影逆过程得到三维点集；进行最小二乘拟合方法，获取对应的平面；计算被标记的平面与平面之间的夹角与距离；实际测量高精度长方体的角度和距离并比较，构造以差值最小为目的的优化目标函数，对Kinect深度相机的内参进行优化，使得目标函数最小化，完成对Kinect深度相机的标定。本发明方法仅使用深度信息，可广泛适用于一系列深度相机和应用场景；所标定的相机内参可用于三维重建，较现有标定方法提升了精度。
【专利说明】一种基于长方体的Kinect深度相机的内参标定方法
【技术领域】
[0001] 本发明涉及一种相机标定方法，尤其是涉及计算机视觉领域的一种基于长方体的 Kinect深度相机的内参标定方法。
【背景技术】
[0002] 微软公司于2010年末发售的用于Xbox360游戏机的附属体感交互设备Kinect 受到了计算机研究工作者的关注。Kinect包含一颗普通光学相机以及由一颗红外相机和一 颗红外投影组成的深度相机，能够根据其深度检测方法以每秒30帧的速率实时返回拍摄 场景的深度信息。该设备作为一种消费级的深度相机相比传统的深度相机具有较大的价格 优势，因而受到了研究者的欢迎，在人体姿态识别，机器人应用，物体识别，3D测量等领域都 出现了相应的研究工作。近年来随着3D打印技术的崛起，出现了使用Kinect深度相机对场 景或者物体进行实时三维重建的工作，其中较著名的工作为2012年微软的KinectFusion 工作，该技术利用Kinect作为深度扫描设备，结合GPU的并行处理能力，可以实时重建扫描 场景的三维模型。
[0003] 标定对于相机应用有非常重要的意义。在3D视觉中，我们需要了解物体在三维空 间中的坐标与成像平面坐标的关系。使用深度信息进行三维重建过程主要包括从深度信息 到三维空间的投影，而深度相机的内参直接参与了投影计算，因而内参直接影响投影重建 精度。相机的标定过程即为求取相机模型中用于建模投影的参数的过程。不同的应用场景 对相机标定的要求存在差异，Kinect设备在出场时，厂商会对设备进行一次标定，并且将标 定的结果写入设备的固件之中，这组相机参数称为厂商标定内参。厂商标定内参能够满足 Kinect的日常娱乐应用，但用于三维重建这样的测量性应用，厂商的标定参数则不能很好 的满足精确度要求，因而需要再次对Kinect深度相机进行标定，以求得相对更加精确的深 度相机内参，提高三维重建的精确度。
【发明内容】
[0004] 本发明的目的是针对现有技术的不足，提供一种基于长方体的Kinect深度相机 的内参标定方法，利用三维物体进行深度相机参数标定，针对Kinect深度相机，进行精确 内参标定。
[0005] 本发明的目的是通过以下方法的技术方案来是实现的：
[0006] 1)将已知尺寸的至少三个高精度长方体组成长方体组摆在地面上，并用Kinect 深度相机在多个不同的角度进行拍摄；所述高精度长方体各个表面的平面度达到〇. 1mm， 高精度长方体的表面能够反射Kinect深度相机所发射的红外光；
[0007] 2)根据步骤1)中拍摄得到的深度图像中的多帧深度数据，通过透视投影逆过程 生成回投至相机局部坐标系下的三维空间中，生成相同帧数的法向图；
[0008] 3)并在法向图上划分标定物体的平面，得到平面深度数据；
[0009]4)将步骤3)中得到的平面深度数据，通过透视投影逆过程回投至相机局部坐标 系下的三维空间中，得到各个平面对应的三维点集Q;
[0010] 5)对步骤4)得到的每个三维点集Q进行最小二乘拟合方法，获取三维点集Q对应 的平面；
[0011] 6)根据步骤5)得到的平面计算被标记的平面与平面之间的夹角与距离；
[0012] 7)实际测量高精度长方体的被标记的平面与平面之间的角度和距离，并与步骤 6)得到的夹角与距离比较，构造以差值最小为目的的优化目标函数，通过该优化目标函数 使用非线性迭代优化方法，重复进行步骤4)到步骤6)，对Kinect深度相机的内参进行优 化，使得目标函数最小化，完成对Kinect深度相机的内参标定。
[0013] 所述步骤1)中至少三个高精度长方体摆在地面上的排列使得Kinect深度相机能 拍摄到由具有公共顶点的三个相邻面组成的公共顶点面组和由两个相互平行的面组成的 平行面组，公共顶点面组至少有一组，平行面组至少两组。
[0014] 所述步骤1)中Kinect深度相机相对于长方体组的中心旋转多个不同的角度拍 摄，每次旋转的角度至少为9度。
[0015] 所述步骤1)中，在每个角度拍摄时，设定多个不同的Kinect深度相机到长方体组 中心之间的距离范围，并从各个距离范围中随机地选取一拍摄距离进行拍摄。
[0016] 所述步骤2)中由拍摄得到的深度图像生成相同帧数的法向图的具体过程为： 2. 1)对每个深度图像I中的每个像素，取以其为中心的一个窗口作为计方法向的窗口W，窗 口宽度为r;
[0017] 2.2)根据由生产厂商设定的内参经验值将窗口内的每个深度点q'通过透视投 影逆过程回投至相机局部坐标系下的三维空间中，得到包含r2个点的三维点集Q={qiIi =1，2,· · ·，r2}，且q=(X，y，z)，其中每个深度点表示为V=(u，V，d(u，V))，（u，v)表 示一个像素点在深度图像中的坐标，d(u，V)表示像素（u，V)在深度图中的深度值；
[0018] 2. 3)根据三维点集Q，用最小二乘拟合法得到一个平面，其法向量为三维向量η= (a，b，c)，平移量是m ;
[0019] 2. 4)将三维向量η的三个分量a、b、c分别采用以下公式映射到RGB空间中的红、 绿、蓝三个值上，得到窗口W中心像素的RGB颜色值：
【权利要求】
1. 一种基于长方体的Kinect深度相机的内参标定方法，其特征在于包含以下步骤： 1) 将已知尺寸的至少三个高精度长方体组成长方体组摆在地面上，并用Kinect深度 相机在多个不同的角度进行拍摄；所述高精度长方体各个表面的平面度达到0. 1mm，高精 度长方体的表面能够反射Kinect深度相机所发射的红外光； 2) 根据步骤1)中拍摄得到的深度图像中的多帧深度数据，通过透视投影逆过程生成 回投至相机局部坐标系下的三维空间中，生成相同帧数的法向图； 3) 并在法向图上划分标定物体的平面，得到平面深度数据； 4) 将步骤3)中得到的平面深度数据，通过透视投影逆过程回投至相机局部坐标系下 的三维空间中，得到各个平面对应的三维点集Q ; 5) 对步骤4)得到的每个三维点集Q进行最小二乘拟合方法，获取三维点集Q对应的平 面； 6) 根据步骤5)得到的平面计算被标记的平面与平面之间的夹角与距离； 7) 实际测量高精度长方体的被标记的平面与平面之间的角度和距离，并与步骤6)得 到的夹角与距离比较，构造以差值最小为目的的优化目标函数，通过该优化目标函数使用 非线性迭代优化方法，重复进行步骤4)到步骤6)，对Kinect深度相机的内参进行优化，使 得目标函数最小化，完成对Kinect深度相机的内参标定。
2. 根据权利要求1所述的一种基于长方体的Kinect深度相机的内参标定方法，其特征 在于：所述步骤1)中至少三个高精度长方体摆在地面上的排列使得Kinect深度相机能拍 摄到由具有公共顶点的三个相邻面组成的公共顶点面组和由两个相互平行的面组成的平 行面组，公共顶点面组至少有一组，平行面组至少两组。
3. 根据权利要求1所述的一种基于长方体的Kinect深度相机的内参标定方法，其特征 在于：所述步骤1)中Kinect深度相机相对于长方体组的中心旋转多个不同的角度拍摄，每 次旋转的角度至少为9度。
4. 根据权利要求1所述的一种基于长方体的Kinect深度相机的内参标定方法，其特征 在于：所述步骤1)中，在每个角度拍摄时，设定多个不同的Kinect深度相机到长方体组中 心之间的距离范围，并从各个距离范围中随机地选取一拍摄距离进行拍摄。
5. 根据权利要求1所述的一种基于长方体的Kinect深度相机的内参标定方法，其特征 在于：所述步骤2)中由拍摄得到的深度图像生成相同帧数的法向图的具体过程为： 2. 1)对每个深度图像I中的每个像素，取以其为中心的一个窗口作为计方法向的窗口 W，窗口宽度为r ; 2. 2)根据由生产厂商设定的内参经验值将窗口内的每个深度点q'通过透视投影逆过 程回投至相机局部坐标系下的三维空间中，得到包含r 2个点的三维点集Q= {qi|i = 1， 2, · · ·，r2}，且q = (X，y，z)，其中每个深度点表示为q' = (u，V，d(u，V))，（u，v)表示一个 像素点在深度图像中的坐标，d(u，V)表示像素（u，V)在深度图中的深度值； 2.3)根据三维点集Q，用最小二乘拟合法得到一个平面，其法向量为三维向量n= (a， b，c)，平移量是m ; 2. 4)将三维向量η的三个分量a、b、c分别采用以下公式映射到RGB空间中的红、绿、 蓝三个值上，得到窗口 W中心像素的RGB颜色值： R = 125.5(a/W -I /)2 +r2 +1) 0 = 125.5(/;/ ^a2+Ir+c2 +1) B = 125.5(c/ yja2 +b2 +C1 +1) 2. 5)对深度图像I内每一个像素点重复步骤2. I)?2. 4)，即可为I中的每个像素生 成一组RGB颜色值，进而得到一张彩色图像作为该深度图像I的法向图N。
6. 根据权利要求1所述的一种基于长方体的Kinect深度相机的内参标定方法，其特征 在于：所述步骤3)中在法向图上划分标定物体的平面具体为： 3. 1)在长方体组合中，选择至少一组公共顶点面组和至少两组平行面组，对其中所有 面用阿拉伯数字进行标记； 3.2) 在步骤2)中生成的每个法向图上，在每个被标记过的面上绘制一个用于表示该 面上有效深度像素区域轮廓的多边形； 3.3) 将多边形映射回法向图各自对应的深度图，得到各个多边形对应的平面深度数 据。
7. 根据权利要求1所述的一种基于长方体的Kinect深度相机的内参标定方法，其特征 在于：所述步骤2)中的通过透视投影逆过程与步骤4)中的通过透视投影逆过程相同，具体 过程为：根据由初始设定的内参经验值将窗口内的每个深度点q'通过以下公式回投至相 机局部坐标系下的三维空间中，得到包含:T 2个点的三维点集Q = Iqi I i = 1,2, . . . , r2}:
其中，D为二维矩阵，二维矩阵D中的行数和列数分别与深度图像I的纵向和横向的像 素数量相同，D(u，V)是D中的一个元素值，fx，fy分别表示Kinect深度相机在X轴和y轴 方向上的两个焦距，c x，Cy分别表示Kinect深度相机的光心在成像面上的横、纵坐标，Y。， Y i分别是Kinect深度相机的第一、第二深度转换参数，α μ a i，D分别是Kinect深度相机 的第一、第二和第三畸变矫正参数。
8. 根据权利要求1所述的一种基于长方体的Kinect深度相机的内参标定方法，其特征 在于：所述步骤6)中被标记的平面与平面之间的夹角与距离具体为：被标记的公共顶点面 组中各个平面的夹角与被标记的平行面组中两个平面的距离，夹角和距离分别由以下两式 得到：
其中，θ i,j,k是指平面F*i,k和Pj,k之间的夹角，3 i,j,k是指平面Pi,k和Pj,k之间的距尚， k是深度图的索引，Qi, k和Qj, k是第k帧深度图的任意两个三维点集，q是一个三维点，尔是 三维点q的齐次坐标，叫』=(ai>k, bi,k, Ci,k)且 nj,k= (ajwbjwCj.k)分别是与％』和Qj,k对应的平面法向量， Pi, k - (ai, k，k，ci, k，'i, k)和 Pj, k - (ai, k，4, k，Ci, k，'i, k)分力?Ι是与 Qi, k 和 Qj, k 对应 的平面参数四维向量，Pi,k和P^t各自对应的平面一般方程分别是 ai, kX+bi, ky+Ci, kZ - mi, k 和 aj, kX+bj, kY+Cj, kZ - mj, k，ai, k、k、Ci, k 和 'i, k 分力1J 为与 Qi, k 对应的平面一般方程的第一、第二、第三和第四参数，a^、\k、和-!^k分别为与Qy对 应的平面一般方程的第一、第二、第三和第四参数。
9. 根据权利要求1所述的一种基于长方体的Kinect深度相机的内参标定方法，其特征 在于：所述步骤7)中实际测量高精度长方体的被标记的平面与平面之间的角度和距离通 过以下方式测量：用量角器量出上述被标记的公共顶点面组中各个平面之间的夹角，用游 标卡尺量出上述被标记的平行面组中平面之间的距离。
10. 根据权利要求1所述的一种基于长方体的Kinect深度相机的内参标定方法，其特 征在于：所述步骤7)中的目标函数为：
上式中，S为数量归一化参数,S = V.；1___________________i 〇viM是拍摄的深度图索引k的集合， K^av:ew ， 〇 是计算角度所用表面的阿拉伯数字标记组合，〇 dist_是计算距离所用表面的阿拉伯 数字标记组合，λ表示角度差异权重，λ e [〇，1]，1/和4./分别表示角度和距离的测量 值。
【文档编号】G06T7/00GK104376558SQ201410642053
【公开日】2015年2月25日 申请日期:2014年11月13日 优先权日:2014年11月13日
【发明者】耿卫东, 金秉文, 雷昊 申请人:浙江大学