一种虚拟多球体球心定位的tof深度相机三维坐标标定装置和方法
【专利摘要】本发明涉及一种虚拟多球体球心定位的TOF深度相机三维坐标标定装置和方法，包括三维运动平移台，TOF深度相机，球体目标和背景板；充分利用球体目标在不同测量角度处的各向不变性，采用相互正交的三个一维运动平移台产生三维方向上的若干次运动，构成具有复杂形状的虚拟多球体目标，该目标在TOF深度相机的不同测量角度处不会产生多表面特征，易于对目标中心进行高精度定位，获取虚拟多球体目标的球心三维坐标测量值及空间位置后即可实现对TOF深度相机的三维坐标标定。本发明降低了单次TOF深度相机对球体目标中心点特征识别的难度和测量误差，有效提高TOF深度相机的三维测量精度，并能灵活设置虚拟标准球体的中心位置和球体个数，易于实现全过程高精度自动化标定。
【专利说明】一种虚拟多球体球心定位的TOF深度相机三维坐标标定装 置和方法
【技术领域】
[0001] 本发明属于光学计量及标定【技术领域】，特别涉及一种虚拟多球体球心定位的无扫 描激光三维TOF(Time-Of-Flight)深度相机的标定装置和方法。
【背景技术】
[0002] 随着光学测量和计算机视觉技术的日益改进和提升，先进制造技术的发展和产品 需求的多样化对复杂物体表面的三维形貌信息的测量需求不断增长。作为新一代的光学三 维测量技术，TOF深度相机能够实时获取空间目标的灰度信息及每个像素点对应的深度信 息，具有实时性好、测量精度适中、体积小、重量轻等优势，被迅速应用于移动机器人的导航 和地图创建、空间探测机器人、工业加工制造等领域。
[0003] 为了消除由于空间坐标系和测量坐标系之间的不一致性引起的系统误差，三维坐 标标定是TOF深度相机进行高精度光学三维测量中至关重要的一步，主要是通过获取标准 物体目标的三维空间特征参数，进而求得TOF深度相机三维测量坐标到空间坐标的坐标变 换关系完成三维坐标的标定。因而，选取的标准物体的空间位置及形状参数的高精度提取 和识别是TOF深度相机进行高精度三维测量的重要保证，并且TOF深度相机标定使用的目 标应当充满整个视场，才能得到TOF深度相机视场中心和边缘的三维坐标标定结果，由此 产生了各种对三维成像相机的标定方法，主要有以下两类：
[0004] (1)基于平面标志物的三维坐标标定方式，如采用棋盘格的标定方式 (I.Zhengyou j Zhang. A flexible new technique for camera calibration. Technical Report MSR-TR-98-71，Microsoft Research. 1998.2.李兴东，陈超，李满天，孙立 宁.飞行时间法三维摄像机标定与误差补偿.机械与电子.2013(11):37-40 ;3.潘 华东.飞行时间法无扫描三维成像摄像机的机理和特性研究.浙江大学博士学位论 文.2010. 04 ;4.专利201210021469. 4 "基于TOF深度相机的三维注册方法"；5. Young Min Kim，Derek Chan,Christian Theobaltj Sebastian Thrun. Design and Calibration of a Multi-view TOF Sensor Fusion System.Computer Vision and Pattern Recognition Workshops, 2008. CVPRW^ 08.IEEE Computer Society Conference.June 23-28, 2008. Anchorage, AK ；6.Stefan Fuchs, Gerd Hirzinger. Extrinsic and Depth Calibration of TOF-cameras. Computer Vision and Pattern Recognition,2008. CVPR 2008. IEEE Conference. June 23-28, 2008. Anchorage, AK ；7.Sung-Yeol Kimj Woon Cho,Andreas Koschan，and Mongi A. Abidi. Depth Data Calibration and Enhancement of Time-〇f-flight Video-plus-Depth Camera. Future of Instrumentation International Workshop (FIIW). November 7-8,2011. Oak Ridge, TN ；8.Marvin Lindner, Ingo Schiller,Andreas Kolb，Reinhard Koch. Time-of-Flight Sensor Calibration for Accurate Range Sensing. Computer Vision and Image Understanding. 2010(114) :1318 -1328 ；9. Miles Hansard, Radu Horaudj Michel Amat，Georgios Evangelidis. Automatic Detection of Calibration Grids in Time-〇f-flight Images. Computer Vision and Image Understanding. 2014(121):108-118),或采用圆点阵列的标定方式（I.蔡珲.视 觉测量中的摄像机标定与三维重建方法研究.哈尔滨工业大学硕士学位论文.2013. 07 ; 2.Jiyoung Jung, Yekeun Jeong, Jaesik Park, Hyowon Ha, James Dokyoon Kim, and In-So Kweon. A Novel 2. 5D Pattern for Extrinsic Calibration of ToF and Camera Fusion System.2011 IEEE/RSJ International Conference on Intelligent Robots and Systems. September 25-30, 2011. San Francisco, CA, USA ；3. Frederic Garcia, Djamila Aouada, Bruno Mirbach, and Bjorn Ottersten. Real-Time Distance-Dependent Mapping for a Hybrid ToF Multi-Camera Rig. IEEE JOURNAL OF SELECTED TOPICS IN SIGNAL PROCESSING, 2012. 6 (5) :425-436),这些方法对多个角度放置的黑白相间平面棋盘格图形 (或圆点阵列图形）进行多次拍摄，然后计算棋盘格的不同角度位置处的各个角点位置（或 圆点阵列各个圆点中心位置），再根据空间坐标变换关系实现对TOF深度相机的标定，该方 法标定精度较高，应用较为广泛，但该方法采集次数多，每次数据处理过程较复杂，并且对 多个角点的提取误差将直接累积到最终的标定结果中，标定精度难以进一步提高，进而直 接影响TOF深度相机的三维测量精度；
[0005] (2)基于复杂特征立体标志物的三维坐标标定方式，如采用具有不同深度特征的 立方块或多层台阶等立体物作为标准测量对象进行TOF深度相机的标定方法（I. Tsai, R. A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses. IEEE Journal of Robotics and Automation. 1987. RA-3(4) :323-344 ;2.徐德，谭民，李原.机器人视觉测量与控 制·国防工业出版社.2011.05 ;3. Filiberto Chiabrando, Roberto Chiabrando, Dario Piatti, Fulvio Rinaudo. Sensors for 3D Imaging:Metric Evaluation and Calibration of a CCD/CMOS Time-〇f-Flight Camera. Sensors. 2009(9):10080-10096 ；4.Stuart Robson, J. -Angelo Beraldin, Andrew Brownhill and Lindsay MacDonald. Artefacts for Optical Surface Measurement. Proc.of SPIE Vol. 8085, Videometrics, Range Imaging, and Applications XI, 80850C. May 23,2011.Munich, Germany ；5.专利 201210352365. I "基于计算机视觉立方体标定的三维测量方法"），相对于基于平面标志物 的三维坐标标定方式，这类方法虽然能够直接采集得到复杂特征物体面型上不同位置处的 不同深度信息，进而解算得到TOF深度相机的测量误差进行补偿，但由于需要同时对采集 得到的复杂特征进行提取和识别，同时，目标偏离视场中心后，视场中获取的目标具有多个 表面，数据计算量大且提取识别误差将累积到最终的标定结果中，TOF深度相机的三维坐标 标定精度和测量精度也难以进一步提高。
[0006] 由以上分析可以看出，在实际应用中，目前广泛采用的TOF深度相机三维坐标标 定方法均存在如下不足之处：T0F深度相机单次采集时出现在视场中的目标特征数量较 多，尤其是对于基于复杂特征立体标志物的三维坐标标定方式，目标偏离视场中心时，视场 中获取的立体目标呈现多表面特征（如长方体目标在偏离视场中心后将被探测出多余表 面形貌），且该多表面特征随着测量角度的不同而变化，使得数据处理过程长，目标识别和 特征提取复杂度高，由此直接导致了目标识别和特征提取的测量误差累积进入了标定结果 中，大大影响TOF深度相机标定结果的准确性和重复性，从而限制了 TOF深度相机的应用范 围，这是目前现有标定方案本身的不足之处，也是当前TOF深度相机在实际应用中未能解 决的重要问题。
【发明内容】
[0007] 本发明的技术解决问题：克服上述已有的TOF深度相机标定方案中存在的不足， 充分利用球体目标在不同测量角度处的各向不变性，提供一种虚拟多球体球心定位的TOF 深度相机三维坐标标定装置和方法，该标定装置包括三维运动平移台，TOF深度相机，球体 目标以及背景板；该方法利用相互正交的三个一维运动平移台，对X、Y、Z三个正交方向作 出运动。通过设计合理的运动方式，每个运动位置处TOF深度相机视场中的单个球体目标 组合，构成一个具有多个球体轮廓的虚拟多球体目标，该目标在不同测量角度处不会产生 多表面特征，易于对球体目标中心进行高精度定位，获取球心的三维坐标测量值及空间位 置即可求得三维坐标标定的坐标变换关系，实现对TOF深度相机的三维坐标标定。本发明 充分利用球体目标在不同测量角度处的各向不变性，极大降低了单次TOF深度相机对球体 目标中心点特征识别的难度和测量误差，有效提高TOF深度相机的三维测量精度，并能够 灵活设置虚拟多球体目标的球心位置和球体个数，易于实现全过程高精度自动化标定。
[0008] 本发明采用的技术解决方案是：一种虚拟多球体球心定位的TOF深度相机三维坐 标标定装置，包括三维运动平移台，TOF深度相机，球体目标以及背景板。其中，三维运动平 移台的连接方式为三个一维运动平移台在三维方向两两正交组合连接；TOF深度相机固定 在运动平移台上，随三维运动平移台一起进行三维运动；背景板为平面板，与TOF深度相机 的光轴垂直，球体目标固定于背景板上。
[0009] 本发明还提供了虚拟多球体球心定位的TOF深度相机三维坐标标定方法，该方法 包括以下步骤：
[0010] (1)首先确定空间坐标系0ΧΥΖ，三维平移台的三个平移轴定义为X、Y、Z三个方向， 坐标原点0定位为TOF深度相机镜头中心，三维运动平移台安装底面定义为XZ平面，与TOF 深度相机安装底面平行；Z方向为TOF深度相机光轴方向，与Z方向平移台平移轴运动方向 平行；Y方向为三维运动平移台安装底面的垂直方向；X方向为右手坐标系定义的方向；空 间坐标系OXYZ与TOF深度相机三维测量坐标系OcXcYcZc之间的三维坐标转换关系如下所 示：
【权利要求】
1. 一种虚拟多球体球心定位的TOF深度相机三维坐标标定装置，其特征在于包括：三 维运动平移台，TOF深度相机，球体目标以及背景板；其中，三维运动平移台的连接方式为 三个一维运动平移台在三维方向两两正交组合连接；TOF深度相机固定在运动平移台上， 随三维运动平移台一起进行三维运动；背景板为平面板，与TOF深度相机的光轴垂直，球体 目标固定于背景板上。
2. 根据权利要求1所述的装置，其特征在于：所述三维运动平移台采用电控平移台实 现三维运动。
3. 根据权利要求1所述的装置，其特征在于：所述球体目标是标准球体。
4. 根据权利要求1所述的装置，其特征在于：所述球体目标为整体有超过50 %的部分 是具有球面形状的目标。
5. -种虚拟多球体球心定位的TOF深度相机三维坐标标定方法，其特征在于：所述的 标定方法包括以下步骤： (1) 首先确定空间坐标系0XYZ，三维平移台的三个平移轴定义为X、Y、Z三个方向，坐 标原点〇定位为TOF深度相机镜头中心，三维运动平移台安装底面定义为XZ平面，与TOF 深度相机安装底面平行；Z方向为TOF深度相机光轴方向，与Z方向平移台平移轴运动方向 平行；Y方向为三维运动平移台安装底面的垂直方向；X方向为右手坐标系定义的方向；空 间坐标系OXYZ与TOF深度相机三维测量坐标系OcXcYcZc之间的三维坐标转换关系如下所 示：
其中，X。，y。，Z。表示空间任意一点在TOF深度相机三维测量坐标系下的坐标，xw，y w，Zw 表示该点在空间坐标系OXYZ下的坐标，nxx，nxy，nxz表示空间坐标系X轴在TOF深度相机 三维测量坐标系下的方向向量，ny x, nyy, nyz表示空间坐标系Y轴在TOF深度相机三维测量 坐标系下的方向向量，nzx，nz y，nzz表示空间坐标系Z轴在TOF深度相机三维测量坐标系下 的方向向量，Px，P y，Pz表示空间坐标系的坐标原点在TOF深度相机三维测量坐标系下的坐 标； (2) 调整TOF深度相机和球体目标的初始位置，使得球体目标表面与TOF深度相机镜头 表面紧贴，且保证TOF深度相机镜头光轴通过球体目标球心，球体目标半径为R，则初始位 置球心位置坐标为ZO = R ; (3) 控制Z方向运动平移台带动TOF深度相机沿着Z方向运动，产生Z方向精确位移， 到达Z方向确定位置sz，此时，球心位置变为Zl = sz+R，Z方向运动完成； (4) 控制X方向运动平移台和Y方向运动平移台，带动TOF深度相机在sz位置处，在 XY平面内进行遍历运动，形成虚拟多球体目标；在XY平面内运动中的每个位置处，球体目 标的球心三维空间位置坐标可以由球体半径R以及运动平移台的运动位置唯一确定，如下 式所示： Pij (xi j, yi j, zi j) = Pij (sxi j, syi j, sz+R) 其中，i和j分别为TOF深度相机在XY平面内X方向和Y方向运动的位置序号； Pi j (xi j，yij，zi j)为球体目标球心的三维空间位置坐标，S卩：球心在空间坐标系OXYZ下的 三维坐标；sxi j为X方向运动平移台在X方向产生的位移；syij为Y方向运动平移台在Y 方向产生的位移；sz为Z方向运动平移台在Z方向产生的位移；R为球体目标的半径；TOF 深度相机对球体目标进行三维球心定位测量，首先测量得到球体目标表面各个点的三维测 量坐标值：pi jk(xijk, yijk, zijk)，其中，k = 1，2, 3......，N为球体目标表面测量点的序 号，N为球体目标表面测量点的个数；然后对球体目标表面各个点的三维测量坐标值采用 最小二乘拟合方法对球体目标的球心坐标进行高精度定位，得到球心在TOF深度相机三维 测量坐标系OcXcYcZc下的坐标为：Pij'（xij'，yij'，zi j'），其中，i = 1，2, 3,......，j = 1,2, 3,……分别为对应的TOF深度相机在XY平面内X方向和Y方向运动的位置序号； (5)遍历整个XY平面，得到该Z方向位置处所有的XY位置处球体目标球心的三维测量 值与空间位置坐标，带入上述坐标转换关系中，解线性方程组即实现对TOF深度相机的三 维坐标的标定。
【文档编号】G01M11/00GK104316083SQ201410650844
【公开日】2015年1月28日 申请日期:2014年11月15日 优先权日:2014年11月15日
【发明者】敖磊, 刘永奇, 董鑫, 熊胜军 申请人:中国科学院光电研究院