基于虚拟多立方体标准目标的tof深度相机三维坐标标定装置和方法
【专利摘要】本发明涉及一种基于虚拟多立方体标准目标的TOF深度相机三维坐标标定装置和方法，包括三维运动平移台，TOF深度相机，立方体目标以及背景板；该标定方法利用相互正交的三个一维运动平移台产生三维方向上的若干次运动，通过设计合理的运动方式，构成一个具有复杂形状和多特征点的虚拟多立方体标准目标，能够精确获取该目标角点的空间位置和三维测量坐标，实现对TOF深度相机的高精度三维坐标标定。本发明极大降低了单次TOF深度相机对目标角点特征识别的难度和测量误差，提高TOF深度相机的三维测量精度，并能够灵活设置虚拟多立方体标准目标的角点位置和特征点个数，易于实现全过程高精度自动化标定。
【专利说明】基于虚拟多立方体标准目标的TOF深度相机三维坐标标定 装置和方法
【技术领域】
[0001] 本发明属于光学计量及标定【技术领域】，特别涉及一种基于虚拟多立方体标准目标 的无扫描激光三维TOF(Time-Of-Flight)深度相机的标定装置和方法。
【背景技术】
[0002] 随着光学测量和计算机视觉技术的日益改进和提升，先进制造技术的发展和产品 需求的多样化对复杂物体表面的三维形貌信息的测量需求不断增长，促使光学三维测量技 术不断发展，已成为光学计量和信息光学的主要领域和方向之一。
[0003] 作为新一代的光学三维测量技术，TOF深度相机能够实时获取空间目标的灰度信 息及每个像素点对应的深度信息，同传统激光三维扫描成像、双目立体视觉以及基于结构 光的三维成像系统相比，TOF深度相机具有实时性好、测量精度适中、体积小、重量轻等优 势，被迅速应用于移动机器人的导航和地图创建、空间探测机器人、工业加工制造等领域。
[0004] 为了消除由于空间坐标系和测量坐标系之间的不一致性引起的系统误差，三维坐 标标定是TOF深度相机进行高精度光学三维测量中至关重要的一步，主要是通过获取标准 物体目标的三维空间特征参数，进而求得TOF深度相机三维测量坐标到空间坐标的坐标变 换关系完成三维坐标的标定。因而，选取的标准物体的空间位置及形状参数的高精度提取 和识别是TOF深度相机进行高精度三维测量的重要保证，并且TOF深度相机标定使用的标 准目标应当充满整个视场，才能得到TOF深度相机视场中心及边缘的三维坐标标定结果， 由此产生了各种对TOF深度相机的标定方法，主要有以下两类：
[0005] (1)基于平面标志物的TOF深度相机标定方式，如采用棋盘格的标定方式 (I. Zhengyou, Zhang. A flexible new technique for camera calibration. Technical R印ort MSR-TR-98-71, Microsoft Research. 1998.2.李兴东，陈超，李满天，孙立 宁.飞行时间法三维摄像机标定与误差补偿.机械与电子.2013(11) :37-40 ;3.潘 华东.飞行时间法无扫描三维成像摄像机的机理和特性研究.浙江大学博士学位论 文.2010. 04 ;4.专利201210021469. 4 "基于TOF深度相机的三维注册方法"；5. Young Min Kim，Derek Chan, Christian Theobaltj Sebastian Thrun.Design and Calibration of a Multi-view TOF Sensor Fusion System. Computer Vision and Pattern Recognition Workshops, 2008. CVPRW^ 08.IEEE Computer Society Conference. June 23-28, 2008. Anchorage, AK ；6.Stefan Fuchs, Gerd Hirzinger. Extrinsic and Depth Calibration of TOF-cameras. Computer Vision and Pattern Recognition,2008. CVPR 2008. IEEE Conference. June 23-28, 2008. Anchorage, AK ；7.Sung-Yeol Kimj Woon ChojAndreas Koschanj and Mongi A. Abidi. Depth Data Calibration and Enhancement of Time-〇f-flight Video-plus-Depth Camera. Future of Instrumentation International Workshop (FIIW). November 7-8,2011. Oak Ridge, TN ；8.Marvin Lindner, Ingo Schiller,Andreas Kolb，Reinhard Koch. Time-of-Flight Sensor Calibration for Accurate Range Sensing. Computer Vision and Image Understanding. 2010(114) :1318 -1328 ；9. Miles Hansard, Radu Horaud, Michel Amat, Georgios EvangeIidis. Automatic Detection of Calibration Grids in Time-〇f-flight Images. Computer Vision and Image Understanding. 2014(121) :108-118)或采用圆点阵列的标定方式（I.蔡珲·视 觉测量中的摄像机标定与三维重建方法研究.哈尔滨工业大学硕士学位论文.2013. 07 ; 2. Jiyoung Jung, Yekeun Jeong, Jaesik Park, Hyowon Ha, James Dokyoon Kim, and In-So Kweon. A Novel 2.5D Pattern for Extrinsic Calibration of ToF and Camera Fusion System. 2011IEEE/RSJ International Conference on Intelligent Robots and Systems. September 25-30, 2011. San Francisco, CA, USA ；3. Frederic Garcia, Djamila Aouada, Bruno Mirbach, and Bjorn Ottersten. Real-Time Distance-Dependent Mapping for a Hybrid ToF Multi-Camera Rig. IEEE JOURNAL OF SELECTED TOPICS IN SIGNAL PROCESSING, 2012. 6 (5) :425-436),这些方法对多个角度放置的黑白相间平面棋盘格图形 (或圆点阵列图形）进行多次拍摄，然后计算棋盘格的不同角度位置处的各个角点位置（或 圆点阵列各个圆点中心位置），再根据空间坐标变换关系实现对TOF深度相机的标定，该方 法标定精度较高，应用较为广泛，但采集次数多，数据处理过程复杂，并且对多个角点的提 取误差将直接累积到最终的标定结果中，标定精度难以进一步提高，进而直接影响TOF深 度相机的三维测量精度；
[0006] (2)基于复杂特征立体标志物的TOF深度相机标定方式，如采用具有不同深 度特征的立方块或多层台阶等立体物作为标准测量对象进行T OF深度相机的标定方法 (I. Tsai, R. A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses. IEEE Journal of Robotics and Automation. 1987. RA-3(4) :323-344 ;2.徐德，谭民，李原.机器人视觉测量 与控制·国防工业出版社.2011. 05 ;3. Filiberto Chiabrando, Roberto Chiabrando, Dario Piatti, Fulvio Rinaudo. Sensors for 3D Imaging:Metric Evaluation and Calibration of a CCD/CMOS Time-〇f-Flight Camera. Sensors. 2009(9):10080-10096 ；4.Stuart Robson, J. -Angelo Beraldin, Andrew Brownhill and Lindsay MacDonald. Artefacts for Optical Surface Measurement. Proc.of SPIE Vol. 8085, Videometrics, Range Imaging, and Applications XI,80850C.May23, 2011. Munich, Germany ；5.专利 201210352365. I "基于计算机视觉立方体标定的三维测量方法"），这些方法虽然能够直接 采集得到复杂特征物体面型上不同位置处的不同深度信息，进而解算得到TOF深度相机的 测量误差进行补偿，但由于需要同时对采集得到的复杂特征进行提取和识别，计算量大且 提取误差将累积到最终的标定结果中，TOF深度相机的三维坐标标定精度和三维测量精度 也难以进一步提商。
[0007] 由以上分析可以看出，在实际应用中，目前广泛采用的TOF深度相机的标定方法 均存在如下不足之处：T0F深度相机在单次采集时出现在视场中的目标特征数量较多，使 得数据处理过程长，目标识别和特征提取复杂度高，由此直接导致了目标识别和特征提取 的测量误差累积进入了 TOF三维相机的三维坐标标定结果中，大大影响TOF深度相机标定 结果的准确性和重复性，从而限制了 TOF深度相机的应用范围，这是目前现有标定方案本 身的不足之处，也是当前TOF深度相机在实际应用中未能解决的重要问题。
【发明内容】
[0008] 本发明的目的在于克服上述已有的TOF深度相机标定方案中存在的不足，提供一 种基于虚拟多立方体标准目标的TOF深度相机三维坐标标定装置和方法，该标定装置包括 三维运动平移台，TOF深度相机，立方体目标以及背景板；该标定方法利用相互正交的三个 一维运动平移台，对X、Y、Z三个正交方向作出运动。通过设计合理的运动方式，每个运动位 置处TOF深度相机视场中的单个立方体目标组合，构成一个具有复杂形状和多特征点的虚 拟多立方体标准目标，获取该目标的角点特征的三维空间位置和测量坐标即可求得三维坐 标标定的坐标变换关系，实现对TOF深度相机的三维坐标标定。本发明极大降低了单次TOF 深度相机对目标角点特征识别的难度和测量误差，有效提高TOF深度相机的三维坐标标定 和测量精度，并能够灵活设置虚拟标准立方体的角点位置和特征点个数，并易于实现全过 程自动化标定。
[0009] 本发明采用的技术解决方案是：一种基于虚拟多立方体标准目标的TOF深度相机 三维坐标标定装置，包括三维运动平移台，TOF深度相机，立方体目标以及背景板。其中，三 维运动平移台的连接方式为三个一维运动平移台在三维方向两两正交组合连接；TOF深度 相机固定在运动平移台上，随三维运动平移台一起进行三维运动；背景板为平面板，与TOF 深度相机的光轴垂直，立方体目标固定于背景板上；利用三维运动平移台产生三维方向上 的若干次运动，构成一个具有复杂形状和多特征点的虚拟多立方体标准目标。
[0010] 本发明还提供了一种基于虚拟多立方体标准目标的TOF深度相机三维坐标标定 方法，，该方法包括以下步骤：
[0011] (1)首先确定TOF深度相机坐标系0ΧΥΖ，三维平移台的三个平移轴定义为X、Y、Z 三个方向，坐标原点0定位为TOF深度相机镜头中心，三维运动平移台安装底面定义为XZ 平面，与TOF深度相机安装底面平行；Z方向为TOF深度相机光轴方向，与Z方向平移台平 移轴运动方向平行；Y方向为三维运动平移台安装底面的垂直方向；X方向为右手坐标系定 义的方向；空间坐标系OXYZ与TOF深度相机三维测量坐标系OcXcYcZc之间的三维坐标转 换关系如下所示：
【权利要求】
1. 一种基于虚拟多立方体标准目标的TOF深度相机三维坐标标定装置，包括三维运动 平移台，TOF深度相机，立方体目标以及背景板，其特征在于：所述三维运动平移台的连接 方式为三个一维运动平移台在三维方向两两正交组合连接，TOF深度相机固定在三维运动 平移台上，随三维运动平移台一起进行三维运动，背景板为平面板，与TOF深度相机的光轴 垂直，立方体目标固定于背景板上；利用三维运动平移台产生三维方向上的若干次运动，构 成一个具有复杂形状和多特征点的虚拟多立方体标准目标。
2. 根据权利要求1所述的装置，其特征在于：所述虚拟多立方体标准目标的立方体个 数以及立方体位置通过三维运动平移台的三维运动组合确定。
3. 根据权利要求1所述的装置，其特征在于：所述三维运动平移台采用电控平移台实 现三维运动。
4. 根据权利要求1所述的装置，其特征在于：所述立方体目标是边长相等的正方体目 标。
5. 根据权利要求1所述的装置，其特征在于：所述立方体目标是长宽高不完全相等的 长方体目标。
6. -种基于虚拟多立方体标准目标的TOF深度相机三维坐标标定方法，其特征在于所 述的标定方法包括以下步骤： (1) 首先确定TOF深度相机坐标系0XYZ，三维平移台的三个平移轴定义为X、Y、Z三个 方向，坐标原点0定位为TOF深度相机镜头中心，三维运动平移台安装底面定义为XZ平面， 与TOF深度相机安装底面平行；Z方向为TOF深度相机光轴方向，与Z方向平移台平移轴运 动方向平行；Y方向为三维运动平移台安装底面的垂直方向；X方向为右手坐标系定义的方 向；空间坐标系OXYZ与TOF深度相机三维测量坐标系OcXcYcZc之间的三维坐标转换关系 如下所示：
其中，x。，y。，z。表示立方体目标上任意一点在TOF深度相机三维测量坐标系下的坐标， xw，yw，zw表示该点在空间坐标系OXYZ下的坐标，nxx，nx y，nxz表示空间坐标系X轴在TOF深 度相机三维测量坐标系下的方向向量，nyx，ny y，nyz表示空间坐标系Y轴在TOF深度相机三 维测量坐标系下的方向向量，nzx,nz y,nzz表示空间坐标系Z轴在TOF深度相机三维测量坐 标系下的方向向量，px，p y，Pz表示空间坐标系的坐标原点在TOF深度相机三维测量坐标系 下的坐标； (2) 调整TOF深度相机和立方体目标的初始位置，使得立方体目标端面与TOF深度相机 镜头表面紧贴，且保证TOF深度相机镜头光轴通过立方体目标中心； (3) 控制Z方向运动平移台带动TOF深度相机沿着Z方向运动，产生Z方向精确位移， 到达Z方向确定位置sz处，Z方向运动完成； (4) 控制X方向运动平移台和Y方向运动平移台，带动TOF深度相机在sz位置处，在 XY平面内进行遍历运动，形成虚拟多立方体标准目标；在XY平面内运动中的每个位置处， 立方体目标顶面的四个特征角点位置坐标可以由立方体目标的长度和宽度以及运动平移 台的运动位置唯一确定，如下式所示：
其中，i和j分别为TOF深度相机在XY平面内X方向和Y方向运动的位置序号， i = 1,2,3,……，j = 1,2,3,……；Pijl(Xijl，yijl，zijl)、Pij2(xij2，yij2，zij2)、 Pij3(xij3, yij3, zij3)、Pij4(xij4, yij4, zij4)分别为立方体目标顶面的四个角点在空间 坐标系OXYZ下的坐标；SXi j为X方向运动平移台在X方向运动的精确位移；sy i j为Y方向 运动平移台在Y方向运动的精确位移；sz为Z方向运动平移台在Z方向运动的精确位移；L 和W分别为立方体目标的长度和宽度； (5) TOF深度相机对立方体目标进行三维测量，得到立方体目标顶面的四个角点位置的 三维测量坐标值，即：四个角点在TOF深度相机三维测量坐标系OcXcYcZc下的坐标分别为： Pijlj (xijl,,yijl,,zijl,).Pij2, PijS j (xi JSj, YijSj, ZijSj), Pij4， （xij4, ，yij4, ，zij4,）； (6) 遍历整个XY平面，得到该Z方向位置处所有的XY位置处立方体目标角点的空间位 置与三维坐标测量值。带入上述三维坐标转换关系中，解线性方程组即实现对TOF深度相 机的三维坐标的标定。
【文档编号】G01C25/00GK104315995SQ201410650820
【公开日】2015年1月28日 申请日期:2014年11月15日 优先权日:2014年11月15日
【发明者】敖磊, 刘永奇, 董鑫, 熊胜军 申请人:中国科学院光电研究院