一种全自动的结构光手眼三维测量系统标定方法
【技术领域】
[0001] 本发明涉及一种结构光手眼三维测量系统及其标定方法，具体是指由线结构光、 摄像机和机器人构成的结构光手眼三维测量系统的全自动标定方法。 技术背景
[0002] 随着计算机技术和机器视觉的兴起和发展，以及工业自动化程度的不断提高，传 统的测量技术已远远不能满足现代化的生产需求，视觉测量以其速度快、精度高、非接触、 自动化程度高等优势，在非接触测量领域发挥越来越大的作用。视觉测量技术应用的关键 是在工业现场建立简单有效的视觉测量系统，目前集机械、电子、光学和计算机技术于一体 的结构光三维测量与目标重建系统在工业现场正得到越来越广泛的应用，如模具外形检 测、风轮叶片检测、军事测量以及军事制导跟踪、文物保护、汽车轮廓、以及机器人手眼定位 系统。在结构光中，激光以其单色性、单向性的优点而成为应用的主流。
[0003] 激光结构光三维视觉测量是一种利用图像和可控光源的测量技术，其主要原理是 采集系统采集可控光源照射在被测物体上的图像，并根据该图像恢复物体几何信息。根据 可控光源投射出的光束模式的区别，结构光视觉测量可分为点结构光测量、单线结构光测 量、多线结构光测量和网格结构光测量。其中单线结构光法，由光源投射出一条条形的光 纹，通过图像处理手段提取到该光条纹，根据光条纹的形状来恢复该物体光截面上的空间 物理几何尺寸，可以完成对物体表面三维信息的全部扫描。因其扫描效率高，是目前运用的 最成熟的结构光视觉测量技术。将单线结构光和摄像机构成的视觉传感器安装在机械手末 端可构成线结构光手眼三维测量系统，以其测量精度高，机械手工业执行性好，广泛应用于 焊接，装配，高精度搬运等工业测量领域。结构光手眼测量系统在制造业技术改造、提高产 品质量、减少工人劳动强度、改善工人劳动条件、等方面有明显的优越性。
[0004] 实现该测量系统自动化工作的前提是系统的标定问题，标定参数包括结构光光平 面参数、摄像机参数和手眼矩阵参数。现有的标定方法大多基于高精度靶标的标定，标定过 程复杂且标定板易磨损，在一些无法使用标定板的环境无法完成系统标定任务。本发明给 出一种基于环境特征点的全自动标定方法，给定机器人2个位姿，控制机器人进行五次平 移运动即可实现结构光手眼三维测量系统的标定，提高结构光手眼三维测量系统使用的自 动化程度。
【发明内容】
[0005] 本发明针对现有标定结构光手眼测量系统方法中存在的标定精度对靶标精度依 赖度高，标定过程复杂，提出一种基于三个环境特征点的全自动标定方法。该标定方法无需 使用特制高精度靶标，可使用工业现场常见的非等腰直角三角形工件，以工件的角点作为 标定特征点。
[0006] 按照本发明提供的技术方案，所述结构光手眼三维测量系统全自动标定方法如 下：
[0007] 第一步：给定机器人一个初始位姿
【主权项】
1. 一种全自动的结构光手眼三维测量系统标定方法，其特征是，该标定方法只需给定 机器人2个位姿7；，使用场景中的3个特征点，并控制机器人在4位姿进行5次平移运 动，即可实现结构光手眼三维测量系统的摄像机内参数尤手眼矩阵兄（和线结构光平面方 程的标定；整个方法包括以下几个模块 ： 给定机器人一个初始位姿
将标定工件放置在摄像机视野区域1〇中，采 集一幅图像，提取三角形工件的三个角点作为标定特征像点碼i(i=l，2, 3)，而后精确控制机 器人进行5次平移运动，分别为并在每次运动后拍摄包含标定特征点的图像，提取 图像特征像点; 根据结构光手眼测量系统中特征像点运动前后关系，建立每个特征点关于摄像机内参 数辟P手眼矩阵旋转部分础勺最小二程方程，标定出摄像机内参数辟P手眼矩阵旋转部分 兄同时得到三个特征点在摄像机坐标系的三维坐标xe(li，进一步求解三个点构成的平面方 程曷； 给定位I
7；位姿为在^位姿下的纯旋转运动，旋转矩阵为氣= ，可求解平面，旋转后的方程，；对场景中标定特征点取像，像点为％i，根据内参数矩阵求 解像点在摄像机坐标系下深度信息未知的Xai，将其带入方程* ,得到各点三维坐标，依据 结构光手眼关系方程构建手眼矩阵平移部分（和三个标定点在机器人末端坐标系坐标信 息的线性方程，通过最小二程法求解； 打开激光器分别在位姿7；处拍摄带激光条图像提取激光条直线，拟合光条直线方 程，两条直线即为光平面与特征点构成平面的交线，取直线上点并将其转换到摄像机坐标 系，通过系列点在摄像机坐标系的坐标拟合光平面方程。
2. 如权利要求1所述线性无关的平移运动自动选取，具有如下特征： 设摄像机CCD尺寸为M*N，区域10范围为：
将标 定工件放置在区域10中，< ￡根据三角标定工件在图像视野中所处的位置确定；确定方 法如下：
若编号1点在区则预给定'在机 器人末端坐标系或摄像机坐标系的方向向量为：4=(1，〇, 〇)，4=(1，1，〇)，4=(〇, 1，〇)， 办4=(1，1，1)，4=(〇，M)，机器人沿上述方向4运动距离Zca，根据特征点像素坐标 的变化与实际距离4的比例关系确定运动向量距离大小；设特征点1沿&方向运 动前后坐标为（ul,vl)和丨iV丨，则A方向运动距离为
由此<..I^为
同理，若编号1点在区域
W预给定- 4的方 向向量为：4=(_1，〇, 〇)，4=(_1，1，〇)，《=(〇, 1，〇)，4=(_1，1，1)，4=(〇, 1，1)，^A:为
若编号1点在区_
则预给定的方向 向量为：A=(i，〇, 〇)，4=(1，-1，〇)，4=(〇, _1，〇)，4=(1，-1，1)，4=(〇, _1，1)，氛为
若编号1点在区域
，则预给定￡的方向向 量为：4=(_1，〇,
〇)，4=(_1，-1，〇)，《=(〇, _1，〇)，4=(_1，-1，1)，4=(〇, _1，1),氨 '' 4 为
3. 如权利要求1所述标定摄像机内参数辟P手眼矩阵旋转部分兄具有如下特征： 根据Zijffiij- (I, 1, 2, 3;j=l, 2,…，5)，建立5次运动前后特征像点》n~?5i 关于内参数辟P手眼矩阵旋转部分础勺最小二程方程，分别求解出摄像机的内参数辟P手眼 矩阵的旋转部分后取均值。
4. 如权利要求1所述求解三个点构成的平面方程& ,具有如下特征： 求解内参数辟P手眼矩阵的旋转部分础勺同时可得三个特征点在摄像机坐标系坐标 二&if1%,三个特征点构成的平面方程为￥分7_7允，+7=6?,将三个点坐标带入方程式求 解，=(:斗
5. 如权利要求1所述标定手眼矩阵平移部分（，具有如下特征： 乃位姿为在4位姿下的纯旋转运动，旋转矩阵为' ,可求解平面露,旋转后 的方程=麗; 求解特征像点带参数的摄像机坐标系坐标为石4f1%/，同时点在光平面％上， 将其带入&方程，可求解深度信息进而得到各点在摄像机坐标系的三维坐标； 根据摄像机坐标系和机器人末端坐标系坐标关系：不=7?不+ (，可得
，又石i=疋石U，写成矩阵形3
通过最小二乘求解手眼矩阵平移 部分（和每个位姿下每个标足特祉点在机器人禾爾坐称糸坐标，并将该坐标转换到机器人 基坐标系，关系为
进而得到三个特征点构成平面在机器人基坐标系 平面方程*J。
6. 如权利要求1所述拟合光条直线方程，具有如下特征： 在位姿7；处拍摄带激光条图像，如图4所示，在2位姿下，结构光平面与特征点构 成的平面相交于2条直线，2条直线反映在结构光平面上即为2条相交直线，通过2条直线 上点的坐标拟合光平面方程；首先对采集到的光条直线进行处理，拟合直线方程，具体流程 为：（1)对采集到的焊缝图像进行中值滤波；（2)大津法进行二值化；（3)取光条重心的方 法对光条进行细化；(4)Hough变换拟合光条直线方程；以拟合的光条直线上点代替原特征 点，减少误差。
7. 如权利要求1所述取光条直线上点，并将其转换到摄像机坐标系，具有如下特征： 取光条直线上在10区域中的点，分别为/^b)，其中（i=l，2, 3)表示机器人三 个位姿，（j=l，2,…，10)表示每个位姿下在光条上处于10区域中的部分均匀选取10点， 将各点坐标代入机器人手眼关〕
得到深度信息\未知的 Iwij，并将其代入三个标定特征点构成平面的方程％中，可求解各点深度信息进而求解 各点I」后，代入手眼关系得到该点在摄像机坐标系的坐标石,7。
8. 如权利要求1所述拟合光平面方程，具有如下特征： 光平面方程为ar分将20个点的坐标带入，通过最小二乘法拟合光平面方 程，得到 c, 1)。
【专利摘要】本发明通过深入分析线结构光手眼三维测量系统工作原理，设计了一种基于3个环境特征点和2个给定位姿的全自动标定方法。该标定方法对场景中三个特征点取像，通过精确控制机器人进行5次平移运动，标定摄像机内参数和手眼矩阵旋转部分；通过给定机器人2个不同位姿，结合特征点构成平面在不同坐标系的参数方程信息，标定手眼矩阵平移部分和结构光平面在摄像机坐标系下平面方程。该标定方法简单，特征选取容易，对结构光手眼三维测量系统在实际工业现场使用有重要意义。
【IPC分类】G01B11-25
【公开号】CN104613899
【申请号】CN201510067011
【发明人】郭新年, 白瑞林, 周红标
【申请人】淮阴工学院
【公开日】2015年5月13日
【申请日】2015年2月9日