基于轮廓识别的机器人可变视角障碍物检测方法
【专利摘要】一种基于轮廓识别的机器人可变视角障碍物检测方法，包括：(1)使用标定板对双目视觉系统进行标定；(2)使用两台摄像机同时对同一场景进行拍摄，对左右两幅图像进行极线校正，然后提取边缘并连接；(3)寻找目标物体的轮廓并进行匹配；(4)重建出轮廓的三维点云并优化三维轮廓点云；(5将转台旋转一定角度，确保两次拍摄具有重叠区域，对另一个方向进行三维重建；(6)寻找两组三维轮廓点云的重叠区域；(7)采用七参数法对两组三维轮廓点云进行初始配准；(8)赋予重叠区域的对应点权重，对重叠区域的三维轮廓点云进行迭代最近点法运算，完成三维轮廓点云的精确配准。本发明配准精度高，且运算量小，具有较高实时性。
【专利说明】基于轮廓识别的机器人可变视角障碍物检测方法
【技术领域】
[0001] 本发明属于计算机视觉和图像测量【技术领域】，尤其涉及机器人视觉导航中基于轮 廓识别的机器人可变视角障碍物检测方法。
【背景技术】
[0002] 双目三维重建是机器视觉中一个非常重要的研宄领域，广泛应用于机器人导航 中。经过相机标定，图像采集，图像预处理，立体匹配和三维重建后可以得到物体的三维信 息。目前，绝大多数三维重建方法都是基于固定视角，即机器人每次获得的三维信息的范围 是固定的。这使得机器人在同一个坐标系中不可能分析大视角范围的障碍物，并进行三维 重建。
[0003] 为了使机器人能根据实际要求，实现可变视角内的障碍物检测，从而更加全面地 感知外界环境信息，以便更好地进行路径规划及其它相关工作，需要对两个三维点云进行 拼接。
[0004] 目前大多数的图像特征提取和匹配算法存在一个矛盾：当提取的特征量足够多 时，图像的匹配误差率将大大提高；而当匹配准确度很高的时候，往往提取的的特征量是 很稀疏的，不能满足三维重建的要求，典型的如Sift点的提取和匹配，sift是Lowe提出 的一种采用多尺度高斯差分图像检测关键点的方法，其中每个关键点的位置和尺度对应 于一个局部稳定的区域，每个特征点都有与之对应的特征向量，匹配准确率高，但是其特 征点的数量有限，很难达到三维重建的要求。
[0005] 用于三维数据拼接的方法主要有三种：
[0006] 第一种：通过精密平台、经炜仪、激光跟踪仪等大型装置来扩展测量范围，这种方 法中所用的测量装置价格昂贵，而且无法应用于野外机器人的自主导航中。
[0007] 第二种：通过在测量装置相邻两次测量的公共视场内粘贴标记点，利用其中非共 线的三个点来求取拼接矩阵，这种方法需要人为粘贴标记点，也无法应用于野外机器人的 自主导航中。
[0008] 第三种：迭代最近点算法，当点比较多时，这种方法存在迭代运算量大，运行时间 长等问题，且不适合于表面曲率变化不丰富的被测物，对重叠区域的查找也是一个难点。
[0009] 所以一种既能够提取图像足够多的特征信息，又能够保证图像特征匹配的准确率 同时能适应野外快速自动拼接的方法成为函待解决的问题。
【发明内容】
[0010] 为了克服现有的机器人障碍物检测方法的计算量大、快速性较差的不足，本发明 提供了一种基于轮廓识别的机器人可变视角障碍物检测方法，因为图像的边缘包含了用于 识别的有用信息，且相对于所有点的密集匹配大大减少了计算量，且基于边缘的拼接方法 能适应无人为干预情况下三维点云的快速拼接。
[0011] 为了解决上述技术问题采用的技术方案如下：
[0012] 一种基于轮廓识别的机器人可变视角障碍物检测方法，包括下列步骤：
[0013] (1)双目立体视觉系统的标定：将两个CCD摄相机装于机器人的转台上，使用标定 板对双目视觉系统的每一个摄像机进行标定并记录各摄像机的内参数和外参数，对双目视 觉系统进行立体标定并记录两个摄像机之间位置关系的旋转矩阵R。和平移矩阵T。，并设置 双目视觉系统的全局坐标系O1;
[0014] (2)图像采集及预处理：使用两台摄像机同时对同一场景进行拍摄，得到左右两 幅图像P11,Pri，并对两幅图像进行极线校正，然后逐行扫描每幅图像，提取灰度变化剧烈的 像素点为候选边缘点，并用闭运算方法连接图像中目标物体的边缘；
[0015] (3)基于轮廓识别的立体匹配：从目标物体的边缘图像中，寻找目标物体的轮廓， 对左右两幅图像中目标物体的轮廓分别进行匹配，采用基于窗口的灰度匹配原则对匹配轮 廓上的每个像素点在对应极线上进行匹配；
[0016] (4)基于轮廓识别的快速三维重建：利用己经标定好的系统参数进行目标物体轮 廓的三维重建，通过标定好的每个摄像机的内参数和两个摄像机之间位置关系的旋转矩阵 R和平移矩阵T确定物体轮廓各点的空间坐标和图像坐标的关系，通过轮廓特征点的图像 坐标可得到空间三维坐标，根据轮廓的连续性原理优化三维轮廓点云；
[0017] (5)对另一个方向进行三维重建：根据双目立体视觉的系统单次拍摄的视角范 围，将转台旋转一定角度，确保两次拍摄具有重叠区域，得到另外一组图像P12,P#设置双 目视觉系统的全局坐标系O2，对另一方向拍摄的图像按步骤（2)至（4)进行基于轮廓识别 的快速三维重建；
[0018] (6)寻找两组三维点云的重叠区域：对两组图像中的左图像P11,P12进行轮廓匹配， 寻找匹配轮廓对应的三维轮廓点云N和M，即重叠区域；
[0019] (7)初始配准：分别计算两组重叠区域三维轮廓点云的重心，并分别以两组重叠 区域三维轮廓点云中距离重心最远的点pfl、pf2，中间的点PnlPPnl2和最近的点Pnl、p"2为特征 点，以双目视觉系统的全局坐标系O1为基准，采用七参数法计算两组三维轮廓点云的旋转 矩阵Ri和平移矩阵Ti，从而完成两组三维轮廓点云的初始配准；
[0020] (8)精确配准：赋予重叠区域的对应点权重，对重叠区域不同权重的三维轮廓点 云进行迭代最近点法运算，求解出两组三维轮廓点云的旋转矩阵Ra和平移矩阵Ta，从而将 两组三维轮廓点云转换到全局坐标系O1T，完成三维轮廓点云的精确配准。
[0021] 进一步，所述步骤（3)，基于轮廓识别的立体匹配过程包括下列步骤：
[0022] (3. 1)从目标物体的边缘图像中，提取目标物体的轮廓；
[0023] (3. 2)计算左右两幅图像中目标物体轮廓的匹配度，将匹配系数小于阈值〇i的轮 廓视为匹配轮廓；
[0024] (3. 3)对于匹配轮廓上的像素点采用基于窗口的灰度匹配原则在对应极线上进行 匹配。
[0025] (3. 4)若目标物体的轮廓已经历遍，则基于轮廓识别的立体匹配结束，否则，重复 步骤（3. 2)、（3. 3)。
[0026] 再进一步，所述检测方法还包括步骤：（9)加权融合：采用加权平均融合算法融合 配准后的三维轮廓点云，以消除点云间可能存在的裂缝，使三维轮廓点云更加平滑。
[0027] 更进一步，所述步骤（4)中，所述的根据轮廓的连续性原理优化三维轮廓点云，即 计算目标物体对应的三维轮廓点云中相邻两点之间的平均距离L，以平均距离的两倍即2L为阈值，若存在三维点到相邻任一三维点的距离大于2L，则将其视为噪声点，予以舍去。
[0028] 所述步骤（8)包括下列步骤：
[0029] (8. 1)为轮廓点云N中的每一个点在轮廓点云M中寻找最近点，作为对应点并赋予 对应点权重，对应点的距离越远，赋给它的权值越小：
[0030]
【权利要求】
1. 一种基于轮廓识别的机器人可变视角障碍物检测方法，其特征在于：所述检测方法 包括下列步骤： (1) 双目立体视觉系统的标定：将两个CCD摄相机装于机器人的转台上，使用标定板对 双目视觉系统的每一个摄像机进行标定并记录各摄像机的内参数和外参数，对双目视觉系 统进行立体标定并记录两个摄像机之间位置关系的旋转矩阵R。和平移矩阵T。，并设置双目 视觉系统的全局坐标系〇1; (2) 图像采集及预处理：使用两台摄像机同时对同一场景进行拍摄，得到左右两幅图 像Pu，P#并对两幅图像进行极线校正，然后逐行扫描每幅图像，提取灰度变化剧烈的像素 点为候选边缘点，并用闭运算方法连接图像中目标物体的边缘； (3) 基于轮廓识别的立体匹配：从目标物体的边缘图像中，寻找目标物体的轮廓，对左 右两幅图像中目标物体的轮廓分别进行匹配，采用基于窗口的灰度匹配原则对匹配轮廓上 的每个像素点在对应极线上进行匹配； (4) 基于轮廓识别的快速三维重建：利用己经标定好的系统参数进行目标物体轮廓的 三维重建，通过标定好的每个摄像机的内参数和两个摄像机之间位置关系的旋转矩阵R和 平移矩阵T确定物体轮廓各点的空间坐标和图像坐标的关系，通过轮廓特征点的图像坐标 可得到空间三维坐标，根据轮廓的连续性原理优化三维轮廓点云； (5) 对另一个方向进行三维重建：根据双目立体视觉的系统单次拍摄的视角范围，将 转台旋转一定角度，确保两次拍摄具有重叠区域，得到另外一组图像P12,P#设置双目视觉 系统的全局坐标系〇2，对另一方向拍摄的图像按步骤（2)至（4)进行基于轮廓识别的快速 三维重建； (6) 寻找两组三维点云的重叠区域：对两组图像中的左图像PU，P12进行轮廓匹配，寻找 匹配轮廓对应的三维轮廓点云N和M，即重叠区域； (7) 初始配准：分别计算两组重叠区域三维轮廓点云的重心，并分别以两组重叠区域 三维轮廓点云中距离重心最远的点Pfl、Pf2，中间的点Pml、Pm2和最近的点Pnl、Pn2为特征点， 以双目视觉系统的全局坐标系h为基准，采用七参数法计算两组三维轮廓点云的旋转矩阵 氏和平移矩阵Tp从而完成两组三维轮廓点云的初始配准； (8) 精确配准：赋予重叠区域的对应点权重，对重叠区域不同权重的三维轮廓点云进 行迭代最近点法运算，求解出两组三维轮廓点云的旋转矩阵Ra和平移矩阵Ta，从而将两组 三维轮廓点云转换到全局坐标系仏下，完成三维轮廓点云的精确配准。
2. 如权利要求1所述的基于轮廓识别的机器人可变视角障碍物检测方法，其特征在 于：所述步骤（3)，基于轮廓识别的立体匹配过程包括下列步骤： (3. 1)从目标物体的边缘图像中，提取目标物体的轮廓； (3. 2)计算左右两幅图像中目标物体轮廓的匹配度，将匹配系数小于阈值〇 :的轮廓视 为匹配轮廓； (3. 3)对于匹配轮廓上的像素点采用基于窗口的灰度匹配原则在对应极线上进行匹 配； (3.4)若目标物体的轮廓已经历遍，则基于轮廓识别的立体匹配结束，否则，重复步骤 (3. 2)、（3. 3)。
3. 如权利要求1或2所述的基于轮廓识别的机器人可变视角障碍物检测方法，其特征 在于：所述检测方法还包括步骤：（9)加权融合：采用加权平均融合算法融合配准后的三维 轮廓点云，以消除点云间可能存在的裂缝，使三维轮廓点云更加平滑。
4. 如权利要求1或2所述的基于轮廓识别的机器人可变视角障碍物检测方法，其特征 在于：所述步骤（4)中，所述的根据轮廓的连续性原理优化三维轮廓点云，即计算目标物体 对应的三维轮廓点云中相邻两点之间的平均距离L，以平均距离的两倍即2L为阈值，若存 在三维点到相邻任一三维点的距离大于2L，则将其视为噪声点，予以舍去。
5. 如权利要求1或2所述的基于轮廓识别的机器人可变视角障碍物检测方法，其特征 在于：所述步骤（8)包括下列步骤： (8. 1)为轮廓点云N中的每一个点在轮廓点云M中寻找最近点，作为对应点并赋予对应 点权重，对应点的距离越远，赋给它的权值越小：
其中DisUpppJ表示对应点（PdpJ之间的欧式空间距离，Distmax表示对应点距离的 最大值，给定阈值〇2，如果对应点的Weight多〇2，保留该对应点，否则剔除该对应点； (8.2)判断是否历遍所有对应点，如果没有历遍，寻找下一组对应点，重复步骤（8. 1)， 否则，以双目视觉系统的全局坐标系h为基准，对重叠区域不同权重三维轮廓点云进行迭 代最近点法运算，求解出两组三维轮廓点云之间的旋转矩阵Ra和平移矩阵Ta; (8. 3)通过旋转矩阵Ra和平移矩阵Ta，将两组三维轮廓点云转换到全局坐标系下， 完成三维轮廓点云的精确配准。
【文档编号】G06T5/50GK104484648SQ201410706630
【公开日】2015年4月1日 申请日期:2014年11月27日 优先权日:2014年11月27日
【发明者】艾青林, 沈智慧, 应申舜 申请人:浙江工业大学