一种机器人宇航员双目视觉系统的自标定方法
【专利摘要】本发明公开了一种机器人宇航员双目视觉系统的自标定方法，通过建立信息库，利用Asift&Ransac、图像分割、hough变换以及Ransac拟合解决基于平行线的自标定方法对光照敏感的问题；引入距离阈值的方法控制视觉系统的位置，解决基于平行线的自标定方法成像平面的限制问题。当机器人宇航员被运送上天、以及在作业过程中发生意外情况时，可以利用空间站的环境对其双目视觉系统进行自标定，并且在自标定过程中根据空间站的环境，自适应的调整算法，得到准确的双目视觉系统参数，实现精确的三维定位，为机器人宇航员进行操作终端等任务提供支持。
【专利说明】
一种机器人宇航员双目视觉系统的自标定方法
技术领域
[0001] 本发明涉及一种机器人宇航员双目视觉系统的自标定方法，解决复杂空间站环境 内机器人宇航员双目视觉系统的实时自主标定问题。
【背景技术】
[0002] 能够自主运动的机器人宇航员系统上一般安装双目视觉系统，以协助其实现导 航、定位、操作终端等多样性的任务。为了使用双目视觉系统进行精确的三维定位，必须得 到双目视觉系统的参数，即标定。双目视觉系统在通过火箭运送上天的过程中，其参数很容 易发生改变，需要对其重新标定;而在空间站中投入使用后，若相机出现故障而更换，或在 作业过程中遇到磕碰等意外情况，同样也需要对其参数进行重新标定。传统的视觉系统标 定方法需要具备懂得相关专业知识的人使用靶标来协助标定。航天员登天后任务繁多，教 航天员掌握标定技术的方法是不可取的，而通过遥控的方法，地面专家进行标定操作繁琐， 且无法实时标定，故传统标定方法在这种情况下受到了限制。
[0003] 所以本发明公开一种机器人宇航员双目视觉系统自标定方法。现有的自标定方法 主要包括基于Kruppa方程的方法、分级重构方法、基于几何特征的方法等。基于Kruppa方程 的方法无需给定参数初始值，使用方便，但是对噪声敏感，未解决唯一求解问题。分级重构 方法精度相对于Kruppa较高，但是鲁棒性差，初始值选取敏感。基于几何特征的方法主要限 制是需要应用场合具备相应的素材，现在比较主流的方法是基于平行线特征进行自标定的 方法。但是这种算法是基于平行线进行处理，对平行线识别情况较为敏感，故目前这种算法 仍处于实验室以及简单背景下的自标定应用阶段。
[0004] 为了解决传统标定算法对空间站机器人宇航员双目视觉系统的标定带来的问题， 本发明所采用的技术手段是:将自标定方法引入到空间站中去，利用空间站内常见的平行 线，选择基于平行线消隐点几何特征的自标定方法，以实现在空间站内双目视觉系统的自 标定。
[0005] 将此算法应用在空间站中，影响标定结果精度的原因主要有:复杂的直线关系、复 杂的空间站光照环境、平行线所在平面与成像平面的夹角。
【发明内容】
[0006] 为解决上述技术问题，本发明采取的技术方案是提供一种机器人宇航员双目视觉 系统的自标定方法，通过建立信息库，利用Asift&Ransac结合算法进行两次匹配的方法解 决了基于平行线的自标定方法在复杂背景的应用中平行线识别的问题。通过利用Asift& Ransac结合算法实现对象匹配，实现感兴趣区域的提取，利用图像分割&hough变换实现感 兴趣区域的缩小，利用Ransac算法拟合直线实现高噪声环境下的平行线拟合。
[0007] 综上，解决了基于平行线的自标定方法对光照敏感的问题。
[0008] 引入距离阈值的方法控制视觉系统的位置，解决了基于平行线的自标定方法成像 平面的限制问题。
[0009] 所述机器人宇航员双目视觉系统的自标定方法，包括如下步骤：
[0010] (1)建立信息库，在该信息库中包括具有平行线特征的对象的信息，以用于自标定 中特征点的匹配；
[0011] (2)所述双目视觉系统随机采集图像，进行平行线提取；
[0012] (3)利用所提取的平行线的数据进行自标定。
[0013]所述方法，还包括步骤(4)距离阈值的验证，以控制所述视觉系统的位置。
[0014] 所述步骤（1)又包括:通过采集图像，在空间站发射前，对空间站内具有平行线特 征的对象进行采样录入信息库;并且，手动提取各个对象平行线所在的区域，将区域外扩以 用于更精确地特征点匹配，将对应对象外扩后的平行线所在的区域录进信息库。
[0015] 所述对象包括:行李架、笔记本、操作台和/或舱壁。
[0016] 所述步骤(2)又包括:〈2.1>随机采集图像，利用Asift算法与信息库中的对象进行 特征点匹配，利用Ransac算法进行误匹配点剔除后，选择匹配点最多的对象，作为本次采集 的平行线提取对象，即平行线对应区域。
[0017] 所述特征点匹配又包括:在信息库中根据路径寻址事先存入信息库的对应对象的 平行线区域，利用Asift算法与Ransac算法将此区域与采集图像进行进一步的特征点匹配。
[0018] 所述步骤（2)又包括：〈2.2>在得到粗略的平行线对应区域后，利用图像分割、 hough变换实现感兴趣区域的缩小。
[0019] 所述图像分割的方式包括阈值分割。
[0020] 所述步骤(2)又包括:〈2.3>在使用hough变换提取出平行线后，在此提取的平行线 上外扩，在该外扩后的区域内随机取点，得到原始点集，利用畸变校正算法对原始点集进行 校正，得到校正点集。
[0021] 所述步骤(2)又包括:〈2.4>利用Ransac算法对校正点集进行拟合，得到平行线解 析解，从而完成平行线数据的提取。
[0022] 所述步骤(4)又包括:〈4.1>在步骤(2)前，设置消隐点坐标相对于图像坐标系原点 的距离阈值cU;设置采集图像次数n= 1;
[0023] 〈4.2>在步骤(2)后，通过所获取的平行线解析解，得到消隐点坐标，进而计算得到 消隐点坐标相对于图像坐标系原点的距离d;
[0024] 〈4.3>判断d是否满足小于距离阈值cb;
[0025] 如不满足，则根据两者的差值调节所述视觉系统的运动，然后返回步骤(2)重新进 行图像米集；
[0026]如满足，则储存所述数据，并判断是否n>8，
[0027] 若否，设置n = n+l，返回步骤(2)重新进行图像采集；
[0028] 若是，则停止进行图像采集，并利用得到的8组平行线解析解的平行线数据计算视 觉系统参数并输出。
[0029] 调节所述视觉系统的运动包括调节所述视觉系统中摄像头的拍摄方位。
[0030] 所述拍摄方位的调节通过机器人头部的转动角度的调节实现。
[0031] 当机器人宇航员被运送上天、以及在作业过程中发生意外情况时，可以利用空间 站的环境对其双目视觉系统进行自标定，并且在自标定过程中根据空间站的环境，自适应 的调整算法，得到准确的双目视觉系统参数，实现精确的三维定位，为机器人宇航员进行操 作终端等任务提供支持。
[0032] 本发明通过建立信息库，利用Asift&Ransac、图像分割、hough变换以及Ransac拟 合解决基于平行线的自标定方法对光照敏感的问题；引入距离阈值的方法控制视觉系统的 位置，解决基于平行线的自标定方法成像平面的限制问题。
[0033]本发明的有益效果是，当机器人宇航员双目视觉系统需要标定参数时，可以在有 无靶标、光照强弱等情况下，于空间站任何作业区域实现自动标定，特别是在作业时，突发 情况参数改变，可以进行实时自动标定，无需地面人员和宇航员进行辅助。
【附图说明】
[0034]图1为正交的两组平行直线经过理想投影的几何模型。
[0035]图2为坐标系间的关系图。
[0036]图3为平行线提取流程图。
[0037]图4为自标定整体流程图。
【具体实施方式】
[0038]下面结合附图详细描述本发明的实施方式。
[0039]建立自标定模型，在图像坐标系下由模板图像得到的两消隐点为:A(UA，v A)，B(UB， VB)，连线中点为E(ue，ve)，ue= (ua+ub)/2，ve= (va+vb)/2,摄像机坐标系下以消隐点A、B的连 线为直径的圆球体方程为：
[0041 ] 将光心坐标〇(cK设在该圆球上，得到：
[0043]公式（1)中，f为镜头焦距，dx、dy分别代表一个像素在X轴、Y轴方向上的物理尺寸； 公式(2)是关于摄像机内参数&，(^，匕，心的方程，其中，(^、(^分别为图像的中心点在图像坐 标系下的X轴、y轴坐标值，：^ = ：?/心，€7 = ;^(^，拍摄四幅或以上图像即可获得上述4个未知 数的唯一解。
[0044] 如图2所示，将世界坐标系选取为：以Li，L3交点0W为圆心，Li，L3分别为X轴和y轴方 向，按右手系规则确定z轴。在摄像机坐标系下，消隐点A、B与光心构成的向量分别为 涵，涵，而=页:><涵。设函，品，反进行归一化后的向量分别为a，b，c，消隐点坐标系 0ABC下a，b，c分别为3坐标轴上的单位向量，则系0ABC与摄像机坐标系的旋转矩阵R '满足： R' = [a b c]。世界坐标系与摄像机坐标系的旋转矩阵R与R'的方向关系可利用投影向量 00与x'，y'的符号关系来判断，其中0/为世界坐标原点〇w的投影。
[0045]已知世界坐标系的原点在图像平面的坐标(uw，Vw)，则世界坐标系的原点在摄像机 坐标系下的坐标为A[(Uw_Cx) · dx(vw-cy) · dy f]，仅λ-个未知数，当已知平行线所在平面 上任意一点的摄像机坐标系下的坐标以及世界坐标系下的坐标，即可得到平移矩阵。
[0046] 如图3所示，机器人宇航员双目视觉系统的自标定方法，通过建立信息库，在确定 启动自标定程序后，双目视觉系统随机采集图像进而实施平行线提取，进而利用所提取的 平行线的数据进行自标定。其中，所述平行线提取，又包括如下步骤：
[0047] 在自标定程序启动后得到随机采集的图像，利用Asift算法与信息库中的对象进 行特征点匹配，利用Ransac算法进行误匹配点剔除后，选择匹配点最多的对象，作为本次采 集的平行线提取对象，即平行线对应区域。在该步骤中：在信息库中根据路径寻址事先存入 信息库的对应对象的平行线区域，利用Asift算法与Ransac算法将此区域与采集图像进行 进一步的特征点匹配，得到采集图像中的平行线对应区域。
[0048]在得到此粗略的平行线对应区域后，利用图像分割、hough变换实现感兴趣区域的 缩小。其中，所述图像分割的方式包括阈值分割。
[0049] 在上述缩小后的感兴趣区域进行散点提取。由于摄像机镜头存在一定水平的畸 变。在畸变成像面上，直线的投影将会发生弯曲。如直接使用hough变换结合最小二乘法提 取平行线，将会忽略摄像机的一个很重要的内参:镜头畸变，从而使标定结果产生一定的误 差。因而，在使用hough变化提取出平行线后，在此提取的平行线上外扩一定的区域，在此区 域内随机取点，得到原始点集，后利用畸变校正算法对原始点进行校正，得到校正点集。
[0050] 关于畸变校正算法，
[0051 ]建立垂直度的指标函数
[0053]式中页为第i幅图像确定的两消隐点与光心0的连接向量，
[0056] (u'Al，V'Al)和(u' Bl，v'Bl)为对第i幅图像投影直线按公式(5)修正后得到的两消隐 点的图像坐标，建立公式(6)所示的最优化问题
[0057] x = x，/(l+k · (x，2+y，2)
[0058] y = y7(i+k . (x，2+y，2) (5)
[0059] (κ/ν'ν,*) (6)
[0000] 对于求得的R= [ri' Γ2' Γ3']，由于最优化得到的内参数不一定能使ri'，Γ2'，r3' 满足旋转正交性质，采用最小距离准则来求R的最佳解。即令对R进行奇异值分解，即USV分 解，R = USVT，当R=UVT时取得最大值，从而获得外参数最优解。
[0061]利用Ransac算法对校正点集进行拟合，得到平行线解析解，从而完成平行线数据 的提取。
[0062]所述建立信息库的过程又包括:通过采集图像，在空间站发射前，对空间站内具有 平行线特征的对象，如行李架、笔记本、操作台、舱壁等等进行采样录入信息库;并且 [0063]手动提取各个对象平行线所在的区域，将区域微微外扩，以便于后续更精确的特 征点匹配，将对应对象外扩后的平行线所在的区域录进信息库。
[0064]此外，如图4所示，所述自标定方法还包括距离阈值的验证，以控制视觉系统的位 置，从而解决了基于平行线的自标定算法成像平面的限制问题。
[0065]在所述距离阈值的验证中，首先，设置消隐点坐标相对于图像坐标系原点的距离 阈值cU;设置采集图像次数n= 1;进行图像采集;进行平行线提取;通过所获取的平行线解 析解，得到消隐点坐标，进而计算得到消隐点坐标相对于图像坐标系原点的距离d，判断d是 否满足小于距离阈值du
[0066]如不满足，则根据两者的差值调节所述视觉系统的运动，然后返回重新进行图像 采集;其中，调节所述视觉系统的运动包括调节所述视觉系统中摄像头的拍摄方位;所述拍 摄方位的调节通过机器人头部的转动角度的调节实现。
[0067]如满足，则储存数据，并判断是否η>8,若否，设置n = n+l，重新进行图像采集;若 是，则停止进行图像采集，并将得到的8组平行线解析解的平行线数据输入自标定模型中， 计算视觉系统参数(f，k，cx，c y，R，T)并输出，从而完成自标定。其中，f为镜头焦距，k为镜头 畸变，cx、cy分别为图像的中心点在图像坐标系下的X轴、y轴坐标值，R、T分别为右目相机相 对于左目相机的旋转矩阵、平移向量。
[0068]以上应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明 只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本 发明的思想，在【具体实施方式】及应用范围上均会有改变之处，综上所述，本说明书内容不应 理解为对本发明的限制。
【主权项】
1. 一种机器人宇航员双目视觉系统的自标定方法，其特征在于，包括如下步骤： (1) 建立信息库，在该信息库中包括具有平行线特征的对象的信息，以用于自标定中特 征点的匹配； (2) 所述双目视觉系统随机采集图像，进行平行线提取； (3) 利用所提取的平行线的数据进行自标定。2. 如权利要求1的所述方法，其特征在于，还包括步骤(4)距离阈值的验证，以控制所述 视觉系统的位置。3. 如权利要求1或2的所述方法，其特征在于，所述步骤（1)又包括:通过采集图像，在空 间站发射前，对空间站内具有平行线特征的对象进行采样录入信息库;并且，手动提取各个 对象平行线所在的区域，将区域外扩以用于更精确地特征点匹配，将对应对象外扩后的平 行线所在的区域录进信息库。4. 如权利要求1或2的所述方法，其特征在于，所述对象包括:行李架、笔记本、操作台 和/或舱壁。5. 如权利要求1或2的所述方法，其特征在于，所述步骤(2)又包括： 〈2.1>随机采集图像，利用4^代算法与信息库中的对象进行特征点匹配，利用1^11 8&(3 算法进行误匹配点剔除后，选择匹配点最多的对象，作为本次采集的平行线提取对象，即平 行线对应区域。6. 如权利要求5的所述方法，其特征在于，所述特征点匹配又包括:在信息库中根据路 径寻址事先存入信息库的对应对象的平行线区域，利用Asift算法与Ransac算法将此区域 与采集图像进行进一步的特征点匹配。7. 如权利要求5的所述方法，其特征在于，所述步骤(2)又包括： 〈2.2>在得到粗略的平行线对应区域后，利用图像分割、hough变换实现感兴趣区域的 缩小。8. 如权利要求7的所述方法，其特征在于，所述图像分割的方式包括阈值分割。9. 如权利要求7或8的所述方法，其特征在于，所述步骤(2)又包括： 〈2.3>在使用hough变换提取出平行线后，在此提取的平行线上外扩，在该外扩后的区 域内随机取点，得到原始点集，利用畸变校正算法对原始点集进行校正，得到校正点集。10. 如权利要求9的所述方法，其特征在于，所述步骤(2)又包括： 〈2.4>利用Ransac算法对校正点集进行拟合，得到平行线解析解，从而完成平行线数据 的提取。11. 如权利要求2的所述方法，其特征在于，所述步骤(4)又包括： 〈4.1>在步骤(2)前，设置消隐点坐标相对于图像坐标系原点的距离阈值d1;设置采集图 像次数n = l; 〈4.2>在步骤(2)后，通过所获取的平行线解析解，得到消隐点坐标，进而计算得到消隐 点坐标相对于图像坐标系原点的距离d; 〈4.3>判断d是否满足小于距离阈值cU; 如不满足，则根据两者的差值调节所述视觉系统的运动，然后返回步骤(2)重新进行图 像米集； 如满足，则储存所述数据，并判断是否8， 若否，设置n = n+l，返回步骤(2)重新进行图像采集； 若是，则停止进行图像采集，并利用得到的8组平行线解析解的平行线数据计算视觉系 统参数并输出。12. 如权利要求11的所述方法，其特征在于，调节所述视觉系统的运动包括调节所述视 觉系统中摄像头的拍摄方位。13. 如权利要求12的所述方法，其特征在于，所述拍摄方位的调节通过机器人头部的转 动角度的调节实现。
【文档编号】G06T7/00GK106097342SQ201610414437
【公开日】2016年11月9日
【申请日】2016年6月13日 公开号201610414437.9, CN 106097342 A, CN 106097342A, CN 201610414437, CN-A-106097342, CN106097342 A, CN106097342A, CN201610414437, CN201610414437.9
【发明人】蒋志宏, 李晓云, 魏博, 李辉, 黄强
【申请人】北京理工大学