专利名称：双介质下基于双目视觉的目标姿态测量方法
技术领域：
本发明属于图像信息技术领域，涉及在不同介质中光线传播会产生折射的双介质条件下，对目标物体位姿的测量方法，可用于航天器在水下模拟太空环境中进行实验时，对航天器姿态的测量。
背景技术：
航天员进行太空活动是我国载人航天技术发展的一个关键步骤。利用航天员的出舱活动可以完成观测地面目标、在轨维修和组装大型空间设施等任务。但是，航天员的出舱活动又是极其昂贵和带有极大风险性的空间作业任务。美国航宇局的资料表明，空间出舱活动I小时，在地面至少要完成100多小时的模拟练习。在失重状态下，人体不能保持平衡，动作姿态完全失控，全身也难以稳定，呈现飘浮的自由态，身体任何局部姿态的改变，都将有可能引起全身的转动，并且由于航天员进行出舱活动时要通过绳索与航天器连接在一起的，因此航天员的出舱活动会对航天器的运动姿态产生影响。本发明主要研究的是航天员在进行模拟实验时的航天器姿态的测量，并通过分析研究得出的数据对航天员的活动做进一步指导，同时对航天器的姿态进行修正。一般来说，所谓人机整合舱外活动的模拟失重试验是在地面条件下模拟出一种微重力的环境后，将人、舱外航天服和载人航天器看作为一个系统整体，分析影响人和航天器运动姿态的因素，据此提出相关的设计措施。评价载人航天器采用的各种机构在失重环境下能否工作正常、性能是否可靠、运动姿态是否符合要求等，但是若要在水下完全逼真地再现空间失重，必须提供六自由度运动，模型和空间物体在大小和形状上要相似，模型的质量和惯性矩必须复现空间运动体的质量和惯性矩，水下模拟的影响因素必须减至可接受的水平。所以对航天器位姿的测量研究，不仅可以检验中性浮力水槽所提供的模拟环境是否符合要求，同时得出的位姿数据对真实情况下航天员的出舱活动，航天器的运行状况分析都具有极为重要的指导意义。当前对航天器姿态研究的主要方法有(I)利用GPS进行目标载体的姿态测量方法，如Interferometric attitude determination with the Global Positioning System, Guidance and Control Conference, Palo Alto, Calif，August 7-9，1978，Technical Papers. A78-50159 22-01 New York， American Institute of Aeronautics and Astronautics， Inc.，1978， p. 96-102. Research supported by Lockheed Missiles and Space ；但是利用GPS对目标载体进行姿态测量时，由于信号在传播过程中受到电离层， 对流层，多路径和相对论效应等多方面的影响，对目标载体的定位精度一直很难达到理想的情况。(2)利用激光雷达跟踪与测量方法，如Ulf Larsson, Johan Forsberg, Ake Wernersson, On Robot Navigation Using Identical Landmarks !Integrating Measurements from a Time—of—Flight Laser， Proceedings of InternationalConference on Multi-sensor Fusion for Intelligent Systems，pp.17—26，1994 ;但是利用激光雷达跟踪方法对目标进行姿态测量时，由于激光雷达的波束极窄， 在空间搜索目标非常困难，直接影响对非合作目标的截获概率和探测效率，只能在较小的范围内搜索、捕获目标，并对目标姿态进行测量。(3)利用双目视觉测量方法，如张庆君胡修林-基于双目视觉的航天器间相对位置和姿态的测量方法，宇航学报第29卷第I期，文章编号1000. 1328(2008)。双目视觉的测量方法，是根据特征点在CCD成像平面上的投影，测出每个特征像点在摄像机成像平面上的二维坐标，经过计算和坐标转换推算出航天器上特征点的三维世界坐标，进而求出航天器姿态。该方法具有结构简单，非接触，精度较高等特点，并且其成本低，处理信息量大，速度快等优点，在反求工程、在线检测、定位导航和姿态测量等领域有着广泛的应用；另外，利用这种方法在当有一个摄像机出现故障后，另一个摄像机可利用单目算法完成测量任务，从而能够提高系统可靠性。但是，目前这种双目视觉测量都是在相同介质下对目标航天器姿态的研究，当在双介质条件下，即双目摄像机在空气中，而目标航天器在水中时，由于光线在不同介质间产生折射，使得测出的目标航天器上特征点的三维坐标值不准确，因而计算出目标物体的姿态也是不准确的，从而无法对航天器进行进一步研究。
发明内容
本发明的目的在于利用折射原理，克服上述目标航天器上特征点的三维坐标测量不准确的问题，提出一种双介质下基于双目视觉的目标姿态测量方法，以准确测量出目标特征点的三维坐标，为后续的航天器姿态计算和研究提供数据。实现本发明目的的技术方案是首先通过摄像机标定算法对双目摄像机进行标定，得到摄像机的内外参数，然后利用双目摄像机拍摄出目标航天器的左右两幅图像，对两幅图像进行预处理，角点检测和立体匹配，并找出空间特征点在两幅图像中相匹配的特征点，得出特征点在两幅图像中的像素坐标，通过三维重建方法求出目标特征点在空间中的三维坐标，根据特征点所处的不同位置建立折射模型，利用折射模型修正原有的三维坐标值，通过修正的特征点三维坐标值并利用RANSAC算法计算目标航天器的姿态。具体步骤包括如下(I)对左右摄像机进行标定，得出摄像机的内参数和外参数，根据该内外参数计算出左摄像机的内参数矩阵Mu、外参数矩阵M12和投影矩阵M1，右摄像机内参数矩阵Mrt、外参数矩阵凡2和投影矩阵凡；通过左右两个摄像机采集目标物体的图像设左摄像机采集到的图像为I1^y),右摄像机采集到的图像为IrV ’Y,)，并对两幅图像依次进行对比度增强和灰度降低处理；(2)采用Harris角点检测的方法，找出空间目标在左图像I1(Xj)中的特征点，并得出左图像中每个特征点的图像坐标P1 = (X，y)T ；(3)利用极限约束方法对特征点进行匹配，并通过金字塔匹配算法加快匹配过程， 以左图像特征点为模板中心，找出空间目标点在右图像IrU'，1')中与左图像特征点相匹配的特征点，得出特征点在右图像的图像坐Pr= (X' ,1' Y ■,(4)根据左右摄像机的参数和得到的多对匹配特征点的图像坐标进行三维重建， 得出空间特征点在世界坐标系下的三维坐标；
(5)根据折射原理，建立三维坐标值的修正模型，利用该修正模型对世界坐标系下特征点的三维坐标进行修正，得出准确的三维坐标值，在目标物体上建立目标坐标系，得出目标坐标系下的三维坐标值；(6)利用特征点在世界坐标系和目标坐标系下的三维坐标值，通过求解目标坐标系到世界坐标系的旋转矩阵，并采用RANSAC算法确定目标物体的三个姿态角，即俯仰角 Θ，偏航角Φ和滚动角Ψ，因此就得到空间目标物体的姿态。本发明具有如下优点(I)本发明采用双介质下的测量方法，通过建立折射模型能准确计算出水中目标航天器上的特征点的三维坐标值，进而能准确计算出目标航天器的姿态。(2)本发明由于采用双目立体视觉的测量方法，能够准确地测量出目标位置和姿态参数，并且对于运动的物体，双目立体视觉测量除了能够对单幅图进行分析定位，通常还将考虑运动约束，对物体进行运动估计，既测量得到物体对象的静态三维信息，也能够测量得到物体对象在时空中的变化信息，这是双目视觉测量的最重要优势之一。(3)本发明采用harris角点提取方法提取特征点，如摄像机标定、三维重建等，都是基于特征点的提取，由于不受摄像机姿态及光照的影响，同时计算简单，算子中只用到灰度的一阶差分，因而操作简单，即使存在有图像的旋转、灰度的变化、噪音影响和视点的变换，它也是最稳定的一种点特征提取算法。(4)本发明采用金字塔加速匹配方法，它是一种减少匹配时间的有效方法，通过从低分辨率图像进行模板匹配，找出粗匹配点，逐步找到原始图像的精确匹配点，故能够提高匹配效率；(5)本发明利用RANSAC算法，提取出所有位于目标航天器同一平面内的特征点对，克服了由于随机提取的特征点对不在同一平面内计算姿态而产生的错误，能够精确计算姿态参数。
图I是本发明的目标航天器姿态的测量流程图；图2是本发明的使用的金字塔匹配结构图；图3是本发明使用的空间特征点在左右图像上投影图；图4是本发明建立的折射模型图；图5是用本发明方法采集的双目摄像机拍摄的目标卫星图像对；图6是用本发明方法对目标卫星图像对的预处理结果；图7是用本发明方法对左图像进行harris角点检测结果；图8是用本发明方法得出的右图与左图某一特征点相匹配特征点的结果图；图9是用本发明方法得到的右图像的匹配特征点的图像；图10是从多对匹配特征点中随机抽取的四组匹配特征点图像。
具体实施例方式参照图I，本发明的实现步骤如下步骤I.标定双目摄像机内外参数，并采集目标图像对。
标定摄像机内外参数的目的是确定图像坐标系UV与空间三维世界坐标系 Off-XffYffZff之间的对应关系，利用该对应关系，从已知空间特征点在图像坐标系UV下的像素坐标来恢复其在世界坐标系下的三维坐标值，其实现步骤是(I. I)采用平板标定法对双目摄像机进行标定，得出左右摄像机的内参数和外参数，并根据内外参数计算出左摄像机的内参数矩阵Mu、外参数矩阵M12和投影矩阵M1，右摄像机内参数矩阵Mrt、外参数矩阵Mr2和投影矩阵
权利要求
1.一种双介质下基于双目视觉的目标姿态测量方法，包括如下步骤(1)对左右摄像机进行标定，得出摄像机的内参数和外参数，根据该内外参数计算出左摄像机的内参数矩阵Mn、外参数矩阵M12和投影矩阵M1，右摄像机内参数矩阵Mn、外参数矩阵凡2和投影矩阵凡；通过左右两个摄像机采集目标物体的图像设左摄像机采集到的图像为I1(^y)，右摄像机采集到的图像为Ir (X')，并对两幅图像依次进行对比度增强和灰度降低处理；(2)采用Harris角点检测的方法，找出空间目标在左图像I1(^y)中的特征点，并得出左图像中每个特征点的图像坐标P1 = U，y)T ；(3)采用极线约束方法进行特征点匹配，并利用金字塔快速匹配方法，以左图像特征点为模板中心，找出空间目标点在右图像IrV ,1')中与左图像特征点相匹配的特征点，得出特征点在右图像的图像坐标Pr= (X' ,1' Y ■,(4)根据左右摄像机的参数和多对匹配特征点的图像坐标进行三维重建，得出特征点在空间中世界坐标系下的三维坐标；(5)根据折射原理，建立三维坐标值的修正模型，利用该修正模型对世界坐标系下的三维坐标进行修正，得出准确的三维坐标值，在目标物体上建立目标坐标系，计算目标坐标系下的三维坐标值；(6)根据RANSAC随机采样算法筛选出同一平面内的所有特征点，利用这些特征点在世界坐标系和目标坐标系下的三维坐标值，求解空间目标物体的姿态。
2.根据权利要求I所述的双介质下基于双目视觉的目标姿态测量方法，其中步骤(2) 所述的采用Harris角点检测的方法，找出空间目标在左图像I1U, y)中的特征点，按如下步骤进行(2a)利用式τ计算左图像I1U, Y)梯度图像，其中表示卷积运算，
3.根据权利要求I所述的双介质下基于双目视觉的目标姿态测量方法，其中步骤(3) 所述的金字塔加速匹配方法，按如下步骤进行(3a)对待匹配的两幅原图像中2X2领域内的像点灰度值取平均，得到分辨率比原图像低一级的图像；(3b)对得出的低一级图像中2X2领域内的像点灰度值再取平均，得到分辨率更低一级的图像，依次处理，得到一组呈金字塔式的图像，假设有N级，其中N = O为原图像；(3c)从待匹配的两幅图的第三级金字塔图像开始进行匹配搜索，取MXM的邻域窗口， 将左图特征点作为邻域窗口的中心，在右图全图范围内寻找匹配的特征点，特征点匹配采用相关系数C(x，y)作为匹配关系是否成立的度量，其中
4.根据权利要求I所述的双介质下基于双目视觉的目标姿态测量方法，其中步骤(4)， 按如下步骤进行(4a)从左右图像的多对匹配投影特征点中，提取一对特征点P1, Pr ；P1； Pr对应的空间特征点是Pi,根据摄像机标定得到左摄像机的投影矩阵为M1，利用Harris角点检测方法提取出空间特征APi在左图像中的投影特征点P1的图像坐标U，y)，得出左图像中，空间特征点Pi的世界坐标(Xi, Yi, Zi)与投影点P1的图像坐标(X，y)的关系为
5.根据权利要求I所述的双介质下基于双目视觉的目标姿态测量方法，其中步骤(5) 所述的利用修正模型对世界坐标系下的三维坐标进行修正，按如下步骤进行(5a)根据已经计算出的空间特征APi的三维世界坐标(Ui, Zi),计算该点的修正的三维坐标值(Xwi，Ywi，Zwi)(5al)计算X轴方向的修正坐标为Xwi = B1-W^W3,其中W1是ai在折射平面的投影，W1 = ai X (c/h) ;&1是已经测量出的空间点P的 X坐标值，c = h-b, h是已经测量出的空间点P的Z坐标值，b是右摄像机光心O1到折射平面的距离；w3是右摄像机光线经过折射后空间点P沿X轴方向坐标的偏移量，W3 = tan ( β 6) / (tan ( β 5) +tan ( β 6)) X (WfW2), β 5是右摄像机反射光线经折射后的出射角， β 5 = arcsin[sin(P 3)/1· 33], L 33是光从空气进入水中的折射率，@3是入射角，β3 = (/2)-β 1； β :是右摄像机反射光线同两摄像机光心O1 O2连线的夹角，@i = arctan(h/ a) ； β 6是左摄像机反射光线经折射后的出射角，β 6 = arcsin[sin (β 4)/1· 33]，I. 33是光从空气进入水中的折射率，β4是入射角，β4= (η/2)-β2，β2是左摄像机反射光线同两摄像机光心O1 O2连线的夹角，β 2 = arctan (h/a2) ；w2 = a2X (c/h)，w2是a2在折射平面的投影距离，a2 = Cl-B1, d是两个摄像机光心O1 O2之间的距离；(5a2) Y轴方向修正值不发生改变，即Ywi = Y ;(5a3)计算Z轴方向修正坐标为Zwi = hi+b,其中hi = w3/tan ( β 5)，Ill是折射后P点到折射平面的距离，通过上面计算得到特征点 P的三维修正坐标(Xwi，Ywi，Zwi)；(5b)重复利用上面步骤，计算出目标物体上其余空间特征点的三维修正坐标。
6.根据权利要求I所述的双介质下基于双目视觉的目标姿态测量方法，步骤(6)所述的根据RANSAC随机采样算法筛选出同一平面内的所有特征点，按如下步骤进行(6a)根据已知的置信概率P和数据错误率ε，样本点个数m计算出需要进行抽样数量M M= 叫1 —尸)■ ln(l-(l-￡)m) ’(6b)从已知目标平面上的N个特征点中随机选择同一平面且线性不相关的三个特征点组成一个抽样集合，N > 3,并计算出旋转矩阵RWT = At A/,其中At = [P12-P13, Pt3-Pti, (Pt2-Pt3) X (Pt3-Pti) ] Pti，PT2，Pt3 分别是三个特征点在目标坐标系下的坐标，Aff = [Pff2-Pff3, Pw3-Pwi，(Pw2-Pw3) X (Pff3-Pwi) ]，Pm，PW2，Pw3 分别是三个特征点在世界坐标系下的坐标；(6c)从剩余特征点对中随机选择一组点对，计算该点与旋转矩阵Rwt与Xw乘积的残差其中Xt是该点在目标坐标系下坐标，Xff是该点在世界坐标系下的坐标；(6d)设定阈值Tl = O. 05，如果α < Tl，则认为步骤(6b)中所选的点为满足位于同一平面内的点；如果α > Tl，则认为(6c)中所选的点为不满足估计的点，即离群外点；(6e)重复步骤^c)至^d)直到完成M组抽样，即可筛选出位于同一平面内的所有特征点。
全文摘要
本发明公开了一种双介质下基于双目视觉的目标姿态测量方法，主要解决航天器在水下模拟实验时，无法对目标航天器的姿态进行测量的问题。具体过程包括通过双目摄像机采集目标航天器图像对；对采集的左图像进行harris角点检测，找到投影特征点；采用极线约束法则和金字塔快速匹配方法，找出右图像的匹配投影特征点；利用左右图像的投影特征点计算出对应空间特征点的三维坐标；建立折射模型，根据折射模型修正空间特征点的三维坐标；筛选出位于同一平面的特征点，并根据这些特征点三维坐标准确计算出目标航天器的姿态。本发明用于在航天器水下模拟实验时，通过建立折射模型，准确计算出目标航天器上特征点的三维坐标，并实现对航天器姿态的准确测算。
文档编号G01C11/00GK102607526SQ201210008620
公开日2012年7月25日 申请日期2012年1月3日 优先权日2012年1月3日
发明者任龙, 孙伟, 胡博, 郭宝龙, 陈龙 申请人:西安电子科技大学