专利名称：无人旋翼机仿生着陆系统的摄像机外参数在线自标定方法
技术领域：
本发明涉及一种用于无人旋翼机仿生双目视觉辅助着陆系统中，旋翼机机载上
的摄像机外参数自标定方法。 在研究无人旋翼机自主着陆中，为解决下降过程中立体视觉的盲区问题，采用 了模仿人体双眼异向运动的方法，改变双目视觉系统的视轴夹角以减少盲区区域。然而 随着视轴夹角的改变，摄像机的外参数也随之发生变化。现研究的标定，无论是哪种类 型，也都只能处于离线标定的状态，得到某一时刻的外参数，并不能对摄像机不断变化 的参数实现在线实时的标定。如何在线实时标定来获得旋翼机下降过程中的高度信息及 摄像机光轴的夹角信息显得尤为重要。 本发明的目的在于针对已有技术存在的缺陷，提供一种无人旋翼机仿生着陆系 统的摄像机外参数在线自标定方法，实现当摄像机视轴夹角发生改变时，系统能准确地 对摄像机外参数进行在线标定，获得无人旋翼机下降过程中的实时高度信息及夹角信 息。 本发明的构思是 根据无人旋翼机着陆的基本情况进行机械结构的仿制，建立摄像机成像的几何 模型，如图1所示。取左摄像机光心为世界坐标系原点(0， 0， 0)，给出了两个摄像机中 心连线所在平面(XwZw平面)，两摄像机光心之间的距离为B，摄像机光轴在XwZw平面 内与Zw轴的夹角为e (未知)。图1中lmagel和lmage2为两图像平面，图像坐标yL， yK轴垂直于XwZw平面向里，(Xl，力)和(&， y》分别是两图像平面对应的图像点对坐标。 (Xw， Yw， Zw)是P点的世界坐标，坐标轴Yw垂直于XWZW平面向里。图1中未标出 yi、 ^坐标，可参见图5和图6。 从点P(Xw， Yw， Zw)分别向两摄像机坐标轴做垂线，则这两垂线与X轴的夹角 都是9 ，由两个坐标所围成的三角形关系得到下列关系
忍
<formula>formula see original document page 3</formula>
背景技术：
发明内容
由关系式(2)、 (3)可得<formula>formula see original document page 4</formula>
将式(4)代入关系式(1)中可得到<formula>formula see original document page 4</formula>
(4)
(5)
i涉及到几个摄像机参数世界坐标zw(即飞机距离地面的高度)， 摄像机光轴的旋转角e，两个摄像机的图像坐标x" Xl，两摄像机光心间的距离B以及
摄像机的内参数焦距f。在式(5)中，光心距离B属于立体视觉外参标定，焦距f则是内
参标定，均可事先离线标定得到，因此只需要知道同一场景下不同图像中对应点的图像
坐檢Xk和Xl，便可确定出坐标Zw的值，即无人旋翼机自主着陆的高度信息。 一旦确定
Tzw，根据式(i)即可确定视轴夹角e，可为视觉系统提供参数信息，也就为着陆控制
提供了保证。
另外，需要考虑三个方面问题
(l)摄像机内参数标定。 考虑摄像机可能出现的各种畸变，即径向畸变、切向畸变、偏心畸变和仿射畸 变等，我们采用5参数内参数阵，即
氛' s
1 (6) ./C =
，y
00 1 其中，如图6所示，ku为焦距f与像素点在图像坐标u方向宽度的比值；、为焦 距f与像素点在图像坐标v方向宽度的比值；s为图像平面不垂直光轴产生的畸变因子； Pu = pv为光轴与图像平面交点坐标。 内参数的标定，可以利用空间中三个特殊关系点的对应成像点，直接列出方程 组，求解出摄像机的内参数。具体的标定方法如下 ,p = (u， v, 1)『为图像坐标的齐次坐标；f = (X, y, z， 1) ^'为世界坐标系的齐 次坐标；将摄像机固定在导轨上，空间点由摄像机前的平板上的网格交点代替，用三坐
标测量及测得网格交点的世界坐标。所取三点需满足的坐标关系为x。 = Xl， y。#yi， x。#x2， y。 = y2， z。 = Zl = 22(见图5)。由三点的实际成像点，测得它们对应的图像坐 标。利用三点在世界坐标系中的坐标值和实际成像点的图像坐标，根据图6的摄像机成 像模型有下列计算公式(公式(7)-(11))，可计算出摄像机的5个内参数ku， kv， pu， pv，
So
(7) <formula>formula see original document page 4</formula>
<formula>formula see original document page 5</formula>v^分别为点A。、 A" A2对应的图像坐标。
X2 — xo — Jo (11) 其中，(u。z， v。z)， (Ulz， Vlz)， (u2z
(2)外参基线B的标定。 在对基线B标定时，我们可以使得两摄像机处于光轴共面并垂直于Y轴的位
置，两者的相对位置仅仅是相差一个平移矩阵。两副图像上点对应的基本几何约束关系 为=0 式中，Ur和Ul是空同点在左、右图像上对应的二维图像坐标，F是基本矩阵， F-《4/M^(S为反对称矩阵，它由平移矢量所定义)，它实际上包括了双目立体视觉系统 的所有参数，即两个摄像机内部参数AL、 AR和视觉系统的结构参数R、 T。根据上文分 析的模型，可将C/〖F^-0变换成<formula>formula see original document page 5</formula>
通过左右摄像机拍摄的左右两幅图像上的 中所求的内参，就可以求出反映两摄像 其中，e为摄像机转过的视轴夹角 对应点的图像坐标(XR， YR)， (Xl， Yl)，带， 机相对位置的基线距离B(总共拍摄八个点)。 因此，利用约束方程和本质矩阵F就可以完成对基线B的标定，同时应注意的是 对基线的标定也是离线，标定好后不再变化。
(3)外参在线自标定 在每次下降的过程中，每个阶段摄像机都处于不断循环的三种状态(如图2所 示) ①阶段初始状态摄像机处于初始位置或已完成一次在线外参数自标定的位置 (即摄像机处于图l的状态)； ②中间状态经过阶段初始状态后，旋翼机下降了一个所要求得的高度，但摄 像机光轴位置仍保持不变； ③阶段最终状态控制双目立体视觉系统改变光轴角度，使得系统满足着陆目 标位于图像中心的要求。 为了使得每一时刻都满足公式适用条件，必须分析每个时刻在这三种状态下各 个左右图像对的变化情况。以从时刻0到时刻1为例 ①对两个摄像机的图像进行采集，包括对采集图像的预处理，并进行特征点提 取。 ②从阶段初始状态至中间状态中，图像将产生偏移，其原因是由于高度的下降 及由它引起的图像膨胀所致。通过对所引起的膨胀进行估算，得出仅仅由高度下降所导 致的特征点图像偏移量Ax。 ③利用在中间状态下所采集的左右图像对，进行补偿偏移处理。处理后的图像
与阶段最终状态所要获得的左右图像对是一致的。此时，着陆目标图像位于图像的中心
区域，重新满足图l的模型要求，根据式(l)、 (5)计算出高度信息Z^及夹角信息ei ④将视轴夹角信息输入无人旋翼机的控制系统，控制云台上摄像机的转动，确
保着陆目标始终处于左右两个摄像机的图像中心，以保证进行下一次的图像采集。
当从时刻1到时刻2，时刻2到时刻3，……时刻i-1到时刻i时重复上述步骤， 就可实时地获取各个时刻的高度信息Z^， ZW2，…，Z^及云台夹角信息^， e2，…， 9 i。 根据上述发明构思，本发明采用下述技术方案 —种无人旋翼机仿生着陆系统的摄像机外参数在线自标定方法，其特征在于解 决旋翼机下降过程中立体视觉的盲区问题，提高无人旋翼机的着陆精度，其实现操作步 骤如下 l)内参数标定对标定图像进行拍摄，获取图像，计算出标定图像的图像坐 标，带入计算公式获取内部参数，内部参数一旦标定将不再改变； 2)外参基线标定在得到内部参数后，将两个摄像机固定到旋翼机机载，离线 标定出两个摄像机光心之间的距离B ; 3)外参数在线自标定无人旋翼机着陆过程中，PC机采集卡对两个摄像机的图 像进行采集，提取特征点，计算其特征点图像的偏移量，并对此偏移量补偿后，获取此 时的高度信息和云台夹角信息；当无人机继续下降，重复以上步骤，实现无人旋翼机自 主着陆的实时控制。
上述步骤1)内参数标定(内参标定1)采用下列三个步骤 ①拍摄标定图像，其标定图像的空间点分布必须符合图5所示。 ②将图像坐标代入内参计算公式。在获取到标定图像后，可以得到标定图像上
三个点在左右两个摄像机中的图像坐标，将这些图像坐标代入上述的内参计算公式(7) —
(ll)中，得到五个内参焦距f与像素点在图像坐标U方向宽度的比值ku、焦距f与像素
点在图像坐标V方向宽度的比值kv、图像平面不垂直光轴产生的畸变因子S、光轴与图像
平面交点坐标Pu和pv。 ③获取内部参数，左右摄像机的内参相同，且一旦确定就将不再改变，包括了 左右摄像机的焦距f。 上述步骤2)外参基线标定(外参基线标定2)的具体操作步骤如下 ①将两个摄像机固定到旋翼机机载上，拍摄标定块。为了便于计算，标定图像
可以选取张正友的棋盘标定块。 ②匹配左右图像的对应点。将左右摄像机拍摄到的两个图像进行匹配，找到相 对应的点。 ③选取八个对应点，计算八个对应点在左右摄像机上的图像坐标。
④利用基线约束方程及所求的八个坐标点的图像坐标计算出基线。在得到八个 对应点的图像坐标后，连同内参数一起代入公式(12)中，可以得到一个方程组。解这个 方程组，便可得到两个摄像机光心之间的距离，即基线B。 上述步骤3)外参数在线自标定(外参数在线自标定3)采用以下步骤实现
①通过PC机采集卡对左右摄像机所拍摄到的着陆目标图像进行采集。在无人旋 翼机开始进行着陆时，PC机中的采集卡就开始对两个摄像机拍摄到的着陆目标图像进行 采集，得到阶段初始状态的数据图像。 ②对所采集到的着陆目标图像进行预处理。由于拍摄到的图像受光线、噪声等 影响，需要进行预处理，对图像除噪，排除干扰，便于特征点的提取。
③提取左右图像中相应的特征点。将左右摄像机拍摄到的着陆目标图像进行预 处理后，可以分别对两副图像中的特征点进行提取(主要是着陆目标上的特征点)，匹配 得到相对应特征点的图像坐标。 ④计算特征点图像的偏移量。由于高度的下降，加上由它引起的图像膨胀，图 像将产生偏移。通过对所引起的膨胀进行估算，得出仅仅由高度下降所导致的特征点图 像偏移量Ax，得到中间状态的图像数据。 ⑤对特征点图像的偏移量进行补偿。根据上一步得到的偏移量Ax对图像进行 相应的补偿，使得着陆目标位于图像中心，此时处于阶段最终状态，满足公式推导的模 型要求。 ⑥实时提取左右两个摄像机的高度信息与夹角信息。将摄像机在阶段最终状态 所采集到的图像坐标信息及摄像机内参数代入模型公式(l)、 (5)，获得此时的高度信息及 视轴夹角。 ⑦控制云台转动，摄像机的视轴仿双眼变化。将视轴夹角信息输入无人旋翼机 的控制系统，控制云台上摄像机的转动，确保着陆目标始终处于左右两个摄像机的图像 中心，即位于摄像机的阶段初始状态，以保证进行下一次的图像采集。 ⑧无人旋翼机继续下降，重复①-⑦的步骤，即可获得实时的夹角信息及高度信 息。 本发明与现有技术相比较，具有如下显而易见的特点和优点本发明很好地解 决了摄像机视轴夹角发生改变时，对摄像机外参数的在线标定问题。在无人旋翼机着 陆过程中，能够实时得到摄像机视轴夹角及旋翼机的高度信息，提供给控制系统，补偿 平台自身的运动，保证降落目标处于监控图像的中心，消除盲区现象，提高降落的安全 性。
图1双目立体视觉模型图 图2无人旋翼机自主着陆过程中双摄像机的状态示意图 图3实例的系统示意图 图4总的系统框图 图5内参标定图像空间点的选取 图6摄像机的成像模型图
具体实施例方式
本发明的一个优选实施例结合附图详述如下参见图3，本无人旋翼机仿生 着陆系统的摄像机在线外参数自标定方法所采用的整个系统，包括地面控制系统l(PC 机)、机载控制系统2、无人旋翼机3及着陆目标4。其中机载上摄像机选用的型号为 Canon VC-C50iR，焦距可变。 参见图4，本无人旋翼机仿生着陆系统的摄像机在线外参数自标定方法，采用的 操作步骤如下 (1)内参数标定(内参标定1):
①拍摄标定图像，其标定图像的空间点分布必须符合图5所示。
②将图像坐标代入内参计算公式。在获取到标定图像后，可以得到标定图像 上三个点在左右两个摄像机中的图像坐标，将这些图像坐标代入上述的内参计算公式 (7)-(11)中，得到五个内参焦距f与像素点在图像坐标U方向宽度的比值ku、焦距f与像 素点在图像坐标v方向宽度的比值kv、图像平面不垂直光轴产生的畸变因子s、光轴与图 像平面交点坐标Pu和pv。 ③获取内部参数，左右摄像机的内参相同，且一旦确定就将不再改变，包括了 左右摄像机的焦距f。
(2)外参基线标定(外参基线标定2): ①将两个摄像机固定到旋翼机机载上，拍摄标定块。为了便于计算，标定图像 可以选取张正友的棋盘标定块。 ②匹配左右图像的对应点。将左右摄像机拍摄到的两个图像进行匹配，找到相 对应的点。 ③选取八个对应点，计算八个对应点在左右摄像机上的图像坐标。 ④利用基线约束方程及所求的八个坐标点的图像坐标计算出基线。在得到八个
对应点的图像坐标后，连同内参数一起代入公式(12)中，可以得到一个方程组。解这个
方程组，便可得到两个摄像机光心之间的距离，即基线B。 (3)外参数在线自标定(外参数在线自标定3): ①通过PC机采集卡对左右摄像机所拍摄到的着陆目标图像进行采集。在无人旋
翼机开始进行着陆时，PC机中的采集卡就开始对两个摄像机拍摄到的着陆目标图像进行
采集，得到阶段初始状态的数据图像。为保证整个着陆过程中系统的安全性，验证算法
的稳定性和标定精确度，设定在着陆初期，每隔10s采集一次着陆目标，随着高度下降至
1.5米后，采集频率提高至5s，当高度下降至0.5米后，采集频率提高至2s。 ②对所采集到的着陆目标图像进行预处理。由于拍摄到的图像受光线、噪声等
影响，需要进行预处理，对图像除噪，排除干扰，便于特征点的提取。 ③提取左右图像中相应的特征点。将左右摄像机拍摄到的着陆目标图像进行预
处理后，可以分别对两副图像中的特征点进行提取(主要是着陆目标上的特征点)，匹配
得到相对应特征点的图像坐标。 ④计算特征点图像的偏移量。由于高度的下降，加上由它引起的图像膨胀，图 像将产生偏移。通过对所引起的膨胀进行估算，得出仅仅由高度下降所导致的特征点图 像偏移量Ax，得到中间状态的图像数据。 ⑤对特征点图像的偏移量进行补偿。根据上一步得到的偏移量Ax对图像进行 相应的补偿，使得着陆目标位于图像中心，此时处于阶段最终状态，满足公式推导的模 型要求。 ⑥实时提取左右两个摄像机的高度信息与夹角信息。将阶段最终状态所采集到 的图像坐标信息及摄像机内参数代入模型公式(l)、 (5)，获得此时的高度信息及视轴夹 角。 ⑦控制云台转动，摄像机的视轴仿双眼变化。将视轴夹角信息输入无人旋翼机 的控制系统，控制云台上摄像机的转动，确保着陆目标始终处于左右两个摄像机的图像中心，即位于摄像机的阶段初始状态，以保证进行下一次的图像采集。 ⑧无人旋翼机继续下降，重复①-⑦的步骤，即可获得实时的夹角信息及高度信 息。 本发明方法用于无人旋翼机野外定点自主着陆过程中机载上双摄像机的实时外 参数自标定，效果良好。当旋翼机接近地面时，仍可清晰地获得定位点区域的信息，有 效地解决了双目立体视觉中的盲区问题，提高了旋翼机着陆系统的安全性。
权利要求
一种无人旋翼机仿生着陆系统的摄像机外参数在线自标定方法，其特征在于解决旋翼机下降过程中立体视觉的盲区问题，提高无人旋翼机的着陆精度，其实现操作步骤如下1)内参数标定对标定图像进行拍摄，获取图像，计算出标定图像的图像坐标，带入计算公式获取内部参数，内部参数一旦标定将不再改变；2)外参基线标定在得到内部参数后，将两个摄像机固定到旋翼机机载，离线标定出两个摄像机光心之间的距离B；3)外参数在线自标定无人旋翼机着陆过程中，PC机采集卡对两个摄像机的图像进行采集，提取特征点，计算其特征点图像的偏移量，并对此偏移量补偿后，获取此时的高度信息和云台夹角信息；当无人机继续下降，重复以上步骤，实现无人旋翼机自主着陆的实时控制。
2. 根据权利要求1所述的无人旋翼机仿生着陆系统的摄像机外参数在线自标定方法，其特征在于所述步骤1)内参数标定采用下列三个具体步骤(1) 拍摄标定图像；(2) 将图像坐标代入五个内参计算公式，其中五个内参为焦距f与像素点在图像坐标U方向宽度的比值ku、焦距f与像素点在图像坐标V方向宽度的比值kv、图像平面不垂直光轴产生的畸变因子S、光轴与图像平面交点坐标Pu和pv ;(3) 获取内部参数，左右摄像机的内参相同，且一旦确定就将不再改变。
3. 根据权利要求1所述的无人旋翼机仿生着陆系统的摄像机外参数在线自标定方法， 其特征在于所述步骤2)外参基线标定的具体操作步骤如下(1) 将两个摄像机固定到旋翼机机载上，拍摄标定块；(2) 匹配左右图像的对应点；(3) 选取八个对应点，计算八个对应点在左右摄像机上的图像坐标；(4) 利用基线约束方程及所求的八个坐标点的图像坐标计算出基线。
4. 根据权利要求1所述的无人旋翼机仿生着陆系统的摄像机外参数在线自标定方法， 其特征在于步骤3)外参数在线自标定采用有以下操作步骤实现(1) 通过PC机采集卡对左右摄像机所拍摄到的着陆目标图像进行采集；(2) 对所采集到的着陆目标图像进行预处理；(3) 提取左右图像中相应的特征点；(4) 计算特征点图像的偏移量；(5) 对特征点图像的偏移量进行补偿；(6) 实时提取左右两个摄像机的高度信息与夹角信息；(7) 控制云台转动，摄像机的视轴仿双眼变化；(8) 无人旋翼机继续下降，重复(1)-(7)中的步骤。
全文摘要
本发明涉及一种无人旋翼机仿生着陆系统的摄像机外参数在线自标定方法。该方法解决旋翼机下降过程中立体视觉的盲区问题，提高无人旋翼机的着陆精度，其实现操作步骤为(1)内参数标定；(2)外参基线标定；(3)外参数在线自标定。该方法对无人旋翼机机载上双摄像机外参数进行在线自标定，实时地获取摄像机的光轴夹角信息及高度信息，能够有效地解决双目立体视觉的盲区问题，从而保障了无人旋翼机着陆的自主进行，提高了系统的安全性。
文档编号G06T7/00GK101692283SQ20091019718
公开日2010年4月7日 申请日期2009年10月15日 优先权日2009年10月15日
发明者张丽薇, 李恒宇, 王涛, 童金, 罗均, 谢少荣 申请人:上海大学