专利名称：经纬像机摄像测量方法及系统的制作方法
技术领域：
本发明涉及摄像测量、图像处理、计算机视觉等技术领域。
背景技术：
摄像测量技术是近年来发展起来的具有重大工程实用价值的测量技术，具有高精 度、非接触以及可实时测量等特点。实施摄像测量时，通常需要已知像机的内外参数。在摄像测量学中，像机模型被近 似成中心透视投影模型，摄像测量常用坐标系及中心透视投影成像关系如图1所示其中世界坐标系Ow-XwYwZw,也称全局坐标系，是由用户任意定义的三维空间坐标 系，通常是将被测物体和摄像机作为一个整体来考虑的坐标系。为了使用方便，此坐标系的 建立较多的考虑应用环境和对象条件。像机坐标系Oc-XcYcZc,中心透视投影的光心和光轴即像机的光心和光轴。像机坐 标系原点取为像机光心，Zc轴与像机光轴重合，且取摄像方向为正向，Xc，Yc轴与图像坐标系 的X，y轴分别平行。图像坐标系I-xy，图像坐标系是建立在像面上的，即在像机坐标系Zc = f的平面 内，f为中心透视投影模型的焦距。此坐标系是以图像左上角点I为原点，以像素为坐标单 位的直角坐标系。χ，y分别表示该像素在数字图像中的列数和行数。在中心透视投影模型下，像机的参数可分为像机内参数和外参数两个部分。像机 内参数包括图像主点，即像机光轴与像面交点的图像坐标(cx，cy)；等效焦距，即焦距f分别 与C⑶像元的横、纵尺寸之比(Fx，Fy)。像机外参数是指世界坐标系Ow-XwYwZw与像机坐标系 Oc-XcYcZc之间的关系，它包括三个旋转角(Ax，AY, Az)，即为将世界坐标系变换到与像机坐标 系姿态一致而分别绕三个坐标轴转过的欧拉角；平移向量T= (TX，TY，TZ)，是世界坐标系原 点在像机坐标系中的坐标。像机参数的获取一般分两种方式基于已知控制点的解算方式和辅助设备测量方 式。前者即像机参数的标定，这种方式具有摄像系统小巧、装拆简单、便于携带等优点。但 它需要在像机视场内放置若干世界坐标已知的控制点，标定过程相对繁琐。而且在某些使 用条件下，如对空中或海上目标的测量情况，难以放置控制点，导致无法标定和测量。后者 如光电经纬仪上的摄像系统，其外参数可由经纬仪提供的方位和俯仰角直接获得，获取方 式快速简单，可对运动目标跟踪拍摄。但是光电经纬仪要求二维旋转平台旋转中心与摄像 系统光心重合，并且要求经纬仪视准轴与摄像系统光轴重合，即要求同心同轴，这需要精密 的安装调试才能实现。导致光电经纬仪设备体积大、安装困难、成本高，一般只在靶场对远 距离目标跟踪拍摄时使用。
发明内容
针对上述现有技术存在的缺陷，本发明目的旨在结合上述两种像机外参数的获取 方式，取长补短，提供一种小巧、装拆简单、便于携带、成本较低、像机外参数获取方式快速
3简单的经纬像机摄像测量方法及系统。本发明采取的具体技术方案是，一种经纬像机摄像测量方法，包括如下步骤1)将像机安装于二维旋转平台之上，组成经纬像机；2)将经纬像机对准布置了控制点的区域，标定经纬像机的内参数及在初始位置的 外参数，再标定二维旋转平台与像机之间的系统差Ht。，所述系统差包括二维旋转平台与像 机之间的偏心距和角度偏差；；3)修正像机外参数完成标定后，转动二维旋转平台使像机对准待测目标，根据 步骤2中得到的像机与二维旋转平台间的系统差Ht。、记录下二维旋转平台的两个转动角 度，即方位角和俯仰角，结合步骤2中标定的初始位置像机的外参数，计算出像机当前位置 的外参数；4)通过两台经纬像机对待测目标进行拍摄，基于交汇测量原理，结合前述步骤获 取的像机外参数，实时计算出待测目标的绝对位姿和运动参数，实现对待测目标的三维测量。所述步骤2中内外参数的标定及像机与二维旋转平台间的系统差的计算步骤如 下(1)先在初始位置通过经纬像机对已知世界坐标的控制点成像来标定得到像机内 参数和初始位置的外参数；(2)利用上一步中得到的像机内参数，使二维旋转平台在水平面内任意旋转不小 于5°的角度，在转动后的位置处记录二维旋转平台的方位角并标定此时像机的外参数；(3)再根据第一步中得到的像机内参数，使二维旋转平台在铅垂面内任意旋转不 小于5°的角度，在转动后的位置处记录二维旋转平台的俯仰角并标定此时像机的外参 数；(4)根据前三步中每次标定得到的像机外参数得出每个位置上像机坐标系和世界 坐标系之间的旋转平移单应矩阵Hwcd ；利用每次旋转的方位角和俯仰角，确定每次旋转后， 二维旋转平台坐标系前后两个位置处之间的旋转平移单应矩阵Htt ；利用两次旋转得到的 旋转平移单应矩阵以及两个旋转平移单应矩阵Htt，结合公式Hwc;i, = HteHttHwti，求解得到像 机与二维旋转平台的系统差Ht。。作为具体实施方案，所述步骤3中像机当前位置的外参数的计算过程为根据像 机与二维旋转平台的系统差Ht。，二维旋转的方位角和俯仰角得到的旋转平移单应矩阵Htt， 以及初始位置像机外参数Hwcd，根据公式Hwc;i, = HtcHttHtc^1Hwci,即可得到像机在当前位置的 外参数Hwcd,。相应的，本发明也提供了一种经纬像机摄像测量系统，包括由像机和二维旋转平 台构成的经纬像机、网卡、路由器和三维测量PC机，其中经纬像机经路由器和网卡接入三 维测量PC机。为了进一步提高所述经纬像机摄像测量系统的实时性，上述网卡和路由器优选采 用千兆网卡和千兆路由器。所述像机为非量测像机。本发明的设计原理和工作过程详细描述如下本发明所述经纬像机是由二维旋转平台和固定于平台上的像机组成。所述经纬像机并不要求二维与像机同心同轴。二维旋转平台可以选用经纬仪，也可用其他能够提供方 位和俯仰转角的仪器代替。在摄像测量前，由于二维旋转平台与像机不同心同轴，两者的外参数不相同，存在 系统差，即两者之间存在偏心距和角度偏差。测量前首先标定此系统差，测量过程中需利用 系统差修正消除安装引起的位姿偏差。具体方法是首先在易于标定场合先安装像机，将经 纬像机对准容易布置控制点的区域，并标定像机，解算像机与二维旋转平台间的系统差。然 后转动二维旋转平台，使像机对准待测目标并修正此时像机的外参数；接着拍摄目标图像， 基于交汇测量原理实时解算目标的位置、姿态和速度等运动参数，最后传输处理结果并显 示图形。在本发明中提出了像机与二维旋转平台间的位姿偏差的具体解算方法调整二 维旋转平台，使像机对标定架所成的像位于图像的中心区域，在此初始位置记录转角值并 标定像机获得像机的外参数；使二维旋转平台在水平面内任意旋转，要求转动角度不小于 5°，且标定架不超出视场，在此位置记录水平转角值并标定像机获得像机的外参数；使二 维旋转平台在铅垂面内任意旋转，要求转动角度不小于5°，且标定架不超出视场，在此位 置记录俯仰转角值并标定像机获得像机的外参数；根据上述二维旋转平台两次相对于初始 位置的转动角度和像机三次标定的外参数，计算出像机与二维旋转平台间的系统差。所述二维旋转平台提供角度的方式可分为能通过数据线实时传输给计算机的电 子传入式和人工读取方式。对于电子传入式二维旋转平台，像机固装在二维旋转平台上可 对目标进行全场实时跟踪，解决了固定不动的像机视场有限的难题。如果系统差已修正，那 么每一时刻像机的外参数可根据它和二维旋转平台的两个转角，对初始时刻像机外参数修 正得到，这有效解决了难以安放控制点时像机无法标定的难题。本发明涉及的公式都为欧氏空间下的三维坐标变换，因此统一写成如下形式
(1)式中Xp、Xq表示同名点在三维坐标系p、q中的规范齐次坐标，Hpa表示同名点的Xp 坐标向Xq坐标变换的旋转平移单应矩阵。Rm表示旋转矩阵；tM表示平移向量，为三维坐标 系P的原点在三维坐标系q中的坐标值。各坐标系间的关系如图3所示。世界坐标系w由标定架定义。任意位置的二维旋 转平台坐标系都是以其旋转中心为原点，以其主轴方向为Z轴，以在水平面内且与Z轴垂直 的轴为Y轴，由右手定则确定χ轴。像机固连在二维旋转平台的主轴上，像机坐标系以光心为原点，以光轴为Z轴，X， Y轴与图像的两坐标轴对应平行。将二维旋转平台的初始位置定为位置1，然后将二维旋转平台转动到下一位置定 为位置2，坐标系分别用1、2下标表示。假设像机在位置1和位置2都能对标定架成像，在 这两个位置分别对像机标定，像机的外参数建立了世界坐标系向像机坐标系的转换关系， 如下式Xcl = HwclXw (2)Xc2 = Hwc2Xw (3)其中Hwcl为像机在位置1的外参数，Hwc2为像机在位置2的外参数。
像机与二维旋转平台间的系统差Ht。固定不变，如下式Xcl = HtcXu (4)Xc2 = HtcXt2(5)二维旋转平台两个不同位置之间的相对位姿可由其提供的两个旋转角度的变化 值，即方位角及俯仰角的变化值计算得出。关系式为Xt2 = HttXtl(6)其中Htt为二维旋转的方位角和俯仰角得到的旋转平移单应矩阵。从式⑵和式(3)中消去Xw得到两个不同位置所定义的像机坐标系间转换关系Xc2 = Hwc2Hwcl-1Xcl(7)从式(4)和式(6)中消去Xtl得到Xt2 = HttHtcT1Xcl(8)将式(8)代入式(5)得Xc2 = HtcHttHtcT1Xcl ⑶比较式(7)和(9)，由于两式对所有空间点都成立，所以有Hwc2Hwcl-1 = HtcHttHt;1 (10)记为如下形式HtcHa = HbHtc(11)式中Ha = HtPHb = Hwc2Hwcl-^由式⑴和分块对角矩阵的性质由式(11)得到旋转矩阵之间关系RtcRa = RbRtc(12)根据方程两边对应元素相等可写出9个方程，表示为(A-B)r = 0(13)式中r是由Rt。元素按行形式组成的9维矢量，A是分块对角矩阵，A = diag(RaT, RaT，RaT)，B 是分块矩阵，每块为 Bij = RbijE3X3-根据式(!3)对 A-B 进行奇异值分解可线性求解Rt。。由式(11)得到关于平移向量tt。的关系式Rtcta+ttc = Rbttc+tb(14)二维旋转平台的相对运动只有旋转没有平移，则ta = 0，上式变成如下形式(E3x3-Rb) ttc = tb(15)由此可知求解tt。与求解Rte是独立的。如前所述，理论上转动一次二维旋转平台，根据转动前和转动后两个位置对像机 标定获取的像机外参数和二维旋转平台提供的两个转角，可解算出像机与二维旋转平台间 的系统差。但是在实际解算中发现，式(15)中的系数矩阵常常是奇异或接近奇异的，导致 无解或解的误差很大。因此，利用二维旋转平台的两次转动，通过式(13)和式(15)超静定 求解像机与二维旋转平台间的系统差，提高解的稳定性。须指出，两次相对运动并不要求都 在同一个世界坐标系中完成。Rtc的自由度为3，且是单位正交矩阵，即它可由三个旋转角或者Cayley变换来表 示，但不是线性的。前述部分已提到线性求解的R不一定是单位正交阵，需要在2-范数意义
下求解最逼近i的单位正交矩阵g，即最小化目标函数||δ-R||。若奇异值分解得g =udvt，则 R 二UVT，具体请参考相关文献(Z.Zhang.A flexible new technique for camera calibration. IEEETransactions on Pattern Analysis and Machine Intelligence,(一 种新的灵活的像机标定技术，IEEE模式分析与机器智能汇刊)22 (11) : 1330-1334，2000.详 见文中附录3。由g得到三个旋转角作为平差优化的初值，将旋转角和平移向量共六个参数 代入式(11)中进行平差优化求精。世界坐标系到二维旋转平台位置1坐标系的转换公式为Xtl = HwtlXw (17)将式(17)依次代入式(6)和式(5)得Xc2 = HtcHttHwtlXw (18)比较式(18)和式(3)，因为对所有点成立，所以有Hwc2 = HtcHttHwtl(19)式(19)表明像机在位置2的外参数可根据像机与二维旋转平台的系统差Ht。、由 二维旋转平台的两个转角得出的Htt、二维旋转平台位置1坐标系的像机外参数Hwtl计算得 到。精密光电经纬仪的像机与二维旋转平台同心同轴，像机与二维旋转平台的系统差为Htc = E4x4(20)代入式(19)得Hwc2 = HttHwtl(21)很显然，精密光电经纬仪只是本发明所述经纬仪摄像系统的一个特例。相对于精 密光电经纬仪，本发明方法及系统的外参数获取公式(19)增加了像机与二维旋转平台的 系统差的解算。Hwtl也可由下面方法得到从式(2)和式⑷消去Xcl得Xtl = Htc-1HwclXw(22)比较式(17)和式(22)，因为对所有点成立，所以有Hwtl = Htc-1Hwcl(23)即为Hwtl的计算公式。将式(23)代入式(19)Hwc2 = HtcHttHtc-1Hwcl (24)式(24)表明像机在位置2的外参数可根据像机与二维旋转平台的系统差、二维旋 转平台的两个转角，对像机在位置1的外参数修正得到。综上所述，本发明所述经纬像机摄像测量系统及其测量方法与现有技术中的光电 经纬仪对比，所具有的优点有1)本发明采用的像机可以是非量测型的CXD像机，其内参数可以通过标定方法得 到，相对于现有技术中必须采用量测型像机的光电经纬仪而言，具备体积小、组合简便、成 本低等特点；2)本发明能在不满足二维旋转平台与像机间同心同轴的安装条件的情形下，也能 达到准确精密的测量效果；3)实时性上，光电经纬仪一般是将跟踪拍摄目标的过程通过胶片或数字图像的方 式记录下来，然后事后通过判读仪判读目标脱靶量，并交会得到目标位姿；而本发明是一个 实时的交会测量目标的系统。
图1是世界坐标系Ow-XwYwZw、像机坐标系Oc-XcYcZc和图像坐标系I-xy的定义示意 图；图2为像机与二维旋转平台固连示意图；图3为像机与二维旋转平台之间系统差标定过程中各坐标系的关系示意图；图4是本发明所述经纬像机摄像测量系统的结构示意图。在附图中1-由像机和二维旋转平台构成的经纬像机 2-路由器 3-网卡 4-测量分机 5-测量主机6-像机7-二维旋转平台的主轴
具体实施例方式背景技术所述光电经纬仪摄像测量系统中，二维旋转平台旋转中心与摄像系统光 心重合，并且其平台的两个旋转轴与摄像系统光轴垂直，即同心同轴，其采用的是量测型像 机，即其像机的内参数在出厂时就通过光学检校精确已知，成本较高。而本实施例所述经纬像机摄像测量系统中，二维旋转平台和摄像系统并没有通过 精密的装配保证二维旋转平台和像机同心同轴，且经纬像机的摄像系统采用的是非量测型 像机，像机内参数事先是未知的，需要通过标定得到，因此，由于其采用的是非量测型像机， 使整个系统的成本大大降低。所述经纬像机摄像测量系统中，像机与二维旋转平台之间系统差标定过程中各坐 标系的关系如图3所示其中世界坐标系w由标定架定义。任意位置的二维旋转平台坐标系都是以其旋转 中心为原点，以其主轴方向为Z轴，以在水平面内且与Z轴垂直的轴为Y轴，由右手定则确 定X轴。像机6固连在二维旋转平台的主轴7上，像机坐标系以光心为原点，以光轴为Z轴， 其X，Y轴与图像的两坐标轴对应平行。转动前和转动后分别用下标1，2表示。下述内容以传统测量方法中难以放置控制点时无法标定情形下的测量，如对空中 运动目标的运动参数进行测量为例，对本发明实施方法和步骤进行详细描述第一步，安装像机。将像机固定安装在二维旋转平台上，组合成经纬像机，进而形成如图4所示的经 纬像机摄像测量系统，其包括由像机和二维旋转平台构成的经纬像机1、千兆网卡3、千兆2 路由器和三维测量PC机，该三维测量PC机中包括测量分机4和测量主机5 ；其中经纬像机 1均经千兆路由器2和千兆网卡3接入测量分机4，所述多个测量分机4 一并接入测量主机 5的信号输入端。本实施例中像机采用的是非量测像机。其中非量测像机与二维旋转平台 没有同心同轴。安装完成后，像机对准地面上放置的标定物。可根据任务需要选择一台或 多台经纬像机，如图4所示。本实施例采用两台经纬像机，以实现后续的交会测量。第二步，标定摄像机并解算摄像机与二维旋转平台间的系统差。安装完经纬像机后，对经纬像机的内外参数进行标定。经纬像机的标定属于摄像 测量的范畴，有多种公知的标定方法，例如传统标定方法中的两步法，具体可参考由邱茂 林、马颂德、李毅著的计算机视觉中摄像机定标综述，自动化学报的2000年1月第26卷第
8
像机与二维旋转平台间的系统差利用本发明提供的方法来解算。较为简单的步骤 设计为1)调整二维旋转平台，使像机对标定架所成的像位于图像的中心区域，在此初始 位置记录转角值并标定像机获得像机的外参数；2)使平台在水平面内任意旋转，要求转动角度不小于5°，且标定架不超出视场。 在此位置记录水平转角值并标定像机获得像机的外参数；3)使平台在铅垂面内任意旋转，要求转动角度不小于5°，且标定架不超出视场。 在此位置记录俯仰转角值并标定像机获得像机的外参数。4)根据二维旋转平台两次相对于初始位置的转动角度和像机三次标定的外参数， 解算像机与二维旋转平台间的位姿偏差。第三步，修正摄像机外参数。在地面上完成标定后，转动二维旋转平台使像机对准空中目标，根据像机与二维 旋转平台间的位姿偏差、记录下的两个转动角度、第二步标定中初始位置像机的外参数，利 用发明内容部分的公式(24)计算像机当前位置的外参数。第四步，拍摄目标图像并实时解算目标的绝对位姿和速度等运动参数。所有像机均采用连续拍摄的工作模式对目标进行拍摄。对拍摄的图像进行目标捕 获、识别、跟踪锁定等处理后，实时得到目标在不同摄像机图像上的位置，并根据修正后的 像机参数，实时交会解算目标的位置、姿态和速度等运动参数。对于大范围运动目标的实时测量，需要连续转动二维旋转平台进行目标捕获。因 此，平台每一时刻的转动角度都必须已知，以进行像机外参数的实时修正。此种情况需要二 维旋转平台具备转动角度的实时反馈功能。在完成第一、二步后，不断重复第三、四步，即可 实现对目标的全场实时连续测量。当经纬像机整体移动到另一个位置后，像机内参数不变，像机外参数改变，但像机 与二维旋转平台间的系统差不变，不需要进行第一步与第二步。利用全站仪等测量手段可 以标定二维旋转平台的外参数。不需要再次设置控制点进行像机的标定，利用公式(19) Hwc2 = Ht。HttHwtl，可计算得到像机的外参数，与光电经纬仪类似。
权利要求
一种经纬像机摄像测量方法，其特征是，包括如下步骤1)将像机安装于二维旋转平台之上，组成经纬像机；2)将经纬像机对准布置了控制点的区域，标定经纬像机的内参数及在初始位置的外参数，再标定二维旋转平台与像机之间的系统差Htc，所述系统差包括二维旋转平台与像机之间的偏心距和角度偏差；3)修正像机外参数完成标定后，转动二维旋转平台使像机对准待测目标，根据步骤2中标定得到的像机与二维旋转平台间的系统差Htc、记录下二维旋转平台的两个转动角度，即方位角和和俯仰角，结合步骤2中标定的初始位置像机的外参数，计算出像机在当前位置的外参数；4)通过两台经纬像机对待测目标进行拍摄，基于交汇测量原理，结合前述步骤获取的像机外参数，实时计算出待测目标的绝对位姿和运动参数，实现对待测目标的三维测量。
2.根据权利要求1所述经纬像机摄像测量方法，其特征是，所述步骤2)中内外参数的 标定及像机与二维旋转平台间的系统差的计算步骤如下(1)先在初始位置通过经纬像机对已知世界坐标的控制点成像来标定得到像机内参数 和初始位置的外参数；(2)利用上一步中得到的像机内参数，使二维旋转平台在水平面内任意旋转不小于 5°的角度，在转动后的位置处记录二维旋转平台的方位角并标定像机在当前位置的外参 数；(3)再根据第一步中得到的像机内参数，使二维旋转平台在铅垂面内任意旋转不小于 5°的角度，在转动后的位置处记录二维旋转平台的俯仰角并标定像机在当前位置的外参 数；(4)根据前三步中每次标定得到的像机外参数得出每个位置上像机坐标系和世界坐标 系之间的旋转平移单应矩阵Hwci ；利用每次旋转的方位角和俯仰角，确定每次旋转后，二 维旋转平台坐标系前后两个位置处之间的旋转平移单应矩阵Htt ；利用两次旋转得到的旋 转平移单应矩阵以及两个旋转平移单应矩阵Htt，结合公式Hwc;i, = HteHttHwti，求解得到像机 与二维旋转平台的系统差Ht。。
3.根据权利要求1或2所述经纬像机摄像测量方法，其特征是，所述步骤3)修正像机 外参数中，像机当前位置的外参数的计算过程为根据像机与二维旋转平台的系统差Ht。， 二维旋转的方位角和俯仰角得到的旋转平移单应矩阵Htt，以及初始位置像机外参数Hwcd，根 据公式Hwc;i, = HtcHttHtcT1Hwcd，即可得到像机在当前位置的外参数Hwcd,。
4.一种经纬像机摄像测量系统，其特征是，包括由像机和二维旋转平台构成的经纬像 机、网卡、路由器和三维测量PC机，其中经纬像机依次经路由器和网卡接入三维测量PC机。
5.根据权利要求4所述经纬像机摄像测量系统，其特征是，所述网卡和路由器分别采 用的是千兆网卡和千兆路由器。
6.根据权利要求4或5所述经纬像机摄像测量系统，其特征是，所述像机为非量测像机。
全文摘要
本发明公开了一种经纬像机摄像测量方法及系统。其中经纬像机摄像测量方法首先将像机安装于二维旋转平台之上，组成经纬像机，该经纬像机经网络通讯模块与主机连接，构成了经纬像机摄像测量系统；然后，将经纬像机对准布置了控制点的区域，标定经纬像机的内参数及在初始位置的外参数，并进一步得出像机与二维旋转平台间的系统差Htc；再将经纬像机对准待测目标进行拍摄，并利用二维旋转平台提供的方位角和俯仰角实时修正摄像机外参数；最后利用实时得到的摄像机外参数和之前已标定的摄像机内参数基于交汇测量原理，实时计算出待测目标的绝对位姿和运动参数，实现对待测目标的三维测量。本发明所述经纬像机摄像测量方法及系统体积小巧、装拆简单、便于携带、成本较低，且像机外参数获取方式快速简单。
文档编号G06T7/00GK101900552SQ20101020427
公开日2010年12月1日 申请日期2010年6月21日 优先权日2010年6月21日
发明者于起峰, 周剑, 张小虎, 朱肇昆, 苑云 申请人:中国人民解放军国防科学技术大学