一种基于全景相机的单像自定位方法及系统的制作方法
【专利摘要】本发明公开一种基于全景相机的单像自定位方法及系统，包括：获取全景影像中控制点坐标、全景相机系统的俯仰角和全景相机系统的翻滚角；利用控制点坐标、全景相机系统的俯仰角和翻滚角，计算得到控制点的局部极坐标；利用局部极坐标，计算得到控制点的局部空间坐标；获取全景相机系统的方向向量，计算全景相机系统在全局坐标系的航向角；利用航向角，获得旋转矩阵M；利用控制点的局部极坐标、局部空间坐标以及旋转矩阵M得到全景相机全局坐标。本申请的自定位方法运算量小、精度较高，可用于移动测量系统的实时自定位。
【专利说明】
一种基于全景相机的单像自定位方法及系统
技术领域
[0001] 本发明涉及定位领域，特别是涉及一种基于全景相机的单像自定位方法及系统。
【背景技术】
[0002] 移动设备的自定位技术是近年来的研究热点，包括无人机航测、车载移动测量、机 器人自主导航等多个领域都需要一种低成本、可靠、轻便的部件，从而使移动设备可以依靠 这种部件较为精确地自主确定设备在环境中的位置，摆脱对GPS等外部导航仪器的依赖。
[0003] 目前市面上的机器人主要使用地面磁轨来进行导航及定位，近几年，基于激光的 实时同步地图构建及定位技术(SLAM)开始应用于机器人导航及定位，从而使机器人可以不 依靠地面磁轨便能够确定自身在环境中的位置。同时，基于视觉的机器人自定位技术也是 最近几年的研究热点，然而由于视觉自定位技术需要环境中有足够的视觉特征点，因此视 场角过小的相机会经常遇到视野内特征点不足的问题，导致相机无法进行自身定位。
[0004] 现有技术中磁导轨技术必须事先地面上布设磁性导轨，移动设备沿着导轨进行运 动，缺点是铺设导轨工程量大、限制性高，只能沿着磁导轨运动。而组合导航技术中使用移 动设备上的惯性导航以及里程计进行定位，缺点是惯性导航成本高，且定位误差随时间不 断积累。还有，激光定位技术中使用移动设备上的横置激光雷达进行自身定位，缺点是激光 雷达成本高，当机器人行进路线中出现障碍物时，由于机器人所扫描点云找不到匹配特征， 因此会导致机器人无法定位。深度相机定位技术中使用移动设备上的深度相机进行自身定 位，缺点是深度相机量测距离短，难以在空旷地区使用。双目相机定位技术中使用移动设备 上的双目相机进行自身定位，缺点是相机视角小，当视野中无特征点时定位失效。
【发明内容】
[0005] 本发明的目的是提供一种基于全景相机的单像自定位方法及系统，能够实现不用 预先铺设磁性导轨、设备运动无限制、机器人前方出现障碍物时不影响自身定位、可以在空 旷环境中使用、误差不随时间积累，且在定位的同时拍摄当前环境的全景照片，可以在事后 对运动环境进行全面的分析以及了解。
[0006] 为实现上述目的，本发明提供了如下方案：
[0007] -种基于全景相机的单像自定位方法，包括：
[0008] 获取全景影像中控制点坐标、全景相机系统的俯仰角和全景相机系统的翻滚角；
[0009] 利用所述控制点坐标、所述全景相机系统的俯仰角和翻滚角，计算得到所述控制 点的局部极坐标；
[0010] 利用所述局部极坐标，计算得到所述控制点的局部空间坐标；
[0011] 获取所述全景相机系统的方向向量，计算所述全景相机系统在全局坐标系的航向 角；
[0012] 利用所述航向角，获得旋转矩阵M;
[0013] 利用所述控制点的局部极坐标、局部空间坐标以及所述旋转矩阵M得到全景相机 全局坐标。
[0014] 可选的，所述利用所述控制点坐标、所述全景相机系统的俯仰角和所述全景相机 系统的翻滚角，所述得到所述控制点的局部极坐标具体为：
[0015] 根据公式j 4计算控制点的局部极坐标； a = v / row ^ 7T V Z
[0016] 其中，0，a为所述控制点的局部极坐标，x，y为全景影像中控制点坐标，col为列像 素数，row为行像素数。
[0017] 可选的，所述利用所述局部极坐标，所述得到所述控制点的局部空间坐标具体为： X - cos 6 * H ! tan a
[0018]根据公式j F = sin /// tan a计算得到所述控制点的局部空间坐标； Z 二-H
[0019] 其中，X，Y，Z为控制点局部空间坐标，H为全景相机系统中心距地面高度。
[0020] 可选的，所述获取方向向量，所述得到全局坐标系的航向角具体为：
[0021 ]根据公式 ，计算得到所述全景相机系统在全局坐标系 的航向角；
[0022]其中，Vo=(0，l，0)为全局坐标系中的初始方向向量，AB为方向向量在以全景相机 系统为中心的局部坐标系中的平行单位向量，A'，B'为向量AB在全景影像中的实际投影点。 [0023]可选的，所述旋转矩阵M具体为： cosO' -sinf/ 0 [0024] M= sin cos (9' 0 〇 0 0 1
[0025]可选的，所述得到全景相机全局坐标具体为：
[0026] 根据公式0 = P〇+M ? P，计算全景相机全局坐标；
[0027] 其中，P为所述控制点的局部极坐标，P〇为所述控制点全局坐标，M为旋转矩阵。
[0028] 本申请还包括一种基于全景相机的单像自定位系统，包括：
[0029] 第一获取单元，用于获取全景影像中控制点坐标、全景相机系统的俯仰角和全景 相机系统的翻滚角；
[0030] 第一计算单元，用于利用所述控制点坐标、所述全景相机系统的俯仰角和翻滚角， 计算得到所述控制点的局部极坐标；
[0031] 第二计算单元，用于利用所述局部极坐标，计算得到所述控制点的局部空间坐标；
[0032] 第二获取单元，用于获取所述全景相机系统的方向向量，计算所述全景相机系统 在全局坐标系的航向角；
[0033] 第三计算单元，用于利用所述航向角，获得旋转矩阵M;
[0034] 第三获取单元，用于利用所述控制点的局部极坐标、局部空间坐标以及所述旋转 矩阵M得到全景相机全局坐标。
[0035] 可选的，所述第一计算单元，用于根据公式^ _ \ 1计算控制点的局部极 a- y / row * k 坐标；
[0036] 其中，0，a为所述控制点的局部极坐标，x，y为全景影像中控制点坐标，col为列像 素数，row为行像素数； X - cos 0 * H ! tan a
[0037]所述第二计算单元，用于根据公式J K = sin6^///tan?计算得到所述控制点 Z:-H 的局部空间坐标；
[0038]其中，X，Y，Z为控制点局部空间坐标，H为全景相机系统中心距地面高度。
[0039] 可选的，所述第二获取单元，用于根据公式，计算得到 所述全景相机系统在全局坐标系的航向角；
[0040] 其中，Vo=(0，l，0)为全局坐标系中的初始方向向量，AB为方向向量在以全景相机 系统为中心的局部坐标系中的平行单位向量，A'，B'为向量AB在全景影像中的实际投影点； gos0? -sin^ 0
[0041 ] 所述第三计算单元，根据M= sin# cos# 0得到旋转矩阵。 0 0 1
[0042]可选的，所述第三获取单元，用于根据公式0 = P〇+M ? P，计算全景相机全局坐标；
[0043] 其中，P为所述控制点的局部极坐标，PQ为所述控制点全局坐标，M为旋转矩阵。
[0044] 本发明提供一种基于单像量测的全景相机自定位方法:在仅使用一个全景相机 (包括鱼眼全景相机或多镜头组合式全景相机)的情况下，通过识别所拍摄全景影像中至少 1个地面控制点，根据全景相机距离地面的高度、地面控制点三维坐标以及所拍摄的全景影 像对应的像素坐标，计算全景相机系统中心位置。本方案不需要进行全景影像间的匹配，只 需要将全景相机固定在一定高度，通过人工或模式识别方法提取出影像中的1个地面控制 点，就可以计算全景相机位置，还原系统移动轨迹。此方法运算量小、精度较高，可用于移动 测量系统的实时自定位。
【附图说明】
[0045] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所 需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施 例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图 获得其他的附图。
[0046] 图1为本发明一种基于全景相机的单像自定位方法实施例的流程图；
[0047] 图2为本发明一种基于全景相机的单像自定位系统实施例的结构图；
[0048]图3为本发明一种基于全景相机的单像自定位系统实施例的局部极坐标测量原理 图；
[0049] 图4为本发明一种基于全景相机的单像自定位系统实施例的局部空间坐标测量原 理图；
[0050] 图5为本发明一种基于全景相机的单像自定位方法实施例的方向角计算原理图。
【具体实施方式】
[0051] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完 整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于 本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他 实施例，都属于本发明保护的范围。
[0052] 图1为本发明一种基于全景相机的单像自定位方法实施例的流程图，如图1所示包 括：
[0053] 步骤101，获取全景影像中控制点坐标、全景相机系统的俯仰角和全景相机系统的 翻滚角；
[0054] 步骤102,利用所述控制点坐标、所述全景相机系统的俯仰角和翻滚角，计算得到 所述控制点的局部极坐标；
[0055] 步骤103,利用所述局部极坐标，计算得到所述控制点的局部空间坐标；
[0056] 步骤104,获取所述全景相机系统的方向向量，计算所述全景相机系统在全局坐标 系的航向角；
[0057]步骤105，利用所述航向角，获得旋转矩阵M;
[0058] 步骤106,利用所述控制点的局部极坐标、局部空间坐标以及所述旋转矩阵M得到 全景相机全局坐标。
[0059] 可选的，如图3所示，所述利用所述控制点坐标、所述全景相机系统的俯仰角和所 述全景相机系统的翻滚角，所述得到所述控制点的局部极坐标具体为：
[0060] 根据公式^ \ :计算控制点的局部极坐标； a-yi row ^ n
[0061] 其中，0，a为所述控制点的局部极坐标，x，y为全景影像中控制点坐标，col为列像 素数，row为行像素数。
[0062] 可选的，如图4所示，利用所述局部极坐标，得到所述控制点的局部空间坐标具体 为： X - cos^* H / tan a
[0063]根据公式j F = sin沒*// / tanoc计算得到所述控制点的局部空间坐标； Z = -H
[0064]其中，X，Y，Z为控制点局部空间坐标，H为全景相机系统中心距地面高度。
[0065] 可选的，如图5所示，所述获取方向向量，所述得到全局坐标系的航向角具体为：
[0066] 根据公式
，计算得到所述全景相机系统在全局坐标系 的航向角；
[0067]其中，Vo=(0，l，0)为全局坐标系中的初始方向向量，AB为方向向量在以全景相机 系统为中心的局部坐标系中的平行单位向量，A'，B'为向量AB在全景影像中的实际投影点。 [0068]可选的，所述旋转矩阵M具体为： cosO' -smO' 0
[0069] M = sin6/f cos^/ 0 〇: 0 Q 1
[0070] 可选的，所述得到全景相机全局坐标具体为：
[0071] 根据公式0 = P〇+M ? P，计算全景相机全局坐标；
[0072] 其中，P为所述控制点的局部极坐标，P〇为所述控制点全局坐标，M为旋转矩阵。
[0073] 可以利用系列的地面控制点还原全景相机运动轨迹。
[0074] 本方案不需要进行全景影像间的匹配，只需要将全景相机固定在一定高度，通过 人工或模式识别方法提取出影像中的1个地面控制点，就可以计算全景相机位置，还原系统 移动轨迹。此方法运算量小、精度较高，可用于移动测量系统的实时自定位。
[0075] 本申请还公开了一种基于全景相机的单像自定位系统。图2为本发明一种基于全 景相机的单像自定位系统实施例的结构图。如图2所示，该系统包括：
[0076]第一获取单元201，用于获取全景影像中控制点坐标、全景相机系统的俯仰角和全 景相机系统的翻滚角；
[0077]第一计算单元202,用于利用所述控制点坐标、所述全景相机系统的俯仰角和翻滚 角，计算得到所述控制点的局部极坐标；
[0078]第二计算单元203,用于利用所述局部极坐标，计算得到所述控制点的局部空间坐 标；
[0079] 第二获取单元204,用于获取所述全景相机系统的方向向量，计算所述全景相机系 统在全局坐标系的航向角；
[0080] 第三计算单元205,用于利用所述航向角，获得旋转矩阵M;
[0081]第三获取单元206,用于利用所述控制点的局部极坐标、局部空间坐标以及所述旋 转矩阵M得到全景相机全局坐标。 0 - / qoI ^ 7F
[0082] 可选的，所述第一计算单元202,用于根据公式 _ , /计算控制点的局 a ~ v / row 7U 部极坐标；
[0083] 其中，0，a为所述控制点的局部极坐标，x，y为全景影像中控制点坐标，col为列像 素数，row为行像素数； I 二 cos:沒 * 丑/1 肋.a
[0084] 所述第二计算单元203,用于根据公式Fisinlti//tan0{计算得到所述控 Z^-H 制点的局部空间坐标；
[0085] 其中，X，Y，Z为控制点局部空间坐标，H为全景相机系统中心距地面高度。
[0086] 可选的，所述第二获取单元204，用于根据公式
计算 得到所述全景相机系统在全局坐标系的航向角；
[0087] 其中，Vo=(0，l，0)为全局坐标系中的初始方向向量，AB为方向向量在以全景相机 系统为中心的局部坐标系中的平行单位向量，A'，B'为向量AB在全景影像中的实际投影点； COS0' -sin(/ 0
[0088] 所述第三计算单元205,用于根据sincos O' 0得到旋转矩阵。 0 0 1
[0089] 可选的，所述第三获取单元206,用于根据公式0 = P〇+M ? P，计算全景相机全局坐 标；
[0090] 其中，P为所述控制点的局部极坐标，P〇为所述控制点全局坐标，M为旋转矩阵。
[0091] 本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说 明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据 本发明的思想，在【具体实施方式】及应用范围上均会有改变之处。综上所述，本说明书内容不 应理解为对本发明的限制。
【主权项】
1. 一种基于全景相机的单像自定位方法，其特征在于，包括： 获取全景影像中控制点坐标、全景相机系统的俯仰角和全景相机系统的翻滚角； 利用所述控制点坐标、所述全景相机系统的俯仰角和翻滚角，计算得到所述控制点的 局部极坐标； 利用所述局部极坐标，计算得到所述控制点的局部空间坐标； 获取所述全景相机系统的方向向量，计算所述全景相机系统在全局坐标系的航向角； 利用所述航向角，获得旋转矩阵M; 利用所述控制点的局部极坐标、局部空间坐标以及所述旋转矩阵Μ得到全景相机全局 坐标。2. 根据权利要求1所述的基于全景相机的单像自定位方法，其特征在于，所述利用所述 控制点坐标、所述全景相机系统的俯仰角和所述全景相机系统的翻滚角，所述得到所述控 制点的局部极坐标具体为： 根据公￥-算控制点的局部极坐标； 其中，θ，α为所述控制点的局部极坐标，x，y为全景影像中控制点坐标，c〇l为列像素数， row为行像素数。3. 根据权利要求1所述的基于全景相机的单像自定位方法，其特征在于，所述利用所述 局部极坐标，所述得到所述控制点的局部空间坐标具体为：X' 根据公另 ：计算得到所述控制点的局部空间坐标； ，+ 其中，X，Y，Z为控制点局部空间坐标，Η为全景相机系统中心距地面高度。4. 根据权利要求1所述的基于全景相机的单像自定位方法，其特征在于，所述获取方向 向量，所述得到全局坐标系的航向角具体为： 根据公另，计算得到所述全景相机系统在全局坐标系的航 向角； 其中，V〇=(0，l，0)为全局坐标系中的初始方向向量，ΑΒ为方向向量在以全景相机系统 为中心的局部坐标系中的平行单位向量，A'，B'为向量AB在全景影像中的实际投影点。5. 根据权利要求1所述的基于全景相机的单像自定位方法，其特征在于，所述旋转矩阵 Μ具体为：6. 根据权利要求1所述的基于全景相机的单像自定位方法，其特征在于，所述得到全景 相机全局坐标具体为： 根据公式〇 = Po+M · P，计算全景相机全局坐标； 其中，P为所述控制点的局部极坐标，P〇为所述控制点全局坐标，Μ为旋转矩阵。7. -种基于全景相机的单像自定位系统，其特征在于，包括： 第一获取单元，用于获取全景影像中控制点坐标、全景相机系统的俯仰角和全景相机 系统的翻滚角； 第一计算单元，用于利用所述控制点坐标、所述全景相机系统的俯仰角和翻滚角，计算 得到所述控制点的局部极坐标； 第二计算单元，用于利用所述局部极坐标，计算得到所述控制点的局部空间坐标； 第二获取单元，用于获取所述全景相机系统的方向向量，计算所述全景相机系统在全 局坐标系的航向角； 第三计算单元，用于利用所述航向角，获得旋转矩阵Μ; 第三获取单元，用于利用所述控制点的局部极坐标、局部空间坐标以及所述旋转矩阵Μ 得到全景相机全局坐标。8. 根据权利要求7所述的一种基于全景相机的单像自定位系统，其特征在于， 所述第一计算单元，用于根据公式f算控制点的局部极坐标； 其中，θ，α为所述控制点的局部极坐标，x，y为全景影像中控制点坐标，c〇l为列像素数， row为行像素数； 所述第二计算单元，用于根据公式十算得到所述控制点的局 部空间坐标； 其中，X，Y，Z为控制点局部空间坐标，Η为全景相机系统中心距地面高度。9. 根据权利要求7所述的一种基于全景相机的单像自定位系统，其特征在于，所述第二 获取单元，用于根据公式，计算得到所述全景相机系统在全局 坐标系的航向角； 其中，V〇=(0，l，0)为全局坐标系中的初始方向向量，ΑΒ为方向向量在以全景相机系统 为中心的局部坐标系中的平行单位向量，A'，B'为向量AB在全景影像中的实际投影点； 所述第三计算单元，用于根据得到旋转矩阵。10. 根据权利要求7所述的一种基于全景相机的单像自定位系统，其特征在于， 所述第三获取单元，用于根据公式〇=Ρ〇+Μ · P，计算全景相机全局坐标； 其中，P为所述控制点的局部极坐标，P〇为所述控制点全局坐标，Μ为旋转矩阵。
【文档编号】H04N5/232GK105959529SQ201610256949
【公开日】2016年9月21日
【申请日】2016年4月22日
【发明人】钟若飞, 黄小川, 宫辉力
【申请人】首都师范大学, 南京泰司空间信息科技有限公司