一种基于GPS的双目融合定位方法及装置与流程

本发明涉及计算机视觉技术，尤其是一种实时的物体定位方法，尤其是物体在大规模的环境中进行精确定位的方法。

背景技术：

实现视觉定位一直都是无人机或者机器人智能化的技术难题。要解决无人机自主飞行的问题，首先得确认自身的位置信息。但是现在常用的视觉定位算法存在过高的计算量而无法应用于大规模的室外环境中，且其存在一定程度的误差。无人机或者机器人在室外能够实现精确定位都是依赖于GPS导航。但是使用GPS进行定位，物体只能被动由自身所携带的GPS设备发送的信息进行定位，由于GPS定位精度在理想的情况下只有2.5米，并且更新频率较低。另外对于室内物体而言，GPS信号会因遮挡而丢失，无法实现室内定位，导致定位误差增大，故物体并不知道自身所在的确切位置，无法实现精确定位。

技术实现要素：

本发明所要解决的技术问题是：针对上述存在的问题，提供一种基于GPS的双目融合定位方法及装置。本发明可适用于各种物体的自身定位，例如无人机或机器人的自定位。

本发明提供的基于GPS的双目融合定位方法，包括：

步骤1：获取待定位物体所在空间的三维地图，所述三维地图包含空间环境的图像特征及环境中各点的地球坐标；

步骤2：获取待定位物体的经度、纬度，根据待定位物体的经度、纬度得到待定位物体在三维地图中的粗定位范围；

步骤3：使用位于待定位物体上的双目测量视觉系统拍摄待定位物体周围的参照物的图像，根据双目测量系统拍摄的图像对参照物进行三维重建得到参照物的三维图形，在粗定位范围中寻找与所述三维图形匹配的区域，进而确定参照物在三维地图中的精确定位区域。

所述步骤3进一步包括：

步骤31：双目测量视觉系统获取参照物的左图像及右图像；

步骤32：分别提取左图像及右图像的特征值；

步骤33：根据二者的特征值确定左图像、右图像之间的匹配特征点；

步骤34：利用立体视觉原理对匹配特征点进行三维重建，得到这些匹配特征点的三维坐标，将这些点进行曲面拟合得到参照物的空间三维图形；

步骤35：在待定位物体在三维地图中的粗定位范围中进行图像匹配，找到与所述空间三维图形匹配的区域进而得到待定位物体在三维地图中的精确定位区域。

进一步，步骤2中，利用位于待定位物体上的GPS定位装置获取所述经度、纬度。

进一步，步骤33中，利用极限约束算法确定左图像、右图像中的匹配特征点。

进一步，步骤35中，提取所述空间三维图形的特征值，在三维地图的粗定位区域中搜索特征值与空间三维图形特征值匹配的区域，该区域即为待定位物体在三维地图中的精确定位区域；提取的空间三维图像的特征值为纹理特征值或几何特征值，所述三维地图包含的图像特征包括纹理特征值及几何特征值。

本发明还提供了一种基于GPS的双目融合定位装置，包括：

三维地图获取模块，用于获取待定位物体所在空间的三维地图，所述三维地图包含空间环境的图像特征及环境中各点的地球坐标；

粗定位模块，用于获取待定位物体的经度、纬度，根据待定位物体的经度、纬度得到待定位物体在三维地图中的粗定位范围；

精确定位模块，用于获取位于待定位物体上的双目测量视觉系统拍摄待定位物体周围的参照物的图像，根据双目测量系统拍摄的图像对参照物进行三维重建得到参照物的三维图形，在粗定位范围中寻找与所述三维图形匹配的区域，进而确定参照物在三维地图中的精确定位区域。

所述精确定位模块进一步包括：

图像获取单元，用于获取双目测量视觉系统拍摄的参照物的左图像及右图像；

特征值提取单元，用于分别提取左图像及右图像的特征值；

匹配点获取单元，用于根据二者的特征值确定左图像、右图像之间的匹配特征点；

三维终点单元，用于利用立体视觉原理对匹配特征点进行三维重建，得到这些匹配特征点的三维坐标，将这些点进行曲面拟合得到参照物的空间三维图形；

匹配图像获取单元，用于在待定位物体在三维地图中的粗定位范围中进行图像匹配，找到与所述空间三维图形匹配的区域进而得到待定位物体在三维地图中的精确定位区域。

进一步，匹配点获取单元用于利用极限约束算法确定左图像、右图像中的匹配特征点。

匹配图像获取单元进一步用于，提取所述空间三维图形的特征值，在三维地图的粗定位区域中搜索特征值与空间三维图形特征值匹配的区域，该区域即为待定位物体在三维地图中的精确定位区域；提取的空间三维图像的特征值为纹理特征值或几何特征值，所述三维地图包含的图像特征包括纹理特征值及几何特征值。

由于采用了上述技术方案，本发明的有益效果是：

1.采用GPS系统实现物体初始定位，可实现室外较大范围的物体定位；

2.采用双目测量视觉系统对物体进一步定位，使定位准确度大大提高；

3.使用图像匹配技术在三维地图中对物体进行定位，定位精确度更高；

4.本发明采用三维特征地图的精确定位方式，实现了物体在三维空间位置的定位。

综上，本发明首先利用GPS定位装置实现对待定位物体的经、纬度数据获取，然后利用双目测量视觉系统实现对物体的空间位置定位，能够实现在较大范围内确定待定位物体的三维空间位置信息，定位精度高。

附图说明

本发明将通过例子并参照附图的方式说明，其中：

图1为本发明方法的流程图。

图2位本发明中精确定位的流程图。

具体实施方式

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

本说明书中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

如图1所示，本发明方法包括以下三个步骤：

1）获取待定位物体所在空间，如房间，大楼的三维地图，三维地图中至少包含有空间环境的图像特征，如亮度特征值、纹理特征值、几何特征值等与图像相关的特征值，三维地图中还应包含有空间各个点的地球坐标，地球坐标包含经度、纬度及相对地面高度三个纬度的信息，能准确反映地球上任意一点的准确位置。

三维地图可以根据雷达或环境光传感器获得的环境信息进行创建，三维地图的获取为现有技术，其过程并非本发明关心的内容，本发明中的三维地图是直接拷贝已有的数据得到，作为物体定位的基本坐标系统。

2）对待定位物体进行粗定位

获取待定位物体的经度、纬度数据，本实施例中使用安装在待定位物体上的GPS定位装置获取其自身的经纬度坐标，有了待定位物体的经纬度坐标便可在三维地图中圈定其初定位区域，即三维地图中与待定位物体经纬度坐标相同的区域都为待定位物体的粗定位区域，通过粗定位可将待定位物体的范围大大缩小。

3）对待定位物体进行精确定位

在粗定位的基础上，使用双目测量视觉系统获取待定位物体的所在空间的周围环境图像，为了方便描述，本发明将周围环境成为参照物，我们将参照物的空间位置作为待定位物体的空间位置，虽然我们知道待定位物体与参照物还存在一定的空间距离，但是在更大范围中的定位，这一空间距离可以忽略不计。

双目测量视觉系统为现有设备，其包含左、右两个摄像机，两个摄像机分别进行标定后可以确定空间中的物理点在左右摄像机拍摄的两幅图像（本发明中成为左图像、右图像）中像素点的对应关系。

本实施例采用张氏标定法来标定左右摄像机的内参数，外参数通过所设置的基线距离直接提取。以左摄像机为例说明标定过程，如下：

1）用绘图工具绘制一个棋盘模板，A4纸打印出来，贴在一张光滑平面硬纸板上；

2）将平面模板按任意角度在镜头前旋转和平移，拍摄20幅不同姿态的图像，在拍摄过程中保持光照强度和方位不变，并不调节镜头以免改变参数；

3）程序读取20幅图像，将其显示在同一平面内；

4）提取这20幅图像中的所有角点，并设置图像左上角作为标定时临时摄像机坐标；

5）提取完20幅图像上所有角点之后，计算出每幅图像的平面投影矩阵，确定摄像机的参数，从而获取到摄像机的内参数。

标定后的双目视觉测量系统就可以用来拍摄参照物图像。得到的参照物的图像后，根据所述图像对参照物进行三维重建得到参照物的三维图形，在粗定位范围中寻找与所述三维图形匹配的点，进而确定参照物在三维地图中的精确定位区域。

参见图2，下面详细阐述精确定位的具体方法：

1、图像采集。首先利用左右摄像头物体周围的场景信息进行图像采集，获得左右两幅图像；

2、对左右图像进行特征值提取。根据不同的情境选择不同的特征提取方式，例如：物体小范围定位可采用角点提取、边提取、不变矩、Hough变换等特征提取方法进行特征提取；物体大范围定位可采用光流法、背景差法、帧差法等特征提取方法进行特征提取。

3、寻找两幅图像中的匹配特征点。本实施例利用极线约束等匹配原则对左图像中的特征点在右图像中寻找匹配点，完成左右图像的特征点匹配，以角点特征匹配为例，具体方法如下：

1)对左图像A进行角点筛选，得到目标点在左图像中的坐标；

2)对右图像B上进行角点的检测；

3)根据极线约束求取左图像A的目标点在右图像B中的极线；

4)在极线上搜索步骤2)中检测到的角点，看哪些角点在这条极线附近，并对这些候选的角点应用角点筛选的方法得到亚像素级的目标点的坐标。

按照上述方法可以获取多组匹配特征点。

4、根据立体视觉原理实现对这些匹配特征点进行三维重建，求得这些匹配特征点的三维坐标，将这些点进行曲面拟合，即可得到空间三维图形，即三维点云，这些空间点都是待定位物体精确定位的候选点。

5、搜索匹配图像区域。在三维地图的粗定位区域中搜索与空间三维图像的最佳匹配点，即候步骤4得到的选点形成的空间三维图形的纹理特征值或几何特征值等特征与三维地图中粗定位区域中的某个区域的纹理特征值或几何特征值相匹配，则该区域即为待定位物体在三维地图中的精确位置。

本发明还提供了一种与上述方法步骤一一对应的软系统。

本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。