一种融合双目视觉和差分卫星定位的地标地图生成方法与流程

本发明属于地图测绘技术领域，更为具体地讲，涉及一种融合双目视觉和差分卫星定位的地标地图生成方法。

背景技术

地标地图是一种将地图去除冗余信息以轻量化形式存储的高精度地图，可以为智能车提供部分静态目标感知，或称为地标感知，并通过静态地标的位置实现智能车辆自身的定位。目前，以色列、日本、美国等高科技公司都在从事地标地图方面的研发和采集工作，例如mobile的eyeq地图，丰田的地标影像地图，lvl5众包纯视觉地图。而国内例如百度、四维图新、高德等图商都着重于以激光雷达点云的重地图方式来为智能车提供高精度地图。

经过对现有技术专利进行检索发现，我们发现基于双目相机的高精度视觉定位地图生成系统及方法(申请号2016100288342)，基于车载多传感器融合的三维高精度地图生成系统及方法(申请号2017106290232)与本专利相关。基于双目相机的高精度视觉定位地图生成系统及方法是利用了视觉的方式记录图像中的特征点，并将图像特征点植入地图形成特征点地图；基于车载多传感器融合的三维高精度地图生成系统及方法是利用摄像头、激光测距仪、gps/ins接收处理器和差分卫星定位基准台等生成信息量更大的地图，以通过视觉匹配实现车辆定位。

技术实现要素：

本发明的目的在于克服现有技术的不足，提供一种融合双目视觉和差分卫星定位的地标地图生成方法，利用双目相机和差分卫星定位信号实现静态地标的定位计算，建立轻量化地标地图。

为实现上述发明目的，本发明一种融合双目视觉和差分卫星定位的地标地图生成方法，其特征在于，包括以下步骤：

(1)、搭建采集系统，建立车辆坐标系

将双目相机和差分卫星定位的双定位天线固定至车顶，且保证双目相机和双定位天线处于同一平面，同时保证双目相机的中心相距d1，双定位天线的中心d2；

通过双目相机与双定位天线之间物理关系以及车头方向标定双目相机与双定位天线在以地心为中心的坐标系下的绝对坐标

(2)、图像采集

在双目相机与差分卫星定位信号同步下，左右相机分别采集图像il、ir；

(3)、相机定标

对双目相机进行内参标定，获取双目相机的内部参数，并构建内参矩阵k；

(4)、利用深度学习算法检测左图像il或右图像ir中的地标块

利用训练好的深度学习模型dm检测左图像il或右图像ir中的地标块，标记为b1,b2,…,bn，n表示地标块的个数，再返回地标块的所处的二维矩形框，为二维矩形框的四个顶点，i＝1,2,…,n；

(5)、特征点的三维重建

(5.1)、提取左、右图像中的二维特征点(xj,yj)l、(xj,yj)r,j＝1,2,…,m，m表示二维特征点的个数，m＞＞n；再对提取的(xj,yj)l和(xj,yj)r进行特征快速匹配，得到匹配后的二维特征点，然后利用双目相机的内部参数对匹配后的二维特征点进行畸变矫正，得到矫正后的二维特征点

利用多视觉几何方法，重建二维特征点对应的三维特征点的坐标

(5.2)、建立优化目标函数f，并对重建的三维特征点进行优化

其中，r表示相对旋转矩阵，t表示相对平移向量，d表示计算欧式距离；

(6)、搜索位于地标块中的二维特征点，建立二维特征点的坐标(x1,y1),(x2,y2),…,(xn,yn)到其三维重建的映射下的相对三维坐标其中，

再根据相机中心的绝对坐标和车头朝向以及地标块重建的相对位置确定n个地标块在地球坐标系下绝对坐标

(7)、、重复步骤(4)-(6)，计算连续多帧图像中第i个地标块在地球坐标系下的经纬度坐标τ表示第τ帧图像，然后求取第i个地标块的经纬度坐标平均值用平均值作为第i个地标块最终的经纬度坐标，再将识别到的地标块及对应的经纬度坐标保存到地标数据库，建立地标地图。

本发明的发明目的是这样实现的：

本发明一种融合双目视觉和差分卫星定位的地标地图生成方法，先搭建采集系统，建立车辆坐标系，再通过双目相机和差分卫星定位的坐标系统一和信号同步实现图像的采集，利用深度学习算法检测采集到的图像中的静态地标，并进行特征提取和三维重建，然后完成坐标系统的转换，为检测到的地标计算出地球坐标系下的精确位置。

同时，本发明一种融合双目视觉和差分卫星定位的地标地图生成方法还具有以下有益效果：

(1)、本发明融合双目相机和双天线差分卫星定位，建立地球坐标系的采集系统。

(2)、本发明中采用的双目相机的基线较大，图像稀疏点重建稳定，精度较单目相机重建精度高。

(3)、本发明采用自动关联深度目标识别方法，利用多帧、多点跟踪，计算同一地标的多个位置，统计得到地标最终经纬度坐标，建立高精度地标地图数据库。

附图说明

图1是本发明一种融合双目视觉和差分卫星定位的地标地图生成系统原理图；

图2是本发明一种融合双目视觉和差分卫星定位的地标地图生成方法流程图；

图3是地标地图生成系统实物图；

图4是双目相机标定前后图像对比图；

图5是地标地图生成效果图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

图1是本发明一种融合双目视觉和差分卫星定位的地标地图生成系统原理图。

在本实施例中，如图1所示，本发明一种融合双目视觉和差分卫星定位的地标地图生成系统主要包括：

图像采集模块：用于采集双目相机和差分卫星定位的双定位天线组成；通过对双目相机图像进行矫正，建立统一的地球坐标系，并通过网络或者存储介质上传至地图构建运算中心。其中差分卫星定位信号，采用rtk接收器接收千寻的差分信号获得。

地标识别模块：利用深度学习训练模型检测地标，并返回地标在二维图像中的坐标；

地标定位模块：实现地标跟踪，计算每一时刻的地标位置，统计多次计算的地标位置，建立地标数据库。

下面我们结合图2对本发明一种融合双目视觉和差分卫星定位的地标地图生成方法进行详细，具体包括以下步骤：

s1、搭建采集系统，建立车辆坐标系

将双目相机和差分卫星定位的双定位天线固定至车顶，且保证双目相机和双定位天线处于同一平面，同时保证双目相机的中心相距d1，双定位天线的中心d2,搭建好的采集系统如图3所示；

通过双目相机与双定位天线之间物理关系以及车头方向标定双目相机与双定位天线在以地心为中心的坐标系下的绝对坐标

s2、图像采集

在双目相机与差分卫星定位信号同步下，左右相机分别同时采集图像，标记为il、ir；

s3、相机定标

对双目相机进行内参标定，获取双目相机的内部参数，内部参数包括相机的畸变参数、焦距和中心偏移，再利用这些内部参数构建内参矩阵k；在本实施例中，双目相机定标前后的对比效果如图4所示；

s4、利用深度学习算法检测左图像il或右图像ir中的地标块

在完成此步工作时，首先要搜集地标的训练库，主要包括交通标志等，路灯、车道线、路肩等一切跟交通相关的信息，训练好深度学习模型dm；

再利用训练好的深度学习模型dm检测左图像il或右图像ir中的地标块，标记为b1,b2,…,bn，n表示地标块的个数，再返回地标块的所处的二维矩形框，为二维矩形框的四个顶点，i＝1,2,…,n；

s5、特征点的三维重建

s5.1、利用orb、surf、sift等算法提取左、右图像中的二维特征点(xj,yj)l、(xj,yj)r,j＝1,2,…,m，m表示二维特征点的个数，m＞＞n；再利用极线搜索方法对提取的(xj,yj)l和(xj,yj)r进行特征快速匹配，得到匹配后的二维特征点，然后利用双目相机的内部参数对匹配后的二维特征点进行畸变矫正，得到矫正后的二维特征点

利用多视觉几何方法，重建二维特征点对应的三维特征点的坐标

s5.2、建立优化目标函数f，并对重建的三维特征点进行优化

其中，r表示相对旋转矩阵，t表示相对平移向量，d表示计算欧式距离；

s6、搜索位于地标块中的二维特征点，建立二维特征点的坐标(x1,y1),(x2,y2),…,(xn,yn)到其三维重建的映射下的相对三维坐标其中，

再根据相机中心的绝对坐标和车头朝向以及地标块重建的相对位置确定n个地标块在地球坐标系下绝对坐标具体确定方法如下：

将相对三维坐标按照如下公式转换至地球坐标系下的绝对坐标；

pi^a＝k·r^-1·pbi-r¹·t

s7、重复步骤s4-s6，计算连续多帧图像中第i个地标块在地球坐标系下的经纬度坐标τ表示第τ帧图像，然后求取第i个地标块的经纬度坐标平均值用平均值作为第i个地标块最终的经纬度坐标，再将识别到的地标块及对应的经纬度坐标保存到地标数据库，建立地标地图。

在本实施例中，生成的地标地图如图5所示，其中左边是显示的右相机视图，右边显示的是标有地标位置的地图。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。