一种基于街景图像数据库的车辆自主定位方法与流程

本发明属于车辆定位技术领域，具体涉及一种GPS盲区下基于街景图像数据库的车辆自主定位方法。

背景技术：

车辆高精度定位是智能交通系统(ITS)的重要组成部分，安全自主导航的关键技术。目前车辆导航系统通常使用民用GPS来估计车辆位置，然而这样的GPS由于建筑物反射和GPS信号的遮挡具有5到30米误差。另一方面，RTK-GPS可以更准确地估计车辆位置，但容易被阻塞、且成本较高。为了克服这些问题，一些研究组已提出使用声纳、激光扫描仪、相机等传感器在GPS无法正确进行车辆自主定位时的相应算法研究，主要包括以下几种：

(1)基于陆标(RFID)的方法。当GPS中断，无线射频识别装置(RFID)可用于检测陆标来实现定位。Zhang提出沿着车道路线安装RFID标签，车辆配备RFID Reader，车辆根据其周围标签反馈的信息检索当前自身位置。Huang提出一种对于城市复杂环境的高可靠性车辆定位方法，RFID定位信息融合方向盘转角和轮速计算车辆位置，EKF算法用于消除误差实现精确定位。该方法需要消耗大量的硬件设备，所以不适合长距离使用。

(2)基于INS/DR方法，特别是对GPS信号较弱的区域，为了提高定位性能，常见的选择是将GPS与惯性导航系统(INS)或者航迹推算(DR)相结合。然而，INS或者DR随着时间的推移会产生累计误差，无法长时间应用。

(3)基于视觉里程计的方法。视觉里程计仅使用图像传感器来估计车辆姿势。Zhou提出对图像按顺序处理，根据基本矩阵计算连续两幅图像间的位移偏量，进而可以推算车辆位置。但是该方法仍存在较大的误差。

技术实现要素：

为了解决现有车辆定位技术中存在的需要消耗大量的硬件设备，所以不适合长距离使用、随着时间的推移会产生累计误差，无法长时间应用的技术问题，本发明提供以下技术方案：

一种基于街景图像数据库的车辆自主定位方法，其特征在于包括以下步骤：

步骤1，使用相机采集场景图像，提取采集的图像的主颜色特征向量信息、SURF特征点和位置信息存储在数据库中；

步骤2，将车辆行驶中拍摄的图像作为待匹配图像，提取待匹配图像的主颜色特征向量，通过计算待匹配图像的主颜色特征向量与原数据库中图像主颜色特征向量的相似度，得到初始匹配图像，提取初始匹配图像的位置信息，初步确定车辆的位置；

步骤3，提取初始匹配图像的邻域图像，组成搜索空间，将待匹配图像与搜索空间的图像进行特征点匹配，得到最佳匹配图像，提取最佳匹配图像的拍摄位置坐标和其八邻域位置坐标，计算各个坐标的权重，再通过公式计算出车辆位置的精确坐标。

步骤1具体包括：

步骤1.1，按照预设位置，使用相机采集场景图像，将采集的图像和其对应的位置信息储存在数据库中；

步骤1.2，提取步骤1.1采集的图像的部分中间拍摄点图像存储在数据集2中；

步骤1.3，提取数据集2中图像的主颜色特征向量并储存于数据库中；

步骤1.4，提取所有图像的SURF特征点存储于数据库中；

步骤1.1和步骤1.2具体包括：按照预设的位置，设道路水平直的，设车行驶的方向为水平方向且车以固定的车速行驶，沿车行驶的方向每隔3米使用车上的摄像头采集其前方垂直方向的场景图像，选取多个采集点且每个采集点相隔1.5米，将所有采集点拍摄的图像和其对应的位置信息存储在数据库中，选取同一水平方向上的各个采集点中间的若干采集点拍摄的图像储存在数据集2中。

步骤1.3按如下方法进行：

将采集的场景图像划分为m×n个子块，同一种主颜色在每个子块中出现的频率构成一个主颜色特征值，若一个场景图像选择u种主颜色，则需要u×m×n个主颜色特征值表示图像的颜色内容，所有的主颜色特征值构成一个u×m×n维的主颜色特征向量，将该主颜色特征向量储存在数据库中。

步骤2具体包括：

步骤2.1，将车在实际行驶中拍摄的图像作为待匹配图像，提取待匹配图像主颜色的特征向量；

步骤2.2，计算待匹配图像与数据集2中所有图像的相似度；

步骤2.3，依次比较待匹配图像与数据集2中的所有图像的相似度，选择出数据集2中与待匹配图像相似度最高的N幅图像作为初始匹配结果，提取这N幅图像的坐标位置作为车辆的初始位置；

步骤2.2具体包括：

2.2.1，设S_a和I_b是两幅图像的主颜色特征向量，通过DP匹配技术计算两幅图像的主颜色特征向量之间的匹配距离，S_au和I_bv(S_au表示向量S_a的第u个元素，I_bv表示向量I_b的第v个元素)之间的元素距离定义如下

其中，u，v分别是序号，指示两个特征向量中的某个元素，其中,S_au表示向量S_a的第u个元素，I_bv表示向量I_b的第v个元素，S[a,u]表示S_au的值，I[b,v]表示I_bv的值。设u＝1,2,…,N₁和v＝1,2,L,N₂。N₁、N₂分别表示两幅图主颜色特征向量的长度，N₁＝N₂＝208。

2.2.2，计算得到S_a和I_b中所有的元素距离d(S_au,I_bv)，u＝1,2,L,N₁和v＝1,2,L,N₂。d(S_au,I_bv)组成的矩阵表示为d(u,v)，如下公式所示

2.2.3，计算d(u-1,v)、d(u-1,v-1)和d(u,v-1)分别到d(u,v)的三个权重分布w₁、w₂和w₃，

通过图论的Dijkstra算法计算从d(1,1)到d(n,n)的最短路径长度为P_min，计算出两幅图像的特征向的最短路径d(a,b)，用两幅图像特征向量的最短路径表示两幅图像间的相似度，d(a,b)的值越小，则表示两幅图像的相似度越高。计算公式为：

步骤2.3中选择出数据集2中与待匹配图像相似度最高的N幅图像具体方法包括：引入阈值T，T＝0.65，依次比较待匹配图像的特征向量与数据集2中的图像的特征向量之间的距离，若距离小于T，则认为这两个图像相似，否则，不相似。

步骤3具体包括：

3.1，提取步骤2.3中的N幅候选图像及其八邻域图像，通过检测去掉其中重复的图像，其余的图像组成搜索空间S；

3.2，再将待匹配图像与搜索空间S中每幅图像进行基于SURF特征点的图像匹配，将匹配点数最多的图像作为最佳匹配图像。

3.3，提取最佳匹配图像的拍摄位置坐标和其八个邻域位置坐标，计算各个坐标的权重，再通过公式计算出车辆位置的精确坐标。

步骤3.3具体计算过程如下：

提取最佳匹配图像的拍摄位置坐标和其8个邻域位置的坐标，(x_i,y_i)表示提取的9个点的坐标，w_j表示各个点权重，则其中，j＝1,2,L,9，N_j是待匹配图像与第j幅图像的匹配点个数；车辆精确位置坐标计算公式为：

步骤1.3中，选取m＝n＝4，u＝13，则每个图像被表示为一个208维的主颜色特征向量。

上述技术方案，与现有技术相比具有以下技术效果：

1、本发明在数据库构建时，将所有采集点的图像信息存储在数据库中，又提取各采集点的某些中间采集点的图像储存在数据集2中，在后续定位中，先将实际拍摄图像与数据集2中的图像进行相似度比较进行初步定位，找到最佳匹配图像后，再进行精确定位；减少了搜索数据库的时间，提高了运行效率；

2、本发明定位结果的精度小于1.5米，算法运行时间短，相比较视觉里程计不随时间产生累积误差，定位快速、精确；

3、本发明硬件系统主要由RSU和相机组成，成本低、可靠性高、实用性强。

4、本发明针对GPS盲区提出车辆自主定位方法，不受GPS信号的影响，为全天候、任何区域下的车辆自动定位方法提供了理论基础。

附图说明

图1是本发明的硬件组成示意图；

图2是本发明的数据库建立示意图；

图3是本发明的车辆初始定位中主颜色的特征向量提取过程示意图；

图4是本发明的车辆初始定位中连接有向图；

图5是本发明的车辆精确定位过程示意图；

图6是本发明的图像采集设备示意图；

图7是本发明的数据库图像示意图；

图8是本发明的主颜色特征直方图；

图9是本发明的算法精确性分析示意图；

图10是本发明算法的流程图。

具体实施方式

本发明公开了一种基于街景图像数据库的车辆自主定位方法，如图1，本发明提供的定位方法硬件系统主要由路测单元(RSU)和车辆上的图像采集设备组成，如图1所示，RSU包括服务器、数据处理模块和无线网络，图像采集设备包含一个摄像头和无线接入点(AP)。

本发明公开了的基于街景图像数据库的车辆自主定位方法，主要包括以下步骤：

步骤1，使用相机采集场景图像，提取采集的图像的主颜色特征向量信息、SURF特征点和位置信息存储在数据库中；其中具体包括：

步骤1.1，按照预设位置，使用相机采集场景图像，将采集的图像和其对应的位置信息储存在数据库中；

步骤1.2，提取步骤1.1采集的图像的某些中间拍摄点图像存储在数据集2中；

步骤1.3，提取数据集2中图像的主颜色特征向量并储存于数据库中；

步骤1.4，提取所有图像的SURF特征点存储于数据库中；

其中，所述的步骤1.1和步骤1.2具体包括：按照预设的位置，设道路水平直的，设车行驶的方向为水平方向且车以固定的车速行驶，沿车行驶的方向每隔三米使用车上的摄像头采集其前方垂直方向的场景图像，选取多个采集点且每个采集点相隔1.5米，将所有采集点拍摄的图像和其对应的位置信息存储在数据库中，选取同一水平方向上的各个采集点中间的两个采集点拍摄的图像储存在数据集2中。如图2，在平直的道路上，车上的图像采集设备每隔3秒，采集一组车辆前方的路面上的图像，其中各个采集点相隔1.5米，将各个采集点的图像(图2中原点表示)存储在数据库中，提取每行采集点中间的采集点(图2中黑色标记)存储在数据集2中。

在数据库构建时，将所有采集点的图像信息存储在数据库中，又提取各采集点的某些中间采集点的图像储存在数据集2中，在后续定位中，先将实际拍摄图像与数据集2中的图像进行相似度比较进行初步定位，找到最佳匹配图像后，再进行精确定位；减少了搜索数据库的时间，提高了运行效率。

在图像采集时候，每隔三秒拍摄一组正前方图像，且每隔采集点距离相隔1.5米，采集点选取距离小，有助于更加精确的采集周围的颜色特征信息，使得后续精确定位步骤，更加快速的找到最佳匹配图像，定位速度快且精度高。

其中步骤1.3具体包括；将采集的场景图像划分为m×n个子块，同一种主颜色在每个子块中出现的频率构成一个主颜色特征值，若一个场景图像选择u种主颜色，则需要u×m×n个主颜色特征值表示图像的颜色内容，所有的主颜色特征值构成一个u×m×n维的主颜色特征向量，将该主颜色特征向量储存在数据库中。

优选的，本发明选取m＝n＝4，u＝13，则每个图像被表示为一个208维的主颜色特征向量。

本发明中主颜色直方图在对图像颜色特征的表示上不仅仅考虑了颜色的色调特征，饱和度及亮度的变化对人眼的视觉特性也有较大的影响。当颜色的纯度(饱和度)比较高时，只需加入百分之二左右的白光后人眼就能分辨出颜色的变化；当图像的亮度较小时，整幅图像将变为黑色，此时不论其色调如何纯，饱和度如何变化，给人的感觉完全是一样的；当图像的亮度较高且饱和度较小时，不论图像的色调如何变化，整幅图像给人的感觉总是白色的。只有在图像的饱和度和亮度满足一定的条件，人眼才可以分辨出色调的变化。因此，本发明采用13个级别的颜色量化进行主颜色特征提取，可以满足需求，其量化方法如表1所示。

表1

步骤2，将车辆行驶中拍摄的图像作为待匹配图像，提取待匹配图像的主颜色特征向量，通过计算待匹配图像的主颜色特征向量与原数据库中图像主颜色特征向量的相似度，得到初始匹配图像，提取初始匹配图像的位置信息，初步确定车辆的位置；

其中，步骤2具体包括：

步骤2.1，将车在实际行驶中拍摄的图像作为待匹配图像，提取待匹配图像主颜色的特征向量；

步骤2.2，依次比较待匹配图像与数据集2中的所有图像的相似度，选择出数据集2中与待匹配图像相似度最高的N幅图像作为初始匹配结果，提取这N幅图像的坐标位置作为车辆的初始位置；

其中步骤2.2具体包括：2.2.1，设S_a和I_b是两幅图像的主颜色特征向量，通过DP匹配技术计算两幅图像的主颜色特征向量之间的匹配距离，S_au和I_bv(S_au表示向量S_a的第u个元素，I_bv表示向量I_b的第v个元素)之间的元素距离定义如下

其中，u，v分别是序号，指示两个特征向量中的某个元素，其中,S_au表示向量S_a的第u个元素，I_bv表示向量I_b的第v个元素，S[a,u]表示S_au的值，I[b,v]表示I_bv的值。设u＝1,2,…,N₁和v＝1,2,L,N₂。N₁、N₂分别表示两幅图主颜色特征向量的长度，N₁＝N₂＝208。

2.2.2，计算得到S_a和I_b中所有的元素距离d(S_au,I_bv)，u＝1,2,L,N₁和v＝1,2,L,N₂。d(S_au,I_bv)组成的矩阵表示为d(u,v)，如下公式所示

2.2.3，计算d(u-1,v)、d(u-1,v-1)和d(u,v-1)分别到d(u,v)的三个权重分布w₁、w₂和w₃，

通过图论的Dijkstra算法计算从d(1,1)到d(n,n)的最短路径长度为P_min，计算出两幅图像的特征向的最短路径d(a,b)，用两幅图像特征向量的最短路径表示两幅图像间的相似度，d(a,b)的值越小，则表示两幅图像的相似度越高。计算公式为：

2.2.4，选择出数据集2中与待匹配图像相似度最高的N幅图像，具体方法包括：引入阈值T和N，T＝0.65，N＝3～5，依次比较待匹配图像的特征向量与数据集2中的图像的特征向量之间的距离，若距离小于T，则认为这两个图像相似，否则，不相似。最后，选取相似度最高的N幅图像作为初始匹配结果，提取这N幅图像的坐标位置作为车辆的初始位置；其中T和N的取值是根据大量实验获得，既为了保证最相似图像包括在初始定位的结果中，同时为了确保初始定位的结果不会过多以至不影响后续精确匹配的运行效率。

步骤3，提取初始匹配图像的邻域图像，组成搜索空间，将待匹配图像与搜索空间的图像进行特征点匹配，得到最佳匹配图像，提取最佳匹配图像的拍摄位置坐标和其八邻域位置坐标，计算各个坐标的权重，再通过公式计算出车辆位置的精确坐标。

其中，步骤3具体包括：

3.1，提取步骤2.3中的N幅候选图像及其八邻域图像，通过检测去掉其中重复的图像，其余的图像组成搜索空间S；

3.2，再将待匹配图像与搜索空间S中每幅图像进行基于SURF特征点的图像匹配，将匹配点数最多的图像作为最佳匹配图像。

3.3，提取最佳匹配图像的拍摄位置坐标和其八个邻域位置坐标，计算各个坐标的权重，再通过公式计算出车辆位置的精确坐标。

其中，步骤3.3具体计算过程如下：

提取最佳匹配图像的拍摄位置坐标和其8个邻域位置的坐标，(x_i,y_i)表示提取的9个点的坐标，w_j表示各个点权重，则其中，j＝1,2,L,9，N_j是待匹配图像与第j幅图像的匹配点个数；车辆精确位置坐标计算公式为：

在选取周边邻域位置坐标用于精确定位时，可以考虑2、4或者8个邻域，本发明为了精确定位结果，选取了最全面精确的8邻域用于计算。

实施例：

实验环境为：本次试验采用比亚迪速锐C4在平直的道路上以3km/h速度采集数据(由于遮挡，GPS信号较差)，Blaser-acA1600相机安装在车顶，如图6所示。图像序列通过一个外部触发信号同步被记录，其速度30frame/s，分辨率1600×1200pixels。操作平台Windows XP系统、2.85GHz CPU及MATLAB R2009a。

在构建一个数据库时，我们设置k＝1.5m和s＝3m。在某一个路段，625个拍摄节点被选中。在每个采集点上，车辆垂直拍摄前面的场景形成数据集，部分图像如图7所示，选取其中有286采集点拍摄的图像存储于数据集2。主颜色特征信息和SURF特征点已预先存储在数据库中。某一时刻拍摄的一幅图像，其主颜色特征如图8(a)所示，根据初始定位方法，在数据集2中可以找到一个最相似的图像如图8所示(b)，其位置坐标X_c＝125.7m，Y_c＝62.5m，即图2中的G点的坐标，车辆精确定位方法，坐标位置加权计算后可以获得车辆X_c＝125.9m，Y_c＝62.2m。对于初始定位后的其他候选图像。图像应用于只有一个准确的定位。我们选择汽车20个不同时刻的位置为例,定位结果和实际位置如图9(a)所示，误差分析见图9(b)。显而易见，该方法的精度小于1.5m，满足实际应用的要求。车辆一次定位所需的时间约为3.6s，也大致满足用户的需要。当它需要以更短的时间完成，我们可以用其他平台(比如OpenCV和C++)来实现，而定位的有效性不受影响。相较于视觉里程计，本发明方法不存累积误差。与基于RFID的方法相比，本研究具有低成本、高可靠性、强抗信号干扰等有点，有较强的实用价值。因此，本发明为解决GPS盲区下的车辆自主定位提供新思路。