基于图像识别的高精准度立交桥快速导航方法

基于图像识别的高精准度立交桥快速导航方法
1.本技术是申请号为：202110150165.7，申请日：2021-02-03，专利名称“适用于复杂立交桥的快速导航系统及导航方法”的发明专利的分案申请。
技术领域
2.本发明属于导航信息技术领域，具体基于图像识别的高精准度立交桥快速导航方法。


背景技术：

3.无人驾驶汽车导航仍采用gps导航方式，如果遇到复杂道路环境，例如上、中、下三层立体式立交桥，如果在进入立交桥开始导航，则可以较好的实现导航，但如果进入立交桥后再导航，或者是进入立交桥后网络环境较差需重新导航，又或者是进入立交桥后驶入错误道路，由于gps技术无法识别高度，则会导致导航准确度降低，同时位于最下层的车辆还存在无法接受gps信号的问题。
4.目前无人驾驶汽车上设置有环境识别装置，一般环境识别装置包括安装在汽车前方或顶部的高清摄像头，摄像头拍照用于环境感知和躲避，将摄像技术与gps技术相结合，用于精确定位汽车的具体位置。具体工作过程：提前拍摄环境道路——提取标准特征线形成数据库——导航车辆摄像拍照——提取特征线——与数据库特征线对比——分析导航车辆具体位置。
5.目前的这种导航方法使用过程中存在两个问题：一是建立数据库使用的车辆与实际导航车辆结构不一样，如建立数据库使用的车辆为suv车辆，而实际导航车辆为轿车，那么可能导致提取的特征线与数据库中的特征线存在较大差别，降低导航的准确率；二是环境道路发生改变时，数据库中的标准特征线无法及时更新，则会导致导航准确度降低，如在有多个入口的立交桥，提取的特征线可能是道路旁的指示牌或者是建筑物，如果道路牌或者是建筑物发生变化，则导航准确度降低。


技术实现要素：

6.本发明的目的是提供基于图像识别的高精准度立交桥快速导航方法，数据库可及时更新，准确度高，不需建立专门的数据库，成本低。
7.为实现上述发明目的，本发明所采用的技术方案是：基于图像识别的高精准度立交桥快速导航方法，车辆上的导航装置使用时，按以下方式进行导航：
8.a0、判断导航起点是否位于立交桥内，
9.若导航起点位于立交桥内，则进入步骤a1；
10.若导航起点位于立交桥外，则需判断导航起点至终点的规划路段中是否存在立交桥，若不经过立交桥，则导航装置按照现有gps技术定位导航方式进行导航，若经过立交桥，则车辆进入立交桥时进入步骤a1；
11.a1、进入立交桥时，每间隔一定时间t0，确定车辆当前gps定位位置，对周围环境进
行拍照，并上传照片至环境识别模块，进入步骤a2；
12.a2、判断车辆当前所处立交桥的高度方向上是否存在多条道路，
13.若车辆所处gps定位位置高度方向只有一条道路，则进入步骤a3；
14.若车辆所处gps定位位置高度方向有多条道路，则进入步骤a4；
15.a3、环境识别模块提取照片中多个特征形成一个特征组，与串联式标准特征组中车辆当前gps定位位置相对应的标准特征组进行对比，进入a6；
16.a4、环境识别模块提取照片中多个特征形成一个特征组，先根据车辆当前gps定位位置匹配相对应的并联式标准特征组；在并联式标准特征组范围内，再根据提取的特征组匹配对应的标准特征组，确定车辆在立交桥上的具体道路，进入步骤a5；
17.a5、判断当前行驶路线是否与导航规划路线一致，若两者一致，则进入步骤a6，若两者不一致，则进入步骤a8；
18.a6、判断提取的特征与标准特征是否一致，若两者一致，则进入步骤a1，若两者不一致，则进入步骤a7；
19.a7、将gps定位位置拍摄照片中提取的特征放入相对应的标准特征数据库中作为新的训练样本，重新进行深度学习，形成新的标准特征数据库；
20.a8、提取的特征与该gps定位位置附近一定范围内的标准特征组进行对比，重新确定当前位置，重新规划行驶路线，进入步骤a1。
21.优选的：还包括，a9、对新的标准特征按照车辆型号分类储存至标准特征数据库，以进行下一次匹配。
22.优选的：所述步骤a5中，汽车当前行驶路线与导航规划路线一致的判断条件是，导航过程中规划路线未变更，且汽车实际行驶时间与导航规划时间相对应。
23.优选的：所述照片中提取的特征、所述标准特征均包括交通路标、建筑物、矢量道路中心线、大型植被。
24.优选的：所述步骤a7中，提取的特征进行深度学习前，进行图像曝光、图像背景去除、图像归一化等预处理。
25.优选的：所述步骤a7中，深度学习模型是cnn卷积神经网络模型。
26.优选的：所述步骤a8中，提取的特征与该gps定位位置20-200米范围内的标准特征进行对比。
27.相应的：包括gps导航模块、照片采集模块、环境识别模块、分析处理模块、数据模块和导航信息接收模块，
28.所述gps导航模块用于车辆当前位置定位；
29.所述照片采集模块对环境进行拍照并将照片上传至环境识别模块；
30.所述环境识别模块提取照片中的特征并传输至分析处理模块；
31.所述分析处理模块能够进行图像预处理、特征比对、车辆行驶路线判断、对特征进行深度学习；
32.所述数据模块与分析处理模块之间可交互数据；
33.所述导航信息接收模块接收分析处理模块的导航指令信息。
34.优选的：所述环境识别模块能够进行交通路标识别、矢量道路中心线识别、建筑物识别和大型植被识别。
35.优选的：所述照片采集模块设置在汽车顶部或前保险杠；所述导航信息接收模块设置在汽车内，所述导航信息接收模块包括图像显示器和语音播报音响；所述数据模块为云端数据库。
36.与现有技术相比，本发明具有以下有益效果：
37.1、本发明进入立交桥时，图像识别技术与gps技术相结合，采用拍照上传照片，将照片中提取的特征并与数据库中的标准特征进行数据对比，最终确定汽车在立交桥内实际道路中的具体位置，避免了在立交桥导航时因无法接收gps信号或驶入错误道路而无法实现精准导航。
38.2、本发明车辆行驶过程中，若检测到周围环境发生变化时，依据行驶车辆拍摄的图像及时更新数据库中的标准特征，准确度更高，即后续数据库的持续更新不需要设置单独的车辆对道路环境进行拍摄，成本更低；根据车辆的不同型号对标准特征进行分组，导航过程中再根据实际型号行驶车辆拍摄的特征，与数据库相应组内的标准特征进行对比，准确度更高。
附图说明
39.图1为本发明基于图像识别的高精准度立交桥快速导航方法流程框图；
40.图2为本发明基于图像识别的高精准度立交桥快速导航方法框图；
41.图3为串联式标准特征组和并联式标注特征组示意。
具体实施方式
42.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。若未特别指明，实施例中所用的技术手段为本领域技术人员所熟知的常规手段。
43.如图1和图3所示的基于图像识别的高精准度立交桥快速导航方法，进入立交桥时，每间隔一段时间对行驶车辆周围环境进行拍照，将照片上传至环境识别模块并提取照片中的多个特征，与规划路线中标准特征进行对比，行驶路线正确的条件下判断提取的特征与标准特征是否一致，提取的特征与标准特征存在偏差的条件下将提取的特征作为新的训练样本，重新进行深度学习，替代已有的标准特征以更新数据库，进行下一次匹配。
44.车辆上设置有gps定位装置，车辆上的导航装置使用时，按以下方式进行导航：
45.a0、判断导航起点是否位于立交桥内，若导航起点位于立交桥内，则进入步骤a1；若导航起点位于立交桥外，则需判断导航起点至终点的规划路段中是否存在立交桥，若不经过立交桥，则导航装置按照现有gps技术定位导航方式进行导航，若经过立交桥，则车辆进入立交桥时进入步骤a1；
46.a1、每间隔一定时间t0，确定车辆当前gps定位位置，对周围环境进行实时拍照，并上传照片至环境识别模块，进入步骤a2；应当理解的是，t0可以为1-120秒内的任一时间，当车速较慢时，t0可以设置较大一点，如100秒，当车速较快时，t0可以设置较小一点，如5秒；
47.a2、判断车辆当前所处立交桥的高度维度上是否存在多条道路，若车辆所处gps定位位置的高度方向上只有一条道路，则进入a3；若车辆所处gps定位位置的高度方向上有多条道路，则进入a4；
48.a3、环境识别模块提取照片中多个特征形成一个特征组，与串联式标准特征组中车辆当前gps定位位置相对应的标准特征组进行对比，进入a6；需要说明的是，标准特征指的是提前在同一个gps定位位置处拍摄多张照片，并从多张照片中提取出多个特征并存入数据库；串联式标准特征组指的是在同一个gps定位位置处有多个标准特征，这些多个标准特征形成一个数据集合，即为串联式标准特征组，随gps定位位置变化，形成多个沿道路纵向的串联式标准特征组，多个串联式标准特征组存入数据库形成标准特征数据库；
49.a4、环境识别模块提取照片中多个特征形成一个特征组，先根据车辆当前gps定位位置匹配相对应的并联式标准特征组；在并联式标准特征组范围内，再根据提取的特征组匹配对应的标准特征组，确定车辆在立交桥上的具体道路，进入步骤a5；需要说明的是，并联式标准特征组指的是同一个gps定位位置处不同高度的道路环境所对应的标准特征分别形成数据集合，存入标准特征数据库；
50.a5、判断当前路线是否与导航规划路线一致，若两者一致，则进入步骤a6，若两者不一致，则进入步骤a8；
51.a6、判断提取的特征与标准特征是否一致，若两者一致，则进入步骤a1，若两者不一致，则进入步骤a7；
52.a7、将gps定位位置拍摄照片中提取的特征放入相对应的标准特征数据库中作为新的训练样本，重新进行深度学习，形成新的标准特征数据库；
53.a8、提取的特征与该gps定位位置附近一定范围内的标准特征组进行对比，重新确定当前位置，重新规划行驶路线，进入步骤a1。
54.需要说明的是，步骤a5中，将行驶路线划分成多个距离绝对值较短的矢量路线，多个矢量路线的距离绝对值可以为3米、5米、8米、10米、15米等，同时与导航规划路线上相对应的矢量路线进行对比。
55.需要说明的是，步骤a8中，gps定位位置附近一定范围指的是以该gps定位位置为圆心，以20-200米为半径形成圆球范围，应当理解的是，当检测到行驶路线错误时，将行驶路线上提取的特征与当前gps定位位置20米范围内的标准特征组进行对比，若匹配到一致的标准特征组，则重新确定车辆具体位置，以当前位置为导航起点重新规划路线；若未匹配到一致的标准特征组，则将行驶路线上提取的特征与当前gps定位位置40米范围内的标准特征组进行对比，特征匹配范围逐渐扩大，直至确定车辆具体位置，特征匹配过程结束。
56.步骤a8特征匹配过程中还可能出现这种情况，车辆行驶至错误路线上，且系统已经检测到车辆行驶至错误路线，但该错误路线上的部分特征已经发生改变，如周围建筑物、大型植被或者是路标发生变化，那么即使匹配当前gps定位位置200米范围内的标准特征组，当前位置提取的特征也不能匹配到一致的标准特征组，因此为解决这一问题，还应设置一个匹配条件，即需要设置一个匹配程度阈值，该匹配程度阈值指的是提取的特征与当前gps定位位置200米范围内标准特征组相比，相同率能达80％以上，例如，当前gps定位位置照片中提取到5个特征，这5个特征为一提取的特征组，在当前gps定位位置200米范围内有一个标准特征组，这个标准特征组共有5个标准特征，其中4个标准特征与提取的4个特征相同，其他不同，那么此时匹配程度为80％，刚好在匹配程度阈值范围内，满足匹配条件，则将当前位置定位至匹配的位置，确定车辆具体位置。
57.进一步的，由于车辆型号不同，则同一位置处拍摄照片提取的特征可能存在一定
差异，为了消除这种差异，还包括，a9、对新的标准特征按照车辆型号分类储存至标准特征数据库，以进行下一次匹配。应当理解的是，不同品牌、不同型号的车辆需分别建立各自的标准特征数据库，行驶过程中，行驶车辆根据自身型号匹配对应的标准特征数据库，将拍摄照片中提取的特征与该数据库中的标准特征进行对比，提高导航的准确度。
58.进一步的，步骤a5中，汽车当前行驶路线与导航规划路线一致的判断条件是，导航过程中规划路线未变更，且汽车实际行驶时间与导航规划时间相对应，只有这两个条件均满足才能判定汽车行驶路线正确。应当理解的是，如果该导航起点和导航终点均在立交桥以外，且导航过程中规划路线未发生改变(没有驶入错误道路)，且实际行驶时间与导航规划规划时间较为接近，比较两者之间的时间分为两种情况考虑，第一种情况是路径中设有红绿灯，此时须增加一个判断条件为是否汽车停车，若中途停车，则实际行驶时间减去停车时间后与导航规划规划时间比较，才能判定为行驶路线正确；第二种情况是路径中不设有红绿灯，实际行驶时间直接与导航规划时间比较。
59.需要说明的是，实际行驶时间与规划时间较为接近的判断条件是，设置一个关于实际导航时间与规划时间之间差值的阈值，该阈值为规划时间的
±
20％，若实际行驶时间与规划时间的差值超过阈值，则认为实际行驶时间与规划时间不接近；若实际行驶时间与规划时间的差值未超过阈值，则认为实际行驶时间与规划时间接近。
60.进一步的，拍摄照片中提取的特征、标准特征均包括交通路标、建筑物、矢量道路中心线、大型植被等。
61.进一步的，为了降低环境因素对图像的影响，步骤a7中对提取的特征进行深度学习，对深度学习模型所需的特征进行图像曝光处理、图像背景去除处理、图像归一化处理等预处理。需要说明的是，图像曝光处理通过rgb色彩空间的叠加或者是删减对图像进行增强的方式对阈值外图像进行处理，从而对图像进行预处理；图像归一化处理是将深度学习模型所需的特征处理到相同尺寸的大小，通过平移、拉伸、旋转、对比度调整、颜色变换等方式对特征进行数据增强处理，对于较大尺寸的特征，可采用均值缩减降低尺寸，对于较小尺寸的特征，可采用旋转变换扩充数据集。
62.例如，将图像导入opencv软件，利用opencv视觉库转换为三维数组，即图片的数学表示：二维像素点阵+rgb三原色通道，对三维数组进行标准化，其实际意义为对图片大小进行标准化。如果图片像素点不是512*512，就利用视觉库对它进行缩放，这样数组大小就标准化为512*512*3；每一个像素点的数学表示是三原色的值(范围在0-255)的数组，如[17,51,127]，但读出来的颜色通道是反的，即bgr，所以需要转换为标准的rgb格式：如[127,51,17]；再对数据进行矩阵转置，变换成3*512*512的数组，在最外层增加一个维度，表示批量样本数，每次输入一个样本，就转换成1*3*512*512的数组，然后对数组的数据进行归一化处理，首先对数组除以极差255，得到0-1的数值范围，再-0.5，得到-0.5—0.5，最后除以0.5，得到-1—1的数值范围。最后将四维数组转化成四维张量(1,3,512,512)，导入cnn卷积神经网络的隐藏层来处理就可以了。
[0063]
进一步的，所述步骤a7中的深度学习模型是cnn卷积神经网络模型，卷积神经网络模型包括卷积层、池化层和全连接层，实现卷积操作、池化操作、卷积—池化—卷积操作和全连接操作，通过反复的迭代逐层调节权重参数以最小化损失函数并提高识别率。
[0064]
例如，可以使用python软件下的tensorflow模块中自带的卷积神经网络模型直接
进行计算识别，例如vgg模型，googlenet模型，deepresidual learning模型，也可以使用其他软件自带的卷积神经网络模型，对卷积层进行定以后进行识别。
[0065]
如图2所示的基于图像识别的高精准度立交桥快速导航方法使用的系统，包括gps导航模块、照片采集模块、环境识别模块、分析处理模块、数据模块和导航信息接收模块。
[0066]
所述gps导航模块用于车辆当前位置定位；
[0067]
所述照片采集模块对环境进行拍照并将照片上传至环境识别模块；
[0068]
gps导航模块、照片采集模块可以使用汽车自带的导航系统和360
°
影像环境摄像头，也可以直接在车辆前部或顶部用螺栓安装gopro相机，该相机可以输出带有gps定位数据的照片。
[0069]
所述环境识别模块提取照片中的特征并传输至分析处理模块；
[0070]
所述分析处理模块能够进行图像预处理、特征比对、车辆行驶路线判断、对特征进行深度学习等，将提取的特征与储存至数据模块中的标准特征进行对比，确定车辆的具体位置，还分析判断车辆行驶路线是否正确，路线正确的条件下判断提取的特征与标准特征是否一致，不一致的条件下将提取的特征替代标准特征以更新数据库，进行下一次匹配；
[0071]
所述数据模块与分析处理模块之间可交互数据；
[0072]
所述导航信息接收模块接收分析处理模块的导航指令信息。
[0073]
进一步的，所述环境识别模块提取的特征、所述标准特征均包括交通路标、建筑物、矢量道路中心线、大型植被等。
[0074]
进一步的，所述照片采集模块为高清摄像头，设置在汽车顶部或前保险杠，可以使用goole无人驾驶汽车的高清摄像头，或特斯拉model 3采用的组合摄像头方式，其包括3个前置摄像头(不同视角、广角、长焦、中等)；2个侧边摄像头(一左一右)，该布置方式下，汽车可探测前、后、左、右的移动物体和障碍物，并精确采集车道线、红绿灯等道路标识；所述导航信息接收模块设置在汽车内，所述导航信息接收模块包括图像显示器和语音播报音响；所述数据模块为云端数据库。
[0075]
照片采集模块与环境识别模块无线通信连接，环境识别模块与分析处理模块电线或无线通信连接，分析处理模块与数据模块电线或无线通信连接，分析处理模块与导航信息接收模块无线通信连接。
[0076]
上述的导航系统也可以直接使用智能手机导航，集成gps导航模块、照片采集模块，智能手机中的导航软件配合手机摄像头进行gps定位及照片采集，采集好的带有gps定位数据的照片发动到云服务器，进行环境识别及后续分析；该方式下需要对手机的位置进行预先设定，例如在车内特定位置放置支架，支架上放置手机，保证拍摄的环境照片与形成标准特征数据库的照片拍摄的范围基本一致。
[0077]
本发明的快速导航系统可以是人工驾驶车辆，也可以是无人驾驶车辆，当快速导航系统用于无人驾驶车辆时，本技术中所述的带有自动驾驶模式的汽车至少为l3级或l4级或l5级；该等级根据美国sae j3016(tm)《标准道路机动车驾驶自动化系统分类与定义》中，将带有自动驾驶功能的汽车划分的l0级-l5级。
[0078]
基于图像识别的高精准度立交桥快速导航方法使用的系统的工作过程：
[0079]
b0、输入导航起点和导航终点规划路线，输入驾驶车辆型号匹配对应的标准特征数据库，判断导航起点是否位于立交桥内，若导航起点位于立交桥内，则进入步骤b1；若导
航起点位于立交桥外，则需判断导航起点至终点的规划路段中是否存在立交桥，若不经过立交桥，则导航装置按照现有gps技术定位导航方式进行导航，若经过立交桥，则车辆进入立交桥时进入步骤b1；
[0080]
b1、进入立交桥时，每间隔20秒通过gps导航模块确定车辆当前gps定位位置，照片采集模块对周围环境进行拍照，并上传照片至环境识别模块，进入步骤b2；
[0081]
b2、判断车辆当前所处立交桥的高度方向上是否存在多条道路，若车辆所处gps定位位置高度方向只有一条道路，则进入步骤b3；若车辆所处gps定位位置高度方向有多条道路，则进入步骤b4；
[0082]
b3、环境识别模块提取照片中多个特征(交通路标、建筑物、矢量道路中心线、大型植被等)，并将这些多个特征传输至分析处理模块，分析处理模块根据驾驶车辆型号匹配相同车辆型号的数据库，将规划路线上相应位置处的标准特征从数据模块提出，将提取的特征与车辆当前gps定位位置相对应的标准特征进行对比，进入步骤b6；
[0083]
b4、环境识别模块提取照片中多个特征，(交通路标、建筑物、矢量道路中心线、大型植被等)，并将这些多个特征传输至分析处理模块，分析处理模块根据驾驶车辆型号匹配相同车辆型号的数据库，将规划路线上相应位置处的标准特征从数据模块提出，将提取的特征分别与车辆当前gps定位位置相对应的多个标准特征组进行对比，确定对应的标准特征组，从而确定车辆当前在立交桥上的具体道路，进入步骤b5；
[0084]
b5、分析处理模块将行驶路线划分成多个矢量路线，与规划路线上相对应的矢量路线进行对比，判断行驶路线是否正确，判断导航过程中的规划路线是否发生变更，同时判断汽车实际行驶时间与导航规划时间相对应，若两者一致，则进入步骤b6，若两者不一致，则进入步骤b8；
[0085]
b6、分析处理模块判断行驶路线上提取的特征与规划路线上的标准特征是否一致，若两者一致，则不需要更新数据库中的标准特征，进入步骤a1，若两者不一致，则需要更新数据库中的标准特征，进入步骤b7；
[0086]
b7、分析处理模块对gps定位位置拍摄照片中提取的特征进行图像曝光处理、图像背景去除处理、图像归一化处理等预处理，再将提取的特征放入相对应的标准特征数据库中作为新的训练样本，重新进行深度学习，形成新的标准特征数据库；
[0087]
b8、分析处理模块从数据模块中提取该gps定位位置附近一定范围内的标准特征，将环境识别模块提取的特征与这些标准特征进行对比，重新确定当前位置，重新规划行驶路线，并将重新规划的行驶路线传输至导航信息接收模块，并通过图像显示器和语音播报音响反馈给用户；进入步骤b1。
[0088]
b9、对步骤b7中形成新的标准特征按照车辆型号分类储存至标准特征数据库，以进行下一次匹配。
[0089]
以上所述的实施例仅是对本发明的优选方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形、变型、修改、替换，均应落入本发明权利要求书确定的保护范围内。